GPTQ 的核心思想是通過最小化量化引入的輸出誤差,實現(xiàn)高精度低比特量化。具體來說,GPTQ 在后量化過程中,針對每一層的權(quán)重矩陣,利用一小部分校準數(shù)據(jù),最小化量化前后模型輸出的差異。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號-7 京ICP證161336號京公網(wǎng)安備 11010802021500號
舉報電話:010-62641205-5060 涉未成年人舉報專線:010-62641208 舉報郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報專區(qū):https://www.12377.cn