Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28537 · open-access PDF
훈련 후 정량화 (PTQ)는 제한된 컴퓨팅 및 데이터로 훈련 된 모델의 무게를 압축합니다. 4 비트까지는 거의 손실이 없지만 2 비트 스칼라 PTQ 구성은 우연 수준의 정확성으로 떨어집니다. 우리는 일반적으로 4 비트에서 거의 중요하지 않지만 2 비트 품질을 결정하는 구현 세부 사항으로 취급되는 세 가지 선택을 연구합니다 : 정량화 표현, 정량화 데이터 및 회복 미세 조정 데이터는 6 개의 밀도 및 혼합 전문가 모델 ($3.8에서 $32B 매개 변수)을 통해 사용 가능한 모델을 복원합니다.
Machine translation (Meta M2M100); the English original follows.
Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where sc
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28537, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange