Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28537 · open-access PDF
يتم تخفيض الوزن من نموذج تدريبي مع الحد الأدنى من الحسابات والبيانات. حتى 4 بوصة، فإنه لا يزال قليلاً من الخسائر، ولكن في 2 بوصة، يتم تخفيض تكوينات PTQ المتوسطة إلى دقة مستوى الخسائر. ونحن ندرس ثلاثة خيارات عادة ما يتم التعامل معها كالتفاصيل التنفيذية التي تعتبر قليلاً في 4 بوصة ولكن تحدد نوعية 2 بوصة: التمثيل الكمي، والبيانات التقييم، والبيانات التقييمية، على ستة نموذجين متخصصين عميقين ومتنوعين (تتراوح من $ 3.8$ إلى $ 32$B).
Machine translation (Meta M2M100); the English original follows.
Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where sc
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28537, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange