Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28537 · open-access PDF
Post-Training Quantization (PTQ) komprimiert die Gewichte eines trainierten Modells mit begrenzter Rechenleistung und Daten. Bis zu 4 Bits ist es nahezu verlustlos, aber bei 2 Bits fallen die skalaren PTQ-Konfigurationen auf Zufall-Ebene-Genauigkeit. Wir untersuchen drei Optionen, die normalerweise als Implementierungsdetails behandelt werden, die bei 4 Bits wenig bedeuten, aber die 2-Bit-Qualität bestimmen: die Quantizationsrepräsentation, die Kalibrierungsdaten und die Wiederherstellungs-Fine-Tuning-Daten, über sechs dichte und gemischte Expertenmodelle (von $ 3,8 $ bis $ 32 $ B Parameter). Repräsentation ist der größte Faktor und Vektor-
Machine translation (Meta M2M100); the English original follows.
Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where sc
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28537, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange