Rhea Sanjay Sukthanker, Riccardo Grazzi, James Hensman, Pashmina Cameron · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28537 · open-access PDF
Post-training quantization (PTQ) nén các trọng lượng của một mô hình được đào tạo với tính toán và dữ liệu hạn chế. Dưới 4 bit nó là gần như không mất mát, nhưng ở 2 bit cấu hình scalar PTQ giảm đến độ chính xác cấp độ ngẫu nhiên. Chúng tôi nghiên cứu ba lựa chọn thường được coi là chi tiết thực hiện mà ít quan trọng ở 4 bit nhưng quyết định chất lượng 2 bit: đại diện lượng tử, dữ liệu hiệu chuẩn, và dữ liệu phục hồi tinh tế-tùy chỉnh, trên sáu mô hình chuyên gia dày đặc và pha trộn (từ $ 3.8$ đến $ 32$B tham số). đại diện là yếu tố lớn nhất và vector codebooks khôi phục mô hình có thể sử dụng nơi sc
Machine translation (Meta M2M100); the English original follows.
Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where sc
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28537, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange