Newest papers

SQuAT: Spherical Lattice Vector Quantization-Aware Training

Sebastian Loeschcke, Ivan Koryakovskiy, Tycho F. A. van der Ouderaa, Riccardo Del Chiaro, Mart van Baalen, Paul N. Whatmough, Markus Nagel · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31412 · open-access PDF

Vietnamese

Vector quantization (VQ), đặc biệt là các phương pháp dựa trên lưới, cung cấp các thỏa hiệp lệch tỷ lệ mạnh mẽ cho các mô hình ngôn ngữ lớn (LLM) bit thấp, nhưng hành vi của họ trong quá trình đào tạo nhận thức lượng tử (VQ-QAT) vẫn chưa được hiểu rõ. Chúng tôi quy mô lưới VQ-QAT thành LLM tỷ tham số và các chế độ đào tạo token đa tỷ, và giới thiệu SQuAT, một cách tiếp cận VQ-QAT có hình dạng thu được được đào tạo với một ước tính đường thẳng riêng biệt (STE) cho hình dạng và thu được.

Machine translation (Meta M2M100); the English original follows.

Abstract

Vector quantization (VQ), in particular lattice-based methods, offer strong rate-distortion trade-offs for low-bit large language models (LLMs), yet their behavior under quantization-aware training (VQ-QAT) remains poorly understood. We scale lattice VQ-QAT to billion-parameter LLMs and multi-billion-token training regimes, and introduce SQuAT, a shape-gain VQ-QAT approach trained with a separate straight-through estimator (STE) for the shape and gain. SQuAT decomposes weights into direction and magnitude: normalized directions are quantized using an $E_8$-derived spherical codebook, while gai

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange