Newest papers

SQuAT: Spherical Lattice Vector Quantization-Aware Training

Sebastian Loeschcke, Ivan Koryakovskiy, Tycho F. A. van der Ouderaa, Riccardo Del Chiaro, Mart van Baalen, Paul N. Whatmough, Markus Nagel · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31412 · open-access PDF

Korean

벡터 양자화 (VQ), 특히 라이트 기반 방법은 낮은 비트 대형 언어 모델 (LLM)에 대한 강력한 비율 왜곡 교환을 제공하지만 양자화 인식 훈련 (VQ-QAT)에서 그들의 행동은 여전히 잘 이해되지 않습니다. 우리는 라이트 VQ-QAT를 수십억 매개 변수 LLM 및 수십억 토큰 훈련 체계로 확장하고, 형태와 이득을위한 별도의 직선 추정기 (STE)로 훈련 된 모양을 얻는 VQ-QAT 접근법인 SQuAT을 도입합니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Vector quantization (VQ), in particular lattice-based methods, offer strong rate-distortion trade-offs for low-bit large language models (LLMs), yet their behavior under quantization-aware training (VQ-QAT) remains poorly understood. We scale lattice VQ-QAT to billion-parameter LLMs and multi-billion-token training regimes, and introduce SQuAT, a shape-gain VQ-QAT approach trained with a separate straight-through estimator (STE) for the shape and gain. SQuAT decomposes weights into direction and magnitude: normalized directions are quantized using an $E_8$-derived spherical codebook, while gai

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange