Newest papers

Low-Bit N-Gram Embeddings for Language Models

Stephen Chung, Wenyu Du · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31646 · open-access PDF

Russian

Многие недавние модели языка с открытым весом используют встраивающие таблицы n-грамм для улучшения производительности. Эти таблицы хранят изученные представления коротких последовательностей токенов, таких как пары или тройники последовательных токенов, которые модель получает во время обработки. Однако, они могут потребовать значительной памяти: DeepSeek-V4.1-Flash, например, выделяет 196 миллиардов параметров своей памяти Engram n-грамм. Поэтому мы исследуем, можно ли снизить эту стоимость памяти при сохранении улучшения производительности, которое обеспечивают таблицы. Мы предлагаем хранить встраивания n-грамм при низкой точности и систематике

Machine translation (Meta M2M100); the English original follows.

Abstract

Many recent open-weight language models use n-gram embedding tables to improve performance. These tables store learned representations of short token sequences, such as pairs or triples of consecutive tokens, which the model retrieves during processing. However, they can require substantial memory: DeepSeek-V4.1-Flash, for example, allocates 196 billion parameters to its Engram n-gram memory. We therefore investigate whether this memory cost can be reduced while preserving the performance improvement that the tables provide. We propose storing n-gram embeddings at low precision and systematica

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange