Newest papers

The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token

Chenxu Niu, Batuhan Sencer, Wei Zhang, Yong Chen · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28576 · open-access PDF

Hindi

बड़े भाषा मॉडलों के ऊर्जा-प्रभावी तैनाती को समझने की आवश्यकता होती है कि मॉडल आर्किटेक्चर, हार्डवेयर, और सर्विंग सेटिंग्स उत्पन्न टोकन प्रति ऊर्जा कैसे आकार देते हैं. हम टोकन ऊर्जा कानून, घने, पूर्ण इतिहास डिकोडिंग के लिए उत्पादन टोकन प्रति जीपीयू बोर्ड ऊर्जा का एक कॉम्पैक्ट, व्याख्या योग्य मॉडल पेश करते हैं. यह टोकन ऊर्जा को दो कोर आयामों से संबंधित करता है: सक्रिय बाइट्स और महसूस किए गए डिकोडिंग समय. सक्रिय बाइट्स प्रत्येक आउटपुट पर तार्किक बाइट मांग का वर्णन करते हैं, एक डिकोडिंग पुनरावृत्ति के भीतर साझा किए गए घने वजन को निजी कुंजी - मूल्य (केवी) इतिहासों

Machine translation (Meta M2M100); the English original follows.

Abstract

Energy-efficient deployment of large language models requires understanding how model architecture, hardware, and serving settings shape energy per generated token. We introduce the Token-Energy Law, a compact, interpretable model of GPU-board energy per output token for dense, full-history decoding. It relates token energy to two core dimensions: active bytes and realized decode time. Active bytes describe logical byte demand per output, separating dense weights shared within a decode iteration from private key--value (KV) histories read and updated for each request. Realized decode time is t

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange