Newest papers

The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token

Chenxu Niu, Batuhan Sencer, Wei Zhang, Yong Chen · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28576 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Việc triển khai hiệu quả năng lượng của các mô hình ngôn ngữ lớn đòi hỏi sự hiểu biết về cách kiến trúc mô hình, phần cứng và cài đặt phục vụ định dạng năng lượng cho mỗi token được tạo ra. Chúng tôi giới thiệu Đạo luật Token-Energy, một mô hình nhỏ gọn, có thể giải thích của năng lượng GPU-board cho mỗi token đầu ra cho mật độ, toàn bộ lịch sử giải mã. Nó liên quan đến năng lượng token đến hai chiều cốt lõi: byte hoạt động và thời gian giải mã được thực hiện. Byte hoạt động mô tả nhu cầu byte logic cho mỗi đầu ra, tách trọng lượng dày đặc được chia sẻ trong quá trình giải mã từ lịch sử key-value tư nhân (KV) được đọc và cập nhật cho mỗi yêu cầu. Thời gian giải mã thực hiện là thời gian giải mã được chia sẻ là thời gian giải mã được

Machine translation (Meta M2M100); the English original follows.

Abstract

Energy-efficient deployment of large language models requires understanding how model architecture, hardware, and serving settings shape energy per generated token. We introduce the Token-Energy Law, a compact, interpretable model of GPU-board energy per output token for dense, full-history decoding. It relates token energy to two core dimensions: active bytes and realized decode time. Active bytes describe logical byte demand per output, separating dense weights shared within a decode iteration from private key--value (KV) histories read and updated for each request. Realized decode time is the elapsed decode duration divided by the number of output tokens produced. We combine the two byte coordinates and time in a common affine form, with coefficients calibrated for each model and hardware/runtime configuration. This formulation explains how batching amortizes shared-weight work, longer attended histories increase private KV demand, and throughput determines the time-associated cost per output. Our experiments cover three models under BF16 decoding on NVIDIA Hopper and Blackwell GPUs, including two-GPU tensor parallelism on Hopper. Using fixed coefficients and observed decode time, held-out condition-mean energy estimates differ from measurements by at most 3.73%.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Byte, Security token, Computer science, Energy (signal processing), Decoding methods, Affine transformation

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange