Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31642 · open-access PDF
Các ứng dụng tiêu chuẩn của softmax, log-softmax, và cross-entropy có hai lỗi số. Lỗi đầu tiên, Softmax Collapse, làm tròn độ dốc của logit mục tiêu đến 0 nếu logit đó lớn hơn nhiều so với những người khác, dẫn đến độ dốc không còn lên đến 0. Lỗi thứ hai, Softmax Cancellation, xảy ra khi logit của học sinh gần với logit của giáo viên, và tạo ra độ dốc không phải là zero ngay cả khi logit của học sinh và giáo viên bằng nhau. Chúng tôi trình bày các ứng dụng đơn giản của log-softmax, softmax và cross-entropy sửa cả hai lỗi.
Machine translation (Meta M2M100); the English original follows.
Standard implementations of softmax, log-softmax, and cross-entropy have two numerical bugs. The first bug, Softmax Collapse, rounds the target logit's gradient to zero if that one logit is much larger than the others, resulting in gradients that no longer sum to zero. The second bug, Softmax Cancellation, occurs when student logits are close to teacher logits, and produces non-zero gradients even when the student and teacher logits are equal. We present simple implementations of log-softmax, softmax, and cross-entropy that fix both bugs. Our fix eliminates the previously-observed "Slingshot"
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31642, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange