Newest papers

Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon

Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn, Ostap Khomenko, Pavlo Kryven, Maksym Kmet, Maksym Shamrai, Mariya Hirna · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31479 · open-access PDF

Hindi

एप्पल सिलिकॉन स्थानीय एलएलएम निष्कर्षण के लिए सबसे व्यापक रूप से उपयोग किए जाने वाले प्लेटफार्मों में से एक है, फिर भी लगभग सभी निष्कर्षण अनुकूलन सर्वर-क्लास एनवीडीआईए जीपीयू पर डिज़ाइन किए गए हैं और बैटरी सर्विंग कार्य भार के तहत सत्यापित किए गए हैं। जब एप्पल सिलिकॉन में स्थानांतरित किया जाता है तो कौन से अनुकूलन अपने लाभों को बनाए रखते हैं, और उनके अनुप्रयोग को क्या निर्धारित करता है? हम चार अनुकूलन परिवारों का मूल्यांकन करते हैं: KV-कचेज काटने, स्पेक्लाइट डिकोडिंग, पोर्टेड GPU कोरल्स, और प्रशिक्षण के बाद मात्राकरण।

Machine translation (Meta M2M100); the English original follows.

Abstract

Apple Silicon is among the most widely used platforms for local LLM inference, yet nearly all inference optimizations are designed and validated on server-class NVIDIA GPUs under batched serving workloads. Which optimizations retain their benefits when moved to Apple Silicon, and what determines their applicability? We evaluate four optimization families: KV-cache pruning, speculative decoding, ported GPU kernels, and post-training quantization. Experiments span four Apple machines under a common single-request decode workload, with matched RTX 4090 comparisons where possible. KV-cache pruning

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange