Newest papers

Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon

Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn, Ostap Khomenko, Pavlo Kryven, Maksym Kmet, Maksym Shamrai, Mariya Hirna · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31479 · open-access PDF

French

Apple Silicon est l'une des plateformes les plus utilisées pour l'inférence LLM locale, mais presque toutes les optimisations d'inférence sont conçues et validées sur des GPU NVIDIA de classe serveur sous des charges de travail en lots. Quelles optimisations conservent leurs avantages lorsqu'elles sont déplacées vers Apple Silicon, et qu'est-ce qui détermine leur applicabilité? Nous évaluons quatre familles d'optimisations: décodage en cache KV, décodage spéculatif, noyaux GPU portés et quantification post-entraînement.

Machine translation (Meta M2M100); the English original follows.

Abstract

Apple Silicon is among the most widely used platforms for local LLM inference, yet nearly all inference optimizations are designed and validated on server-class NVIDIA GPUs under batched serving workloads. Which optimizations retain their benefits when moved to Apple Silicon, and what determines their applicability? We evaluate four optimization families: KV-cache pruning, speculative decoding, ported GPU kernels, and post-training quantization. Experiments span four Apple machines under a common single-request decode workload, with matched RTX 4090 comparisons where possible. KV-cache pruning

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange