Newest papers

Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon

Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn, Ostap Khomenko, Pavlo Kryven, Maksym Kmet, Maksym Shamrai, Mariya Hirna · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31479 · open-access PDF

Vietnamese

Apple Silicon là một trong những nền tảng được sử dụng rộng rãi nhất cho kết luận LLM địa phương, tuy nhiên hầu như tất cả các tối ưu hóa kết luận đều được thiết kế và xác nhận trên GPU NVIDIA lớp máy chủ dưới khối lượng công việc cung cấp hàng loạt. Những tối ưu hóa nào giữ lại lợi ích của chúng khi chuyển sang Apple Silicon, và điều gì quyết định khả năng áp dụng của chúng? Chúng tôi đánh giá bốn gia đình tối ưu hóa: cắt tỉa KV-cache, cắt tỉa đầu tư, cắt tỉa GPU cổng, và cắt tỉa sau khi đào tạo. Các thí nghiệm trải dài bốn máy Apple dưới một khối lượng công việc mã hóa đơn yêu cầu chung, với so sánh RTX 4090 khi có thể.

Machine translation (Meta M2M100); the English original follows.

Abstract

Apple Silicon is among the most widely used platforms for local LLM inference, yet nearly all inference optimizations are designed and validated on server-class NVIDIA GPUs under batched serving workloads. Which optimizations retain their benefits when moved to Apple Silicon, and what determines their applicability? We evaluate four optimization families: KV-cache pruning, speculative decoding, ported GPU kernels, and post-training quantization. Experiments span four Apple machines under a common single-request decode workload, with matched RTX 4090 comparisons where possible. KV-cache pruning

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange