Newest papers

Predictable performance is suboptimal, and what it means for model routing

Guanhua Zhang, Moritz Hardt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31428 · open-access PDF

Vietnamese

Các mô hình ngôn ngữ lớn (LLM) khác nhau về khả năng và chi phí, thúc đẩy các phương pháp định tuyến thích ứng để chọn một mô hình cho mỗi truy vấn. Những phương pháp này dựa trên dự đoán hiệu suất: cho một truy vấn, ước tính liệu một mô hình sẽ trả lời nó một cách chính xác. Hầu hết các phương pháp định tuyến đào tạo các dự đoán riêng biệt về hiệu suất của mô hình ứng cử viên để hướng dẫn việc lựa chọn mô hình. Công việc của chúng tôi cho thấy rằng dự đoán hiệu suất chỉ vượt qua một đường cơ sở đơn giản khi mô hình ứng cử viên không tối ưu đối với nhiệm vụ hoặc dự đoán hiệu suất thêm năng lượng đáng kể so với mô hình ứng cử viên.

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) differ in capabilities and costs, motivating routing methods that adaptively choose a model for each query. These methods rely on performance prediction: given a query, estimate whether a model will answer it correctly. Most routing methods train separate predictors of candidate models' performance to guide model selection. Our work shows that performance prediction only beats a simple baseline when the candidate model is suboptimal on the task or the performance predictor adds significant capacity relative to the candidate model. Specifically, we take a model's se

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange