Newest papers

RouterWorld: Scaling Conversational AI with Latency-Aware LLM Routing

Jinyang Li, Denis Emelin, Simone Tedeschi, Weiwei Cheng, Cristina Morariu, Haytham Assem, Jens Lehmann, Emine Yilmaz · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26511 · open-access PDF

Arabic

وتتطلب أنظمة الذكاء الاصطناعي التفاعلية التي تم بناءها على نموذج اللغة الكبيرة (LLMs) آليات الترحيل التي توازن نوعية الاستجابة والارتباك على نطاق واسع. ومع ذلك، فإن نموذج الترحيل LLM الحالي يفترض أن يكون متاحاً كاملاً لجميع النتائج النموذجية المرشحة، ويؤكد أن الترحيل هو نموذج منخفض كجزء من الدرجة الأولى، وتقييم الأجزاء عبر البروتوكولات المتعددة الأبعاد التي لا تتوافق مع إعدادات العالم الحقيقي. نحن نقدم RouterWorld، نموذج شامل للترحيل على LLM في GenAI التفاعلية.

Machine translation (Meta M2M100); the English original follows.

Abstract

Conversational AI systems built on Large Language Models (LLMs) require routing mechanisms that balance answer quality and response latency at scale. However, existing LLM routing benchmarks assume full observability of all candidate model outcomes, under-emphasize latency as a first-class metric, and fragment evaluation across heterogeneous protocols misaligned with real-world settings. We introduce RouterWorld, a comprehensive benchmark for LLM routing in conversational GenAI. RouterWorld unifies 371k single-turn responses and 76k multi-turn agentic trajectories, adopts natural user interact

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange