Mustafa Omer Gul, Philippe Laban, Tanya Goyal, Jennifer Neville · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31512 · open-access PDF
Pengguna semakin bergantung pada sistem AI untuk tugas-tugas yang diperluas, multi-turn, namun bukti menunjukkan bahwa kinerja sistem berbasis LLM menurun atas interaksi yang berkepanjangan. Untuk mengevaluasi dan meningkatkan asisten AI dalam pengaturan seperti itu, kita membutuhkan simulator pengguna yang setia mengikuti niat pengguna yang kompleks sambil menunjukkan perilaku percakapan yang realistis. Pendekatan yang ada menunjukkan kompromi: asisten yang diminta dapat mengikuti niat pengguna yang kompleks tetapi kekurangan kesetiaan perilaku, sementara simulator pengguna khusus lebih mendekati perilaku percakapan tetapi berjuang untuk tetap setia pada niat yang kompleks.
Machine translation (Meta M2M100); the English original follows.
Users increasingly rely on AI systems for extended, multi-turn tasks, yet evidence indicates that LLM-based system performance degrades over prolonged interaction. To evaluate and improve AI assistants in such settings, we need user simulators that faithfully follow complex user intents while exhibiting realistic conversational behavior. Existing approaches manifest a trade-off: prompted assistants can follow complex user intents but lack behavioral fidelity, while specialized user simulators better approximate conversational behavior but struggle to remain faithful to complex intents. In this
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31512, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange