Newest papers

DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge

Atharva Thakur, Abulhair Saparov, Bruno Ribeiro · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28340 · open-access PDF

Russian

Надежное восстановление с увеличенным генерированием (RAG) требует распознавания, когда ни восстановленные документы, ни параметрические знания не поддерживают ответ. Мы вводим DeclineCraft, динамический критерий воздержания, чьи неподтвержденные вопросы направлены на добавления функций Minecraft после корпуса, с аудитами возможной параметрической экспозиции. Позднее вырезывания поддерживают оценку будущих моделей. На протяжении 27 LLM мы измеряем корректный показатель воздержания (CAR; как часто модели признают недостаточные знания о неподтвержденных вопросах), скорость попыток ответа и точность ответа. Мы обнаруживаем, что (1) однократный рейтинг

Machine translation (Meta M2M100); the English original follows.

Abstract

Reliable retrieval-augmented generation (RAG) requires recognizing when neither retrieved documents nor parametric knowledge supports an answer. We introduce DeclineCraft, a dynamic abstention benchmark whose unanswerable questions target Minecraft feature additions after a corpus cut-off, with audits of possible parametric exposure. Later cut-offs support evaluation of future models. Across 27 LLMs, we measure Correct Abstention Rate (CAR; how often models acknowledge insufficient knowledge on unanswerable questions), Answerable Attempt Rate and Answer Accuracy. We find that (1) single-shot r

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange