Newest papers

DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge

Atharva Thakur, Abulhair Saparov, Bruno Ribeiro · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28340 · open-access PDF

Vietnamese

Đáng tin cậy thu thập tăng cường thế hệ (RAG) đòi hỏi nhận ra khi không có tài liệu thu thập hoặc kiến thức tham số hỗ trợ một câu trả lời. Chúng tôi giới thiệu DeclineCraft, một tham chiếu từ chối năng động mà các câu hỏi không trả lời nhắm mục tiêu bổ sung tính năng Minecraft sau khi cắt đứt corpus, với các cuộc kiểm tra của tiếp xúc tham số có thể. sau đó cắt đứt hỗ trợ đánh giá các mô hình trong tương lai. Trên 27 LLM, chúng tôi đo tỷ lệ từ chối chính xác (CAR; làm thế nào thường các mô hình thừa nhận kiến thức không đủ về các câu hỏi không trả lời), tỷ lệ thử nghiệm trả lời và độ chính xác của câu trả lời. Chúng tôi thấy rằng (1) một lần r

Machine translation (Meta M2M100); the English original follows.

Abstract

Reliable retrieval-augmented generation (RAG) requires recognizing when neither retrieved documents nor parametric knowledge supports an answer. We introduce DeclineCraft, a dynamic abstention benchmark whose unanswerable questions target Minecraft feature additions after a corpus cut-off, with audits of possible parametric exposure. Later cut-offs support evaluation of future models. Across 27 LLMs, we measure Correct Abstention Rate (CAR; how often models acknowledge insufficient knowledge on unanswerable questions), Answerable Attempt Rate and Answer Accuracy. We find that (1) single-shot r

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange