Newest papers

How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions

Miguel Mochizuki Silva, Samuel Ismael, Mateus C. Dias, Thaís Gaudêncio, Yuri Malheiros, Barufaldi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31606 · open-access PDF

Arabic

الهدف: وصف بروتوكول تقييم الاستفادة من الأدلة لتقييم نظام التقييم المستمر (RAG) على أدوات إدارة الإصابة بمرض السكري، وتحديد التوازن بين النتائج الاستفادة من تقييم التقييم على تقييم التقييم. طريقة: استخدمت مجموعة من الأدوات 18 ومركز قياس التنمية 18، مع واحد نعم / لا أو سؤال WH لكل مستند. تم تحديد الاستفادة من التقييمات المزدوجة، BM25، والتقييم المزدوج. تم تقييم الحجم من 128 إلى 1024 تقييمات، التقييمات من 0 إلى 20٪، والتقييمات الأربعة من الاستفادة. تم تحديد المصلحة من خلال مجموعة من الأدلة المختلطة لجميع الأدوات.

Machine translation (Meta M2M100); the English original follows.

Abstract

Purpose: To describe an evidence-aware retrieval evaluation protocol for a clinical retrieval-augmented generation (RAG) system over breast lesion management literature, addressing the dependence of retrieval scores on annotation coverage. Methods: An 18-document corpus and an 18-query development benchmark, with one Yes/No or WH-question per document, were used. Retrieval combined dense embeddings, BM25, and cross-encoder reranking. Chunk sizes of 128 to 1024 tokens, overlaps of 0 to 20%, and four retriever configurations were evaluated. Relevance was defined by evidence spans mapped to all c

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange