Newest papers

RAG-NIMBF: A Non-Invasive, Modular Benchmarking Framework for Automated RAG Configuration Analysis

Niclas Hart, Nicolas Weeger · 2026 · arXiv

DOI: 10.48550/arXiv.2610.27816 · open-access PDF

Japanese

Retrieval-Augmented Generation(RAG)は、外部の知識に大規模な言語モデルの出力(LLM)を基盤化するための主なパラダイムとなっています。しかし、実践者は、クンキング、埋め込み、リリース、再ランキング、プロンプトリングおよび生成モデルを含む広範な構成空間に直面しており、これらのコンポーネントがどのように相互作用するかについて限られたガイドラインがあります。 RAG-NIMBFは、既存のRAGパイプラインに非侵入的な評価層として接続するモジュールベンチマークフレームワークです。それは、エンド-to-エンド実験追跡でコントロールされたアバレーションを通じて構成空間を評価します。

Machine translation (Meta M2M100); the English original follows.

Abstract

Retrieval-Augmented Generation (RAG) has become the dominant paradigm for grounding the outputs of large language models (LLM) in external knowledge. However, practitioners are faced with a vast configuration space comprising chunking, embedding, retrieval, reranking, prompting and generation models, and there is limited guidance on how these components interact. We present RAG-NIMBF, a modular benchmarking framework that attaches to existing RAG pipelines as a non-invasive evaluation layer. It evaluates the configuration space through controlled ablation with end-to-end experiment tracking. T

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange