Newest papers

Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering

Aman Behera, Namit Solanki, Mehul Anand · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31135 · open-access PDF

Japanese

長い文脈のモデルは、迅速な境界線から離れるときに答えを生み出す証拠をより効率的に使用します。我々はTransformer、ステータススペース、およびハイブリッドMambaアーキテクチャにおけるこのポジション偏差を、9つの分散器の固定セットを通じて1つの金ドキュメントを移動させることによって比較します。評価されたTransformersは、評価されたステータススペースモデルが欠けている初期の利点を示し、両方のファミリーは終わりに近いところで証拠を好みます。一致した純粋対ハイブリッドMamba比較は、同じ方向にポイントを示しますが、統計的には不確実です。ファミリー差は、答えられるモデル間で現れます。

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-context models often use answer-bearing evidence less effectively when it appears away from a prompt boundary. We compare this position bias across Transformer, state-space, and hybrid Mamba architectures by moving one gold document through a fixed set of nine distractors. The evaluated Transformers show a beginning advantage that the evaluated state-space models lack, while both families favor evidence near the end. A matched pure-versus-hybrid Mamba comparison points in the same direction but remains statistically uncertain. The family difference appears among models that can answer the

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange