Newest papers

Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering

Aman Behera, Namit Solanki, Mehul Anand · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31135 · open-access PDF

Arabic

في كثير من الأحيان تستخدم النماذج الطويلة الأبعاد التي تؤدي إلى الإجابة بشكل أقل فعالًا عندما تظهر بعيدًا عن الحدود المباشرة. نحن نتقارن مع هذه التناقضات في الوضع في جميع أنحاء تصميمات "Transformer"، "state-space" و"hybrid Mamba" عن طريق نقل وثيقة ذهبية واحدة من خلال مجموعة ثابتة من تسعة متناقضات. تظهر النماذج التي تم تقييمها مزيدًا من المزايا التي لا توجد في النماذج التي تم تقييمها، في حين أن كل من البلدان ترغب في الإجابة عن هذه التناقضات.

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-context models often use answer-bearing evidence less effectively when it appears away from a prompt boundary. We compare this position bias across Transformer, state-space, and hybrid Mamba architectures by moving one gold document through a fixed set of nine distractors. The evaluated Transformers show a beginning advantage that the evaluated state-space models lack, while both families favor evidence near the end. A matched pure-versus-hybrid Mamba comparison points in the same direction but remains statistically uncertain. The family difference appears among models that can answer the

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange