Newest papers

RACE: Learning Multimodal Search through Referential Abstraction and Compositional Evidence

Eric Tao, Minhao Sun, Liyan Liu, Zhijing Wu, Xiaohan Yu, Lang Mei, Li Huang, Chao Feng · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28382 · open-access PDF

Arabic

يتطلب تدريب العاملين في البحث المتعدد اللغات المهام التي تجعل البحث الداخلي ضروريًا لتحديد الإجابة. إشارات الهوية النصية والمثيرات الهدفية غير المستخدمة تسمح بتوجيهات في الأسئلة التمثيلية، مما يضعف الإشراف على البحث الداخلي والتكامل في الأدلة. ونحن نقدم RACE، إطار تجميع المهام المرتبطة بالصور الذي يخلق التوازنات من الصور إلى الأهداف و من الأدلة ذات الصلة بالهدف إلى الإجابة. استبدال إشارات الهوية (RA) بوصف النص الذي يظهر الهوية مع إشارات بصرية محددة أو إشارات العلاقات غير المباشرة التي يتم حلها من خلال البحث بين الأطراف.

Machine translation (Meta M2M100); the English original follows.

Abstract

Training multimodal search agents requires tasks that make visually grounded search necessary for determining the answer. Textual identity clues and unused target evidence allow shortcuts in synthetic questions, weakening supervision for visual search and evidence integration. We propose RACE, an image-conditioned task synthesis framework that constructs dependencies from images to targets and from target-specific evidence to answers. Referential Abstraction (RA) replaces identity-revealing text with specific visual references or ambiguous relational references resolved by searching among depi

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange