Linfei Li, Ruining Hu, Lin Zhang, Zhong Wang, Fengyi Zhang, Ying Shen, Binqiang Wang, Xin Zhang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29768 · open-access PDF
시각 언어 인식은 시각적 관찰과 자연 언어를 일치시키는 데 인상적인 진전을 달성했지만, 하이 레벨 시멘틱스를 하이 레벨 물리적 상호 작용으로 바꾸는 것은 여전히 도전적입니다.이 격차를 해결하기 위해, 우리는 UniRAP, 하이 레벨 물리적 영향을 추론하고 언어 지시를 작동할 수있는 기하학적 표현으로 매핑하는 통합 모델을 제안합니다. UniRAP는 이 문제를 조건부 멀티모델 생성 작업으로 정의하며, 시각적 입력, 텍스트 지시 및 선택적인 펌프를 통합하여 통합된 공간 및 시간 표현 공간에 통합합니다.
Machine translation (Meta M2M100); the English original follows.
Vision-language perception has achieved impressive progress in aligning natural language with visual observations, yet grounding high-level semantics into part-level physical interaction remains challenging. To address this gap, we propose UniRAP, a unified model for inferring part-level physical affordances and mapping language instructions to actionable geometric representations. UniRAP formulates this problem as a conditional multimodal generation task, integrating visual inputs, textual instructions, and optional prompts into a shared spatiotemporal representation space through a unified i
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29768, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange