Newest papers

Expandable Modality Experts for Medical Vision-Language Learning

DM BAPPY, Eunsu Kim, Hanjoo Lee, Sung Hak Lee, Sangjeong Ahn · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29881 · open-access PDF

Korean

의료 이미지 형태를 통한 학습은 짝짓지 않은 텍스트 없이 이미지를 사용하고 기존 표현을 유지하면서 새로운 도메인을 수용하는 것을 요구합니다. 우리는 모드 전문가의 확장 가능한 은행을 둘러싸고 구축된 의료 비전 언어 기술을 제안합니다. 그 멀티웨이 트랜스포머는 결론적으로 라우팅된 피드 전향 전문가와 공유 시각 컴퓨팅과 별도의 텍스트 경로를 결합합니다. 모드에 의식하는 시각 토큰은 7 개의 모드에 걸쳐 19.4 백만 개의 짝짓지 않은 이미지 행에 마스크 프리 트레이닝을 위한 목표를 제공합니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Learning across medical imaging modalities requires making use of images without paired text and accommodating new domains while retaining existing representations. We propose a medical vision-language technique built around an expandable bank of modality experts. Its Multiway Transformer combines shared visual computation with deterministically routed feed-forward experts and a separate text pathway. A modality-aware visual tokenizer supplies targets for masked pretraining on 19.4 million unpaired image rows across seven modalities; contrastive alignment then uses 3.23 million image-text pair

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange