Newest papers

Expandable Modality Experts for Medical Vision-Language Learning

DM BAPPY, Eunsu Kim, Hanjoo Lee, Sung Hak Lee, Sangjeong Ahn · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29881 · open-access PDF

French

L'apprentissage à travers les modalités d'imagerie médicale nécessite l'utilisation d'images sans texte associé et l'hébergement de nouveaux domaines tout en conservant les représentations existantes. Nous proposons une technique de langue de vision médicale construite autour d'une banque expansible d'experts en modalité. Son Transformer Multiway combine le calcul visuel partagé avec des experts de flux d'avance déterministes et un chemin de texte séparé. Un tokeniseur visuel conscient de la modalité fournit des cibles pour la pré-entraînement masquée sur 19,4 millions de lignes d'images non associées sur sept modalités; l'alignement contrasté utilise alors 3,23 millions de paires d'images-texte

Machine translation (Meta M2M100); the English original follows.

Abstract

Learning across medical imaging modalities requires making use of images without paired text and accommodating new domains while retaining existing representations. We propose a medical vision-language technique built around an expandable bank of modality experts. Its Multiway Transformer combines shared visual computation with deterministically routed feed-forward experts and a separate text pathway. A modality-aware visual tokenizer supplies targets for masked pretraining on 19.4 million unpaired image rows across seven modalities; contrastive alignment then uses 3.23 million image-text pair

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange