Newest papers

Expandable Modality Experts for Medical Vision-Language Learning

DM BAPPY, Eunsu Kim, Hanjoo Lee, Lee Sh, Sangjeong Ahn · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29881 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Học tập qua các phương thức hình ảnh y tế mở rộng đòi hỏi phải sử dụng hình ảnh mà không có văn bản ghép đôi và chứa các miền mới trong khi giữ lại các đại diện hiện có. Chúng tôi đề xuất một kỹ thuật thị giác y tế được xây dựng xung quanh một ngân hàng có thể mở rộng của các chuyên gia hình ảnh. Multiway Transformer của nó kết hợp tính toán hình ảnh được chia sẻ với các chuyên gia nguồn cấp dữ liệu được định hướng theo định nghĩa và một con đường văn bản riêng biệt. Một tokenizer hình ảnh có nhận thức về phương thức nhúng sẽ cung cấp các mục tiêu cho việc xác minh trước được ẩn trên 19,4 triệu hàng hình ảnh không ghép đôi trên bảy phương thức; lập luận tương phản sau đó sử dụng 3,23 triệu cặp hình ảnh-từ văn bản. Các chuyên gia quỹ bổ sung và các chuyên gia phân loại kết hợp quang học quang học

Machine translation (Meta M2M100); the English original follows.

Abstract

Learning across medical imaging modalities requires making use of images without paired text and accommodating new domains while retaining existing representations. We propose a medical vision-language technique built around an expandable bank of modality experts. Its Multiway Transformer combines shared visual computation with deterministically routed feed-forward experts and a separate text pathway. A modality-aware visual tokenizer supplies targets for masked pretraining on 19.4 million unpaired image rows across seven modalities; contrastive alignment then uses 3.23 million image-text pairs. Additional fundus and optical coherence tomography experts learn from paired data while the original image and text embedding paths remain frozen. With a ViT-Large backbone, the proposed technique achieves the best or tied-best result in 24 of 25 benchmark settings across nine modalities: 10 of 11 zero-shot classification benchmarks, all 10 linear probes, and all four retrieval benchmarks. Mean balanced accuracy is 0.674 for zero-shot classification and 0.856 for linear probing, and mean bidirectional retrieval recall is 20.70%. A separate three-seed sequential experiment with matched adaptation data yields fundus and OCT retrieval gains of 14.95 and 9.31 percentage points, with no measured loss on preceding fundus or pathology tasks. The preservation argument requires unchanged existing computation paths and inference conditions, and feature-identity checks verify retention on evaluated inputs. The proposed technique provides a modular approach to learning and expanding medical vision-language representations.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Medical imaging, Modular design, Modality (human–computer interaction), Encoder

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange