Newest papers

BatchBench: Benchmarking AI Robustness to Batch Effects and Domain Shift in Biomedical Images - A JUMP Cell Painting Leaderboard

Sonja Topf, Ana Sanchez-Fernandez, Gnter Klambauer · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30104 · cited by 0 works (OpenAlex) · open-access PDF

Hindi

हाल के प्रगति के बावजूद, वर्तमान एआई सिस्टम डोमेन स्विच के लिए विशेष रूप से बायोमेडिकल इमेजिंग में विशेष रूप से अत्यधिक संवेदनशील रहते हैं, जहां छवियों को आमतौर पर काफी अलग प्रयोग की स्थितियों में प्राप्त किया जाता है। हालांकि हाल के डोमेन अनुकूलन विधियों ने काफी प्रगति की है, डोमेन स्विच के दौरान महत्वपूर्ण प्रदर्शन अंतर जारी है। इस संबंध में प्रगति को मापने के लिए, हम BatchBench, एक अग्रणी बोर्ड पेश करते हैं जो अज्ञात प्रयोग बैच और डेटा स्रोतों से बायोमेडिकल छवियों पर एआई सिस्टम की मजबूतता का मूल्यांकन और तुलना करते हैं। BatchBench JUMP-CP पर बनाया गया है, जो सबसे बड़े सार्वजनिक रूप से उपलब्ध

Machine translation (Meta M2M100); the English original follows.

Abstract

Despite recent advances, current AI systems remain highly susceptible to domain shifts, particularly in biomedical imaging, where images are usually acquired under substantially different experimental conditions. Although recent domain adaptation methods have made substantial progress, significant performance gaps under domain shift persist. To measure progress in this regard, we introduce BatchBench, a leaderboard that evaluates and compares the robustness of AI systems on biomedical images from unseen experimental batches and data sources. BatchBench is built on JUMP-CP, one of the largest publicly available biomedical imaging datasets. Generated using the Cell Painting assay, JUMP-CP exhibits pronounced batch effects and domain shifts, making it a challenging testbed for evaluating robustness to distributional changes.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Robustness (evolution), Computer science, Benchmarking, Artificial intelligence, Testbed, Domain adaptation

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange