Newest papers

Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera, Aritz Bilbao-Jayo, Aitor Almeida · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31586 · open-access PDF

Russian

Точность медицинских обследований является распространенным доказательством клинического использования языковых моделей, однако система здравоохранения, которая намерена запускать открытую модель на своем собственном оборудовании, должна знать значительно больше: распознает ли модель, когда она, вероятно, будет ошибочной, улучшает ли медицинское тонкое регулирование эту способность, основаны ли ее правильные ответы на надлежащих клинических рассуждений, или действительно использует изображения, которые она дает.

Machine translation (Meta M2M100); the English original follows.

Abstract

Accuracy on medical examinations is common evidence offered for the clinical use of language models, yet a health system that intends to run an open model on its own hardware needs to know considerably more: whether the model recognizes when it is likely to be wrong, whether medical fine-tuning improves this ability, whether its correct answers rest on sound clinical reasoning, or whether it actually uses the images it is given. We examine these questions for four open models of 8 to 27 billion parameters on the Spanish MIR residency examination, scoring 1,552 questions from eight editions und

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange