Newest papers

Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

Miguel Fernandez-de-Retana, Unai Zulaika, Rubén Sánchez, Aritz Bilbao-Jayo, Aitor Almeida · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31586 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Độ chính xác về kiểm tra y tế là bằng chứng phổ biến được cung cấp cho việc sử dụng các mô hình ngôn ngữ lâm sàng, tuy nhiên một hệ thống y tế có ý định chạy một mô hình mở trên phần cứng của riêng mình cần biết nhiều hơn: liệu mô hình có nhận ra khi nó có khả năng sai, liệu điều chỉnh kỹ thuật y tế cải thiện khả năng này, liệu câu trả lời chính xác của nó dựa trên lý luận lâm sàng âm thanh, hoặc liệu nó thực sự sử dụng các hình ảnh mà nó được cung cấp. Chúng tôi kiểm tra những câu hỏi này cho bốn mô hình mở của 8 đến 27 tỷ tham số trên kỳ thi cư trú MIR của Tây Ban Nha, ghi điểm 1.552 câu hỏi từ tám ấn bản theo các quy tắc của kỳ thi. Trả lời mỗi câu hỏi, ba mô hình lớn hơn sẽ xếp hạng trong số khoảng 600 đến 3.000 ứng viên đầu tiên, với 41 đến 43

Machine translation (Meta M2M100); the English original follows.

Abstract

Accuracy on medical examinations is common evidence offered for the clinical use of language models, yet a health system that intends to run an open model on its own hardware needs to know considerably more: whether the model recognizes when it is likely to be wrong, whether medical fine-tuning improves this ability, whether its correct answers rest on sound clinical reasoning, or whether it actually uses the images it is given. We examine these questions for four open models of 8 to 27 billion parameters on the Spanish MIR residency examination, scoring 1,552 questions from eight editions under the exam's own rules. Answering every question, the three larger models would rank among roughly the first 600 to 3,000 candidates, with 41 to 43 specialties still open to them. Abstention, however, never pays, because even their least confident answers are right more often than the 25% break-even. Medical fine-tuning reduced overconfidence at the cost of accuracy, without improving how well confidence separates right from wrong answers. Moreover, 13-38% of correct answers rejected a distractor for a clinically unsound reason that confidence did not reflect, and removing or swapping the provided contextual images left accuracy unchanged.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Overconfidence effect, Computer science, Rank (graph theory), Artificial intelligence, Open data, Natural language processing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange