Newest papers

Major Revision, Minor Accountability: LLMs as Reviewers of Published Articles in Top-Tier Journals

Bastien Le Guellec, Su Hwan Kim, Raphaël Bentegeac, Aghilès Hamroun · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31414 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Với sự phát triển của sản phẩm khoa học ngoài lĩnh vực cụ thể, hệ thống đánh giá ngang hàng đang đến gần một điểm đột phá: các nhà đánh giá ngày càng khó khăn hơn để đảm bảo, và thời gian quay trở lại kéo dài tương ứng. LLM hỗ trợ hoặc đánh giá ngang hàng tạo ra bởi LLM đã được đề xuất như một biện pháp khắc phục, nhưng làm thế nào các mô hình như vậy sẽ xử lý các bản thảo đã được xuất bản trong các tạp chí y khoa hàng đầu bao gồm Nature, Science và Cell, điều gần nhất hệ thống hiện tại có một tiêu chuẩn vàng về tính hợp lệ khoa học, không được biết. Ở đây chúng tôi đã lắp ráp một tập hợp các bài báo 200, mỗi bài báo được phát hành theo giấy phép cụ thể CC BY 4.0 và xuất bản vào năm 2026, từ 20 khoa học chung, khoa học cuộc sống, và các tạp chí y khoa lâm sàng bao gồm Nature, Khoa học

Machine translation (Meta M2M100); the English original follows.

Abstract

With the growth of scientific output, the peer review system is approaching a breaking point: reviewers are increasingly hard to secure, and turnaround times lengthen accordingly. LLM-assisted or LLM-generated peer review has been proposed as a remedy, but how such models would treat manuscripts already published in top-tier journals, the closest thing the current system has to a gold standard of scientific validity, is not known. Here we assembled a corpus of 200 articles, each released under a CC BY 4.0 license and published in 2026, from 20 general-science, life-science, and clinical-medicine journals including Nature, Science, and Cell, and asked four current LLMs (two proprietary, two open-weight) to produce independent peer-review reports of each one under a blinded protocol. Their decisions were overwhelmingly harsh and starkly inconsistent with each other: 605 of 800 reviews (75.6%) recommended major revision or rejection, but the rate at which any single model did so ranged from 17.5% to 100% (p < 0.001), disagreement on manuscripts that had, by construction, already survived real editorial review at the journals in question. When the same manuscripts were doctored with one deliberately planted, field-specific methodological or statistical flaw, detection rates varied from 17.0% to 60.5% across models (p < 0.001). Recommending revision for papers that had already passed editorial review (low specificity) while missing flaws deliberately placed in front of them (low sensitivity), these models produce output that should be read for what it is: an uneven, framing- and model-dependent signal.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Minor (academic), Publishing, License, Impact factor, History, Original research

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange