Newest papers

FrontierCS 2: A Benchmark for Computer Science R&D

Qiuyang Mang, Wenhao Chai, Runyuan He, Dongruixuan Li, Zihan Zheng, Yujun He, Xuanyi Zhou, Hao Wang, Siddhant Ray, Bo Peng, Ruyi Ji, Shuo Yang, Haocheng Xi, Boru Chen, Xinyang David Han, Melissa Pan, Mayank Mishra, Boxi Yu, Sijia Liu, Kerem Akillioglu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29932 · cited by 0 works (OpenAlex) · open-access PDF

German

Können LLM-Agenten Beiträge zur grenzüberschreitenden Informatikforschung und -entwicklung leisten? Wir führen FrontierCS 2 ein, ein Benchmark von 48 offenen Aufgaben. Wir nehmen ein Papier und den Code, den seine Autoren veröffentlichen und löschen den Beitrag des Papieres. Der gelöschte Code wird die menschliche Referenz, die die Bar setzt. FrontierCS 2 gibt jedem Agent eine Problemerklärung und ein Programm nach dem Auslaufen. FrontierCS 2 stellt den Agent in eine Forschungsumgebung ein. Der Agent erbt ein Arbeitsrepository und kann zu jedem Zeitpunkt einen Patch einreichen. Für jeden Patch gibt ein Richter eine Entwicklungs-Suite-Score zurück, hält aber den Bewerter, die endgültige Suite und die Referenz privat und bewertet die endgül

Machine translation (Meta M2M100); the English original follows.

Abstract

Can LLM agents make contributions to frontier computer science R&D? We introduce FrontierCS 2, a benchmark of 48 open-ended tasks. We take a paper and the code its authors released and delete the paper's contribution. The deleted code becomes the human reference that sets the bar. Earlier open-ended benchmarks give each agent a problem statement and grade one program after the run. FrontierCS 2 places the agent inside a research environment. The agent inherits a working repository and may submit a patch at any point. For each patch, a judge returns a development-suite score but keeps the evaluator, the held-out final suite and the reference private, and grades the final submission on that suite against the reference. The tasks span 13 domains, from machine-learning systems and high-performance computing to databases, security and robotics. Beyond these 48 tasks, FrontierCS 2 keeps a private set of more than 100 tasks, to be announced in the future. We evaluate 12 agents. The best one is Claude Opus 5.5, passing 58% of its runs. No run passes on 16 tasks. A higher score is not the same as a pass: most runs that beat the reference on the combined final score still fall short on some metric or workload. On a shared capability scale for agents and tasks, the median task is roughly as difficult as what the strongest agent can handle.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Suite, Computer science, Benchmark (surveying), Code (set theory), Metric (unit), Task (project management)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange