Qiuyang Mang, Wenhao Chai, Runyuan He, Dongruixuan Li, Zihan Zheng, Yujun He, Xuanyi Zhou, Hao Wang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29932 · open-access PDF
Можем ли агенты LLM внести вклад в научные исследования в области компьютерных наук? Мы вводим FrontierCS 2, ориентир из 48 открытых задач. Мы берем бумагу и код, выпущенный ее авторами, и удаляем вклад бумаги. Удаленный код становится человеческой ссылкой, которая устанавливает бар. Раньше открытые ориентиры дают каждому агенту заявление о проблеме и оценивают одну программу после запуска. FrontierCS 2 помещает агента в исследовательскую среду. Агент унаследует рабочий репозиторий и может представить патч в любой момент.
Machine translation (Meta M2M100); the English original follows.
Can LLM agents make contributions to frontier computer science R&D? We introduce FrontierCS 2, a benchmark of 48 open-ended tasks. We take a paper and the code its authors released and delete the paper's contribution. The deleted code becomes the human reference that sets the bar. Earlier open-ended benchmarks give each agent a problem statement and grade one program after the run. FrontierCS 2 places the agent inside a research environment. The agent inherits a working repository and may submit a patch at any point. For each patch, a judge returns a development-suite score but keeps the e
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29932, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange