Qiuyang Mang, Wenhao Chai, Runyuan He, Dongruixuan Li, Zihan Zheng, Yujun He, Xuanyi Zhou, Hao Wang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29932 · open-access PDF
Các đại lý LLM có thể đóng góp vào R&D khoa học máy tính biên giới không? Chúng tôi giới thiệu FrontierCS 2, một tiêu chuẩn của 48 nhiệm vụ mở. Chúng tôi lấy một bài báo và mã được phát hành bởi các tác giả của nó và xóa đóng góp của bài báo. Mã bị xóa trở thành tham chiếu của con người đặt thanh. Các tiêu chuẩn mở trước đây đưa ra cho mỗi đại lý một tuyên bố vấn đề và xếp hạng một chương trình sau khi chạy. FrontierCS 2 đặt đại lý bên trong một môi trường nghiên cứu. Đại lý thừa hưởng một kho lưu trữ làm việc và có thể gửi bản vá tại bất kỳ thời điểm nào. Đối với mỗi bản vá, một thẩm phán trả lại điểm phát triển nhưng giữ lại e
Machine translation (Meta M2M100); the English original follows.
Can LLM agents make contributions to frontier computer science R&D? We introduce FrontierCS 2, a benchmark of 48 open-ended tasks. We take a paper and the code its authors released and delete the paper's contribution. The deleted code becomes the human reference that sets the bar. Earlier open-ended benchmarks give each agent a problem statement and grade one program after the run. FrontierCS 2 places the agent inside a research environment. The agent inherits a working repository and may submit a patch at any point. For each patch, a judge returns a development-suite score but keeps the e
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29932, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange