Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith, Grace N. Johnecheck, James B. Golden · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26829 · open-access PDF
프론티어 에이전트는 구조적 메타데이터를 잘 검색하고 좌표에서 기하학을 덜 신뢰할 수 있습니다. 우리는 벤치마크 점수가 그 격차를 반영하고 모델 주위의 평가 구성을 반영하는 점수를 얼마나 많이 묻습니다. 우리는 ProteinGeoBench, 131 개의 단백질 구조 작업 세트를 연구하고, 4 개의 프론티어 모델에서 4,249 개의 로로드와 26 개의 모델에서 4,486 개의 추가 시험을 사용합니다. 4 개의 프론티어 모델 중 3 개는 서로 0.031 (0,785에서 0.816)의 범위 내에 떨어지며 그들 사이의 차이는 해결되지 않았으며, 네 번째는 0.707의 점수를 받았으며 3 개의 프론티어 모델은 0을 제외했습니다.
Machine translation (Meta M2M100); the English original follows.
Frontier agents retrieve structural metadata well and compute geometry from coordinates less reliably. We ask how much of a benchmark score reflects that gap and how much reflects the evaluation configuration around the model. We study ProteinGeoBench, a suite of 131 protein-structure tasks, using 4,249 rollouts from four frontier models and 4,486 further trials across 26 models. Three of the four frontier models fall within 0.031 of one another (0.785 to 0.816) with no difference between them resolved, while the fourth scores 0.707 and all three gaps to it exclude zero. Three of the four do b
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26829, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange