Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith, Grace N. Johnecheck, James B. Golden · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26829 · open-access PDF
Агенты пограничников хорошо получают структурные метаданные и менее надежно вычисляют геометрию из координат. Мы спрашиваем, сколько баллов отсчета отражает этот разрыв и сколько отражает конфигурацию оценки вокруг модели. Мы изучаем ProteinGeoBench, комплект из 131 заданий по структуре белка, используя 4,249 развертываний из четырех пограничных моделей и 4,486 дальнейших испытаний в 26 моделях. Три из четырех пограничных моделей находятся в пределах 0,031 друг от друга (0,785 до 0,816) без разницы между ними, в то время как четвертый оценивает 0,707 и все три пробела к нему исключают нуль.
Machine translation (Meta M2M100); the English original follows.
Frontier agents retrieve structural metadata well and compute geometry from coordinates less reliably. We ask how much of a benchmark score reflects that gap and how much reflects the evaluation configuration around the model. We study ProteinGeoBench, a suite of 131 protein-structure tasks, using 4,249 rollouts from four frontier models and 4,486 further trials across 26 models. Three of the four frontier models fall within 0.031 of one another (0.785 to 0.816) with no difference between them resolved, while the fourth scores 0.707 and all three gaps to it exclude zero. Three of the four do b
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26829, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange