Hossein A. Rahmani, Bin Wu, Chaeeun Lee, Fanghua Ye, Sahan Bulathwela, Sujay Kumar Jauhar, Marzieh Fadaee, Nick Craswell · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26679 · open-access PDF
Évaluer la capacité de planification d'un agent reste un défi pour les tâches de domaine ouvert, où la vérification des procédures par l'exécution est souvent impraticable. Les évaluations existantes évaluent généralement uniquement le plan final et ne distinguent pas les erreurs de procédure telles que les actions manquantes, incorrectes ou mal ordonnées. Nous présentons STEPBENCH, une référence de 6 885 procédures vérifiées parcourues par wikiHow dans 81 catégories de domaine ouvert. De chaque procédure, nous dérivons 5 tâches de diagnostic: quatre avec des réponses déterministes impliquant des étapes retenues, incorrectes ou flouées, et une nécessitant la génération de prochaines étapes.
Machine translation (Meta M2M100); the English original follows.
Evaluating an agent's planning ability remains challenging for open-domain tasks, where verifying procedures through execution is often impractical. Existing evaluations typically assess only the final plan and do not distinguish procedural errors such as missing, incorrect, or misordered actions. We introduce STEPBENCH, a benchmark of 6,885 verified procedures crawled from wikiHow across 81 open-domain categories. From each procedure, we derive 5 diagnostic tasks: four with deterministic answers involving withheld, incorrect, or shuffled steps, and one requiring next-step generation. We addit
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26679, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange