Newest papers

StepBench: Diagnosing Real-World Procedural Understanding in AI Agents

Hossein A. Rahmani, Bin Wu, Chaeeun Lee, Fanghua Ye, Sahan Bulathwela, Sujay Kumar Jauhar, Marzieh Fadaee, Nick Craswell · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26679 · open-access PDF

Hindi

एक एजेंट की योजना की क्षमता का मूल्यांकन ओपन डोमेन कार्यों के लिए चुनौतीपूर्ण रहता है, जहां निष्पादन के माध्यम से प्रक्रियाओं की पुष्टि अक्सर अप्रभावी होती है. मौजूदा मूल्यांकन आमतौर पर केवल अंतिम योजना का मूल्यांकन करते हैं और अनुपस्थित, गलत या गलत कार्यों जैसे प्रक्रिया त्रुटियों को अलग नहीं करते हैं. हम STEPBENCH को पेश करते हैं, जो 81 ओपन डोमेन श्रेणियों में wikiHow से स्क्रैव किए गए 6,885 सत्यापित प्रक्रियाओं का एक संदर्भ है. प्रत्येक प्रक्रिया से, हम 5 नैदानिक कार्यों को निष्पादित करते हैं: चार निर्णायक उत्तर शामिल हैं, गलत, या shuffled कदम, और एक को अगले चरण के उत्पादन की आवश्यकता होती है. हम

Machine translation (Meta M2M100); the English original follows.

Abstract

Evaluating an agent's planning ability remains challenging for open-domain tasks, where verifying procedures through execution is often impractical. Existing evaluations typically assess only the final plan and do not distinguish procedural errors such as missing, incorrect, or misordered actions. We introduce STEPBENCH, a benchmark of 6,885 verified procedures crawled from wikiHow across 81 open-domain categories. From each procedure, we derive 5 diagnostic tasks: four with deterministic answers involving withheld, incorrect, or shuffled steps, and one requiring next-step generation. We addit

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange