Newest papers

StepBench: Diagnosing Real-World Procedural Understanding in AI Agents

Hossein A. Rahmani, Bin Wu, Chaeeun Lee, Fanghua Ye, Sahan Bulathwela, Sujay Kumar Jauhar, Marzieh Fadaee, Nick Craswell, Emine Yılmaz · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26679 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Đánh giá khả năng lập kế hoạch của một đại lý vẫn là một thách thức đối với các nhiệm vụ miền mở, nơi việc xác minh các thủ tục thông qua việc thực hiện thường là không thực tế. Các đánh giá hiện tại thường chỉ đánh giá kế hoạch cuối cùng và không phân biệt các lỗi thủ tục như thiếu, không chính xác hoặc sai lệch hành động. Chúng tôi giới thiệu STEPBENCH, một điểm chuẩn của 6.885 thủ tục đã được xác minh được thu thập từ wikiHow trên 81 danh mục miền mở. Từ mỗi thủ tục, chúng tôi rút ra 5 nhiệm vụ chẩn đoán: bốn với các câu trả lời xác định liên quan đến các bước bị giữ lại, không chính xác hoặc bị xáo trộn, và một yêu cầu thế hệ bước tiếp theo. Chúng tôi cũng đánh giá thế hệ kế hoạch đầy đủ để kiểm tra hiệu suất chẩn đoán tương quan như thế nào với hiệu quả cuối đến

Machine translation (Meta M2M100); the English original follows.

Abstract

Evaluating an agent's planning ability remains challenging for open-domain tasks, where verifying procedures through execution is often impractical. Existing evaluations typically assess only the final plan and do not distinguish procedural errors such as missing, incorrect, or misordered actions. We introduce STEPBENCH, a benchmark of 6,885 verified procedures crawled from wikiHow across 81 open-domain categories. From each procedure, we derive 5 diagnostic tasks: four with deterministic answers involving withheld, incorrect, or shuffled steps, and one requiring next-step generation. We additionally evaluate full-plan generation to examine how diagnostic performance correlates with end-to-end plan validity. Using the same procedures across tasks lets us directly compare different planning capabilities. For generation, STEPEVAL identifies critical failures that prevent goal completion. Across 14 configurations of 12 models, we find substantial differences across planning capabilities, with step ordering proving the most difficult: the strongest model correctly orders only 63.0% of procedures, dropping to 33.1% for those with nine or more steps. Incorrect-step detection also predicts judged plan validity across models, suggesting a lower-cost alternative for evaluating generation quality. On STEPBENCH-Val, comprising 214 procedures published in 2026, comprehension scores and rankings remain stable, suggesting limited influence from memorisation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Plan (archaeology), Artificial intelligence, Machine learning, Benchmark (surveying), Comprehension

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange