Newest papers

TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29985 · open-access PDF

Vietnamese

Hiệu suất Benchmark là tiêu chuẩn thống trị để so sánh các mô hình ngôn ngữ lớn (LLMs), thường được tóm tắt bằng một điểm số tổng hợp duy nhất, chẳng hạn như độ chính xác, tỷ lệ vượt qua hoặc điểm số tiêu đề. Điểm tổng hợp này cung cấp thông tin hạn chế về khả năng cơ bản của một mô hình, nhưng hiểu được những khả năng này rất quan trọng đối với việc phát triển và đánh giá mô hình. Với mục đích này, chúng tôi đề xuất đánh giá chẩn đoán do cây gây ra (TIDE), trong đó đánh giá chẩn đoán được tái tạo như một cây quyết định dựa trên hành vi để thực hiện chẩn đoán khả năng hạt mịn.

Machine translation (Meta M2M100); the English original follows.

Abstract

Benchmark performance is the dominant standard for comparing large language models (LLMs), typically summarized by a single aggregate score, such as accuracy, pass rate, or rubric score. This aggregate score provides limited information about a model's underlying capabilities, yet understanding these capabilities is crucial for model development and evaluation. To this end, we propose Tree-Induced Diagnostic Evaluation (TIDE), which recasts diagnostic evaluation as behavior-driven decision-tree induction to perform fine-grained capability diagnosis. TIDE recursively builds a hierarchical capab

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange