Luong Tuan Thanh, Abhijit Sanyal · 2026 · arXiv
DOI: 10.48550/arXiv.2610.30924 · open-access PDF
A avaliação do agente de IA empresarial precisa de evidências sobre se as suítes de teste expõem falhas especificadas e se as suas regras de referência são confiáveis. Introduzimos o REGATTA (Regulatory Evaluation of Agents via Two-stage Testing and Assurance), um quadro de medição com três instrumentos. Uma lista de verificação de 125 itens citada por fonte abrange cinco células de indústria por jurisdição nos Estados Unidos e no Vietnã. Um corpus de falhas 25 abrange cinco categorias e um harness pontua a detecção de falhas de nível de suite nas fases de projeto e execução. Examinamos quatro diagnósticos de medição em 180 suítes gerados (5.400 s).
Machine translation (Meta M2M100); the English original follows.
Enterprise AI-agent evaluation needs evidence about whether test suites expose specified faults and whether their reference rules are trustworthy. We introduce REGATTA (Regulatory Evaluation of Agents via Two-stage Testing and Assurance), a measurement framework with three instruments. A 125-item source-cited checklist spans five industry-by-jurisdiction cells across the United States and Vietnam. A 25-fault corpus covers five categories, and a harness scores suite-level fault detection at the design and execution stages. We examine four measurement diagnostics on 180 generated suites (5,400 s
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.30924, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange