Newest papers

From Candidate Admission to Task-Level Return: Auditing LLM-Generated Code under Execution Contracts

Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24609 · open-access PDF

Spanish

Las reglas de admisión conservan los programas generados, mientras que las políticas de selección devuelven a un candidato por tarea. Auditamos cómo estas decisiones interactúan con los contratos de ejecución en dos cohortes HumanEvalPlus congeladas por separado, cada una de las cuales consta de 32 tareas, cuatro muestras por tarea por perfil y dos perfiles servidos. Bajo el contrato de ejecución en línea, una pantalla de prueba estructural y autotest admite 4-9 pases de suite ampliada por 80-107 admisiones y excluye 14-43 pases de suite por 128 intentos planificados.

Machine translation (Meta M2M100); the English original follows.

Abstract

Admission rules retain generated programs, whereas selection policies return one candidate per task. We audit how these decisions interact with execution contracts in two separately frozen, disjoint HumanEvalPlus cohorts, each comprising 32 tasks, four samples per task per profile and two served profiles. Under the inline execution contract, a structural-and-self-test screen admits 4-9 expanded-suite nonpasses per 80-107 admissions and excludes 14-43 suite passes per 128 planned attempts. A restricted module-supply condition adds 20 and 14 passing admissions for one profile in the respective c

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange