Newest papers

From Candidate Admission to Task-Level Return: Auditing LLM-Generated Code under Execution Contracts

Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda · 2026 · arXiv

DOI: 10.48550/arXiv.2610.24609 · open-access PDF

Arabic

يتم التحقق من كيفية تفاعل هذه القرارات مع اتفاقيات التنفيذ في اثنين من مجموعات HumanEvalPlus المزودة بشكل منفصل، تتكون كل منها من 32 وظيفة، أربعة نموذج لكل وظيفة لكل ملف وموظفات مخصصة. بموجب اتفاقية التنفيذ في الشبكة، يُعزز شاشة التكوين والتجربة الذاتية 4-9 لاعباً متوسطة لكل 80-107 الإدخالات، ويمنع 14-43 لاعباً لكل 128 محاولة مخصصة. يُعزز شروط توزيع الموديلات المحددة 20 و14 إدخالاً لكل ملف في المراكز ذات الصلة.

Machine translation (Meta M2M100); the English original follows.

Abstract

Admission rules retain generated programs, whereas selection policies return one candidate per task. We audit how these decisions interact with execution contracts in two separately frozen, disjoint HumanEvalPlus cohorts, each comprising 32 tasks, four samples per task per profile and two served profiles. Under the inline execution contract, a structural-and-self-test screen admits 4-9 expanded-suite nonpasses per 80-107 admissions and excludes 14-43 suite passes per 128 planned attempts. A restricted module-supply condition adds 20 and 14 passing admissions for one profile in the respective c

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange