Newest papers

When Code Becomes an LLM Call: An Empirical Study of Call-Site Contracts in Agentic Systems

Shihao Weng, L. Wang, Yang Feng, Mingfei Cheng, Jia Liu, Chao Shen, He Ye, Federica Sarro, Xiaofei Xie · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.24545 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Mặc dù các cơ chế kiểm tra chất lượng gforce đã từ lâu dựa trên các thông số kỹ thuật cho biết mã phải làm gì, và trên việc kiểm tra và xác minh rằng mã phải làm. Các hệ thống đại lý thay đổi nền tảng này: họ thay thế các phần của logic của họ, chẳng hạn như chọn công cụ tiếp theo, đánh giá xem hành động có được phép hay viết mã để chạy, với các cuộc gọi đến một mô hình ngôn ngữ lớn (LLM). Chương trình vẫn dựa vào những gì logic này phải đảm bảo, nhưng hành vi của mô hình này không được cố định bằng mã, thay đổi qua các chạy, và có thể được điều khiển bởi đầu vào của nó. Do đó, sự đảm bảo phải đến từ chương trình xung quanh mỗi trang web gọi LLM, như một hợp đồng của các điều kiện trước, hạn chế trước và sau. Chúng tôi trình bày một nghiên cứu thực nghiệm về các hợp đồng

Machine translation (Meta M2M100); the English original follows.

Abstract

Software quality has long rested on specifications that state what code must do, and on testing and verification that check that the code does it. Agentic systems change this foundation: they replace parts of their logic, such as choosing the next tool, judging whether an action is allowed, or writing code to run, with calls to a large language model (LLM). The program still relies on what this logic must guarantee, but the model's behavior is not fixed by code, varies across runs, and can be steered by its input. The guarantee must therefore come from the program around each LLM call site, as a contract of pre-conditions, prompt constraints, and post-conditions. We present an empirical study of these contracts in 496 LLM call sites of 40 popular open-source agentic systems (13.4 MLOC, four languages). Using a multi-agent pipeline validated by 17,428 human judgments, we trace where every model output flows, derive an expected contract for each call site without access to its code, and compare it with the contract that the code implements. We find that 48% of LLM outputs reach control flow or execution, and 73% of these never reach a person. Programs enforce 78% of their constraints in code, but in the prompt, 67% of the constraints are only requested from the model. Although 82% of call sites are checked before and after the call, 63% of the expected constraints are unmet and only 5.3% of call sites satisfy their whole contract; ten recurring patterns explain 99% of the gaps. 38 mechanisms behind these gaps trigger at runtime, and a small code fix that enforces the expected constraint stops all 38. Our results show that the presence of checks says little about their adequacy, and we derive implications for agent developers, framework maintainers, and researchers.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, TRACE (psycholinguistics), Code (set theory), Empirical research, Action (physics), Control flow

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange