Newest papers

Documentation Drift in AI-Generated Pull Requests

Will De Michele, Kla Tantithamthavorn · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.27381 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đại lý mã hóa AI hiện đang đóng góp vào các kho lưu trữ phần mềm ở quy mô lớn, nhưng thực tiễn tài liệu của họ vẫn chưa được mô tả. Chúng tôi phân tích 29,669 yêu cầu kéo được tạo ra bởi AI từ 2,585 kho lưu trữ trong bộ dữ liệu AIDev, đo lường sự trao đổi tài liệu: liệu các sửa đổi tệp mã được đi kèm với bản cập nhật tệp tài liệu trong cùng một PR. Chúng tôi thấy rằng 63.2% PR AI thay đổi mã mà không cập nhật bất kỳ tài liệu nào. Điều này thay đổi mạnh mẽ theo loại nhiệm vụ: 55.2% cho các tính năng và 77.5% cho việc tái tạo. Các tệp mã không được ghi chép được theo sau bởi một sửa đổi cho cùng một tệp 8.6 đến 11.7% thường xuyên hơn so với các tệp được ghi chép trên 30 cửa sổ 90 ngày. Một so sánh PR

Machine translation (Meta M2M100); the English original follows.

Abstract

AI coding agents now contribute to software repositories at scale, yet their documentation practices remain uncharacterised. We analyse 29,669 AI-generated pull requests from 2,585 repositories in the AIDev dataset, measuring documentation co-change: whether code-file modifications are accompanied by a documentation-file update in the same PR. We find that 63.2% of AI PRs change code without updating any documentation. This varies sharply by task type: 55.2% for features and 77.5% for refactoring. Undocumented code files are followed by a fix to the same file 8.6 to 11.7% more often than documented files across 30 to 90-day windows. A raw PR-level comparison shows the opposite because documented PRs are 3.9 times larger and therefore attract more fixes. Controlling for size exposure reverses this result. Documented changes also merge faster despite their larger size (median: 40 seconds versus 184 seconds), although merging is largely automated in this dataset. Documentation drift also compounds: within 90 days, a file changed without documentation is later re-documented at roughly half the rate of a file changed with documentation (24% versus 48%). This suggests that documentation debt tends to accumulate rather than be revisited.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Documentation, Merge (version control), Computer science, Internal documentation, Task (project management), Coding (social sciences)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange