Newest papers

On the Effectiveness of Snapshot Testing: An Empirical Study

Shun FUJITA, Satoru Tomizawa, Yutaro Kashiwa, Bin Lin, Hajimu Iida · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29549 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Kiểm tra phần mềm là điều cần thiết để đảm bảo chất lượng, tuy nhiên kiểm tra các giao diện người dùng phức tạp phía trước thường là tốn thời gian và khó khăn. Kiểm tra snapshot đã nổi lên như một phương pháp kiểm tra hồi quy chi phí thấp phát hiện ra những thay đổi bất ngờ bằng cách so sánh hành vi chương trình trước và sau khi sửa đổi. Mặc dù sự áp dụng ngày càng tăng, bằng chứng thực nghiệm về hiệu quả thực tế của nó vẫn còn rất ít. Để lấp đầy khoảng cách này, nghiên cứu này trình bày một cuộc điều tra thực nghiệm quy mô lớn về hiệu quả của kiểm tra snapshot liên quan đến 340 kho lưu trữ GitHub và một cuộc khảo sát của 60 học viên có kinh nghiệm. Kết quả định lượng của chúng tôi cho thấy rằng kết hợp các thử nghiệm snapshot và các thử nghiệm không snapshot truyền thống làm tăng đáng kể phạm vi mã, đạt được

Machine translation (Meta M2M100); the English original follows.

Abstract

Software testing is essential for ensuring quality, yet testing complex front-end user interfaces is often time-consuming and difficult. Snapshot testing has emerged as a low-cost regression testing method that detects unexpected changes by comparing program behavior before and after modifications. Despite its growing adoption, empirical evidence regarding its actual effectiveness remains scarce. To fill this gap, this study presents a large-scale empirical investigation into the effectiveness of snapshot testing involving 340 GitHub repositories and a survey of 60 experienced practitioners. Our quantitative results demonstrate that combining snapshot and traditional non-snapshot tests significantly enhances code coverage, achieving a median statement coverage of 86.7%. We find that the two approaches are highly complementary, typically exercising distinct regions of the production code. Furthermore, test suites incorporating snapshot tests detected 1.3 times more mutants than those relying solely on traditional tests. Our qualitative insights from the developer survey reveal that practitioners value snapshot testing for its ease of implementation, ability to prevent regressions, and transparency in checking results. However, reviewing large result sets and managing false positives remain significant hurdles. These findings guide the strategic integration and future improvement of snapshot testing in modern development pipelines.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Snapshot (computer storage), Computer science, Regression testing, Empirical research, False positive paradox, Manual testing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange