Newest papers

SpectralCanary: Embarrassingly Simple Low-Frequency Traces for T2I Dataset-Use Auditing

Sy-Tuyen Ho, Anirudh Satheesh, Soham Chawathe, Huy Tran Nghiem, Yongkyun Lee, Andrew A. Schoen, Furong Huang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31659 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Kiểm tra xem một mô hình chuyển đổi từ văn bản sang hình ảnh (T2I) có được điều chỉnh tốt trên một bộ sưu tập hình ảnh cụ thể là khó khăn: một mô hình có thể hấp thụ các đặc điểm hình ảnh hiệu quả trên bộ sưu tập mà không tái tạo các hình ảnh đào tạo. Kiểm tra trực quan sử dụng bộ dữ liệu chủ động tạo ra một tín hiệu được chia sẻ trong một bộ dữ liệu trước khi phát hành, sau đó kiểm tra xem tín hiệu đó xuất hiện trong các đầu ra được tạo ra của mô hình bị nghi ngờ có bị thay đổi hay không. Các phương pháp tiếp cận hiện có thường không đòi hỏi khả năng xác minh, độ tin cậy, độ bền và khả năng triển khai. Chúng tôi giới thiệu $\textb{ΔpectralCanary}$, sử dụng một mặt nạ thấp để pha trộn một hình ảnh canary cố định vào mỗi bộ s

Machine translation (Meta M2M100); the English original follows.

Abstract

Auditing whether a text-to-image (T2I) model was fine-tuned on a particular image collection is difficult: a model can absorb collection-level visual characteristics without reproducing training images. Proactive dataset-use auditing plants a shared signal in a dataset before release, then later checks whether that signal appears in a suspect model's generated outputs. Existing approaches often trade off verifiability, fidelity, robustness, and deployability. We introduce $\textbf{SpectralCanary}$, which uses a smooth low-pass mask to blend a fixed canary image into every collection image while leaving captions unchanged and requiring neither auxiliary generation nor per-image optimization. A lightweight verifier detects the transferred signal in suspect-model outputs. Across eight tests on the Pokemon dataset and three realistic data transformations, spanning two architectures families, SpectralCanary achieves the highest average per-generation TPR@$1\%$ FPR ($91.1\%$) and fixed threshold model-level accuracy using 30 generations ($94.8\%$) among the evaluated methods. Across five datasets spanning artistic, medical, satellite, and fashion domains with SD3.5, SpectralCanary averages $92.4\%$ per-generation TPR@$1\%$ FPR while preserving the released images (SSIM $0.989$, LPIPS $0.022$) with a near-zero mean change FID (mean $Δ$FID $0.05$) across datasets. Matched-energy ablations on Pokemon and ROCOv2 support our design choice, low-frequency placement transfers more reliably compared to mid/high-frequency placement. Under the evaluated adaptive attacks, the most effective removal requires aggressive modification and incurs more than $25$ $Δ$FID points. These results identify low-frequency visual signals as effective carriers for collection-level T2I audit traces.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Audit, SIGNAL (programming language), Computer science, Image (mathematics), Artificial intelligence, Suspect

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange