Newest papers

Training-free Acceleration for Blind Compressed Image Restoration via Activation-Calibrated Singular Value Decomposition

姚苏杭, Xin Li, Xijun Wang, Yufei Wang, Yeying Jin, Zhibo Chen · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29959 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình hoạt động dựa trên transformer 21 ghi nhận hiệu suất mạnh trên việc khôi phục hình ảnh nén mù (CIR) dưới các cài đặt nén trước không rõ, nhưng các nhà điều hành dự đoán dày đặc của họ thực hiện triển khai tốn kém. Chúng tôi nghiên cứu tăng tốc không có đào tạo cho các mô hình như vậy thông qua phân tích thực nghiệm, cấp nhà điều hành. Đặc biệt, chúng tôi mô tả nơi tính toán được tập trung, đặc trưng cho các phân phối kích hoạt theo kênh theo đường dẫn dưới đầu vào nén, và kiểm tra sự suy giảm giá trị đơn của trọng lượng dự đoán đại diện. Những phép đo này xác định các dự đoán lặp đi lặp lại trong sự chú ý, nguồn cấp, kết nối, và các con đường điều hòa nhanh như là các mục tiêu thay thế hạng thấp hiệu quả trên mạng bảo vệ đồ họa dẫn đầu gốc. Họ tiếp tục thiết

Machine translation (Meta M2M100); the English original follows.

Abstract

Transformer-based models achieve strong performance on blind compressed image restoration (CIR) under unknown compression settings, but their densely stacked projection operators make deployment costly. We study training-free acceleration for such models through an empirical, operator-level analysis. Specifically, we profile where computation is concentrated, characterize channel-wise activation distributions under compressed inputs, and examine the singular-value decay of representative projection weights. These measurements identify the recurring projections in the attention, feed-forward, convolutional, and prompt-conditioning pathways as effective low-rank replacement targets that preserve the original inference graph. They further establish truncated SVD (TSVD) as a principled training-free baseline for blind CIR and reveal why a uniform low-rank objective is mismatched to the channel-imbalanced feature distributions of compressed images. Accordingly, we formulate Activation-Calibrated Singular Value Decomposition (ASVD) for this restoration setting, deriving low-rank factors entirely offline from pretrained weights and lightweight activation statistics gathered from only a few compressed calibration images. By weighting the decomposition with channel-wise activation magnitudes, our ASVD assigns larger penalties to errors on more active channels, requiring neither retraining nor online calibration and leaving the restoration pipeline intact. When instantiated on PromptCIR at rank 64, ASVD consistently improves PSNR-B over TSVD across four standard benchmarks under identical parameter and MAC budgets. At this operating point, the factorized model cuts parameters by 59% (34.75M to 14.34M) and computation by 16.1% (258.79 to 217.16 GMACs for a 256 x 256 input), enabling acceleration without retraining.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Singular value decomposition, Projection (relational algebra), Computation, Acceleration, Pipeline (software), Compressed sensing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange