Newest papers

VideoMaMa++: Temporally Consistent Video Matting via Preserve-and-Refine Token

Sangbeom Lim, Seoung Wug Oh, Heeji Yoon, Seungryong Kim, Joon-Young Lee · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26857 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Mát video dựa trên hình ảnh dài gần đây đã nổi lên như một cách tiếp cận hàng đầu, tận dụng các phương pháp truyền hình video từ việc đào tạo trước quy mô internet để đạt được tổng quát zero-shot mạnh mẽ từ dữ liệu tổng hợp hạn chế. Tuy nhiên, tính toán nặng của các xương sống phân tán này giới hạn kết luận đến một phần ngắn chỉ từ 6 đến 24 khung, vì vậy ngay cả các video thông thường trải dài nhiều phần. Bởi vì mỗi phần được dán độc lập từ hướng dẫn mặt nạ thô, các phương pháp hiện có không duy trì sự nhất quán qua các ranh giới phân tán, tạo ra các cạnh nhấp nháy và độ minh bạch không liên tục. Chúng tôi giải quyết điều này với một khung phân tán được hướng dẫn bởi mặt nạ ngắn được xây dựng trên hai ý tưởng. RGB và mặt nạ thông thường được đại diện như các dòng token thời gian

Machine translation (Meta M2M100); the English original follows.

Abstract

Diffusion-based video matting has recently emerged as a leading approach, leveraging video diffusion priors from internet-scale pretraining to achieve strong zero-shot generalization from limited synthetic data. However, the heavy compute of these diffusion backbones limits inference to a short chunk of just 6 to 24 frames, so even ordinary videos span multiple chunks. Because each chunk is matted independently from coarse mask guidance, existing methods fail to maintain consistency across chunk boundaries, producing flickering edges and discontinuous transparency. We address this with a mask-guided diffusion-matting framework built on two ideas. The RGB and mask conditioning are represented as separate token streams that interact through full spatio-temporal self-attention, letting the model adaptively combine fine RGB texture with coarse mask layout rather than committing to a fixed channel-wise fusion. On top of this, we propose a novel pair of learnable embeddings, the preserve token and the refine token, that act as a per-frame conditioning interface and enable a sliding-window inference scheme in which already-generated mattes are propagated across chunk boundaries for local temporal consistency, complemented by a globally shared reference anchor at every chunk to prevent error accumulation in long sequences without any additional training. Across standard video matting benchmarks and in-the-wild long footage, our framework outperforms prior diffusion-based methods in both fine-detail accuracy and temporal consistency, and uniquely maintains consistency across chunk boundaries on long videos.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Security token, Computer science, Inference, Generalization, Consistency (knowledge bases), Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange