Newest papers

Foundation Model Driven Optical Flow

Praroop Chanda, Suryansh Kumar · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26690 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Chúng tôi nghiên cứu làm thế nào các đại diện hình ảnh và chiều sâu được đào tạo trước đóng băng hỗ trợ lưu lượng quang học dày đặc khi kết hợp với một mạng phù hợp được giám sát. Xây dựng trên TTSFlow, bài báo này nghiên cứu giải mã tính năng Dense Prediction Transformer (DPT) và một giai đoạn tinh chế thô đến mỏng. Phương pháp của chúng tôi kết hợp các tính năng từ các mô hình DINOv2 và Deep Anything V2 đóng băng và ước tính lưu lượng quang học thông qua một đường ống phù hợp có thể đào tạo được. Sau khi đào tạo lưu lượng quang học trên FlyingChairs và FlyingThings3D, nó đạt được lỗi điểm cuối 2.37 (EPE) trên phân chia đào tạo Sintel, Pass cuối cùng, so với 2.52 cho cấu hình FlowSeek (T) được báo cáo ở đây.

Machine translation (Meta M2M100); the English original follows.

Abstract

We investigate how frozen pretrained visual and depth representations support dense optical flow when coupled with a supervised matching network. Building on TTSFlow, this paper studies Dense Prediction Transformer (DPT) feature decoding and one coarse-to-fine refinement stage. Our method fuses features from frozen DINOv2 and Depth Anything V2 models and estimates optical flow through a trainable transformer-based matching pipeline. After optical-flow training on FlyingChairs and FlyingThings3D, it achieves 2.37 endpoint error (EPE) on the Sintel training split, Final pass, compared with 2.52 for the FlowSeek (T) configuration reported here. Our RoCo-Spring 2026 entry, RoCo-29.VSAI, obtains a robustness-balanced score of 1.1038, Spring EPE of 1.411, and RobustSpring proxy EPE of 4.739, with a lower balanced score than seven of the twelve listed reference baselines. These results characterize the complete pipeline, which reuses frozen foundation backbones and performs one refinement stage. Code is available at: \url{https://github.com/Visual-and-Spatial-AI-Lab/FFlow}

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Optical flow, Transformer, Matching (statistics), Artificial intelligence, Code (set theory)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange