Newest papers

Foundation Model Driven Optical Flow

Praroop Chanda, Suryansh Kumar · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26690 · cited by 0 works (OpenAlex) · open-access PDF

German

Wir untersuchen, wie gefrorene prätrainierte visuelle und tiefe Darstellungen dichten optischen Fluss unterstützen, wenn sie mit einem beaufsichtigten Matching-Netzwerk kombiniert werden. Aufbauend auf TTSFlow untersucht dieses Papier den Feature-Decoding von Dense Prediction Transformer (DPT) und eine grobe bis feine Verfeinerungsphase. Unsere Methode fusioniert Features von gefrorenen DINOv2 und Deep Anything V2-Modellen und schätzt den optischen Fluss über eine trainable Transformator-basierte Matching-Pipeline. Nach dem optischen Fluss-Training auf FlyingChairs und FlyingThings3D erreicht es einen 2.37 Endpoint-Fehler (EPE) auf der Sintel-Training-Splitze,

Machine translation (Meta M2M100); the English original follows.

Abstract

We investigate how frozen pretrained visual and depth representations support dense optical flow when coupled with a supervised matching network. Building on TTSFlow, this paper studies Dense Prediction Transformer (DPT) feature decoding and one coarse-to-fine refinement stage. Our method fuses features from frozen DINOv2 and Depth Anything V2 models and estimates optical flow through a trainable transformer-based matching pipeline. After optical-flow training on FlyingChairs and FlyingThings3D, it achieves 2.37 endpoint error (EPE) on the Sintel training split, Final pass, compared with 2.52 for the FlowSeek (T) configuration reported here. Our RoCo-Spring 2026 entry, RoCo-29.VSAI, obtains a robustness-balanced score of 1.1038, Spring EPE of 1.411, and RobustSpring proxy EPE of 4.739, with a lower balanced score than seven of the twelve listed reference baselines. These results characterize the complete pipeline, which reuses frozen foundation backbones and performs one refinement stage. Code is available at: \url{https://github.com/Visual-and-Spatial-AI-Lab/FFlow}

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Optical flow, Transformer, Matching (statistics), Artificial intelligence, Code (set theory)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange