Newest papers

Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs

Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, Or Litany, Yoni Kasten, Yuval Atzmon · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28632 · open-access PDF

Russian

Модели видеогенерации теперь могут изображать удивительно реалистичное движение. Тем не менее, неясно, как использовать это движение за пределами пикселей: анимировать конкретный 3D-актив и воспроизвести анимацию в своей 3D-сцене. Например, видеомодель может показать обезьяну, прыгающую над перекрестком, но она не может вернуть этот скачок как воспроизводимое 3D-движение, помещенное в 3D-сцене. Здесь мы представляем модель, которая непосредственно согенерирует видео и 3D-движение для любой поставляемой установки, наряду с камерой, которая регистрирует это движение в сцену. Предварительные модели видео-движения либо обрабатывают только человеческие скелеты, часто добавляя миллиарды параметров

Machine translation (Meta M2M100); the English original follows.

Abstract

Video generation models can now depict remarkably realistic motion. Yet it is unclear how to use this motion beyond pixels: to animate a specific 3D asset and replay the animation in its 3D scene. For instance, a video model can show a monkey jumping over a crossbar, but it cannot return that jump as replayable 3D motion placed in the 3D scene. Here we present a model that directly co-generates the video and 3D motion for any supplied rig, along with a camera that registers this motion to the scene. Prior video-motion models either handle only human skeletons, often adding billions of paramete

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange