Yingshuang Zou, Xiaoyu Shi, Yawen Luo, Ziang Li, Qinghe Wang, Mengfei Li, Chengfeng Zhao, Xintao Wang, Pengfei Wan, Kun Gai, Yuan Liu · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.26801 · cited by 0 works (OpenAlex) · open-access PDF
Những tiến bộ gần đây trong sản xuất văn bản-to-video đã cho phép tổng hợp single-shot có độ tin cậy cao, nhưng việc tạo ra câu chuyện thực tế đòi hỏi nhiều video với cả tính nhất quán giữa các bức ảnh và khả năng điều khiển tinh tế. Cách tiếp cận sản xuất video đa bức ảnh hiện có gần như nhất quán nhưng vẫn thiếu khả năng điều khiển. Trong bài báo này, chúng tôi đề xuất Mise-en-Video (MeV), một khuôn khổ sản xuất video đa bức ảnh có khả năng kiểm soát cao cho phép các nhà sản xuất video thực hiện các giai đoạn của nhiều bức ảnh trong không gian 3D và sau đó tạo ra các video đa bức ảnh tương ứng. Để đạt được điều này, khuôn khổ của chúng tôi kết hợp một cơ chế chú ý phân cấp cho tính nhất quán nhiều cấp với hướng dẫn bố trí 3D-aware để kiểm soát không gian chính xác, mỗi bức ảnh.
Machine translation (Meta M2M100); the English original follows.
Recent advances in text-to-video generation have enabled high-fidelity single-shot synthesis, yet practical storytelling creation requires multi-shot videos with both strong inter-shot consistency and fine-grained controllability. Existing multi-shot video generation approaches achieve strong consistency but still fall short in controllability. In this paper, we propose Mise-en-Video (MeV), a highly controllable multi-shot video generation framework that allows video creators to conduct staging the multi-shot in the 3D space and then generate the corresponding multi-shot video. To achieve this, our framework combines a hierarchical attention mechanism for multi-level narrative consistency with 3D-aware layout guidance for precise, per-shot spatial control. To support training and evaluation, we develop standardized annotation pipelines and construct a 160K-video dataset with hierarchical multi-shot texts and oriented 3D bounding boxes. Extensive experiments demonstrate that MeV consistently outperforms strong baselines in video quality, inter-shot consistency, and subject-level controllability.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Computer science, Consistency (knowledge bases), Bounding overwatch, Annotation, Artificial intelligence, Construct (python library)
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26801, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange