Newest papers

State World Models: Execute the Rules, Generate the Pixels

Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26811 · cited by 0 works (OpenAlex) · open-access PDF

Indonesian

Model dunia yang ada dapat menghasilkan video yang dikondisikan tindakan dari satu gambar. Banyak fokus pada gerakan kamera, memungkinkan pengguna untuk mengeksplorasi adegan yang dihasilkan. Namun, navigasi saja tidak menjamin bahwa tindakan mengikuti aturan interaktif ketika hasilnya tergantung pada keadaan yang tidak terlihat dalam bingkai saat ini. Kami menyajikan Stateful Harness, kerangka kerja yang memisahkan evolusi dunia dari rendering video untuk mendukung interaksi stateful dan aturan. Ini mempertahankan keadaan dunia yang berkembang di bawah aturan yang ditentukan, membuat setiap peristiwa yang dihasilkan dengan model video beku yang sama, dan menggunakan klip yang dihasilkan untuk memperbarui keadaan dunia untuk putaran berikutnya. Pada setiap putaran, harness memecahkan tindakan yang dipilih oleh pengguna dan menyusun peristiwa yang dihasilkan menjadi instruksi, sementara preview dari adegan 3D yang dapat diedit memberikan kamera ruang dan bimbingan. Untuk

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing world models can generate action-conditioned video from a single image. Many focus on camera movement, allowing users to explore the generated scene. However, navigation alone does not ensure that an action follows persistent rules when its outcome depends on state that is invisible in the current frame. We present Stateful Harness, a framework that separates world evolution from video rendering to support stateful and rule-governed interaction. It maintains an evolving world state under specified rules, renders each resulting event with a frozen video model, and uses the generated clip to update the world state for the next turn. At each turn, the harness resolves the action selected by the user and compiles the resulting event into an instruction, while a preview clip from an editable 3D scene provides spatial and camera guidance. To evaluate rule compliance, we build WorldState-Bench, a benchmark of 50 counterfactual twin pairs that share an initial frame and action but differ in hidden state and required outcome. Under rule-only prompting, the best of the 11 evaluated video backends produces the required endings for both cases in 32% of pairs. For MiniMax-H3, specifying the required endings raises this rate from 32% to 64%, while the full harness reaches 92% with the same frozen model. These results support separating rule execution from video rendering for world interactions with hidden state.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Rendering (computer graphics), Stateful firewall, Counterfactual thinking, Artificial intelligence, Event (particle physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange