Newest papers

State World Models: Execute the Rules, Generate the Pixels

Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26811 · cited by 0 works (OpenAlex) · open-access PDF

German

Bestehende Weltmodelle können Action-Bedingte Video aus einem einzelnen Bild generieren. Viele konzentrieren sich auf Kamera-Bewegung, so dass Benutzer die erzeugte Szene erkunden können. Navigation allein stellt jedoch nicht sicher, dass eine Aktion anhaltende Regeln folgt, wenn ihr Ergebnis von einem Zustand abhängt, der im aktuellen Rahmen unsichtbar ist. Wir präsentieren Stateful Harness, ein Rahmen, der die Weltentwicklung von der Video-Rendering trennt, um die staatliche und reglementierte Interaktion zu unterstützen. Es hält einen sich entwickelnden Weltzustand unter spezifizierten Regeln aufrecht, macht jedes resultierende Ereignis mit dem gleichen gefrorenen Video-Modell spezifiziert und verwendet den erzeugten Clip, um den Zustand der Welt für die nächste Runde zu aktualisieren

Machine translation (Meta M2M100); the English original follows.

Abstract

Existing world models can generate action-conditioned video from a single image. Many focus on camera movement, allowing users to explore the generated scene. However, navigation alone does not ensure that an action follows persistent rules when its outcome depends on state that is invisible in the current frame. We present Stateful Harness, a framework that separates world evolution from video rendering to support stateful and rule-governed interaction. It maintains an evolving world state under specified rules, renders each resulting event with a frozen video model, and uses the generated clip to update the world state for the next turn. At each turn, the harness resolves the action selected by the user and compiles the resulting event into an instruction, while a preview clip from an editable 3D scene provides spatial and camera guidance. To evaluate rule compliance, we build WorldState-Bench, a benchmark of 50 counterfactual twin pairs that share an initial frame and action but differ in hidden state and required outcome. Under rule-only prompting, the best of the 11 evaluated video backends produces the required endings for both cases in 32% of pairs. For MiniMax-H3, specifying the required endings raises this rate from 32% to 64%, while the full harness reaches 92% with the same frozen model. These results support separating rule execution from video rendering for world interactions with hidden state.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Rendering (computer graphics), Stateful firewall, Counterfactual thinking, Artificial intelligence, Event (particle physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange