ARTICLE · 人工智能
生成的世界也能交互！牛津大学&莫纳什大学&布里斯托大学等团队提出交互式视频世界模型 Oneira
一语总结Oneira 通过分离世界状态记录与视频生成，实现了对生成场景中特定物体的精确交互和长时状态保持，显著优于现有模型。
现有的视频世界模型在交互时常出现对象识别错误和状态丢失的问题，因为它们没有单独记录世界状态。Oneira 引入了 Coding Agent 和 World State Table，将物体状态与画面分离，从而能够精确地改变指定物体并持续保留其状态。实验表明，Oneira 在交互准确性和长时一致性上明显优于现有方法。
- 分离世界状态与视频生成
Oneira 使用 Coding Agent 维护 World State Table，单独记录场景中的物体和状态，而不是将这些信息嵌入到视频帧中。这使得模型能够更精确地识别和操作特定物体，并保持其状态在长视频中不变。
- 精确的实例级交互
通过读取 World State Table，Coding Agent 能够确定要交互的具体物体，并规划相应的动作。这解决了现有模型在多物体场景中经常出现的交互对象错误问题。
- 持续的状态保持
World State Table 确保了物体状态在镜头离开后仍然被记录。当镜头返回时，Video Generation Model 可以读取这些状态，从而保持场景的一致性，避免了状态丢失。
生成的世界也能交互！牛津大学&莫纳什大学&布里斯托大学等团队提出交互式视频世界模型 Oneira
现有的视频世界模型在交互时常出现对象识别错误和状态丢失的问题，因为它们没有单独记录世界状态。Oneira 引入了 Coding Agent 和 World State Table，将物体状态与画面分离，从而能够精确地改变指定物体并持续保留其状态。实验表明，Oneira 在交互准确性和长时一致性上明显优于现有方法。
Oneira 将场景状态记录交给 Coding Agent 维护的 World State Table，再由视频生成模型呈现画面，从而支持对指定物体的精确操作和跨镜头状态保持。这个拆分让视频生成进一步成为可持续交互的世界模型研究。适合关注生成式视频、世界模型与多模态系统的读者。
文章金句
"Oneira 通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态。
"对于镜头移动时新出现的物体，Coding Agent 会在生成的画面上调用 3D 感知工具，得到它的 3D BBox，再将其加入表中。
"实验结果表明，Oneira 能够精确地改变指定的物体，并在长视频中持续保持改变后的状态。