ARTICLE · 人工智能

万字科普:一千个「世界模型」在发布,到底什么是世界模型?

作者:Founder Park 来源:Founder Park 2026-07-10 15:00 49 分钟 1788 阅读 12056 字
世界模型具身智能视频生成机器人强化学习
一语总结

本文整合李飞飞与 Packy McCormick 的观点,系统梳理世界模型的概念、三大分类(渲染器/模拟器/规划器)、三十年技术演进、数据挑战与未来方向,为读者提供清晰的判断框架。

AI 总结

文章指出,世界模型已成为 AI 领域最被滥用的术语之一,几乎所有视频生成、机器人、游戏引擎、自动驾驶系统都在自称世界模型。在此背景下,李飞飞撰文提出功能性分类:渲染器(输出视觉像素)、模拟器(输出几何/物理状态)、规划器(输出行动序列),三者本质是同一底层世界理解的不同投影。文章还梳理了从 1990 年 Schmidhuber 奠基论文到 2026 年实际部署的四波浪潮,分析了游戏数据作为训练源的优势,以及数据稀缺、迁移曲线等核心挑战。最后给出一个用于判断任何世界模型项目的框架,并预测统一模型是长期趋势。

核心要点
  1. 世界模型的核心是交互式预测,通过动作模拟下一状态,与单向视频生成有本质区别。

    视频模型预测 P(x(t+1)|x(t)),而世界模型预测 P(s(t+1)|s(t), a(t)),动作 a(t)是交互性的关键,使 Agent 能在模型内部演练并迁移到真实世界。

  2. 李飞飞将当前所谓的世界模型分为渲染器、模拟器、规划器三类。

    渲染器输出像素(视频模型),模拟器输出状态(几何/物理),规划器输出行动(机器人控制)。三者处于感知-行动循环的不同节点,最终应趋于统一。

  3. 数据是世界模型的最大瓶颈,游戏数据因包含完整动作-观测配对而成为理想训练源。

    Medal 平台每年捕获超 10 亿游戏片段,同时记录玩家操作指令,形成无信息损失的‘观测-预测-行动’样本,优于缺乏动作标注的真实世界视频。

  4. 世界模型历经四波浪潮:理论奠基、可行性验证、媲美人类、真实世界部署。

    从 1990 年 Schmidhuber 的早期 RNN 到 DreamerV2 在 Atari 达到人类水平,再到 GAIA-1 用于自动驾驶、V-JEPA 2 零样本机器人泛化,当前正进入真实产品部署阶段。

  5. 未来趋势是统一模型,但面临三条迁移曲线及数据稀缺等未解难题。

    输入模态迁移、传感器迁移、环境迁移三条曲线相互影响,目前尚无 Scaling Law 能证明大规模收集物理数据必然带来泛化,游戏数据和真实部署互补是务实策略。

万字科普:一千个「世界模型」在发布,到底什么是世界模型?

文章指出,世界模型已成为 AI 领域最被滥用的术语之一,几乎所有视频生成、机器人、游戏引擎、自动驾驶系统都在自称世界模型。在此背景下,李飞飞撰文提出功能性分类:渲染器(输出视觉像素)、模拟器(输出几何/物理状态)、规划器(输出行动序列),三者本质是同一底层世界理解的不同投影。文章还梳理了从 1990 年 Schmidhuber 奠基论文到 2026 年实际部署的四波浪潮,分析了游戏数据作为训练源的优势,以及数据稀缺、迁移曲线等核心挑战。最后给出一个用于判断任何世界模型项目的框架,并预测统一模型是长期趋势。

文章用渲染器、模拟器和规划器三类框架澄清被过度使用的「世界模型」概念,并梳理三十多年技术演进与数据瓶颈。关键区别是世界模型必须预测动作影响下的下一状态,而不是只生成下一帧画面。作者还解释游戏数据为什么珍贵:它同时保留观测与操作,比普通视频更接近完整的感知行动闭环。这不是追逐发布热度的科普,而是一套判断项目是否真正具备交互式预测能力的实用坐标系。适合研究、产品与投资读者。

文章金句

"

世界模型模拟环境,并在你于其中行动时做出响应。

"

六个月后,每家公司都会自称是世界模型公司来融资。

"

你有没有做过清醒的梦,能在梦境中主导故事的走向?那就是一个世界模型。

"

我们作为一个物种,已经往大语言模型基础设施上砸了数万亿美元和无数工程师时间,复用这台机器的诱惑实在太大了。

"

Agent 能在自己的梦里学习吗?在极短的时间内,这个领域已经有了答案:能。