ARTICLE · 人工智能
万字科普:一千个「世界模型」在发布,到底什么是世界模型?
一语总结本文整合李飞飞与 Packy McCormick 的观点,系统梳理世界模型的概念、三大分类(渲染器/模拟器/规划器)、三十年技术演进、数据挑战与未来方向,为读者提供清晰的判断框架。
文章指出,世界模型已成为 AI 领域最被滥用的术语之一,几乎所有视频生成、机器人、游戏引擎、自动驾驶系统都在自称世界模型。在此背景下,李飞飞撰文提出功能性分类:渲染器(输出视觉像素)、模拟器(输出几何/物理状态)、规划器(输出行动序列),三者本质是同一底层世界理解的不同投影。文章还梳理了从 1990 年 Schmidhuber 奠基论文到 2026 年实际部署的四波浪潮,分析了游戏数据作为训练源的优势,以及数据稀缺、迁移曲线等核心挑战。最后给出一个用于判断任何世界模型项目的框架,并预测统一模型是长期趋势。
- 世界模型的核心是交互式预测,通过动作模拟下一状态,与单向视频生成有本质区别。
视频模型预测 P(x(t+1)|x(t)),而世界模型预测 P(s(t+1)|s(t), a(t)),动作 a(t)是交互性的关键,使 Agent 能在模型内部演练并迁移到真实世界。
- 李飞飞将当前所谓的世界模型分为渲染器、模拟器、规划器三类。
渲染器输出像素(视频模型),模拟器输出状态(几何/物理),规划器输出行动(机器人控制)。三者处于感知-行动循环的不同节点,最终应趋于统一。
- 数据是世界模型的最大瓶颈,游戏数据因包含完整动作-观测配对而成为理想训练源。
Medal 平台每年捕获超 10 亿游戏片段,同时记录玩家操作指令,形成无信息损失的‘观测-预测-行动’样本,优于缺乏动作标注的真实世界视频。
- 世界模型历经四波浪潮:理论奠基、可行性验证、媲美人类、真实世界部署。
从 1990 年 Schmidhuber 的早期 RNN 到 DreamerV2 在 Atari 达到人类水平,再到 GAIA-1 用于自动驾驶、V-JEPA 2 零样本机器人泛化,当前正进入真实产品部署阶段。
- 未来趋势是统一模型,但面临三条迁移曲线及数据稀缺等未解难题。
输入模态迁移、传感器迁移、环境迁移三条曲线相互影响,目前尚无 Scaling Law 能证明大规模收集物理数据必然带来泛化,游戏数据和真实部署互补是务实策略。
万字科普:一千个「世界模型」在发布,到底什么是世界模型?
文章指出,世界模型已成为 AI 领域最被滥用的术语之一,几乎所有视频生成、机器人、游戏引擎、自动驾驶系统都在自称世界模型。在此背景下,李飞飞撰文提出功能性分类:渲染器(输出视觉像素)、模拟器(输出几何/物理状态)、规划器(输出行动序列),三者本质是同一底层世界理解的不同投影。文章还梳理了从 1990 年 Schmidhuber 奠基论文到 2026 年实际部署的四波浪潮,分析了游戏数据作为训练源的优势,以及数据稀缺、迁移曲线等核心挑战。最后给出一个用于判断任何世界模型项目的框架,并预测统一模型是长期趋势。
文章用渲染器、模拟器和规划器三类框架澄清被过度使用的「世界模型」概念,并梳理三十多年技术演进与数据瓶颈。关键区别是世界模型必须预测动作影响下的下一状态,而不是只生成下一帧画面。作者还解释游戏数据为什么珍贵:它同时保留观测与操作,比普通视频更接近完整的感知行动闭环。这不是追逐发布热度的科普,而是一套判断项目是否真正具备交互式预测能力的实用坐标系。适合研究、产品与投资读者。
文章金句
"世界模型模拟环境,并在你于其中行动时做出响应。
"六个月后,每家公司都会自称是世界模型公司来融资。
"你有没有做过清醒的梦,能在梦境中主导故事的走向?那就是一个世界模型。
"我们作为一个物种,已经往大语言模型基础设施上砸了数万亿美元和无数工程师时间,复用这台机器的诱惑实在太大了。
"Agent 能在自己的梦里学习吗?在极短的时间内,这个领域已经有了答案:能。