PODCAST · 人工智能
#683.Rich Sutton：大语言模型不是真正的智能，我们卡在了一个局部最优里
一语总结强化学习奠基人 Rich Sutton 对话红杉资本：大语言模型部署后权重冻结、不是真正的持续学习者，我们卡在合成数据与人类知识构成的局部最优，必须转向持续学习范式。
本期节目克隆自红杉资本旗下播客 Training Data，由 Sonya Huang 与 Alfred Lin 对话强化学习奠基人 Rich Sutton 及其联合创始人 Khurram Javed。Sutton 从《苦涩的教训》出发，指出当前 AI 范式过度依赖人类知识与互联网数据，而互联网有限、世界无限，合成数据生成绕不开人类专家判断的瓶颈，无法取代真实经验学习。他批评大语言模型部署后权重冻结，不是真正的持续学习者，并估算语言能力大约只占智能的 20%。团队提出「大世界假说」，主张智能体应从自身经验中持续学习、自我维护并形成抽象。Oak Lab 正尝试解决持续深度学习这一算法缺口，具体路径包括补偿优化与持续反向传播算法，目标是 5 到 10 年内实现能持续学习、具备规划能力的新一代智能体。对话还涉及 2003 年 Sutton 患癌经历对研究信念的影响、先验知识与学习的协同关系，以及团队构建哲学与人才标准。
- 大语言模型部署后权重冻结，不是真正的持续学习者
当前模型发布后只能通过上下文扩展能力，权重不再更新。这与人类持续从经验中学习、随时修正认知的方式有本质区别。
- 合成数据绕不开人类专家瓶颈，无法替代真实经验
判断合成数据好坏需要懂行的专家，而世界无限复杂、任何模拟都只是渺小的近似。智能体应从自身经验中学习，而非依赖人类整理的数据。
- 持续深度学习是当前最大算法缺口，解药是补偿优化与持续反向传播
朴素更新会引发灾难性遗忘。需要为每个权重单独设定步长，并不断注入随机初始化的新单元，实现生成与测试式的持续学习。
- 语言能力大约只占智能的 20%，大语言模型被过度包装成全部 AI
除语言外，智能还包括规划、抽象、感知运动等大量未完成的能力。Sutton 认为不应把语言模型的成就等同于整个 AI 领域的终局。
- 大世界假说：世界远比互联网大，智能体需要持续自我维护
互联网样本是有限的，而真实世界无限复杂。系统要从微小到宏大的知识跨度中持续更新，并保持内部连贯与自洽，这是 Oak Lab 的核心野心。
#683.Rich Sutton：大语言模型不是真正的智能，我们卡在了一个局部最优里
本期节目克隆自红杉资本旗下播客 Training Data，由 Sonya Huang 与 Alfred Lin 对话强化学习奠基人 Rich Sutton 及其联合创始人 Khurram Javed。Sutton 从《苦涩的教训》出发，指出当前 AI 范式过度依赖人类知识与互联网数据，而互联网有限、世界无限，合成数据生成绕不开人类专家判断的瓶颈，无法取代真实经验学习。他批评大语言模型部署后权重冻结，不是真正的持续学习者，并估算语言能力大约只占智能的 20%。团队提出「大世界假说」，主张智能体应从自身经验中持续学习、自我维护并形成抽象。Oak Lab 正尝试解决持续深度学习这一算法缺口，具体路径包括补偿优化与持续反向传播算法，目标是 5 到 10 年内实现能持续学习、具备规划能力的新一代智能体。对话还涉及 2003 年 Sutton 患癌经历对研究信念的影响、先验知识与学习的协同关系，以及团队构建哲学与人才标准。
文章金句
"所有学习都是持续的，我们一直在行动，一直在学习，这才是正常的思考方式。我不怪这个领域，才怪这个领域他们才需要管它叫持续学习，这就是学习本身。
"互联网是有限的，很难再拿到更多样本。而世界很大，世界比我们存在互联网上的一切都要大得多得多。
"世界是无限复杂的，任何对它的模拟都渺小得可怜。
"它们的权重永远不会变。他们声称能从一种完全不再学习的东西里，榨出博士级的经验和专业能力。
"全部智能并不只是流畅的语言运用能力。还有太多别的东西。语言是重要的一部分。它大概占智能的 20% 或者四分之一。