一语总结
徐梦迪教授认为，面对开放、多变的物理世界，机器人必须具备从少量示范或反馈中快速学习的能力，而 In-Context Learning（ICL）是实现这一目标的关键路径，它允许模型在部署环境中动态适应，而无需重新训练。

AI 总结

在本次访谈中，清华大学的徐梦迪教授分享了她对机器人学习领域的洞察。她指出，虽然自动驾驶是物理 AI 的重要入口，但机器人真正的潜力在于进入更广阔的家庭和工业环境。为了在这些开放环境中实现泛化，她强调了 few-shot adaptation 的重要性，即通过 ICL 让机器人从有限的上下文信息中学习，而不是依赖于难以实现的 zero-shot 泛化。徐教授还讨论了世界动作模型（World Action Model）的优势，认为它通过建模环境动态，可以提供比单纯模仿动作更强的跨场景迁移能力。此外，她还探讨了人机交互的未来，认为它将成为一个多模态的、实时反馈的系统，最终目标是让机器人能够理解并执行普通用户的自然指令。

核心要点

物理世界无法穷举，需要 few-shot adaptation
由于物理环境的复杂性和不可预测性，机器人不可能在预训练阶段覆盖所有可能的场景。因此，必须具备在部署环境中通过少量示范或反馈快速学习新技能的能力。
In-Context Learning 是关键路径
ICL 允许模型在运行时利用上下文信息（如示范、语言指令或环境反馈）来调整自己的行为，而无需返回实验室进行重新训练，从而实现高效的动态适应。
World Action Model 优于单纯模仿
相比于只学习动作-指令映射的 VLA，World Action Model 通过理解环境动态（动作如何改变世界），可以获得更强的跨场景迁移能力和对物理规律的理解。
交互界面将变得多模态且实时
未来的机器人交互不会局限于单一的语言指令，而是会整合手势、草图、实时视频反馈等多种模态，并要求系统具备实时推理能力，以提供流畅的交互体验。

Z Tech｜专访清华教授徐梦迪：物理世界无法穷举，In-Context Learning 成为下一个解法

清华徐梦迪教授万字专访：物理世界无法穷举，机器人要靠 In-Context Learning 从少量示范中快速适应，而非追求 zero-shot 泛化；World Action Model 通过建模环境动态提供更强的跨场景迁移能力。一线学者对具身智能技术路线的清晰判断，适合关注机器人、具身智能与物理 AI 的读者。

文章金句

"
{"quote":"在物理世界里，zero-shot 泛化是非常难的。很难指望机器人在预训练阶段就获得足够多的先验知识，从而直接解决部署时遇到的任务，所以 few-shot adaptation 会变得非常重要。"，"speaker":"徐梦迪"}

"
{"quote":"我更看好把 environment modeling 明确纳入 learning objective 的路线。我比较相信环境建模本身是一种更通用的能力。"，"speaker":"徐梦迪"}

"
{"quote":"我们不能要求人去学习怎么使用机器人，而应该让机器人去理解人最自然的表达方式。"，"speaker":"徐梦迪"}

Z Tech｜专访清华教授徐梦迪：物理世界无法穷举，In-Context Learning 成为下一个解法

文章金句

相关推荐