ARTICLE · 人工智能
Natura-1 发布:从百万小时人类经验中学会零样本泛化与灵巧操作
一语总结自然意志发布 50B 参数 MoE 模型 Natura-1,在 100 万小时人类视频上预训练,实现灵巧手零样本指令遵循,在 12 项基准测试中得分 53.4~59.1,远超现有模型,并展示出长程任务稳定性和意外的恢复能力。
Natura-1 是自然意志的第一个物理世界通用基础模型,采用混合专家架构,在 100 万小时第一视角人类经验数据上预训练,再用有限机器人数据进行高效后训练。它同时具备灵巧操作能力(如包馄饨、贴手机膜)和零样本指令遵循能力,在未见过的任务场景中表现出色。模型通过联合建模语言、图像、视频和动作,并利用流匹配训练,实现了从人类经验到机器人动作的有效迁移,且在推理速度和资源利用率方面具有优势。
- Natura-1 实现了灵巧操作与零样本泛化的结合,突破了传统机器人模型只能擅长一项的局限。
模型在 100 万小时人类视频上预训练,再用少量机器人数据微调,使其既能完成复杂的长程灵巧任务(如包馄饨、贴手机膜),又能对未见过的任务进行零样本推理,在 12 项基准测试中得分显著高于现有模型。
- 人类第一视角数据是实现通用物理智能的关键资源,其规模与模型性能呈对数线性关系。
实验表明,随着预训练数据从 4.4 万小时增加到 100 万小时,模型的动作预测误差显著下降,且这种改进直接传递到了机器人平台,证明大规模人类经验是训练通用物理模型的必要条件。
- Natura-1 的架构将视频和动作视为同一物理状态的两种投影,通过流匹配训练提高了数据利用效率。
模型同时建模视频和动作,并使用流匹配损失函数,允许它从每条轨迹中学习更多信息,即使在动作标签稀缺的情况下,也能通过预测视频来间接优化动作控制。
- 基础设施的优化是实现实时控制和高效训练的必要条件。
自然意志开发了高吞吐的并行数据处理管线和优化的注意力算子,使得模型在数百张 GPU 上训练时利用率超过 50%,并实现了低于 100 毫秒的端到端推理延迟,满足真机实时控制要求。
Natura-1 发布:从百万小时人类经验中学会零样本泛化与灵巧操作
Natura-1 是自然意志的第一个物理世界通用基础模型,采用混合专家架构,在 100 万小时第一视角人类经验数据上预训练,再用有限机器人数据进行高效后训练。它同时具备灵巧操作能力(如包馄饨、贴手机膜)和零样本指令遵循能力,在未见过的任务场景中表现出色。模型通过联合建模语言、图像、视频和动作,并利用流匹配训练,实现了从人类经验到机器人动作的有效迁移,且在推理速度和资源利用率方面具有优势。
Natura-1 的报道呈现 50B 参数架构、百万小时视频预训练、零样本灵巧操作和多项评测,并说明视频与动作联合建模及流匹配方法,为理解具身模型的数据策略和训练取舍提供了具体案例。
文章金句
"我们沿用了大语言模型研究中模型规模和数据规模配合增长的思路。早期先用较小的模型和数据快速验证架构,确认方向后再逐步扩大,而不是一开始就确定必须做一个 50B 模型。
"我们关注的,不只是换一个物体还能不能抓取,也包括面对没有专门训练过的任务要求,能否把已有能力组织起来、完成任务。
"在真机后训练中并没有刻意采集这类失败恢复示范,但模型仍然表现出了恢复能力。我们的判断是,大规模人类预训练数据包含了丰富的调整和重试经验,模型从中学到了如何应对操作中的变化。