VIDEO · 人工智能
团队 AMA 与 Kimi K3.1 直播初测:能力、失误和榜单落差
一语总结Matthew Berman 团队在 AMA 中初测 Kimi K3.1,看到视频、游戏和代码任务的参差结果,也质疑榜单与实际体验之间的落差。
这场直播将观众问答与 Kimi K3.1 初测交织进行。Berman、Brian 和 Alex 先聊个人智能体、订阅额度、主动发现邮箱拼写错误的体验,以及视频剪辑等重任务的使用限制。测试随后并行展开,包括游戏、以 Theo 为主题的视频,以及一段结绳教学动画;后者同时考察代码、视频转换、空间表达和知识检索。团队还用 GPT-6.1 Sol 做对照,认为画面稍好,但没有将少量尝试当成严谨基准。后半段继续检查游戏与视频结果,讨论本地 DeepSeek 推理、设备发热和 DGX 工作站成本,并对 Kimi 公布的规格与成绩提出疑问。最后,一张模型生成的对比图使用泛化指标并编造数字,团队明确指出了这个问题。直播配置、会员推广和饮食闲聊占用不少时间,因此更适合作为一手探索记录,而非受控产品评测。
- 现场任务揭示榜单之外的参差表现
游戏、动态图形和视频任务既有较好结果,也出现视觉瑕疵和明显限制,不能归结为单一能力水平。
- 结绳动画组合了多种评测要求
任务同时要求代码、空间关系、知识或检索与视频转换,团队还让另一个模型尝试,提供初步对照。
- 个人助手与重度生产任务需求不同
主动纠正邮件和日常自动化,与高消耗的编码或视频剪辑任务,在工作负载和额度需求上有明显差别。
- 模型生成的比较仍须查证
当图表使用泛化指标并编造有利数字时,团队直接指出问题,没有将它当成模型领先的证据。
团队 AMA 与 Kimi K3.1 直播初测:能力、失误和榜单落差
这场直播将观众问答与 Kimi K3.1 初测交织进行。Berman、Brian 和 Alex 先聊个人智能体、订阅额度、主动发现邮箱拼写错误的体验,以及视频剪辑等重任务的使用限制。测试随后并行展开,包括游戏、以 Theo 为主题的视频,以及一段结绳教学动画;后者同时考察代码、视频转换、空间表达和知识检索。团队还用 GPT-6.1 Sol 做对照,认为画面稍好,但没有将少量尝试当成严谨基准。后半段继续检查游戏与视频结果,讨论本地 DeepSeek 推理、设备发热和 DGX 工作站成本,并对 Kimi 公布的规格与成绩提出疑问。最后,一张模型生成的对比图使用泛化指标并编造数字,团队明确指出了这个问题。直播配置、会员推广和饮食闲聊占用不少时间,因此更适合作为一手探索记录,而非受控产品评测。
文章金句
"你才跑了大概四个测试,对吧?
"而且这些数字是它编出来的。
"它稍微精致一些,但没有好到让我震惊,可能也就是好 10% 到 15%。