TWITTER · 人工智能
智谱 GLM-5.3-Flash 自优化推理系统：AI Agent 驱动的密集反馈
一语总结智谱宣布 GLM-5.3-Flash 的全部生产推理已在超 10 万块国产加速器上运行，吞吐量提升 3.2 倍，并由 GLM-5.3 驱动的 AI 智能体通过密集反馈机制自行发现并修复三个关键工程问题，指出工程师角色正在从解决问题转向设计反馈。
智谱今日披露，GLM-5.3-Flash 的全部生产推理已在超过 10 万块国产 AI 加速器上运行，从模型首次跑通到上线生产不到两周，端到端吞吐量提升 3.2 倍。这一进展并非由工程师团队完成，而是由一个由 GLM-5.3 驱动的 AI 智能体通过‘密集反馈’机制自行发现并修复三个真实工程问题：其一是 KDA 内核在上下文并行路径中 TF32 舍入误差累积导致的精度漂移，已修复并合入开源项目 Flash Linear Attention；其二是 KV 缓存传输未与计算并行，因 DeepEP 节点内路径未释放全局解释器锁（GIL），修复后传输开销从超 30%降至 1%以下；其别是一个解码内核因分块方式重复执行同一归一化运算四次，智能体重组计算结构后实现 1.71 倍加速。智谱 CEO 唐杰强调，目标设定、反馈环境搭建和高风险变更审查仍由人负责，但工程师的角色正从解决问题的人转变为设计反馈的人。他认为建立在真实基础设施任务上的分层可验证反馈环境正是训练下一代模型所需，每个智能体完成的任务都可成为其后继者的训练素材，形成模型优化系统、系统运行模型的最小闭环。
- 构建正确性、系统行为、性能三类局部低成本可验证的密集反馈接口，使 AI 智能体能快速定位问题而不仅知晓吞吐量下降。
正确性反馈回答‘算对了吗’，系统行为反馈回答‘时间花在了哪’，性能反馈回答‘哪个方案在什么条件下更优’，每类信号要求足够局部、获取成本低且可客观验证。
- 智能体依据此反馈机制发现并修复了精度漂移、KV 传输瓶颈和重复归一化计算三个真实工程问题，分别带来了 Flash Linear Attention 修复、GIL 释放使传输开销降至 1%以下以及解码内核重组实现 1.71 倍加速。
精度漂移源于 KDA 内核 TF32 舍入误差在上下文并行路径中累积；KV 传输瓶颈因 DeepEP 节点内路径未释放 GIL 导致传输线程一直拿不到执行权；重复计算则因解码内核分块方式导致同一归一化运算被重复执行四次，智能体重组计算结构后获得显著加速。
- 智谱 CEO 指出目标设定、反馈环境搭建和高风险变更审查仍由人负责，工程师角色正从解决问题的人转变为设计反馈的人；建立在真实基础设施上的分层可验证反馈环境正是训练下一代模型所需，每个智能体完成的任务可成为其后继者的训练素材，形成模型优化系统、系统运行模型的最小闭环。
唐杰强调人类仍需定义目标、搭建反馈环境和审查高风险变更，但日常问题定位和修复可由智能体完成；这种闭环使每一次智能体任务都能反哺后继模型的训练，实现模型优化系统与系统运行模型的互促。
智谱 GLM-5.3-Flash 自优化推理系统：AI Agent 驱动的密集反馈
智谱今日披露，GLM-5.3-Flash 的全部生产推理已在超过 10 万块国产 AI 加速器上运行，从模型首次跑通到上线生产不到两周，端到端吞吐量提升 3.2 倍。这一进展并非由工程师团队完成，而是由一个由 GLM-5.3 驱动的 AI 智能体通过‘密集反馈’机制自行发现并修复三个真实工程问题：其一是 KDA 内核在上下文并行路径中 TF32 舍入误差累积导致的精度漂移，已修复并合入开源项目 Flash Linear Attention；其二是 KV 缓存传输未与计算并行，因 DeepEP 节点内路径未释放全局解释器锁（GIL），修复后传输开销从超 30%降至 1%以下；其别是一个解码内核因分块方式重复执行同一归一化运算四次，智能体重组计算结构后实现 1.71 倍加速。智谱 CEO 唐杰强调，目标设定、反馈环境搭建和高风险变更审查仍由人负责，但工程师的角色正从解决问题的人转变为设计反馈的人。他认为建立在真实基础设施任务上的分层可验证反馈环境正是训练下一代模型所需，每个智能体完成的任务都可成为其后继者的训练素材，形成模型优化系统、系统运行模型的最小闭环。
文章金句
"他反复想的一件事是：干活的主力是模型自己。一个模型在帮忙优化运行它自己的系统。
"但唐杰说，最重要的经验不在任何一个具体优化上。智能体卡住的时候，几乎从来不是因为它写不出代码，而是因为它不知道事情为什么变差了。