ARTICLE · 人工智能
唐杰｜关于缩放定律的思考：参数不是唯一旋钮
一语总结本文指出，缩放定律不仅仅是参数数量的增加，还需考虑数据、算力和部署条件，并通过 GLM-5.3 实验验证后训练对模型能力的重要提升。
本文由清华大学教授、智谱 AI 首席科学家唐杰撰写，深入探讨了缩放定律的多维度内涵。文章指出，参数数量并非孤立指标，必须与数据量、算力投入以及部署场景（尤其是推理成本）共同考量。通过回顾 Kaplan 2020 的 2.7:1 参数‑数据比误导业界走向万亿参数的弯路，以及 Chinchilla 2022 修正为参数与数据等速增长的过程，说明了早期拟合误差如何随算力数量级放大。随后讨论了推理成本如何将最优解推向更小但训练更久的模型，并详细阐释了混合专家（MoE）架构中总参数与激活参数的功能分离——总参数决定知识存储，激活参数与有效深度决定推理能力。文章进一步指出，安全漏洞的发现依赖于能否完成二十步推理链而不中断，这种能力取决于模型的有效深度和后训练，而非总参数规模。最后以 GLM‑5.3 为受控实验，验证在保持基座、架构及参数不变的情况下，仅通过一个月的长程环境与强化学习后训练即可获得显著能力提升，强调缩放并非单一旋钮，后训练之后仍可回到中训练、预训练等方向进行进一步优化。
- 参数数量必须与数据、算力和部署场景共同考量。
单看参数规模无法决定模型表现，只有将其与数据量、算力分配及推理成本等因素结合，才能得到有意义的缩放结论。
- 万亿参数规模是一次行业弯路，源于早期 2.7:1 参数‑数据比的误判。
Kaplan 等 2020 年的拟合导致业界过度追求参数，而 Chinchilla 等后续工作表明最优应为参数与数据等速增长，误差随算数量级放大而加剧。
- 推理成本主导模型生命周期，使最优解倾向于更小但训练更久的模型。
当模型被频繁调用时，推理开销占据主要成本，因而通过刻意过训练（如 Llama‑2‑7B、Gemma‑2‑9B）提升每参数 token 数成为更佳选择。
- 在混合专家（MoE）模型中，总参数与激活参数承担不同功能。
总参数决定模型可存储的知识量，而激活参数与有效深度决定推理能力；固定 token/参数比下，增加总参数可能削弱推理，而激活更多专家才能稳定提升。
- 发现安全漏洞依赖于长链推理能力，而非单纯的参数规模。
漏洞挖掘需要完成二十步推理链而不中断，这种能力取决于模型的有效深度和后训练，而不仅仅是总参数数量。
唐杰｜关于缩放定律的思考：参数不是唯一旋钮
本文由清华大学教授、智谱 AI 首席科学家唐杰撰写，深入探讨了缩放定律的多维度内涵。文章指出，参数数量并非孤立指标，必须与数据量、算力投入以及部署场景（尤其是推理成本）共同考量。通过回顾 Kaplan 2020 的 2.7:1 参数‑数据比误导业界走向万亿参数的弯路，以及 Chinchilla 2022 修正为参数与数据等速增长的过程，说明了早期拟合误差如何随算力数量级放大。随后讨论了推理成本如何将最优解推向更小但训练更久的模型，并详细阐释了混合专家（MoE）架构中总参数与激活参数的功能分离——总参数决定知识存储，激活参数与有效深度决定推理能力。文章进一步指出，安全漏洞的发现依赖于能否完成二十步推理链而不中断，这种能力取决于模型的有效深度和后训练，而非总参数规模。最后以 GLM‑5.3 为受控实验，验证在保持基座、架构及参数不变的情况下，仅通过一个月的长程环境与强化学习后训练即可获得显著能力提升，强调缩放并非单一旋钮，后训练之后仍可回到中训练、预训练等方向进行进一步优化。
文章金句
"缩放，但不只是参数的缩放。
"发现漏洞不是一个检索问题。它不来自多背了几条 CVE，而来自把一条二十步的推理链完整带到终点、中途不丢线。