ARTICLE · 人工智能
Qwen3.8-Flash：全新架构，更强更稳更划算
一语总结Qwen3.8-Flash 是多模态 MoE 模型，主模型 125B 外加 51B N-gram 嵌入，每 token 激活 6B，支持 262K 原生上下文并可经 YaRN 扩展至 1M，采用 GDN+QSA 注意力、门控残差、Muon 优化器，训练成本仅为前身的 1/9。
文章介绍了阿里巴巴通义实验室最新发布的 Qwen3.8-Flash 模型。该模型为多模态 MoE 架构，主模型参数量 125B，额外配备 51B N-gram 嵌入，每 token 仅激活 6B 参数，原生支持 262，144 token 上下文，可通过 YaRN 扩展至 1M token。核心技术包括：GDN + QSA 混合注意力机制，其中 Gated DeltaNet 高效压缩历史信息，Qwen Sparse Attention 通过 micro-block 级别的轻量 Indexer 降低长序列 Attention 开销；引入 Gated Residual（GR）将残差流扩展为四条并行分支，通过动态门控增强跨层信息传递与训练稳定性；采用 N-gram Embedding 以局部上下文查表的方式在几乎不增加每 token 计算量的前提下扩展模型容量，并可将嵌入表卸载至 Host Memory 通过异步 Prefetch 与计算重叠；使用 Muon Optimizer 并围绕正交化精度、参数分工与融合参数拆分进行优化，重新拟合 Scaling Law，使得模型可使用更大的学习率和批量尺度，且 Batch Size Warmup 步骤被取消。实验显示，相比 Qwen3.7-Plus，训练开销降至约 1/9，而在编码和办公任务上表现更强；在 1M 上下文下，QSA 实现最高 7.6× Prefill 和 4.9× Decode 加速，Prefix Cache 命中率 90% 时吞吐达到前身的 8.6 倍。模型已在千问 AI 平台提供 API 服务（输入 0.8 元/百万 Tokens，输出 2.7 元/百万 Tokens，缓存命中 0.1 元），并同步在 Hugging Face 与 ModelScope 开源 Qwen3.8-Flash-Next 权重，附带技术报告与博客链接，便于社区验证并为后续 Qwen4 系列奠定基础。
- GDN + QSA 混合注意力机制显著降低长序列计算开销。
Gated DeltaNet（GDN）负责高效压缩历史信息并存储在固定大小循环状态中；Qwen Sparse Attention（QSA）采用微块级别的轻量 Indexer 筛选重要上下文，在保持精准检索的同时，降低 Attention 计算与索引成本，实现最高 7.6× Prefill 和 4.9× Decode 加速。
- 门控残差（GR）增强跨层信息传递与训练稳定性。
将残差流扩展为四条并行分支，通过逐元素动态门控读写，使模型能够根据输入灵活选择信息流向，保留早期特征至深层，并通过归一化门控抑制异常激活，残差状态还可存储为 FP8 以降低访存开销。
- N-gram Embedding 以极低额外计算扩展模型容量。
结合当前 token 与前几个 token 的局部上下文进行查表，为常见短语和语言模式提供丰富表示；51B 参数可存放于 Host Memory，通过异步 Prefetch 与模型计算重叠，几乎不增加每 token 计算量，实现低成本容量提升。
- Muon 优化器与重新拟合的 Scaling Law 提升训练效率。
对 Attention、GDN、MoE Expert 等二维线性映射参数使用 Muon，Embedding、MoE Router、GR 低秩参数继续使用 AdamW；融合参数（如 QKV、SwiGLU、GDN Projection）拆分后正交化；针对新架构重新拟合 Scaling Law，允许更大的学习率和批量尺度，并取消了传统的 Batch Size Warmup 步骤。
- 训练与推理成本大幅下降，能力在编码办公任务上更强。
相比 Qwen3.7-Plus，Qwen3.8-Flash 的训练开销仅约为前者的 1/9，但在编码和办公任务上表现更优；在 1M 上下文下 Prefill 吞吐达到前身的 8.6 倍，展示了高效能与低成本的兼具。
Qwen3.8-Flash：全新架构，更强更稳更划算
文章介绍了阿里巴巴通义实验室最新发布的 Qwen3.8-Flash 模型。该模型为多模态 MoE 架构，主模型参数量 125B，额外配备 51B N-gram 嵌入，每 token 仅激活 6B 参数，原生支持 262，144 token 上下文，可通过 YaRN 扩展至 1M token。核心技术包括：GDN + QSA 混合注意力机制，其中 Gated DeltaNet 高效压缩历史信息，Qwen Sparse Attention 通过 micro-block 级别的轻量 Indexer 降低长序列 Attention 开销；引入 Gated Residual（GR）将残差流扩展为四条并行分支，通过动态门控增强跨层信息传递与训练稳定性；采用 N-gram Embedding 以局部上下文查表的方式在几乎不增加每 token 计算量的前提下扩展模型容量，并可将嵌入表卸载至 Host Memory 通过异步 Prefetch 与计算重叠；使用 Muon Optimizer 并围绕正交化精度、参数分工与融合参数拆分进行优化，重新拟合 Scaling Law，使得模型可使用更大的学习率和批量尺度，且 Batch Size Warmup 步骤被取消。实验显示，相比 Qwen3.7-Plus，训练开销降至约 1/9，而在编码和办公任务上表现更强；在 1M 上下文下，QSA 实现最高 7.6× Prefill 和 4.9× Decode 加速，Prefix Cache 命中率 90% 时吞吐达到前身的 8.6 倍。模型已在千问 AI 平台提供 API 服务（输入 0.8 元/百万 Tokens，输出 2.7 元/百万 Tokens，缓存命中 0.1 元），并同步在 Hugging Face 与 ModelScope 开源 Qwen3.8-Flash-Next 权重，附带技术报告与博客链接，便于社区验证并为后续 Qwen4 系列奠定基础。
千问团队拆解 Qwen3.8-Flash 的四项架构升级：GDN 与 QSA 混合注意力压缩长序列开销，Gated Residual 增强跨层传递，51B N-gram Embedding 以很少计算扩充容量，Muon Optimizer 重新平衡训练效率。主模型 125B、每个 Token 仅激活 6B 参数，训练开销约为 Qwen3.7-Plus 的 1/9。它说明模型降本并非简单缩小参数，而是注意力、内存、优化器与服务系统的协同设计。文章还提前开放 Qwen3.8-Flash-Next 权重，让社区在 Qwen4 家族完成前检验新结构，适合希望理解模型效率演进机制与开放协作路径的工程读者。
文章金句
"Attention：采用 GDN + QSA Hybrid 架构。Gated DeltaNet（GDN）高效压缩历史信息；Qwen Sparse Attention（QSA）通过压缩式轻量 Indexer 在 micro-block 粒度上筛选重要上下文，显著降低长序列 Attention 开销。
"引入 Gated Residual（GR），将 Residual Stream 扩展为 4 条分支，并通过动态 Gate 控制信息读写，增强跨层信息传递和训练稳定性。
"引入 N-gram Embedding，利用局部上下文进行查表，以很少的额外计算扩展模型容量；Embedding Table 可以卸载到 Host Memory，并通过异步 Prefetch 与模型计算重叠。
"采用 Muon Optimizer 训练，并围绕三个关键问题进一步优化 Muon 在大模型训练中的使用方式：正交化精度、Muon 与 AdamW 的参数分工，以及融合参数矩阵的拆分。
"相比于 Qwen3.7-Plus，Qwen3.8-Flash 显著降低了训练与推理成本，训练开销仅约为前者的 1/9，但在编码和办公任务上却具有更强的能力。