ARTICLE · 人工智能
混元开源 AngelSpec：支持投机解码训练及部署，推理加速最高 2.4 倍
一语总结腾讯混元开源全链路投机解码框架 AngelSpec 及新一代 drafter DFly，覆盖训练到部署，推理速度最高提升 2.4 倍。
文章介绍腾讯混元团队正式开源的全链路投机解码框架 AngelSpec，包含三个核心贡献：新一代并行 draft 架构 DFly（引入混合 target 条件注入、隐状态校正自回归头和面向接受率的训练目标，平均接受长度达 4.79，较 DFlash 提升约 30%）、高并发优化技术 D-cut（动态裁剪验证前缀，线上吞吐额外提升最高 15.7%）、以及针对高熵对话场景的 MTP+TTT 方法（通过训练时自回归展开修复训练-推理不一致，平均接受率从 52.8%提升至 66.4%）。框架基于 TorchSpec 构建，支持长上下文训练和真实接受率评估，已在 Hy3-A21B 模型上开源 drafter 权重与训练代码。
- DFly 通过三项改进实现更优的 draft 质量。
混合 target 条件注入结合全局语义与层特异性特征，隐状态校正头修正并行生成的分布偏差，训练目标直接从期望接受长度优化，使平均接受长度达 4.79，显著优于 DFlash 和 MTP。
- D-cut 动态裁剪验证前缀，突破高并发吞吐天花板。
利用 drafter 置信度和延迟表，全局排序并选择收益最高的验证比例，低负载保留深 draft，高负载主动裁剪，并发 48-64 时吞吐额外提升 3%-15.7%。
- MTP+TTT 针对高熵对话场景提升接受率。
原始 MTP 存在训练-推理不一致，TTT 在训练时对共享 MTP 块做自回归展开，配合 target 模型生成数据，平均接受率从 52.8%升至 66.4%，接受长度从 2.58 升至 2.99。
混元开源 AngelSpec：支持投机解码训练及部署，推理加速最高 2.4 倍
文章介绍腾讯混元团队正式开源的全链路投机解码框架 AngelSpec，包含三个核心贡献：新一代并行 draft 架构 DFly（引入混合 target 条件注入、隐状态校正自回归头和面向接受率的训练目标，平均接受长度达 4.79，较 DFlash 提升约 30%）、高并发优化技术 D-cut（动态裁剪验证前缀，线上吞吐额外提升最高 15.7%）、以及针对高熵对话场景的 MTP+TTT 方法（通过训练时自回归展开修复训练-推理不一致，平均接受率从 52.8%提升至 66.4%）。框架基于 TorchSpec 构建，支持长上下文训练和真实接受率评估，已在 Hy3-A21B 模型上开源 drafter 权重与训练代码。
文章金句
"腾讯混元正式开源全链路投机解码框架 AngelSpec 及新一代 drafter DFly 权重，支持从训练到部署的端到端加速，推理速度最高提升 2.4 倍。
"DFly 平均接受长度达 4.79，明显高于 DFlash 的 3.69 和 MTP 的 3.00；在结构性强的场景优势更大，Math500 达 5.23，HumanEval 达 5.52。