ARTICLE · 人工智能
腾讯 PCG 联合深圳河套学院：在全双工语音大模型领域取得重要突破，获 ACL 2026 杰出论文奖
一语总结腾讯 PCG 与深圳河套学院提出原生端到端全双工语音大模型 Lychee-FD，通过层次化声学-语义建模解决深层梯度冲突与语义稀释，获 ACL 2026 杰出论文奖。
文章介绍了腾讯 PCG 技术线-AI 创新应用中心联合深圳河套学院 AI 训练平台张民教授团队在全双工语音大模型领域的研究成果。文章首先指出当前语音交互普遍采用轮次式“一问一答”范式，缺乏自然的连续双向能力。接着详细阐述了 Lychee-FD 模型的核心创新：通过细粒度优化动态分析揭示原生全双工模型中深层梯度冲突和语义稀释两大根本原因；提出层次化语义-声学建模框架，在浅层保持共享主干，深层将语义、声学和对话控制分离到专门通道，并引入密集语义对齐通道以保持内部语义线索；在工程实现上，基于 vLLM 定制实时并行多流推理框架，实现 2.96 倍提速和 23%显存降低，并采用控制头早退策略加速打断响应。实验表明 Lychee-FD 在 Spoken QA 任务提升 7.4%，在 FullDuplexBench 1.5 提升 28.5%，在三个全双工基准的十项指标上达到当前领先水平。最后强调该工作荣获 ACL 2026 杰出论文奖，说明其在自然语言处理顶会中的学术与产业双重价值。
- 现有语音交互主要是轮次式问答，缺乏自然的连续双向能力。
文章指出当前语音 AI 常停留在“听完再说”模式，无法像人一样同时倾听和回应，这是实现类人交互的核心挑战。
- Lychee-FD 揭示原生全双工模型失智的两大根本原因：深层梯度冲突与语义稀释。
通过细粒度优化动态分析，论文表明深层网络中声学和语义目标出现梯度分化，且高频语音信号淹没稀疏文本监督，导致模型偏向复现声音而削弱语义理解。
- 提出层次化语义-声学建模框架，实现浅层共享、深层专业通道并引入密集语义对齐。
浅层保持声学-语义共同学习底层表示；深层将语义、声学和对话控制拆分到独立通道；密集语义对齐通道（内部独白）在生成语音时保留清晰语义线索，从而解耦冲突。
- 工程上基于 vLLM 定制实时并行多流推理框架并采用控制头早退策略，显著提升推理效率。
共享主干计算后将中间表示分发到语义、声学和控制通道并行执行，实现 2.96 倍提速和 23%显存降低；控制头早退让控制 Token 更早产出，为快速打断提供通道。
- 实验结果显著领先，且荣获 ACL 2026 杰出论文奖，验证其学术与产业价值。
Lychee-FD 在 Spoken QA 提升 7.4%，FullDuplexBench 1.5 提升 28.5%，三个基准的十项指标达当前领先水平；ACL 杰出论文获奖率仅 0.15%，代表顶尖创新。
腾讯 PCG 联合深圳河套学院：在全双工语音大模型领域取得重要突破，获 ACL 2026 杰出论文奖
文章介绍了腾讯 PCG 技术线-AI 创新应用中心联合深圳河套学院 AI 训练平台张民教授团队在全双工语音大模型领域的研究成果。文章首先指出当前语音交互普遍采用轮次式“一问一答”范式，缺乏自然的连续双向能力。接着详细阐述了 Lychee-FD 模型的核心创新：通过细粒度优化动态分析揭示原生全双工模型中深层梯度冲突和语义稀释两大根本原因；提出层次化语义-声学建模框架，在浅层保持共享主干，深层将语义、声学和对话控制分离到专门通道，并引入密集语义对齐通道以保持内部语义线索；在工程实现上，基于 vLLM 定制实时并行多流推理框架，实现 2.96 倍提速和 23%显存降低，并采用控制头早退策略加速打断响应。实验表明 Lychee-FD 在 Spoken QA 任务提升 7.4%，在 FullDuplexBench 1.5 提升 28.5%，在三个全双工基准的十项指标上达到当前领先水平。最后强调该工作荣获 ACL 2026 杰出论文奖，说明其在自然语言处理顶会中的学术与产业双重价值。
文章金句
"Lychee-FD 的核心价值，在于它不是绕开这个问题，而是首次从模型优化机制上揭示了原生全双工语音大模型难以做好的根本原因，并围绕这一原因完成了架构设计与工程实现。
"病因一：深层梯度冲突。……进入深层之后，它们的优化方向开始分化，甚至互相牵制。
"病因二：语义稀释。……导致文本序列中 80% 以上都是无意义的 padding。稀疏的文本监督被高频声学信号淹没，模型在训练中逐渐偏向‘复现声音’
"团队提出了层次化语义-声学建模框架：在浅层，模型保留共享主干……在深层，则将语义、声学和对话控制拆分为不同的专门通道
"实验结果也验证了这一点：Lychee-FD 在 Spoken QA 任务上平均提升 7.4%，在 FullDuplexBench 1.5 上平均提升 28.5%，在 3 个全双工语音交互基准的 10 个指标上达到当前领先水平。
"从科学洞察，到架构创新，再到在线推理引擎优化，Lychee-FD 完成了理论突破、算法创新和工程实现的全栈闭环。