ARTICLE · 人工智能
Lychee-FD：哈工大张民教授团队在全双工语音大模型领域取得重要突破，斩获 ACL 2026 杰出论文奖
一语总结哈工大张民教授团队开源了原生端到端全双工语音大模型 Lychee-FD，该研究因揭示了语音与语义建模的冲突并提出层次化解耦架构，荣获 ACL 2026 杰出论文奖。
本文介绍了哈工大深圳计算与智能研究院立知大模型团队的最新突破——Lychee-FD 原生端到端全双工语音大模型。该模型解决了传统语音交互中“轮次式”交互的局限，通过揭示语音与语义在深层参数空间中的梯度冲突及“语义稀释”问题，提出了层次化语义-声学建模框架，实现了语义理解、语音生成与对话节奏控制的统一。此外，团队还通过定制化 vLLM 推理框架实现了并行多流推理，显著提升了实时交互性能。目前，该成果已在 ACL 2026 获得杰出论文奖，并已开源相关代码与模型。
- 揭示了原生全双工语音大模型存在的“降智”根本原因。
研究发现语音与语义在深层参数空间存在内生梯度冲突，且高频声学信号会导致文本语义被“稀释”，导致模型难以兼顾智能与流畅度。
- 提出层次化语义-声学建模框架实现架构创新。
通过在浅层共享主干、深层进行语义、声学与控制通道解耦的设计，解决了模态间的冲突，实现了原生类人交互能力。
- 通过工程优化实现了高性能的实时并行多流推理。
基于 vLLM 进行了定制化改造，通过并行执行多个专门通道并管理多流 KV cache，实现了 2.96 倍的提速与显存优化。
Lychee-FD：哈工大张民教授团队在全双工语音大模型领域取得重要突破，斩获 ACL 2026 杰出论文奖
本文介绍了哈工大深圳计算与智能研究院立知大模型团队的最新突破——Lychee-FD 原生端到端全双工语音大模型。该模型解决了传统语音交互中“轮次式”交互的局限，通过揭示语音与语义在深层参数空间中的梯度冲突及“语义稀释”问题，提出了层次化语义-声学建模框架，实现了语义理解、语音生成与对话节奏控制的统一。此外，团队还通过定制化 vLLM 推理框架实现了并行多流推理，显著提升了实时交互性能。目前，该成果已在 ACL 2026 获得杰出论文奖，并已开源相关代码与模型。
文章金句
"全双工语音交互不再是靠外部模块拼凑出的产品体验，而是模型在连续语音流中同步倾听、理解与回应的交互本能。
"Lychee-FD 不只是完成「打断」、「附和」、「接话」等单点功能，而成为模型在连续语音流中自然涌现的交互能力。