ARTICLE · 人工智能
The Batch: 975｜语音识别迎来智能体时代
一语总结研究人员开发了一种基于智能体的语音转文字系统，该系统将自动语音识别与大型语言模型相结合，实现多轮交互式纠错，显著提升了转写准确性和语义理解能力。
AI 总结
传统语音转文字系统通常是一次性处理，无法纠正输出错误。新的 Agentic ASR 方法通过将转写过程拆分为多个交互轮次，允许用户对输出进行确认或更正。系统利用 LLM 分析用户反馈，识别错误并应用修正，从而大幅降低语义错误率和词错误率，特别是在处理多语言和命名实体识别任务时表现出色。
核心要点
- 交互式纠错工作流程
Agentic ASR 将转写过程视为一个多轮优化问题，用户可以先进行口述，然后在后续轮次中确认或更正转写内容。这种迭代方法允许系统逐步逼近正确的转录结果，而不是一次性生成可能错误的输出。
- LLM 作为转写编辑
在系统中，大型语言模型（Qwen3-32B）扮演着编辑的角色，而不是简单的重写者。它分析用户的更正请求，识别需要修改的特定片段，并仅对这些部分进行微调，从而避免了重写整个文本时可能引入的新错误。
- 显著的性能提升
通过多轮交互，系统的语义错误率（S²ER）和词错误率得到了显著降低。例如，在 GigaSpeech 基准上，S²ER 从 21.5% 降至 3.5%，在 AISHELL-NER 上则从 19.9% 降至 2.0%，表明该方法在保留说话者意图方面非常有效。
The Batch: 975｜语音识别迎来智能体时代
传统语音转文字系统通常是一次性处理，无法纠正输出错误。新的 Agentic ASR 方法通过将转写过程拆分为多个交互轮次，允许用户对输出进行确认或更正。系统利用 LLM 分析用户反馈，识别错误并应用修正，从而大幅降低语义错误率和词错误率，特别是在处理多语言和命名实体识别任务时表现出色。
文章金句
"大多数语音转文字系统都是一次性转写语音，因此无法纠正输出中的错误。研究人员构建了一种支持交互式纠错的系统。