ARTICLE · 人工智能

淘宝 TaoMate-H3 开源:三步生成「分钟级」音视频连续创作

作者:大淘宝技术 来源:大淘宝技术 2026-10-14 10:27 16 分钟 40 阅读 3985 字
AI 与智能应用开源项目模型训练与推理AI 产品与应用Agent编排
一语总结

TaoMate-H3 是由阿里巴巴 TaoLive AIGC 团队基于 MiniMax H3 研发的音视频联合流式生成模型,通过三步 LoRA 推理与自回归生成,支持分钟级连续创作,并已正式开放推理代码和权重。

AI 总结

TaoMate-H3 能够根据文本描述连续生成包含人物对白、歌声或环境音的视频,支持 480p、768p、1080p 级横竖屏输出。与传统整段去噪相比,其逐段三步生成显著缩短了首段内容的产出时间,为直播讲解、虚拟角色表演和交互式视频应用提供了新的技术基础。目前,推理代码与 LoRA 权重已在 GitHub 和 Hugging Face 上开放下载。

核心要点
  1. 三步流式生成,降低等待时间

    通过少步 LoRA,TaoMate-H3 将每个小片段的去噪过程压缩为三步,优先完成当前片段再生成后续内容,无需等待整段视频完成去噪,从而显著缩短了首段内容的产出时间。

  2. 音视频联合生成,丰富人物与场景表现

    模型在同一生成过程中处理声音与画面,支持人物讲话、歌唱、环境音效等,使声音参与模型的生成过程,为口型、表情和动作提供时间上的配合。

  3. 分钟级连续续写,支持分段内容编排

    借助持续更新的音视频 KV 缓存和分段音频引导,模型能够跨越提示词边界延续前面的内容,使创作者可以逐段调整讲解重点或表演内容,组织更完整的商品介绍和角色叙事。

淘宝 TaoMate-H3 开源:三步生成「分钟级」音视频连续创作

TaoMate-H3 能够根据文本描述连续生成包含人物对白、歌声或环境音的视频,支持 480p、768p、1080p 级横竖屏输出。与传统整段去噪相比,其逐段三步生成显著缩短了首段内容的产出时间,为直播讲解、虚拟角色表演和交互式视频应用提供了新的技术基础。目前,推理代码与 LoRA 权重已在 GitHub 和 Hugging Face 上开放下载。

大淘宝技术介绍 TaoMate-H3 将音视频放进同一流式生成过程,以三步去噪和 KV 缓存支持分钟级续写。摘要还列出对话、歌声、环境音等场景,以及开放的推理代码和 LoRA 权重,呈现模型机制到创作工具的路径。适合关注生成视频、多模态工程与实时交互的读者。

文章金句

"

推理代码与 LoRA 权重已正式开放!

"

与整段视频反复去噪的生成方式相比,TaoMate-H3 以小片段为单位推进,每个片段仅需三步去噪,无需等待整段视频完成生成。

"

目前,TaoMate-H3 推理代码与 LoRA 权重已正式开放。 开发者可通过 GitHub 和 Hugging Face 下载体验,在此基础上开展应用开发与流式生成研究。