ARTICLE · 人工智能
TMAP 平台图生视频推理加速实践
一语总结TMAP 平台通过多卡并行、SageAttention 量化、混合精度线性层量化及自研 DPCache 缓存，在无损视频质量前提下实现 4.87× 推理加速，单次成本低于 0.15 元/秒。
文章详细介绍了淘宝技术（TMAP）平台在图生视频（I2V）模型工业落地中的推理加速实践。文章先阐述了图生视频模型面临的显存占用高、推理延迟大和成本昂贵的瓶颈，然后分别从多卡并行（Deepspeed Ulysses 序列并行并结合通信重叠优化）、Attention 加速（引入 SageAttention 并采用层间选择性量化）、量化加速（线性层 W8A8/W8A16 混合量化以解决显存溢出并消除 CPU Offload 开销）以及缓存加速（自研基于动态规划与路径感知成本张量的 DPCache 方案，优于 TeaCache 和 TaylorSeer）四个维度进行深度优化。实验结果表明，在生成质量肉眼不可区分的前提下，推理速度提升了除多卡外的 4.87 倍，单次推理成本降至低于 0.15 元/秒。文章配有丰富的图表和实验数据，技术细节清晰可循，具备较强的工程参考价值。
- 多卡序列并行与通信重叠优化降低单请求延迟
使用 Deepspeed Ulysses 将线性层和注意力计算均分到所有设备，并通过重叠 all2all 通信与前向计算降低延迟。
- 层间选择性量化的 SageAttention 显著降低 Attention 计算量且保持视频质量无损
通过在对误差敏感的层保持原精度、其他层使用 8 位量化，将 Attention 耗时降至原三分之一。
- 混合精度线性层量化 (W8A8/W8A16) 解决显存溢出并免除 CPU Offload 开销
对线性层权重进行 8 位量化，激活部分保持 16 位，显著降低显存占用并避免额外的 CPU‑GPU 数据搬移。
- 自研 DPCache 缓存方案基于动态规划与路径感知成本张量，实现全局最优调度，优于 TeaCache/TaylorSeer
DPCache 通过动态规划选择缓存命中策略，结合路径感知成本张量，在保证质量的前提下实现更高的加速比。
TMAP 平台图生视频推理加速实践
文章详细介绍了淘宝技术（TMAP）平台在图生视频（I2V）模型工业落地中的推理加速实践。文章先阐述了图生视频模型面临的显存占用高、推理延迟大和成本昂贵的瓶颈，然后分别从多卡并行（Deepspeed Ulysses 序列并行并结合通信重叠优化）、Attention 加速（引入 SageAttention 并采用层间选择性量化）、量化加速（线性层 W8A8/W8A16 混合量化以解决显存溢出并消除 CPU Offload 开销）以及缓存加速（自研基于动态规划与路径感知成本张量的 DPCache 方案，优于 TeaCache 和 TaylorSeer）四个维度进行深度优化。实验结果表明，在生成质量肉眼不可区分的前提下，推理速度提升了除多卡外的 4.87 倍，单次推理成本降至低于 0.15 元/秒。文章配有丰富的图表和实验数据，技术细节清晰可循，具备较强的工程参考价值。
文章金句
"最终，该实践在生成质量肉眼不可区分的前提下，实现了除多卡外 4.87 倍的推理加速，将单次推理成本压缩至低于 0.15 元/秒。
"通过线性层 W8A8/W8A16 混合量化解决显存溢出问题并消除 CPU Offload 开销
"自研基于动态规划与路径感知成本张量的 DPCache 缓存方案，实现了比 TeaCache 和 TaylorSeer 更优的全局最优调度与加速效果。
"引入 SageAttention 算子并设计层间选择性量化方案，在保持视频质量无损的前提下显著降低 Attention 耗时
"平台采用 Deepspeed Ulysses 序列并行并结合通信重叠优化以降低单条请求延迟