一语总结
本文介绍了 NVIDIA TensorRT 11.1 中的全局性能调优器，它通过允许自定义构建路径和精度感知调优来解决性能优化的可扩展性挑战，从而为多样化的模型找到最优推理方案。

AI 总结

文章探讨了深度学习编译器优化的复杂性，不同的调度选择可能导致截然不同的推理性能。文章引入了全局性能调优器作为「启发式泛滥」问题的解决方案，允许在保持精度约束的同时进行模型特定的调优。文章提供了一个数学框架来建模模型、解决方案和运行时之间的关系，并解释了调优器如何扩展解空间以找到最快的可行解决方案。

核心要点

全局性能调优器通过允许自定义构建路径来适应特定模型和部署环境，从而解决了性能优化的可扩展性问题。
调优器不再依赖可能不适合所有模型的单一通用调度策略，而是支持创建多个「构建路径」（编译器 pass 序列）。这允许系统测试不同的配置，并选择在满足精度要求的前提下为给定模型带来最佳性能的那一个。
调优器将性能和数值精度的关注点分离，确保优化不会降低模型的输出质量。
该框架包含一个「精度感知」约束，意味着调优器只会考虑落在指定误差容限内的解决方案。这可以防止激进的优化（如降低精度的内核）在导致模型偏离预期行为太远时被应用。
数学模型区分了「构建器」（生成候选方案）和「搜索器」（选择最佳方案），为理解优化过程提供了清晰的结构。
文章定义了一个「构建器算法」，将模型映射到一组潜在解决方案，以及一个「搜索算法」，从该集合中挑选最快的方案。目标是让构建器生成足够丰富的候选集以包含全局最优解，并让搜索器能够可靠地找到它。

超越单一构建路径：用全局性能调优器扩展 NVIDIA TensorRT 性能优化，第 1 部分

"
没有一种调度策略对每个模型和部署环境都是最佳的。加速一个网络的变换可能会减慢另一个网络。