ARTICLE · 软件编程
腾讯大数据 SuperSQL 刷新 TPC-DS 世界纪录,性能、性价比双料第一
一语总结腾讯自研 SuperSQL 在 TPC-DS 100TB 测试中以 6.54 亿 性能和 11.04 元/性价比 刷新世界纪录,性能及成本均领先全球。
文章详细介绍了腾讯技术工程团队自研的下一代大数据自适应计算平台 SuperSQL 在国际事务处理性能委员会(TPC)官方基准 TPC-DS 100TB 测试中的表现。SuperSQL 综合性能成绩达 6.54 亿,是之前最高纪录的近 10 倍;单位性能成本降至 11.04 元,仅为之前的约六分之一,成为全球性能与性价比双料第一的大数据计算平台。文中从测试背景、TPC-DS 基准意义、SuperSQL 整体架构(查询优化器、分布式调度、通用计算底座、异构计算加速)以及三大硬核技术揭秘(AutoCTE 与全局公共子计划复用、Runtime Filter 代价建模、HBO/AQE 自适应优化、TEngine 向量化执行引擎、统一内存管理器、自适应 Shuffle 与 vRDMA、大模型驱动的智能诊断)进行深度解析,并展示了在数据写入、串行/并行查询、数据更新四大环节上的显著提速。最后将技术突破与客户价值关联,说明该平台已在腾讯内部多业务稳定运行,并招募相关技术人才。
- SuperSQL 在 TPC-DS 100TB 测试中综合性能达 6.54 亿,是之前纪录的近 10 倍。
文章引用 TPC 官方榜单数据,说明该成绩在性能上实现了数量级的提升,标志着腾讯在大数据计算领域的技术领先。
- 单位性能成本仅 11.04 元,约为之前的六分之一,性价比全球领先。
通过成本与性能的双重优化,SuperSQL 不仅在绝对性能上领先,而且在每单位性能的花费上也大幅降低,具备显著的经济价值。
- 查询优化方面引入 AutoCTE、Runtime Filter 代价建模及 HBO/AQE 自适应机制,形成完整优化链路。
这些技术分别解决了重复子计算、动态过滤成本收益以及静态统计误差的问题,使得执行计划更贴近真实负载并提升整体效率。
- TEngine 向量化执行引擎通过自适应编码、Micro-adaptive 能力、统一内存管理器及自适应 Shuffle+vRDMA 实现超线性伸缩。
从算子层面到网络层面的全链路优化,使得 CPU 算力得到充分释放,内存碎片降低,网络开销下降,从而在大规模集群中实现了性能的超线性增长。
- 大模型驱动的智能诊断平台提供性能瓶颈发现、工作负载归因及参数推荐,显著降低 SQL 耗时和 CPU 消耗。
通过可观测性、机器学习与大模型的结合,该诊断体系能够主动识别算子级瓶颈、归因异常工作负载并自动推荐优化策略,进一步提升平台的可用性和效率。
腾讯大数据 SuperSQL 刷新 TPC-DS 世界纪录,性能、性价比双料第一
文章详细介绍了腾讯技术工程团队自研的下一代大数据自适应计算平台 SuperSQL 在国际事务处理性能委员会(TPC)官方基准 TPC-DS 100TB 测试中的表现。SuperSQL 综合性能成绩达 6.54 亿,是之前最高纪录的近 10 倍;单位性能成本降至 11.04 元,仅为之前的约六分之一,成为全球性能与性价比双料第一的大数据计算平台。文中从测试背景、TPC-DS 基准意义、SuperSQL 整体架构(查询优化器、分布式调度、通用计算底座、异构计算加速)以及三大硬核技术揭秘(AutoCTE 与全局公共子计划复用、Runtime Filter 代价建模、HBO/AQE 自适应优化、TEngine 向量化执行引擎、统一内存管理器、自适应 Shuffle 与 vRDMA、大模型驱动的智能诊断)进行深度解析,并展示了在数据写入、串行/并行查询、数据更新四大环节上的显著提速。最后将技术突破与客户价值关联,说明该平台已在腾讯内部多业务稳定运行,并招募相关技术人才。
文章金句
"天穹 SuperSQL 通过严苛的 TPC-DS 全流程测试,综合性能成绩达 6.54 亿,是此前最高纪录的近 10 倍;单位性能成本降至 11.04 元,仅为此前的约六分之一,成为 TPC-DS 100TB 官方榜单上全球性能、性价比双双领先的大数据计算平台。
"自研通用向量化计算底座 TEngine,统一了流批引擎的计算执行层,原生支持 CPU 与 GPU 异构计算能力,并融合 SQL、Python 混合计算与多模检索能力。
"天穹 DataAgent 近日以 76.23% 的准确率登顶企业级 Text-to-SQL 权威评测 Spider 2.0-Lite 公开榜单,超越 Snowflake、Oracle 等国际厂商方案。