ARTICLE · 软件编程
Apache COC Asia 2026｜滴滴技术团队的三场专题分享
一语总结滴滴技术团队在 Apache COC Asia 2026 分享了百 PB 级 Ozone 对象存储演进、基于 Iceberg 的开放湖仓建设及 Seata 面向 AI 智能体的开源治理实践。
文章回顾了滴滴技术团队在 Apache COC Asia 2026 大会上的三场专题分享。第一场详述了从 HDFS 迁移至 Apache Ozone 的架构演进，解决元数据瓶颈、多集群治理、Follower Read 优化及 EC-6-3 降本实践，实现百 PB、百亿文件规模的稳定运行。第二场介绍了基于 Iceberg 构建开放湖仓的全链路实践，覆盖 Hive 存量表规模化迁移、Flink 实时入湖、Binlog Server 集中采集及 Amoro 表维护，将端到端数据新鲜度推进至分钟级并显著降低存储计算成本。第三场探讨了 Apache Seata 面向 AI 智能体的演进路径，提出“人类可读、机器可检索、智能体可操作、社区治理”四层次目标，通过 Saga 状态语言、Knowledge Agent 与 Copilot 闭环，重新定义开源项目在 AI 时代的协作范式。三大方向均体现了超大规模生产环境下的架构权衡、工程落地细节与开源社区反哺。
- Ozone 通过分层元数据与 Container 化设计突破 HDFS 小文件瓶颈，配合多集群治理与 Follower Read 实现百 PB 规模高性能读写。
滴滴利用 Ozone Manager 与 Storage Container Manager 分离架构、RocksDB 存储元数据，解决 HDFS NameNode 内存与 RPC 瓶颈；通过 ViewFS 实现 Bucket 级多集群路由控制单集群文件数，引入 Follower Read 并结合 appliedIndex 动态选优，将 GetMetaLatency P90 降低 5 倍；NVMe 缓存 EC 首 Stripe 解决 HDD 首帧抖动。
- 基于 Iceberg 构建统一湖仓，通过标准化迁移闭环、Flink 实时入湖与 Binlog Server 集中采集，实现分钟级数据新鲜度与 PB 级存储计算成本优化。
滴滴将 Hive 表迁移至 Iceberg 形成标准化“扫描-校验-双跑-回放-对比-切换”闭环并产品化；实时链路由 Flink 直写 Iceberg Snapshot，下游多引擎共享；Binlog Server 替代 Canal 实现 MySQL 集群级集中采集与 GTID 校验；Amoro 异步化表维护（压缩、快照过期、孤儿文件清理）保障写入性能。
- Seata 探索 AI 友好型开源演进，通过结构化知识体系、Saga 状态语言与 Copilot 闭环，让智能体能可靠理解、安全操作并接受社区治理。
针对 AI Coding 带来的上下文缺失与验证成本上升，Seata 定义四层演进目标：Saga 将自然语言业务意图转为可验证执行的状态机；Knowledge Agent 采集多源知识保留溯源语义，编译智能体生成规范知识，查询智能体提供带证据引用的最小上下文包；未来 Saga Copilot 将串联描述、检索、生成、校验、模拟、评审全流程。
Apache COC Asia 2026｜滴滴技术团队的三场专题分享
文章回顾了滴滴技术团队在 Apache COC Asia 2026 大会上的三场专题分享。第一场详述了从 HDFS 迁移至 Apache Ozone 的架构演进，解决元数据瓶颈、多集群治理、Follower Read 优化及 EC-6-3 降本实践，实现百 PB、百亿文件规模的稳定运行。第二场介绍了基于 Iceberg 构建开放湖仓的全链路实践，覆盖 Hive 存量表规模化迁移、Flink 实时入湖、Binlog Server 集中采集及 Amoro 表维护，将端到端数据新鲜度推进至分钟级并显著降低存储计算成本。第三场探讨了 Apache Seata 面向 AI 智能体的演进路径，提出“人类可读、机器可检索、智能体可操作、社区治理”四层次目标，通过 Saga 状态语言、Knowledge Agent 与 Copilot 闭环，重新定义开源项目在 AI 时代的协作范式。三大方向均体现了超大规模生产环境下的架构权衡、工程落地细节与开源社区反哺。
文章金句
"超大规模存储系统的落地不仅依赖架构选型，更需要围绕性能、稳定性、成本和可运维性持续演进，在真实业务挑战与开源社区协作中共同完善技术体系。
"AI 友好并不等于接受更多 AI 生成代码，而是让项目能够被可靠理解、安全操作，并继续接受开源社区治理。
"技术架构持续演进，开源项目不断创新，社区协作也在新的技术趋势下拓展出更多可能。