ARTICLE · 人工智能
快速扩展在线存储以服务超过 10 亿 ChatGPT 用户（第二部分）
一语总结OpenAI 的 Habitat 存储平台从单租户架构演进为多租户、全球分布式系统，借助 Azure Cosmos DB 应对爆炸式增长，并为超过 10 亿用户提供可靠、高性能的数据访问。
随着 OpenAI 扩展至服务超过 10 亿 ChatGPT 用户，Habitat 存储平台在可靠性、性能和运营效率方面面临重大挑战。团队从单租户模式转向基于 Azure Cosmos DB 的多租户方案，实施了热点键限流、QoS 分级和无服务器模式等策略，以缓解吵闹邻居和弱分区问题。这一演进，加上与 Azure 在共管服务方面的紧密合作，最终打造出一套稳健、高性能的存储解决方案，能够处理海量全球流量。
- 转向多租户架构
为解决单租户模式的低效以及管理大量容器带来的运营开销，OpenAI 转向多租户模式。这带来了更好的资源利用率和更简化的容量规划，但也需要克服吵闹邻居和分区键冲突等挑战。
- 优化 Azure Cosmos DB
团队在 Azure Cosmos DB 中实施了几项关键优化，包括热点键限流以防止主导键垄断资源、服务质量（QoS）分级以优先处理交互式请求而非后台任务，以及一种根据存储和 RU 使用量动态扩展的新无服务器模式。
- 共管服务与全球性能
认识到标准托管服务在其规模下已不够用，OpenAI 与 Azure 建立了深度合作关系。这种协同工程方式带来了稳定性和性能的显著提升，包括开发出一套分层策略来优化全球各区域的读取性能。
快速扩展在线存储以服务超过 10 亿 ChatGPT 用户（第二部分）
随着 OpenAI 扩展至服务超过 10 亿 ChatGPT 用户，Habitat 存储平台在可靠性、性能和运营效率方面面临重大挑战。团队从单租户模式转向基于 Azure Cosmos DB 的多租户方案，实施了热点键限流、QoS 分级和无服务器模式等策略，以缓解吵闹邻居和弱分区问题。这一演进，加上与 Azure 在共管服务方面的紧密合作，最终打造出一套稳健、高性能的存储解决方案，能够处理海量全球流量。
文章金句
"我们不断评估权衡取舍，遵循这样的模式：首先做到足够可靠以承载关键任务的产品流量，然后做到足够快以服务全球用户，最后做到能够在大规模下灵活运营。