← 返回全部情报
OpenAI Habitat 存储平台 Part II:与 Azure Cosmos DB 共管,多租户回到共享容器,读延迟 p50 约 120ms→10ms 的封面

·Blog·工程博客收录 2026-10-25

OpenAI Habitat 存储平台 Part II:与 Azure Cosmos DB 共管,多租户回到共享容器,读延迟 p50 约 120ms→10ms

工程存储多租户Cosmos DBHabitatOpenAI

一句话结论

服务超过 10 亿用户、覆盖约 40 个区、存储超过 500PB 的 Habitat,经历了共享容器到单租户再回到多租户的路径;与 Azure 共管 Cosmos DB、用 change feed 做全局缓存失效并用 Rust 重写后,读延迟 p50 从约 120 毫秒降到约 10 毫秒。

打开原文 OpenAI:Scaling storage for one billion users, Part II

背景与理念

面向十亿级用户的存储,隔离与效率会反复拉扯。Habitat 服务超过 10 亿用户、约 40 个区、存储超过 500PB;最大的 Cosmos 账户达到数十 PB、超过每秒 2000 万次查询。团队先从共享走到单租户容器,再因成本与运维压力回到多租户。

具体做法

  1. 多租户回流靠热键限流、QoS,以及改进后的 serverless(每个物理分区到每秒 1 万 RU)。
  2. 与 Azure 共管:联合监控、用生产规模的非产账户做测试,并保持工程直连。
  3. 缓存侧用 Cosmos change feed 做全局失效,思路类似 Meta 的 TAO;代理层用 Rust 重写以降低开销。CDC 吞吐达到百万级变更每秒。

关键数据/例子

读延迟 p50 从大约 120 毫秒降到大约 10 毫秒,约 12 倍。最大 Cosmos 账户达到数十 PB、超过每秒 2000 万次查询;CDC 处理百万级变更每秒。

创新点

第一,把「共享→单租户→再回多租户」写成可复盘的容量演进,而不是一次性架构定论。第二,用与云厂商共管、change feed 全局失效和 Rust 代理重写,把延迟与吞吐同时压下来。

可否复用

  1. 多租户回流前先补齐热键限流和 QoS,再谈共享容器。
  2. 缓存失效优先走变更流全局广播,减少靠猜测的 TTL。
  3. 与云厂商共管时,用生产规模的非产账户做压测,并保留工程直连通道。

笔记会在输入时自动保存。