← 返回全部情报
OpenAI 自研 Git 后端 Pando:Codex 并发撑爆 monorepo 后,10 周用智能体重写推送路径 的封面

·OpenAI Engineering·工程博客收录 2026-11-07

OpenAI 自研 Git 后端 Pando:Codex 并发撑爆 monorepo 后,10 周用智能体重写推送路径

工程源码控制PandoGitCodexmonorepoAgent 并发

一句话结论

OpenAI 在保留 Git 协议与客户端的前提下自研后端 Pando,按 ref 独立协调写路径并复用 packfile 做高吞吐读,中位推送延迟约降 5 倍、日传 Git 数据近 1 PB,从立项到生产约 10 周。

打开原文 OpenAI Engineering:Scaling Git at OpenAI

背景与理念

Codex 让工程师能并行推很多分支后,旧 monorepo 源控曾出现慢推送、失败合并,可靠性一度低于 90%。团队要的是水平扩展写与高吞吐读,同时不打断工程师和 agent 已有的 Git 工作流,所以选择重做后端、保留协议兼容,并把改进回馈上游 Git。

具体做法

  1. 写路径按分支(ref)独立协调,只保证单 ref 可串行化,全仓不做强一致快照。推送时把 pack 流式写入 blob,再在元数据里记 ref version;无关分支可并行推进。
  2. 读路径复用已存 packfile,并用 packfile-uri 让客户端从区域缓存 Express 拉包。服务器主要做协商与选包,本地盘缓存命中率超过 99%,实测可打满 10 Gbps 链路。
  3. 推送默认只广告 trunk 子集,换可复用的小包。文中中位 pack 小于 20 KiB、P99 小于 3 MiB;后台按 LSM 思路做 L0–L4 compaction,避免客户端追 trunk 时下载成千上万个小包。
  4. 用 Codex / GPT-6 Astra 等智能体写实现与 Lean/TLA+ 形式化,约 10 周进生产。先以读写穿透代理与旧系统双跑,再分阶段迁移 CLI 与数百个集成。

关键数据/例子

中位 push 延迟约降 5 倍(文中亦写合并可靠性改善后中位延迟约降 80%);日传 Git 数据近 1 PB,单小时曾送出超过 57 TB pack。缓存命中超过 99%;约 2026 年 4 月起服务生产流量。数字均来自 OpenAI 工程原文。

创新点

第一,用因果一致(按 ref)换掉全仓线性化,专门吃 agent 规模的并发推分支。第二,把「少广告 refs + 复用 pack + 上游 packfile-uri」做成读路径主轴,而不是为每个客户端现算独一份 pack。

可否复用

  1. 先量化 agent 并发推送下的可靠性与 pack 生成成本,再决定是换后端还是继续加副本。
  2. 若必须保留 Git 客户端,可优先评估「按 ref 协调 + 可复用 pack」而不是强行全仓一致。
  3. 绿场组件可用智能体写实现,但要用符合性测试与形式化/仿真把竞态找出来。

笔记会在输入时自动保存。