
OpenAI Core Experimentation 用 GPT-6 做软件维护:五人兼职两周合并逾 1400 个清理 PR,删掉逾 80 万行
CodexGPT-6 AstraGPT-6.1 Sol死代码StatsigCI
一句话结论
OpenAI 实验平台团队用简短 Codex 提示让 GPT-6 Astra 自己找证据清理死代码与陈旧实验:五名工程师兼职约两周合并逾 1400 个维护 PR、删除逾 80 万行;再用 GPT-6.1 Sol 把同类审计做到接近 Astra 的发现量、成本约到 14%;顺手把中位 CI 从约 10 分钟降到约 4.5 分钟。
打开原文
OpenAI Developers:Maintaining software with the GPT-6 family
背景与理念
编码 agent 让团队建得更快,也把维护需求一起放大:未使用代码、做完的实验、脆弱测试都要清。作者在 Core Experimentation 团队,负责支撑公司各类实验的软件。过去靠复杂静态分析加运行日志删死代码仍会误删;他们改用 Codex:先给范围与校验标准,再逐步把提示放宽,让更强模型自己决定去哪找证据。
具体做法
- 宽提示清死代码。对 GPT-5.6 Sol 过宽、对 Astra 可行的提示大意是:请找出并清理仓库死代码,可查 Slack、Statsig 与其他来源确认不再使用。Astra 会看历史 PR、Slack、内部追踪,并读生产性能剖析表确认删除行从未被跑到,还为每次删除写理由以加速人审。
- 五人规模化。看到效果后,五名工程师在多个仓库跑该提示变体,兼职两周(主业仍是其他项目)合并逾 1400 个 PR,删除逾 80 万行;评审分发给熟悉各项目的团队。
- 陈旧实验与 feature flag。先小范围提示:找陈旧/常量 Statsig 门与废弃实验,核对线上配置与 git 历史,保留 killswitch,每个清理开小草稿 PR 并链到控制台。再根据评论让 Astra 生成全库 `/goal` 审计提示(含间接引用、CPU 成本、不得改线上配置等),产出按所有权可并行的报告后人工验证再全量清理。
- 用 GPT-6.1 Sol 压成本。同一审计提示在逾 6000 文件、约 100 万行的多语言子目录上对比:Astra Ultra 约 $109.06、142 个发现;Sol Ultra 约 $15.12、131 个发现(约 92% 发现量、约 14% 成本);Sol Medium 约 $5.27、86 个发现。差异多来自被其他 flag 依赖的常量门,可写回提示补洞。
- 其他短提示。修 flaky 测试、对照 AGENTS.md 做 A/B 重放、按 CI 历史给减负点子并排序;后者跟进后约 30 个 CI 优化 PR。
关键数据/例子
死代码清理:逾 1400 个合并 PR、逾 80 万行删除;一例容器镜像从 3.31GB 到 1.72GB(约 48%);另一组清理去掉约 400 个视觉快照变体。陈旧实验一例:一行把某测试用「覆盖全部新功能 flag」的映射造成 CPU 扇出,Astra 标出供人审,移除后主服务估约省 0.42% CPU。模型对比数字见上。CI:中位完成时间约 10 分钟→4.5 分钟,90 分位约 12.5→6 分钟;后续补 mock 把 63 个测试的 resolver 套件从 592.6 秒降到 29.8 秒(约 95%),测试全留。
创新点
第一,用「短而故意含糊的维护提示 + 强制外部证据」替代只靠静态分析的删码流水线。第二,让模型根据评审反馈改写下一版全库审计提示,并把 CPU/遥测纳入优先级。第三,在同一工作流上系统比较 Astra 与 Sol 的发现量与单价,用提示补齐更便宜模型的盲区。
可否复用
- 从单点维护任务起步(一处死代码、一个陈旧 flag、一个 flaky 测试),要求 agent 交证据与小草稿 PR。
- 把人的 PR 评论写回下一版提示,再扩大到子目录与全库;保留 killswitch 与「不改线上配置」等硬约束。
- 同一任务对比不同模型/effort 的发现数与费用,对系统性漏报写进提示,并在新模型发布后重测。
- 用仓库 CI 历史让 agent 按「预计每日节省分钟」排序优化点子,小步合并并回看中位/分位耗时。