
Cloudflare:抠推理优化把 AI 代码评审均价 $2.43→$0.77(−68%),严重告警采纳约 34%→59%
工程推理成本prompt cache代码评审AgentCloudflare质量门禁
一句话结论
对内部 AI 代码评审先量「首请求是否读到 cache」,再拆共享前缀、砍无效 tool、混搭协调器与 Sonnet/Opus effort,并用「作者是否改告警行 + 盲评 severity」盯质量,把均价砍约 68% 的同时把严重告警采纳率抬上去。
打开原文
Cloudflare:Cutting our inference bill by 68% by being obsessive about optimization
背景与理念
模型越强、变更越大,单次评审 token 与成本会漂移,需要可复现的成本–质量闭环。Cloudflare 内部用 OpenCode v2 与多 specialist reviewer 做 AI 代码评审,目标不是一味降价,而是先量后砍。
具体做法
- 先量首请求是否读到 Anthropic prompt cache;把环境段移出共享前缀,并做跨仓库共享 breakpoint。
- 少工具、并行读文件、复审跳过;协调器与 Sonnet/Opus effort 混搭;v1/v2 shadow 对比。
- 质量双测:作者是否改动告警行,以及盲评 severity;用 A/B 换模型与 effort 时同时盯这两项。
关键数据/例子
均价约 $2.43→$0.77(−68%);中位耗时 4m09s→1m32s。代码改约贡献 $0.65、模型/effort 约 $1.06;cache 读/写/输出分别约 −82% / −54% / −67%;>5min 评审 37.9%→0.7%;严重告警被作者采纳约 34%→59%;盲评「severity过重」约 0.46→0.14(−70%)。
创新点
第一,把「首请求 cache 命中」当成优化入口,而不是先砍模型。第二,用采纳率与盲评 severity 防止成本优化偷走质量。
可否复用
- 任何高量 agent 先画首请求 cache 命中曲线,再动前缀与工具表。
- 砍 effort 前设质量双测(行为采纳 + 独立盲评)。
- 把代码路径优化与换模/effort 分账,避免把两类收益混成一句口号。