← 返回全部情报
Cloudflare:抠推理优化把 AI 代码评审均价 $2.43→$0.77(−68%),严重告警采纳约 34%→59% 的封面

·Cloudflare Blog·工程博客收录 2026-11-01

Cloudflare:抠推理优化把 AI 代码评审均价 $2.43→$0.77(−68%),严重告警采纳约 34%→59%

工程推理成本prompt cache代码评审AgentCloudflare质量门禁

一句话结论

对内部 AI 代码评审先量「首请求是否读到 cache」,再拆共享前缀、砍无效 tool、混搭协调器与 Sonnet/Opus effort,并用「作者是否改告警行 + 盲评 severity」盯质量,把均价砍约 68% 的同时把严重告警采纳率抬上去。

打开原文 Cloudflare:Cutting our inference bill by 68% by being obsessive about optimization

背景与理念

模型越强、变更越大,单次评审 token 与成本会漂移,需要可复现的成本–质量闭环。Cloudflare 内部用 OpenCode v2 与多 specialist reviewer 做 AI 代码评审,目标不是一味降价,而是先量后砍。

具体做法

  1. 先量首请求是否读到 Anthropic prompt cache;把环境段移出共享前缀,并做跨仓库共享 breakpoint。
  2. 少工具、并行读文件、复审跳过;协调器与 Sonnet/Opus effort 混搭;v1/v2 shadow 对比。
  3. 质量双测:作者是否改动告警行,以及盲评 severity;用 A/B 换模型与 effort 时同时盯这两项。

关键数据/例子

均价约 $2.43→$0.77(−68%);中位耗时 4m09s→1m32s。代码改约贡献 $0.65、模型/effort 约 $1.06;cache 读/写/输出分别约 −82% / −54% / −67%;>5min 评审 37.9%→0.7%;严重告警被作者采纳约 34%→59%;盲评「severity过重」约 0.46→0.14(−70%)。

创新点

第一,把「首请求 cache 命中」当成优化入口,而不是先砍模型。第二,用采纳率与盲评 severity 防止成本优化偷走质量。

可否复用

  1. 任何高量 agent 先画首请求 cache 命中曲线,再动前缀与工具表。
  2. 砍 effort 前设质量双测(行为采纳 + 独立盲评)。
  3. 把代码路径优化与换模/effort 分账,避免把两类收益混成一句口号。

笔记会在输入时自动保存。