
Anthropic 把评测设计和「爬坡」优化做成 Claude Code 命令:客服基准成本降到约五分之一,留出集准确率从 78.6% 升到 90.5%
一句话结论
Anthropic 的 Lance Martin 把好评测的四个要素和防过拟合的爬坡方法写进了 Claude Code 自带的 claude-api skill,用 /claude-api build-eval 访谈式搭评测、用 /claude-api hillclimb 一次只改一处并用留出集把关;在一个 44 张工单的客服基准上,最终配置在没见过的 14 张工单上从 78.6% 提到 90.5%,成本约为原来的五分之一。
背景与理念
文章发布于 2026 年 9 月 28 日,作者是 Anthropic 的 Lance Martin,主题是如何设计评测、如何在评测上持续优化而不自欺欺人。评测能告诉你应用或技能在具体任务上的表现,但设计评测难,提升分数而不过拟合更难。
他先讲原则,再讲 Claude Code 里 claude-api skill 的两个新子命令如何把这些原则落地。这些命令随 Claude Code 一起发布,运行 claude update 就能拿到。
具体做法
第一,好评测的四个要素
1. 任务要贴近生产。不要因为好生成、好打分就挑任务,任务分布必须代表你真正在意的场景。
2. 更强的模型、更多思考应该得分更高。如果不是这样,往往是任务有歧义或评审标准没校准好。
3. 前沿模型要留有「可达」的余量。最强模型开最高强度也应明显低于 100%,而且差距不能来自不可能或有歧义的任务;一个常见信号是某道题无论重复多少次都失败。
4. 运行间方差要低。方差高常常来自任务歧义、评审对同一输出给出不同结论,或者环境残留(比如上一次试验留下的文件、git 历史)把答案递给了智能体。
此外要避免「对抗式抽样」:只挑当前模型做错的题,测到的是这个模型的失败指纹,而不是任务本身的难点。选难题时要能说清楚它为什么难,并纳入来自生产流量、缺陷报告和工单的真实失败。
第二,/claude-api build-eval 怎么搭评测
1. Claude 先访谈你,按顺序取样:先是生产对话记录(会先问保留期限和敏感数据),再是缺陷报告和工单,然后是你手写的五到十个案例,最后才是从代码库合成的案例。它会生成一个页面列出所有输入,等你确认。
2. 评审选最便宜的那种:输出空间受限就用程序化校验(精确匹配、固定标签、JSON schema、测试通过);开放式输出才用 LLM 评审。LLM 评审用「可核查的断言」写评分标准而不是 1 到 5 分;有基线时让评审在不知道哪个是基线的情况下随机顺序二选一,评审模型不能是被测模型。
3. Claude 先打几道题的分,问你会不会给出不同分数,然后才跑基线并给出带置信区间的分数。同时做三项诊断:同一输出评两次看结论是否变化;检查超时、API 错误和截断;基线已在 95% 左右时提醒你改为优化成本或延迟。
第三,/claude-api hillclimb 怎么爬坡
1. 爬坡的对象要便宜、可归因、目标清晰。提示词、技能、工具描述这类文本改起来容易回滚;即使评测已饱和,「性能持平下降成本」也是好目标。
2. 开始前随机把评测集分成训练集和测试集,并确认评测噪声小于你在意的最小改进。
3. 每一轮读上一轮训练集的对话记录,提出一个补丁,从根上修失败行为而不是改措辞。训练集涨、测试集不动就判定为过拟合并回滚;出现退步也回滚;两者都涨才保留。绝不把失败内容直接粘进提示词。
4. 连续两三轮停滞时不再改动,而是把剩余失败逐条按原因归类。这一步常能揪出有歧义的题、评审错误或纯随机波动;最终代码停在测试集表现最好的版本,收益在噪声内会明说不建议合并。
关键数据/例子
成本爬坡案例:内部客服基准共 44 张工单,30 张用于搜索、14 张留出。起点是 Opus 4.8 默认高强度,搜索集决策准确率 74.4%,每张工单 4.6 美分。先审计提示词,删掉强制的工具调用仪式、草稿步骤和互相矛盾的规则;换成 Opus 5.5 低强度后达到 87.8%,成本降到 1.9 美分(文中说 Opus 5.5 输入输出比 Opus 4.8 便宜 20%,缓存读取便宜 60%);再试 Sonnet 5 低强度,得分约 88.9%,成本约 1 美分;最后加上路由规则和退款上限交叉引用,Sonnet 5 在搜索集达到 98.9%。
关键在留出集:在搜索从未见过的 14 张工单上,最终配置得分 90.5%,原配置为 78.6%,成本约为原来的五分之一。
性能爬坡案例:claude-api skill 自身的评测从 66% 起步。补上缺失的八个功能章节后到 74%,修正 C# 和 Java 类型表后到 77%;停滞后做归因,发现内容其实都在,只是模型习惯写旧的 API 形态,于是在技能开头加一张「旧写法到新写法」对照表,到 80%;再修掉两道有缺陷的题和评审,最终约 88%(图中为 66.1% 到 87.9%)。
创新点
第一,把评测方法论直接变成可执行的命令,而不是停留在文章里。访谈、确认样本、校验评审、诊断噪声,每一步都有人工确认点。
第二,用训练集和留出集的背离来自动识别过拟合,并强制回滚。这让「让模型自己优化自己」变得可控。
第三,停滞时先归因再动手。很多所谓的模型失败其实是题目或评审写错了,这一步能把它们揪出来。
第四,把成本当作一等目标。在评测已经饱和时,降模型档位、降推理强度、清理提示词往往能拿到数倍的省钱空间。
可否复用
- 搭评测时先从真实生产记录和工单里取样,再补手写和合成案例,并且在纳入每道难题前写一句它为什么难。
- 评审能用程序校验就别用 LLM;必须用 LLM 时,把评分标准写成可核查的断言,并亲自读几份打过分的记录再相信它。
- 任何提示词或配置优化都要留一份从不给优化器看的测试集,训练集涨、测试集不涨就回滚。
- 分数到 95% 左右就别再追准确率,改成在持平前提下压成本,依次尝试清理提示词、降推理强度、换更便宜的模型。
- 用 Claude Code 的读者可以直接运行 claude update,然后试 /claude-api build-eval 和 /claude-api hillclimb。