
Google:评测 agent skills 的五条规则,开源 skill-reach 防上下文膨胀
工程agent skills评测skill-reachPass@3上下文窗口Harbor
一句话结论
Google 提出在 skills 塞进上下文前先评测,并开源 skill-reach(lint/overlap/eval/optimize):不要在开发者笔记本上跑评测,要用隔离环境做 WITH vs W/OUT 的 paired Pass@3,并把正确性、效率、安全拆开,防止 reward hacking。
打开原文
Google Cloud:Evaluate agent skills before they bloat your context window
背景与理念
skills 写得越多,越容易把上下文窗口撑满,还可能互相抢触发条件,所以要先评测再扩容。Karl Weinmeister 与 Alan Blount 把重点放在「技能该不该进仓库」的工程门禁,而不是只鼓励大家多写文档式技能。
具体做法
- 开源 skill-reach,覆盖 lint、overlap、eval、optimize 等检查,避免技能未经验证就堆进上下文。
- 评测不要在开发者笔记本上跑;用 Harbor 等隔离 verifier,并做 paired 的 WITH vs W/OUT Pass@3 对照。
- 把正确性、效率、安全当成正交目标,降低单一指标被刷的风险;技能应写清操作习惯,而不是堆砌文档。若 Δ=0,先排查触发碰撞与重叠,而不是继续加长技能文本。
关键数据/例子
文中以方法与工具为主,核心对照是同一任务在启用与不启用某 skill 时的 Pass@3。作者强调:笔记本环境会泄漏本地状态;隔离 verifier(如 Harbor)才能让「技能是否真有用」可复现;Δ=0 时优先查触发碰撞。
创新点
第一,把 agent skills 当成要过 CI 的制品,而不是可以无限粘贴进系统提示的说明文。第二,用 paired Pass@3 与正交指标,专门对付「看起来更忙、分数却没升」的 reward hacking。
可否复用
- 新 skill 合并前强制跑 WITH/WITHOUT 对照,Δ 不明显就先查 overlap 与触发条件。
- 评测放到隔离环境,禁止依赖开发者本机文件与已登录状态。
- 分别跟踪正确性、时延/token、安全违规,不要合成一个容易被刷的总分。
- 技能正文写「何时做、怎么做」,少贴大段可检索文档。