← 返回全部情报
Garry Tan harness 评测:通过率分不开,OpenClaw 成本约是 Claude Code 的两倍 的封面

·GitHub·评测收录 2026-11-10

Garry Tan harness 评测:通过率分不开,OpenClaw 成本约是 Claude Code 的两倍

工程harness评测Claude CodeOpenClaw成本Garry Tan

一句话结论

在固定模型、只更换 harness 的 20 项公共任务矩阵里,通过率大约在 71.3% 到 78.8% 之间,六组预注册对比经 Holm 校正后 p 值都是 1,分不出谁更好;但在 Opus 5.5 上,OpenClaw 每解一题大约 0.4435 美元,约为 Claude Code 0.2170 美元的两倍。

打开原文 GitHub:garrytan/g-harness-evals(矩阵 2026-11-05)

背景与理念

这组开源评测问的是:模型固定之后,换一套 agent harness,到底谁更能把任务做对、而且更便宜。仓库说明写得很直白:which agent harness does tasks the best, for the least cost。矩阵在 2026 年 11 月 5 日跑完,二级综述按仓库主分支核对数字。作者预先声明了利益关系:他运营这套评测,也管理 Y Combinator;YC 是 Hermes 的投资方,OpenAI 目前是 OpenClaw 的主要资助方。

具体做法

  1. 固定模型,只更换外层 harness。矩阵共七格:Claude Code、OpenClaw、Hermes Agent 和 QM 跑 Opus 5.5,Codex、OpenClaw 和 Hermes Agent 跑 GPT-6.1 Sol;Claude Code 与 Codex 不能跑同一模型,报告因此从不直接比较这两格。
  2. 任务是 20 道公开的 v0.3 多用户开发题,每题重复 4 次,共 560 次试验。通过率按「每道题的通过份额再取平均」计算,而不是把所有试验次数简单加总;六组预注册的通过率对比使用题目层面的符号翻转检验,再做 Holm 校正。
  3. 每解一题的成本,用该格全部记账开销除以计分通过次数。开销包含后来被排除的试验;七格合计花费约 99.01 美元。报告把「分不开」写成 can't tell apart:检验没发现差别,并不等于这些 harness 能力相等。

关键数据/例子

打印出来的通过率从 71.3%(Codex 配 GPT-6.1 Sol,57/80)到 78.8%(Hermes Agent 配 Opus 5.5,63/80),六组预注册对比的 Holm p 值都是 1。20 道题里有 14 道在每一格得分都相同:11 道每次都过,3 道任何一格都没过,题集被报告称为饱和,小于约 7.7 到 14.2 个百分点的差距可能看不出来。成本上,Opus 5.5 上 OpenClaw 每解一题 0.4435 美元,Claude Code 是 0.2170 美元;两格总花费分别是 26.6127 美元和 13.2346 美元,相除约为 2.01 倍。仓库说明里写,OpenClaw 相对 Claude Code 多出来的费用大约 81% 来自缓存写入,因为它会重复发送更大的系统提示和工具结果。矩阵里 OpenClaw 在 Opus 上的中位耗时是 99.4 秒,Claude Code 是 40.1 秒。需要注意:78.8% 和 71.3% 不在同一模型上,不能把它读成 Hermes 赢了 Codex。

创新点

第一,把「通过率分不开」当成方法结论,而不是硬排一份 harness 冠军榜。报告对空结果的判定是 FIX-METHOD:先把题集天花板抬高,再用来挑选 harness。第二,同一份收据既能说明通过率饱和,也能把成本差距讲清楚,并公开版本钉扎、利益关系和原始日志,方便别人复评。

可否复用

  1. 比较 harness 时先固定模型和题目,再看通过率、每解一题成本和耗时,并预先登记要检验的对照。
  2. 若多数题目在所有格子上得分都一样,先承认题集饱和,不要把几个百分点的打印差异读成排名。
  3. 成本账要写清分母是什么、是否计入被排除的试验,以及利益披露,避免把「更贵」直接说成「更差」。

笔记会在输入时自动保存。