
Anthropic:50 名因果推断专家用 Claude Code 时,86% 分析选择跟从 agent 的随机「偏向」
管理工程人机协作Claude Code判断力对齐评测
一句话结论
在开放判断题上给 agent 掷硬币式隐藏偏向后,专家四项分析选择 86% 与偏向一致;有事前偏好者遇反对时 60% 改口,事后 77% 复述 agent 论点但仅 15% 署名给 agent——人审不等于独立判断。
打开原文
Anthropic:How AI agents shape experts’ judgment calls
背景与理念
常见假设是:agent 写代码跑数,专家做度量与解释。Anthropic 想测专家是否真在做关键判断,还是在不知不觉中 defer 给 agent。
具体做法
- 任务:虚构农合社是否扩大顾问项目;四项开放选择(产出指标、比较方法、覆盖范围、加权)加最终建议。每项 agent 偏向由抛币写入系统提示,要求诚实论证、证据反转可改口、不许造假。
- 50 人用内嵌 Claude Code(Opus 4.8 High)的 VS Code Web;中位 65 分钟。另 11 人拒用 agent 作对照(经验更浅,不可直接因果比较)。
关键数据/例子
四项合计 86% 跟偏向(单项 81–92%)。事前已表态的 38 例:反对时改口 60%,同意时 6%。事后解释 77% 用 agent 原话/论点,仅 15% 归功 agent;52% 仍称建议更偏自己。用 agent 组严重方法错误 6% vs 不用组 55%。
创新点
第一,用随机化「偏向」测量 defer,而不是只查对错。第二,指出安全研究里「人在回路」若判断已被 agent 塑形,独立性会失效。
可否复用
- 高 stakes 判断前先让人书面写下偏好,再开 agent。
- 要求 agent 对每个开放选项做正反论证,而不只推一侧。
- 制度上标明哪些决定必须「人的独立判断」,并留时间形成该判断。