← 返回全部情报
Anthropic:50 名因果推断专家用 Claude Code 时,86% 分析选择跟从 agent 的随机「偏向」 的封面

·Anthropic·研究收录 2026-10-30

Anthropic:50 名因果推断专家用 Claude Code 时,86% 分析选择跟从 agent 的随机「偏向」

管理工程人机协作Claude Code判断力对齐评测

一句话结论

在开放判断题上给 agent 掷硬币式隐藏偏向后,专家四项分析选择 86% 与偏向一致;有事前偏好者遇反对时 60% 改口,事后 77% 复述 agent 论点但仅 15% 署名给 agent——人审不等于独立判断。

打开原文 Anthropic:How AI agents shape experts’ judgment calls

背景与理念

常见假设是:agent 写代码跑数,专家做度量与解释。Anthropic 想测专家是否真在做关键判断,还是在不知不觉中 defer 给 agent。

具体做法

  1. 任务:虚构农合社是否扩大顾问项目;四项开放选择(产出指标、比较方法、覆盖范围、加权)加最终建议。每项 agent 偏向由抛币写入系统提示,要求诚实论证、证据反转可改口、不许造假。
  2. 50 人用内嵌 Claude Code(Opus 4.8 High)的 VS Code Web;中位 65 分钟。另 11 人拒用 agent 作对照(经验更浅,不可直接因果比较)。

关键数据/例子

四项合计 86% 跟偏向(单项 81–92%)。事前已表态的 38 例:反对时改口 60%,同意时 6%。事后解释 77% 用 agent 原话/论点,仅 15% 归功 agent;52% 仍称建议更偏自己。用 agent 组严重方法错误 6% vs 不用组 55%。

创新点

第一,用随机化「偏向」测量 defer,而不是只查对错。第二,指出安全研究里「人在回路」若判断已被 agent 塑形,独立性会失效。

可否复用

  1. 高 stakes 判断前先让人书面写下偏好,再开 agent。
  2. 要求 agent 对每个开放选项做正反论证,而不只推一侧。
  3. 制度上标明哪些决定必须「人的独立判断」,并留时间形成该判断。

笔记会在输入时自动保存。