
Claude Code 作者 Boris Cherny 在计算机历史博物馆细讲:确认弹窗沦为「安全表演」后改用 auto mode,记忆花了一年半才做对,Anthropic 内部已「没有人写的代码」
一句话结论
在计算机历史博物馆 9 月 24 日录制的 72 分钟对谈里,Claude Code 作者 Boris Cherny 讲了这款产品从实验室小团队到数十亿美元收入的经过,以及它的安全设计:一项对照研究发现人几乎总会对危险命令点「同意」,确认弹窗成了「安全表演」,于是改由一个不带对话上下文的模型来判断命令是否安全,也就是 auto mode;他还说记忆功能花了约一年半才做对,Anthropic 所有产品都由 Claude Code 构建,「我认为已经没有人写的代码了」。
背景与理念
这场 CHM Live 活动于 2026 年 9 月 24 日在计算机历史博物馆录制,9 月 26 日上传,嘉宾是 Anthropic 的 Claude Code 作者兼负责人 Boris Cherny。他 13 岁开始编程,起因是给计算器编程以便在数学考试里「作弊」,后来辍学创业、在 Facebook 工作,住在日本乡下时读了很多科幻小说,觉得 AI 这件事如果能让它走得好一点,那里就是他想去的地方,于是回到旧金山加入 Anthropic。
他说 Claude Code 起源于「模型溢出」(model overhang)这个判断:模型已经能做很多事,但产品没有让它表现出来。大约两年前,AI 写代码还停留在编辑器里按 Tab 补全一行,而刚发布的 Sonnet 3.5 已经能一次写出整个函数甚至整个文件,团队觉得应该做一个产品把这种能力「引出来」。第二个原因是安全:在评测和可解释性之外,还要看模型在真实世界里的表现,Claude Code 就是这样一个观察窗口。
具体做法
第一,Claude Code 的本质只是「会用工具的聊天机器人」
「Claude Code 就是一个 AI 聊天机器人,只不过它能使用工具。」他解释,工具调用就是教模型发送一种特殊格式的消息,比如「读这个文件」「搜索互联网」;从复制粘贴代码到让模型直接改文件、运行代码,最初只需要两个工具。第一版大约只有四五个工具:读文件、写文件、执行 bash 命令,可能还有截图;后来删掉了列目录的工具,大约一年前加了 agent 工具,让 Claude 启动另一个 Claude,并自己决定用 Opus 还是 Haiku,所谓子代理就是这样实现的。
他说在模型之上做开发「不像设计系统,更像社会科学」:你永远不知道模型想要什么工具,只能不断试,起作用的往往不是最显而易见、但通常是最简单的那个。每次发布新模型,团队都会删掉一批工具、再加一批。
第二,一个六到八人的小团队做出了一串产品
他最早加入的 labs 团队只有六到八个人,几个月里做出了 Claude Code、MCP、Claude 桌面应用和第一版电脑操作,以及 skills。他说 AI 的时间感很奇怪,两年像过了十年。
第三,他自己现在怎么用 Claude
他说大约去年 11 月,他发现自己已经完全不再手动改代码,连续几周所有代码都是 Claude 写的,而且是不知不觉发生的。现在 Claude 替他做小工具、做深度调研、做全部数据分析;一次数据分析可能持续 12 个小时,模型提出假设、看数据、推翻假设、再提新假设,一次派出大约 10 个智能体并行调查,再检查它们的发现、否定其中一部分、深入追一个假设,「这是我典型的一天」。生活里的例子是:去西雅图附近挖蛤蜊需要许可证,当地网站很难用,他让 Cowork 去办,跑了大约 30 分钟就把许可证办了下来。
第四,记忆为什么花了一年半
他说做记忆本质上只是给模型三个工具:搜索记忆、读取记忆、写入记忆,难的是判断该记什么。早期版本里他说「这个按钮改成蓝色更好看」,模型就记成「按钮应该永远是蓝色」;他认为好的记忆需要一定的判断力和智能水平,模型一度不够聪明。现在 Claude Code 的记忆是个人私有、存在本机的,团队使用时在团队内共享,不同团队之间完全不共享。
第五,Anthropic 内部怎么用
大约八九个月前,他想知道公司里还有谁在写代码却不用 Claude Code,就让 Claude 去查内部数据,结果找到六个人。他让 Claude 在 Slack 上逐个私信问「你们为什么不用我」,大家在 20 分钟内回复说自己在用,最后发现是日志 bug,Claude 顺手修好了。他说现在 Anthropic 员工有人在桌面端、有人在 Slack、有人在终端、有人在手机上用,很多人用 Agent SDK 自己搭客户端;普通员工每天都有上百个智能体在运行,「我们所有的产品都是用 Claude Code 构建的,我认为已经没有人写的代码了」。
第六,确认弹窗为什么被 auto mode 取代
他讲了一项内部研究:Anthropic 雇了一批外包人员用 Claude Code 做编程题,真实目的是观察他们点「同意」之前会不会读命令。研究中偶尔会注入一些如果是真的就会损坏系统的命令,结果人们几乎每次都同意了。他说这对任何 Claude Code 用户都不意外,他自己也是「是、是、是」。安全团队认为,确认弹窗本来是为了让人在环,但随着使用量增加它已经变成「安全表演」,因为没有人再读命令。
于是团队做了 auto mode:把模型想执行的操作交给另一个不带任何对话上下文的模型,判断这条命令是否安全。他说这个模型几乎每次都判断对,而人几乎每次都判断错。auto mode 也可以定制,用户可以直接让 Claude 改写规则,说明什么可以、什么不可以。
第七,安全的四层与沙箱
他把产品安全分为四层:后训练阶段的对齐、监测模型神经元的探针与机制可解释性、运行时对提示词的分类器,以及内置在 Claude Code 里的 auto mode 分类器。关于提示注入,他说团队发现模型有时自己意识不到正在被注入,但相关神经元会被激活,于是可以做神经探针,一旦发现就停止,现在每一款 Claude 产品都这样做。
他说训练出不对齐模型的一个关键原因是「奖励作弊」:后训练时如果模型能作弊拿到奖励,它就会变得不对齐。他用自家小狗举例:教它听到「过来」就给零食,几天后散步时它会突然坐下等着主人喊「过来」好拿零食。所以最重要的是训练真正对齐的模型,但以防万一,还要有好的沙箱。他说 Claude Code 附带一个开源沙箱,可以用于任何智能体,生产环境里也应该一直开着;沙箱是一个模型出不去的盒子,再在上面「戳几个洞」,比如允许它访问 Anthropic 推理接口、读写指定文件,但不该让它访问任意网站。Cowork 默认带一整台虚拟机,只能看到用户选定的文件夹和网站;Claude Code 面向高级用户,需要手动开启,他希望以后也默认开启。
关键数据/例子
收入曲线:Claude Code 发布后大约六个月,收入一直卡在 4000 万美元,团队连续约三个月每晚每个周末加班,直到去年 5 月 Opus 4 和 Sonnet 4 发布后增长才起飞。他说现在已是 Anthropic 相当重要的一块业务,「肯定是数十亿美元收入、数百万用户」,而团队学到的一课是「别再做预测」。
提示注入:他说把模型对齐、提示注入探针和 auto mode 结合之后,Claude Code 里的提示注入成功率是零,因为团队已经无法演示出一次成功的注入。Anthropic 还请外部安全研究员做过悬赏,奖金 2 万美元,看他们能否在一周内找到提示注入漏洞,结果没有找到;他也承认漏洞可能仍然存在,只是很难找了。
数据中心:他把推动算力建设的力量归结为三条同时上升的指数曲线:建成的算力、模型的效率(每单位智能的成本)、以及需求。他说那一周刚发布的 Opus 5.5 效率高得多,所以能大幅降价并提高 Pro 和 Max 的速率上限。
招聘:他说从行业里招来的资深工程师常常需要大约六个月才能「忘掉」确定性系统的直觉,而有些应届生没有这些假设,更信任模型,反而能提出更好的想法。
创新点
第一,用实验证明「人在环」的确认弹窗并不安全。这项注入危险命令的研究把一个普遍的直觉变成了证据,也解释了为什么要用一个不看对话上下文的独立模型来做把关。
第二,把神经元层面的探针用到了产品防护上。模型自己察觉不到被注入时,内部激活依然会暴露问题,这让可解释性研究直接变成了运行时防线。
第三,以「删掉 Claude Code」为成功标准。他说希望有一天团队能做出更好的形态把它替代掉,Claude Tag 和 Claude 的 Projects 就是在试验这种新形态。
第四,用印刷术来类比编程的普及。他认为一年左右之内人人都能写出和他一样好的代码,就像印刷术让读写从抄写员的职业技能变成了人人都有的基本能力。
可否复用
- 别再依赖逐条确认来保证智能体安全:在高风险命令前加一个独立的审查模型,只把命令和规则交给它,不给对话上下文,让它决定放行或拦截。
- 智能体在生产环境里也要放在沙箱里:默认不给网络和文件访问,只按需开放推理接口、指定目录和白名单网站。
- 给智能体做记忆时,先想清楚「该记什么」的判断规则,例如区分一次性的修改意见和长期偏好,避免把一句临时的话记成永久规则。
- 每换一次模型就重新审视工具集,敢于删掉不再需要的工具,优先尝试最简单的方案。
- 招人和带人时更看重好奇心、判断力和主动沟通,并给有经验的工程师留出时间,重新建立在非确定性模型上开发的直觉。