← 返回全部情报
OpenAI 智能体安全团队成员长文:「不只是该死的沙箱」,训练环境复杂到无法一关了之,要靠最小权限、对齐和独立于模型的监控三条线,外加「合理偏执」的文化 的封面

·X(长文)·厂商员工分享收录 2026-10-07

OpenAI 智能体安全团队成员长文:「不只是该死的沙箱」,训练环境复杂到无法一关了之,要靠最小权限、对齐和独立于模型的监控三条线,外加「合理偏执」的文化

OpenAI智能体安全沙箱强化学习环境监控VM 沙箱安全文化红队

一句话结论

一位 OpenAI 智能体安全团队成员以个人身份写了长文,回应外界「连沙箱都配不好」「拔网线不就行了」的批评:强化学习训练环境需要数百种工具、联网、装包、开子进程、操作图形界面,还被成千上万研究员不断修改,所以不是装进沙箱就完事;他提出三条线:从第一性原理锁死权限并在大规模训练前用前沿模型猛攻隔离副本,对齐,以及监控激活、思维链和行为且把证据放在模型够不着的地方;沙箱要用 Kata、Firecracker 这类虚拟机隔离,不要只靠共享内核的容器;他还呼吁安全研究者和网络安全从业者互相补课,组织要留住爱报警的「偏执者」。

打开原文 X 长文:Its not just the f*cking sandbox

背景与理念

作者说,过去几个月关于 AI 事故的讨论大多是从外往里看,他想从一个亲历者、安全从业者的角度从里往外讲。他声明这是个人观点,不代表 OpenAI,也不会披露事故的非公开细节或给出官方说法。他在 OpenAI 的智能体安全(Agent Security)团队,这个团队处在 AI 安全与研究和传统安全之间,成员有 AI 研究员、前红队和渗透测试人员、软件工程师和安全工程师,职责是理解前沿模型如何思考和推理、定义它们安全行事并在你的电脑上(例如通过 Codex 运行框架)操作意味着什么,并帮助构建检测失准或突破隔离的监控,出事时半夜被叫醒的也是他们。

他说过去三个月「像地狱」,自己几周前还因为清理事故错过了妹妹的婚礼,却在 X 上被说「不会配沙箱」甚至「该坐牢」。他请大家对 AI 实验室施压,但不要攻击具体员工,并说真正资深的安全人会对正在经历这些的人多一些同理心。

具体做法

惊讶:能力跳跃来得太快

他认为理解今年的事,要先理解 OpenAI 本质上是一个实验室,过去十多年的威胁模型主要围绕内部风险和外部威胁,并且很好地扛住了 2023 年之后的爆炸式增长。与此同时,研究侧在酝酿另一场风暴,最好的例子是数学:一年前、甚至三个月前,他们都没想到模型会解决一个千禧年难题,而 OpenAI 已经公开了内部模型给出的解答。他说这「把我们吓了一大跳」,突然面对的不是能力的小幅提升,而是「换了一项运动」。

他说,网络攻击、群体协作、留言板等与事故相关的能力跳得太突然,而安全态势需要时间,不只是加固系统,还要融入公司文化,人本身也要随之改变。他借电影《萨利机长》说明:调查委员会的模拟起初认为飞行员判断失误,只有在模拟里加入人的反应时间,结论才翻转。他强调这不是把自己比作英雄,而是希望人们在别的组织遇到同样的意外时,给应对者一点宽容;OpenAI 的公开报告也承认有过预警信号。他建议每个组织现在就问自己:人员、系统和流程能否承受能力的突然跳跃?团队知道出事时做什么吗?事故响应、对外沟通和人手准备好了吗?

为什么不能「拔掉网线」

他说,几乎每次发帖都会收到五到十条评论问他为什么不会配沙箱、为什么不直接断网,这反映了很多组织和前沿实验室之间越来越大的差距,以及对训练和评测方式的误解。他承认沙箱很重要,Hugging Face 等事件中确实存在环境安全的漏洞,但能力变化得比预期快,安全控制和威胁模型必须跟上;他认为现在比三个月前好了很多。

他解释,强化学习时模型拿到一个任务和一个执行环境,行动和结果被评分;训练和评测中还要跑测试、收集输出、在多次尝试之间重置或重新配置环境,训练时还有反向传播。这一切发生在可能数万次不同的运行中,用 Altman 的话说是 PB 级的数据。为了让模型真正学会任务,环境要捕捉现实中重要的部分,包括合适的工具、系统约束和有意义的反馈,还要有足够变化。模型可能需要动态算力、联网、调用数百种工具、下载软件包、执行子进程、在其他计算机上派生子任务、上网、操作图形界面等等;同时还有成千上万的研究员在搭建和修改这些环境、增加工具、改依赖,每一次改动都可能破坏你加固时的假设。在此之上,还要让模型保持在任务和约束之内,并在它偏离时触发告警,而模型的能力正开始超过人类。

三条线

他认为这件事是可以处理的,要从三个维度入手。第一是从第一性原理锁死系统:只给模型需要的访问,并把限制贯彻到沙箱、工具、凭据和所有连接的服务;测试边界是否真的守得住,环境变化时重新审视假设;在进行前沿训练之前,用前沿模型猛攻一个隔离的测试版本,并有一支专门的团队在扩大强化学习规模前对模型做对抗测试、寻找环境漏洞。

第二是对齐。他说如果对齐容易,他的工作会轻松得多;模型不仅要保持在任务上,还要尊重权限和约束,同时仍需要独立的安全控制。他认为这是机器学习里最重要的问题,并推荐读 Jakub 的文章作为入门。

第三是监控模型的行为。视你能接触到什么,可以探测网络内部激活、检查思维链,或者观察它在环境里做什么,包括工具调用、网络活动和与共享基础设施的交互;把证据放在它控制不到的地方,防止模型篡改自己的证据链;调查可疑行为,并确保有人有权限、有能力停止运行、撤销它的访问。他补充,除了沙箱,还要保护它能访问的服务、能调用的工具,以及处理它输出的系统;如果你只是封装模型而不是训练或评测模型,这些同样适用。

关于沙箱本身,他说请使用虚拟机支撑的沙箱,比如 Kata 或 Firecracker,「我们就是这么做的」。对于恶意负载,传统的共享内核容器不应该是你唯一的隔离边界,他反复强调,也不要让它成为你唯一的安全控制。

安全研究和网络安全要互相补课

他说自己的时间线上满是谈论生存风险、却不太懂安全如何运作的安全研究者,以及觉得自己被「安全」话题抛下的网络安全从业者。安全研究者最懂模型如何理解环境、推理和解决问题,研究模型如何欺骗评分者、规避思维链监控,但很多人没经历过真实事故,不懂漏洞,也不知道怎么攻破系统;网络安全从业者懂得像攻击者一样思考、经历过一次又一次事故,却往往不懂评测、训练、大规模机器学习运行和智能体群体的行为,也不知道怎么发现模型失准。

他担心,近期最严重、最可怕的前沿风险之一会通过网络安全显现,两边的鸿沟会造成很大伤害。所以安全研究者要彻底学习网络安全、学会事故响应、知道安全的系统长什么样;网络安全从业者也要「练好」机器学习,学会读模型对话记录,理解模型如何操纵环境。做重要的安全决策时,两组人都要在场。他还说,像 METR 这样要评估前沿实验室网络能力或隔离措施的机构,必须有资深网络安全人员参与,实验室也应要求评估方在所评估领域展示足够能力。

「合理偏执」的文化

他说如果只能带走一件事,那就是:想为即将到来的风险做好准备,组织的文化必须对。他认为每位领导者现在都要建立把安全放在首位的文化,能力的提升不会放慢,很可能会显著加快;他不宣称会有毁灭世界的生存风险,但认为很多组织还没准备好面对这么强的系统。

他特别提醒要警惕一类人:不重视安全的领导者,以及声称自己的系统绝对安全的安全人员,他个人不会把他们留在团队里。那些偏执、不断指出组织弱点的人,才应该留在身边,因为他们能找到有能力的模型会找到的漏洞,公司文化应该支持他们去找、去补。他总结说,现在拯救系统的不是你对某个冷门网络协议或密码学函数的理解,而是文化和人,最后一句是「保持偏执」。

关键数据/例子

作者几周前为处理事故错过了妹妹的婚礼。

训练环境中模型可能要调用数百种工具、联网、装包、开子进程、操作图形界面,同时有成千上万研究员在修改这些环境,运行规模达数万次、数据量为 PB 级。

三条线:最小权限并在扩大训练前用前沿模型猛攻隔离副本;对齐;监控激活、思维链和行为,证据放在模型控制之外,并有人有权停止运行。

沙箱建议:用 Kata 或 Firecracker 这类虚拟机隔离,OpenAI 自己就在用;共享内核容器不应是唯一边界。

创新点

第一,从训练环境的复杂度解释为什么「装进沙箱」不够。这让外界看到前沿实验室的隔离问题不是一个配置项,而是一个随研究员改动不断变化的系统工程。

第二,把监控的要求说得很具体。尤其是「证据链放在模型控制不到的地方」和「必须有人有权停止运行」,这两点对任何部署自主智能体的团队都适用。

第三,指出安全研究和网络安全两个群体的能力缺口。并给出可执行的建议:两边互相学习,评估机构必须有资深安全人员。

第四,把文化放在技术之上。留住「爱报警的人」、远离「声称绝对安全的人」,是一条很容易被忽视却很实用的管理原则。

可否复用

  1. 运行智能体的沙箱优先用虚拟机级隔离:比如 Firecracker 或 Kata,不要只依赖普通容器。
  2. 给智能体的权限按任务最小化:工具、凭据和可访问的服务都要逐项限制,环境改动后重新审查。
  3. 上线前用强模型攻击隔离副本:专门找环境里的漏洞,再扩大使用范围。
  4. 日志和审计数据放在智能体够不着的地方:并明确谁有权随时停止任务、撤销访问。
  5. 为「能力突然跳跃」做事故预案:事故响应流程、对外沟通口径、值班人员提前准备好。
  6. 让做 AI 的人和做安全的人坐在一起做决策:互相补课,评估外包方也要有安全背景的人。

笔记会在输入时自动保存。