
OpenAI Control Room:在推理引擎层拦截请求,决策后 35 秒内停掉研究侧模型输出
工程管理OpenAI安全推理基础设施监控
一句话结论
OpenAI 在研究基础设施上线 Control Room,给每个做代理推理的研究作业发 job_id,由推理引擎在出词前向中枢申请许可;收到停止指令后,最多 35 秒内不再产生新的模型输出,中枢自身故障时则默认拒绝全部推理。
打开原文
OpenAI:Control Room
背景与理念
研究作业的代码分散、变更频繁,不适合承担「出了问题必须立刻停模」这类关键安全控制。OpenAI 把控制点放到数量很少、部署更集中的推理引擎上,再与未对齐行为监控系统配合,要求在安全或安全事件出现时迅速切断模型输出,并且在其他系统失效时仍然有效。
具体做法
- 每个进行代理推理的研究作业必须关联一份已批准的 safety case,启动时向 Control Room 申请 job_id。作业随后向推理引擎要 token 时带上这个 ID;引擎在真正生成之前向 Control Room 询问该作业是否仍被允许。
- 停止决定不依赖作业代码自己检查状态。人或监控系统通知 Control Room 把某个 ID 标为已终止后,作业进程可以还活着、也可以继续发起请求,但引擎会收到拒绝并停止继续出词;同一引擎仍可为其他未终止作业服务。
- 前沿强化学习作业都配有监控模型,由它检查正在训练的模型在做什么,必要时直接向 Control Room 发停止指令。文中举例,近期一次与 DNS 有关的事件就是被监控抓住的。
- 授权结果有一层缓存,以支撑所需流量,因此从中枢收到停止指令到无法继续推进,最长是 35 秒;团队正在把这个延迟往零推。他们还持续用代理和程序扫描,检查是否有人无意或有意地拉起未接入或关闭了 Control Room 的引擎实现。对前沿模型研究作业,系统已按「故障则关闭」配置:Control Room 宕机、被关闭或被篡改时,所有推理请求都被拒绝,直到服务恢复;其余研究作业将在此后几天完成同样的切换。对外的模型服务栈本身更集中,已有快速下线部署的运行能力。
关键数据/例子
文中给出的硬指标主要是干预时延:收到停止指令后,最长 35 秒内不能再推进该作业的模型输出。架构要点是:控制写在推理层而不是作业代码里;中枢故障时拒绝全部推理,而不是放行。文章没有公布作业规模、误停率或平均发现时间。
创新点
第一,把「能不能继续出词」做成推理引擎的强制许可,而不是相信分散的研究代码会执行停机指令。第二,把监控告警和中枢停机连成同一条路径,并让系统在中枢本身不可用时选择停掉全部推理,而不是带病运行。
可否复用
- 把紧急停机做在数量少、变更少的推理或网关层,不要指望业务作业自己检查「是否还被允许跑」。
- 每项高风险作业启动时绑定标识和安全论证,并让监控系统能直接对这个标识发停止指令。
- 为停机路径明确故障模式:关键控制失效时是拒绝服务,还是放行;如果风险主要在继续出词,应优先考虑拒绝。