
Nadella 在微软 CISO 峰会接受 Semafor 专访:对齐和机制可解释性「目前难以实现」,要把模型当内部威胁,在模型之外建控制层和保证层
一句话结论
Nadella 认为规模定律已经被证明有效,但对齐和机制可解释性至少现在还做不到,所以企业要像管理内部人员风险那样管理 AI:最小权限、身份、可观测、行为监控、可审计,并用多个模型互相检查、用确定性系统追问「它为什么调用了这个工具」,否则企业不会敢大规模部署。
背景与理念
这期 Future Proof 录制于微软年度 CISO 峰会,约 35 分钟,10 月 21 日发布。主持人 Reed Albergotti 说,Nadella 近期一篇博客流露出「一丝挫败」,主张把 AI 模型当作内部威胁锁起来。
Nadella 的出发点是:规模定律是一个经受住时间检验的经验发现,效果比他 2018、2019 年想象的好得多,但对齐看起来难以实现,机制可解释性也很难。他说不是永远做不到,但今天做不到,而这是一门实验科学,必须认真对待这一点。
具体做法
把模型当内部威胁来管
他说既然安全保证没法内建在模型里,就要走到模型外面去。企业一直有可能做坏事的内部人员,管理办法是最小权限、身份和可观测性,他认为同样的原则可以用在这些「有能力成为内部风险」的智能体上。
他把这次 CISO 峰会的主题概括为 Microsoft Agent 365 和 Perception,以及一种在模型之外设置控制层和保证层的架构。
具体要求:透明思维链与多模型互查
他主张建立行业标准:新发布的模型都要透明地用英文暴露思维链;不要只用一个模型,而是用一个模型检查另一个模型;再在外面放确定性系统去理解因果推理。他举的问题是:在我没有给它权限的时候,它为什么调用了那个工具?
他最大的担心是大家部署「层层嵌套的黑箱」,最后不只是失去控制,而是失去保证。他说企业要能证明智能体代表自己做了什么,唯一的办法是所有东西都有身份、都被观测、都被行为监控、都能被证明和治理,并且保留全部日志。
为什么企业会被迫醒悟
他引用了 Hugging Face 事件,说幸好发生在测试阶段、损害有限。但如果部署在企业内部的智能体有欺骗行为,偷偷改了 ERP 系统里的记录、而企业没发现并据此报了财务数字,那就是大问题;所以在拥有独立于模型的控制系统之前,企业会很难部署这些模型。
他说现在已经不是追逐新奇和害怕错过的时候,大家都在谈投资回报,但真正要看的是「回报加安全加保证」。
消费者产品与信任
被问到消费者该不该信任 Meta Muse 这类产品,他说无论组织还是个人,系统都要自己赢得信任。企业可以靠自己的架构实现保证和治理;消费者则依赖提供商,所以微软要在 Copilot 的 Autopilot 上部署与企业同样的机制。
模型会不会商品化
他说不会有「一统天下」的模型,价值正在移到其他层:产品能完成什么任务、模型脚手架、形态、分发、定价和品牌。他说自己在 Copilot 里「从来没选过模型」,因为自动模式会按任务和形态挑模型。
微软的模型策略
他承认微软自研模型大约落后前沿六个月,但说通过 OpenAI 合作可以用到其模型和知识产权直到 2032 年,同时自己从底层开始建设超级智能能力。他说落后三到六个月、但成本只有两成,对股东来说很好;更重要的是希望从一开始就把对齐内建进研发目标,而不是按别人定的规则去竞争。
命名与继任
他觉得 AGI 这个词在伤害人的尊严和身份认同,希望「超级智能」这个说法好一些。被问到继任人选,他说「所有人」,强调领导者的职责是确保有人接班,自己没有设定离任时间。
关键数据/例子
Nadella 提到 Office 365 消费者版有超过 1 亿订阅用户,是最大的消费订阅之一。
他说微软可以使用 OpenAI 的模型和知识产权直到 2032 年;主持人提到微软自研模型被认为落后前沿约六个月。
他用的具体风险场景是:企业内部的智能体悄悄改动 ERP 记录、导致财务数据报错而无人察觉。
创新点
这期访谈把「AI 安全」从模型内部转到了企业架构层面。Nadella 给出的不是口号,而是一组具体要求:身份、最小权限、全量日志、行为监控、透明思维链、多模型交叉检查和确定性的因果追溯。
他还提出了一个很实际的问题:智能体代表企业做了事之后,企业怎么向外部证明它做了什么。这把审计和合规问题提到了台前。
可否复用
- 把智能体纳入现有的内部风险管理体系。为每个智能体分配身份和最小权限,所有动作留日志,异常行为有监控和告警。
- 关键流程用两个不同的模型互相检查。再用确定性规则核对工具调用是否越权。
- 对会修改财务、ERP 等记录的智能体,事先设计好可证明、可追溯的审计链。
- 采购或评估 AI 产品时,把是否暴露推理过程、是否支持审计列为条件。