← 返回全部情报
OpenAI 与 Ironclad 合作训练电脑操作智能体:把合同流程配置拆成 11 个任务、每个 8 到 50 条评分标准,GPT-6 Astra 平均得分比 GPT-5.6 Sol 高 32%,耗时少 48% 的封面

·OpenAI(官方博客)·企业实践收录 2026-10-07

OpenAI 与 Ironclad 合作训练电脑操作智能体:把合同流程配置拆成 11 个任务、每个 8 到 50 条评分标准,GPT-6 Astra 平均得分比 GPT-5.6 Sol 高 32%,耗时少 48%

OpenAIIronclad电脑操作强化学习评测合同管理GPT-6 Astra专业软件

一句话结论

OpenAI 开始和少数软件公司直接合作,把它们最懂的复杂业务流程变成训练和评测模型的研究问题,第一家是合同管理公司 Ironclad:双方选出法务、商务和采购领域的 11 个任务,比如搭建保密协议流程、按金额设置财务审批、让可复用条款随申请人选择的司法辖区变化,熟练用户平均每个要 30 到 40 分钟;每个任务按复杂程度用 8 到 50 条标准打分,Ironclad 提供托管的产品环境让模型练习,OpenAI 用基于公开合同生成的合成任务做强化学习;结果 GPT-6 Astra 的平均得分为 55.0%,GPT-5.6 Sol 为 41.6%,估算每次尝试耗时从 37.0 分钟降到 19.2 分钟,一个内部模型达到 63.7%。

打开原文 OpenAI:Advancing computer use with Ironclad

背景与理念

OpenAI 说,GPT-6 Astra 已经展示了模型在专业工作中使用电脑的能力,从准备文档到测试网站;下一个目标是让智能体更能干、更高效地使用专业软件解决复杂的业务问题。这需要模型理解一家公司的业务规则、执行多步骤流程,并核实最终结果是否满足最初的要求。

为此,OpenAI 直接和少数最懂这些流程的软件公司合作,一起找出有挑战、高价值的任务,把它们变成训练和评测模型的研究问题。第一个伙伴是合同管理公司 Ironclad。OpenAI 说 Ironclad 在定义「怎样算成功」上起了关键作用,把真实客户需求直接带进了前沿模型的开发。

具体做法

把合同流程变成训练任务

文章用一个例子说明难点:法务运营团队要为采购软件建立流程,财务要审批超过某个金额的采购,安全团队要审查某些请求,法务要审查非标准条款。负责搭建的人要把这份简短的清单变成申请表单、文档模板、审批规则和最终协议的记录。智能体做同样的事时,要在软件里一路操作,同时始终记住这些要求,比如在超过金额门槛时配置财务审批,并检查高于和低于门槛的请求是否走对了路径;单个步骤做对还不够,整个流程必须在它要处理的各种情况下都能正常工作。

Ironclad 的员工和 OpenAI 内部使用 Ironclad 的人,帮研究员确定了法务、商务和采购领域的 11 个任务。例子包括搭建保密协议流程、建立采购审批流程,以及更新一条可复用的法律条款,让它随申请人选择的司法辖区而变化。OpenAI 估计,一位有经验的用户平均每个任务要 30 到 40 分钟。

每个任务根据复杂程度,用 8 到 50 条标准评分,这样能看出模型哪些部分做对了、哪里没做到。Ironclad 还提供了托管的产品环境,让模型在里面练习这些任务。研究员围绕有代表性的流程开发了合成训练任务,并用强化学习让模型通过练习和反馈改进。OpenAI 总结说,懂行的人参与挑选任务、细致的评分标准、一个可以练习的环境,三者结合,才能确保改进发生在对客户最重要的真实任务上。

关于数据来源,文章说明合成任务基于美国证监会 EDGAR 数据库中公开的合同生成,并做了去除个人信息的过滤。他们没有使用 OpenAI 客户数据、OpenAI 内部合同,也没有使用 Ironclad 客户的非公开数据或合同来训练或评测。

结果

GPT-6 Astra 是第一个用 Ironclad 任务训练的前沿模型。对比时,Astra 用 Max 推理档、GPT-5.6 Sol 用 High 档,这是各自得分最高的设置。在 11 个研究任务上,Astra 平均得分 55.0%,Sol 为 41.6%;估算的平均每次尝试耗时从 Sol 的 37.0 分钟降到 Astra 的 19.2 分钟。开发 Astra 过程中使用的一个内部模型达到了 63.7%,OpenAI 说会把这些进一步的提升带到未来的模型里。

文章还给了同一个任务上的对比:Astra 在估算约 20 分钟内满足了约 94% 的评分标准,GPT-5.6 Sol 在约 32 分钟内满足了约 85%。OpenAI 特别注明,这些结果只覆盖 11 个研究任务,不代表 Ironclad 的所有流程;耗时是基于假设的模型处理和生成速度做的模拟估算,不是实测的客户节省时间。

对 Ironclad 和后续合作的意义

文章说,合同流程必须在处理例外的同时守住业务依赖的规则,如果智能体在任务中途忘了某条规则,软件公司就不敢放心交给它。这说明在智能体处理复杂合同任务的能力提高时,人的监督仍然重要,完整的合同平台仍然必不可少。Ironclad 首席技术官 Sunita Verma 说,AI 要在复杂合同领域真正有用,不能只完成单个动作,还要理解整个合同生命周期和业务流程之间的联系。

OpenAI 邀请少数软件公司申请类似的研究合作,条件是带着今天智能体还做不好的具体专业任务来。它希望看到:你让智能体做什么、它在哪里失败的证据、以及你怎样判断成功;合作方还需要能提供深度懂业务的人、安全的测试环境,以及可以安全用于研究的数据。

关键数据/例子

11 个研究任务,覆盖法务、商务和采购;熟练用户平均每个需要 30 到 40 分钟。

每个任务 8 到 50 条评分标准;Ironclad 提供托管产品环境供模型练习。

GPT-6 Astra(Max 推理)平均得分 55.0%,GPT-5.6 Sol(High 推理)41.6%,相对提升约 32%。

估算平均每次尝试耗时:Sol 37.0 分钟,Astra 19.2 分钟,减少约 48%;一个内部模型得分 63.7%。

同一任务对比:Astra 约 20 分钟满足约 94% 标准,Sol 约 32 分钟满足约 85%。

训练数据来自 SEC EDGAR 公开合同生成的合成任务,未使用客户数据或非公开合同。

创新点

第一,模型公司和垂直软件公司一起定义任务和评分。由懂行的人挑选高价值任务,并把「流程整体能否正确运行」拆成细致的评分标准,而不是只看单步操作。

第二,在真实产品环境里做强化学习。软件公司提供托管环境,模型在里面反复练习,这为「让智能体学会用专业软件」提供了可复制的路径。

第三,对数据和结论的边界写得很清楚。明确只用公开合同生成的合成数据,并注明耗时是模拟估算、结果只覆盖 11 个任务。

可否复用

  1. 评估智能体能否胜任某个业务流程时,先写评分清单:把一个流程拆成 8 到 50 条可检查的标准,看它在哪些点上失败。
  2. 测试要覆盖分支情况:比如金额高于和低于审批门槛时,流程是否都走对了路径。
  3. 用公开或合成数据做训练和测试:避免直接使用客户合同等敏感数据。
  4. 专业软件公司可以准备三样东西与模型方合作:具体失败案例、成功标准、可供练习的安全环境。
  5. 涉及合同和审批的智能体流程保留人工审核:模型在长流程中仍可能漏掉某条规则。

笔记会在输入时自动保存。