← 返回全部情报
OpenAI 电脑操作和 API 负责人在 DevDay 当天细讲:电脑操作已比普通人快,Decisions API 从想法到上线只用一周 的封面

·Latent Space·厂商员工分享收录 2026-10-05

OpenAI 电脑操作和 API 负责人在 DevDay 当天细讲:电脑操作已比普通人快,Decisions API 从想法到上线只用一周

OpenAIComputer UseAgents APIDecisions APIResponses API提示缓存上下文压缩App Shots

一句话结论

Latent Space 在 OpenAI DevDay 当天采访了两位一线负责人:Ari Weinstein 讲电脑操作为什么和几个月前「完全不同」,模型会写 JavaScript 一次做多步、会调试重试,速度已超过普通人;Nikunj Handa 讲 API 新栈,包括异步工具调用、30 分钟缓存命中保证与 12 小时缓存预览、预热和压缩,以及受 Jev 启发、一周做出来的 Decisions API。

打开原文 Latent Space:Why Dwarkesh is Wrong about Computer Use + How OpenAI shipped its Jev competitor in 1 Week

背景与理念

这期节目发布于 2026 年 9 月 30 日,录制于 OpenAI DevDay 主题演讲刚结束时,两位嘉宾都是直接负责产品的 OpenAI 员工。前半段是 Sky 联合创始人、现负责 OpenAI 电脑操作产品与工程的 Ari Weinstein,后半段是负责 API 产品的 Nikunj Handa。

节目标题里「Dwarkesh 关于电脑操作的看法是错的」指的是:有人几个月前还认为电脑操作不实用,而 Ari 认为现在的电脑操作已经「180 度不同」。后半段则集中讲 OpenAI 如何在一周内把一个社区流行的模式做成正式 API。

具体做法

第一,电脑操作为什么变了

1. 最大的变化是模型会调试了。Ari 说过去模型能可靠地开始任务,但一遇到问题就卡住;现在它们很会排查、重试,会反思哪些做法有效、哪些无效。

2. 电脑操作经常是在写代码。在 Codex 里展开工具调用会看到,它不是一次点一下,而是写一段 JavaScript 让电脑一次执行很多动作;同时会按任务选用截图、无障碍树、DOM 或 Playwright。

3. App Shots 给模型的上下文比截图丰富得多。在 Codex 里同时按两个 Command 键就能把当前应用的内容带进对话,里面包含无障碍信息和原始文本,比如链接指向哪里、日历里被截断的事件标题。

4. 下一个瓶颈是等待本身。电脑操作越来越快,等网页加载反而成了主要耗时;能用事件驱动就用事件驱动,页面一加载完就尽快触发下一步。

第二,给开发者的建议

1. 电脑操作已进入 Agents API,开发者可以用与 Codex、ChatGPT 相同的实现。Ari 指出模型是在 OpenAI 自己的电脑操作框架上训练的,用这个「分布内」的框架可能在速度、成本和准确率上都有优势。

2. 信任要靠设计来建立。做支付这类有后果的动作前要征求用户同意,并视应用情况只允许智能体访问它需要的网站。

3. 他最喜欢的用法是让智能体测试自己写的软件。过去 Codex 写完东西,人得当 QA;现在智能体能自己测完再交付,补上了软件开发生命周期的最后一环。

第三,API 的新栈

1. 异步工具调用、中途转向和 WebSockets。Nikunj 说 API 的原则是等能力在 harness 里训练好了再放进 API;WebSockets 提供双向通信,支持异步工具调用、异步推理和中途插入消息,最早是为 GPT-5.3 Codex Spark 推出的。

2. Decisions API 大约一周前才启动。它受 Jev 启发,由推理团队和基础设施团队的工程师先做原型,跑通后就在延迟上持续优化;实现上完全基于现有 Luna 权重,靠结构化输出约束、为首 token 延迟优化推理栈,并把多个问题并行成一批运行。

3. Responses API 在两方面下功夫。一是重写整个技术栈降低延迟;二是针对「一条线程永远延续」的个人智能体加强缓存,并提供缓存预热和缓存诊断工具。

4. 压缩有两种方式。Agents API 的 harness 内置压缩;Responses API 里可以设阈值让服务端自动压缩,也可以随时用 /compact 手动压缩,他说大型编程智能体多半喜欢手动,开源的 Codex harness 就用 /compact。

关键数据/例子

成本:Ari 说 GPT-6.1 Sol 的成本是 Astra 的五分之一,单看电脑操作是七分之一。

速度:他用电脑操作帮自己下一份高度定制的备餐订单,手动要两个小时,交给电脑操作 15 分钟完成,快了八倍。主持人 Vibhu 提到主题演讲中说电脑操作速度提升了 7 倍;Ari 说现在电脑操作在大多数情况下可能已比普通人快,下一步是比专家级用户还快。

每个 Dot 有自己的一台云端 Linux 虚拟电脑,可以运行完整的桌面应用。

价格:推理团队用 Codex 智能体持续压榨性能,帮助把 Luna 的价格降了约 80%。

缓存:现在提供 30 分钟内的缓存命中保证;为一位用户推出的 12 小时缓存保证仍在预览中,写缓存时多付一点费用,三四个小时后回到线程依然能命中缓存。

内部用法:用户运营团队第一时间用 Decisions API 给所有客服工单分类;OpenAI 刚发布的 Codex 安全功能也完全构建在 Agents API 上。

创新点

第一,电脑操作从「一步一截图」变成「写脚本批量执行加多模态感知」。这是速度和可靠性同时提升的根本原因。

第二,把模型训练用的 harness 直接开放给开发者。这让第三方不必自己摸索,也避免了框架与模型分布不匹配。

第三,大厂愿意在一周内复刻社区模式。Decisions API 坦白说目前只是基于 Luna 的封装,校准等能力还要等后续模型,但先上线拿反馈,体现了很强的迭代意愿。

第四,缓存被当作长寿命智能体线程的一等公民。命中保证、预热和诊断工具一起,直接决定这类产品的成本结构。

可否复用

  1. 自己做电脑操作类智能体时,优先用厂商官方的 harness,再在上面叠加业务逻辑,通常比自建框架快、便宜、准。
  2. 任何会花钱或改动外部系统的动作,都设计成先征求用户确认,并把可访问的网站限制在任务所需范围内。
  3. 让编码智能体用电脑操作自测:写完代码后自己打开应用走一遍关键流程,再交给人验收。
  4. 长对话型产品要做「缓存感知」设计:固定前缀尽量稳定,用缓存诊断找命中下降的位置,可预知的请求提前预热。
  5. 长任务里压缩时机交给代码而不是模型:需要精细控制时手动压缩,简单场景用服务端阈值自动压缩。

笔记会在输入时自动保存。