← 返回全部情报
OpenAI Decisions API 正式 GA:用 GPT-6 Luna 做分类/路由/评分,宣称可达 Responses 约 10 倍快,单请求最多 400 题 的封面

·OpenAI·厂商工程收录 2026-10-23

OpenAI Decisions API 正式 GA:用 GPT-6 Luna 做分类/路由/评分,宣称可达 Responses 约 10 倍快,单请求最多 400 题

工程厂商决策模型Decisions APIGPT-6 Luna低延迟路由

一句话结论

面向有界答案的决策专用端点正式全面可用:相对同一模型走 Responses 可达约 10 倍更快,支持 predicate/choice/score,单请求最多 400 题,并给出 Box、Datadog、Ramp、Sierra、Speak 等可核对的延迟与成本数字。

打开原文 OpenAI:Build more responsive apps with the Decisions API

背景与理念

应用和智能体在工作流里要做大量小决策,比如分类、路由、选下一步动作,这些单次简单,但规模上去后延迟和成本会叠成瓶颈。OpenAI 把 GPT-6 Luna 的能力收束到「答案空间有界」的问题上,推出 Decisions API,帮助从文本、图像和结构化输入做近实时判断。

官方宣称相对同一模型走 Responses API,可达约 10 倍更快。公开测试以来还补上了原生 GPT-Live 集成、提示缓存,以及美国和欧盟的推理驻留。

具体做法

开发者定义问题与允许答案,再提供文本、图像或原生 JSON 上下文,接口返回三类答案之一。predicate 给出条件为真的概率;choice 从预设选项里选出一项并附概率与置信度;score 按量规给出加权评分。

单请求最多可问 400 道题,是此前上限的两倍。也可在问题指令里带图。

与 GPT-Live 原生集成后,可在实时会话里根据转写增量触发决策,例如客服是否追问、路由还是升级,或驱动虚拟形象表情。

关键数据/例子

Box 在 30 份保险证明案例上,路由选择约快 5 倍,准确率与 Responses 相当(Biswaroop Palit)。

Datadog 用它给智能体生成的 rshell 命令做风险评分,p95 比可用前沿模型约快 40 倍(AJ Stuyvenberg)。

Ramp 相对 GPT-6 Luna,归因 AI 成本约快 4 倍、便宜 30%(René Sultan)。

Sierra 编排热路径 p95 低于 280 毫秒,约快 3 倍、单次成本约低 90%(Ajeet Grewal)。

Speak 接入 GPT-Live 后,下一动作时间从 1.4 秒降到 0.13 秒,降幅超过 90%(Andrew Hsu)。

定价为每百万输入 token 0.10 美元,缓存输入每百万 0.01 美元,不收输出 token 费;支持美国与欧盟驻留。

创新点

第一,把「分类/路由/评分」从通用对话拆成专用决策端点,并按有界答案优化延迟。

第二,用客户热路径数字说明何时值得替换通用 chat。

第三,与实时语音原生长接,让决策进入对话热路径而不是事后批处理。

可否复用

  1. 把高频、答案空间有限的判断(路由、风险分、归因)从通用 chat 拆到专用决策端点。
  2. 选型时对照延迟、成本和准确率,优先看热路径上的 p95,而不是平均吞吐。
  3. 语音或实时产品可评估「转写增量触发决策」的集成方式。
  4. 需要合规驻留时,确认 US/EU residency 与零数据保留是否适用。

笔记会在输入时自动保存。