
OpenAI:跨 1P/3P 模型提供方设计故障切换——只对可安全重放的只读推理步骤开启
failover1P/3PLLM gatewayPrivate LinkCodex
一句话结论
OpenAI 把多提供方接入当成平台能力、把故障切换当成工作流决策:只对自包含、只读、可安全重放的推理步骤启用;用错误允许/阻止表、Private Link 差异与单一重试预算约束网关,并用 Codex 提示默认关闭切换,直到本地 stub 测与真实路由验证通过。
打开原文
OpenAI Developers:Designing failover across OpenAI model providers
背景与理念
业务依赖 AI 工作流时,短暂的提供方中断也可能耽误决策或打断服务。文中第一方(1P)指直连 OpenAI API,第三方(3P)指经云厂商访问的同系模型,与应用跑在哪无关。
作者强调:计划路由与批准故障切换是两件事;多提供方支持是平台能力,故障切换必须按工作流逐项决定。
具体做法
- 分清计划路由与恢复切换。日常流量走主路由;经测试的次路由只在满足切换条件时使用。计划分流或削峰另需容量、成本、质量与恢复测试,不能与故障切换混为一谈。
- 只切换「可安全重放」的步骤。以支付流程中自包含、只读的欺诈评估为例:超时且结果尚未被下游使用时,可在事务截止前改走已验证次路由。进行中的 Agents API 会话不能靠换提供方自动恢复对话、已保存工作或已执行动作,此类恢复超出本文范围。
- Private Link 与区域差异要单独验。1P 的 OpenAI Private Link 走 Azure Private Endpoint,AWS/GCP 上的负载需客户自管连入 Azure;3P 侧 Bedrock 用 AWS PrivateLink 接口端点,Azure OpenAI 用 Azure 私有端点。Private Link 不会自动在区域端点间切换,区域恢复要单独配置与测试;切到公网 HTTPS 也要显式批准。
- 用错误表与单一重试控制器。可考虑切换:瞬时服务/连接失败、确认的临时限流且等待会破截止。不要自动切换:畸形请求、401/403、安全拒答、配额/额度/预算耗尽、未分类错误;部分输出或不确定的工具动作禁止盲目重放。应用、SDK、网关共用一个重试预算,尊重 Retry-After,否则用带抖动的有界指数退避。
- 用 Codex 改网关,默认关闭切换。文中给出完整提示:为指定只读推理步骤加「默认禁用」的提供方切换,用本地 HTTP stub、阻断外网测真实请求路径,断言路由顺序、调用次数与耗时;未验证路径一律保持禁用。
关键数据/例子
文中没有给出切换成功率或延迟百分位等生产统计,核心是可执行的策略与边界。支付示例把 Responses API 上的只读欺诈评估当作可切换单元;错误表按条件列出「可考虑 / 不要自动切换 / 先换模型再考虑提供方」。验证清单覆盖质量与安全验收、数据处理与留存、按模型/账号/区域跟踪限流与剩余预算,以及对次路由叠加恢复流量的负载测试。
创新点
第一,明确「平台可多路由」不等于「每个工作流都能切」,把切换资格绑在可重放、能力齐全、驻留合规上。第二,把 Private Link 拓扑差异写成启用前的硬检查,而不是假设私有连接可自动互备。第三,用 Codex 提示把策略落成网关补丁与 stub 测试,并强制默认关闭未验证路径。
可否复用
- 先挑一个自包含、只读、结果未写下游的推理步骤做试点,不要一上来对整段 agent 会话开切换。
- 写清错误允许/阻止表,并把应用、SDK、网关的重试收成单一控制器。
- 启用前分别验证两条私有路径的 DNS、区域模型与 API 能力,公网回退单独审批。
- 用 Codex 生成默认关闭的补丁 + 本地 stub 测,真实路由的行为、容量与成本验证通过后再开流量,并约定平台与应用各自的恢复所有权。