
OpenAI 工程师拆解 ChatGPT 广告系统:后训练 LLM 当编排器调用检索、排序、相关性和竞价工具,广告与回答完全分离,上线不到 200 天年化收入破 10 亿美元
一句话结论
对话里的需求是逐轮成形的,不能像搜索广告那样把每条消息当成一次请求;OpenAI 为此做了有状态的广告会话,用一个后训练的编排器模型在智能体循环里反复调用广告工具,并让广告服务与 ChatGPT 回答链路完全隔离,答案从不等广告。
背景与理念
传统广告系统围绕离散事件工作:用户搜一个词或打开一个页面,系统据此检索、排序、竞价、展示。ChatGPT 没有这样明确的时刻,用户带着目标而来,需求在多轮甚至多次对话中逐步清晰。
文章举的例子是工程团队问 ChatGPT 怎样备赛跑步,几轮之后才问到训练鞋。如果系统对第一条消息就行动,很可能抓错意图、打扰用户。
具体做法
第一个设计决定是有状态的广告会话。广告系统在一个可投放回合内持续存在,记住并更新信息,跟着对话演进,而不是对每条消息重跑一遍。
第二个设计决定是广告与回答彻底分离。广告选择在独立服务中、用不同的模型和代码与回答生成并行运行;ChatGPT 不依赖广告系统,广告服务慢了或挂了都不影响回答,「不返回广告」本身就是正常的成功结果。
第三个设计决定是用一个后训练的前沿 LLM 做「编排器」。它先把多轮对话改写成一个或多个检索查询,比如把「约塞米蒂两日游」「下周冷不冷」「某品牌新品」拆成「适合徒步旅行的鞋」和「适合旅行的某品牌新品」;再生成语义向量,在多个为不同产品约束优化的近似最近邻索引里广泛召回候选。
之后依次过滤和打分。过滤包括素材与活动是否有效、地域定向、政策合规、预算、投放节奏、版位兼容和同一广告主去重;打分调用语义相关性、预测互动和历史表现等工具;编排器只提名候选,最终选择和定价交给竞价工具。
最后还有两道关:广告即使合规也可能在某段对话里显得不合适,编排器会拦下;如果回答已经生成完而广告还没到,这一轮就不展示。前端收到的是广告素材加一段由模型生成的中性引导语,两者分开以保持 ChatGPT 的口吻中立。
关键数据/例子
ChatGPT 广告上线不到 200 天,年化收入达到 10 亿美元,至今已有超过 10 万个广告主投放过。
日志系统会细分记录每种结果。比如这一轮不可投放、会话开始但没发起检索、检索没有候选、候选在补全信息或资格检查中被淘汰、广告送达并产生互动,以便分别改进机会识别、检索、候选质量、竞价参与和送达可靠性。
团队说,一年前他们还没有广告系统,只有几个人在想这个问题;Codex 是关键的效率放大器。团队从一开始就把开发流程建立在 Codex 上,为它设置了安全发布代码的护栏,并接入数据基础设施插件,缩短从数据洞察到上线改进的循环。
创新点
第一,把广告投放写成一个智能体循环。编排器可以随对话更新重新发起一轮工具调用,找到更合适的广告后再返回给前端。
第二,用最强的推理模型做评估和训练,让更小、更便宜的模型承担编排和检索。强模型观察系统表现,再把反馈用于训练小模型。
第三,在架构上保证商业系统不能拖慢或影响核心产品。这条边界同时也是一条信任边界。
可否复用
- 在对话式产品里接入任何推荐或商业逻辑时,都应让它与主回答链路解耦,并设定「来不及就不展示」的超时规则。
- 把意图理解从关键词匹配升级为「改写成多个查询再召回」。一段对话往往同时包含几种需求。
- 日志要细到每个环节的失败原因。这样才能分别优化,而不是只看最终点击率。
- 用强模型评估、训练弱模型,在成本和质量之间取得平衡。