
Meta Intelligent Delivery:按边际收益分配广告计算资源,并让 Agent 承担约 20% 的优化工作
工程Meta广告排序资源分配AgentML 系统
一句话结论
先预测每一单位算力在不同请求、机型和排序阶段上的回报,再分层调度,并用必须经工程师批准的 Agent 缩短优化循环。
打开原文
Meta Engineering:Intelligent Delivery
背景与理念
广告排序模型正走向大模型规模,但用来跑它们的硬件跟不上。多出来的一单位算力,在不同请求、模型和芯片上的作用差得很多。Intelligent Delivery 要在有限容量和严格时延预算下,把资源持续推向系统整体更优的位置。文中写到,从 2017 年到 2026 年上半年,它在模型与系统本身的改进之外,又为主要表面贡献了约 10% 的排序效果提升。
具体做法
- 先把「哪些请求最值得加计算、不同资源配置会怎样影响效果和时延」做成机器学习问题。早期按表面、场景、素材等粗分段再靠人工规则分配,信号一多规则就膨胀,而且切不出上千个信号之间的非线性关系。他们训练名为 Resource Core Model 的深度学习模型,约有 60 亿稀疏参数和 2000 万稠密参数,在候选检索之前跑一次,并在整条投放漏斗中共用;再微调出一组专门模型,分别给出效果、算力消耗和时延影响的增量信号。
- 把分配拆成跟一次请求走的多层决策。先决定由哪个区域承接:实时基础设施以分钟级周期在区域间倒流量,使各区域在边际容量上的效率趋于一致。再决定落到哪类硬件:机队覆盖英特尔、AMD、Arm 的 CPU,以及 NVIDIA、AMD 和 Meta 自研 MTIA 加速器的多代产品;检索更吃内存、排序更吃计算、模型推理更吃加速器吞吐,因此按工作负载与 SKU 的实测效率来分配,而不是找「最快的一种卡」。最后在主机内部,用模型预估每个请求的效果和代价,在尾时延 SLO 下做约束优化,负载升高时先砍掉收益低、又很吃资源的请求。控制从内核调度一直延伸到应用线程池。这些决定是耦合的,区域倒流会改变单机负载,再反馈到每个请求能拿到多少计算;他们在端到端、闭环的硬件测试环境里验证,避免只优化到局部最优。
- 用 Agent 盯系统变化,提出并运行实验,但上线必须由工程师批准。Agent 在长上下文里阅读机制源码、设计文档和十年实验日志,把搜索空间收成少数值得试的改动。2026 年上半年,它们参与了约 20% 的 Intelligent Delivery 优化;在自动化程度最高的机制上,从理解系统、提出假设到做实验、收敛方案,约 80% 的工程工作已由它们承担,从而把优化循环从数月缩短到数周。
关键数据/例子
两个需要分开读的数字是:相对以往生产模型,离线基准上识别最高影响请求的能力约提升 20%;从 2017 年到 2026 年上半年,Intelligent Delivery 本身额外贡献了约 10% 的排序效果。后者覆盖主要表面,是叠在模型与系统进步之上的。Agent 相关的 20% 和 80% 分别指 2026 年上半年全部优化中的参与比例,以及最自动化机制上的工程工作占比。下一步他们想把「理解请求」和「决定怎么服务」熔成一个实时模型,并针对 GEM 这类越来越多跑在 GPU 上的生成式广告模型,重新设计过去为 CPU 世界准备的调节杆。
创新点
第一,把算力分配看成预测边际收益,而不是按静态分段灌规则。第二,区域、硬件和主机内配额分层决策,并在闭环硬件环境里检验全局效果。第三,让 Agent 负责读代码、提假设和跑实验,但把最终变更的批准权留在人手里,还把多年经验逐步收进共享知识库。
可否复用
- 先估计「多给一单位资源能换来什么」再做分配,不要对所有请求或所有机型一视同仁。
- 把区域调度、硬件匹配和单机配额分开建控制器,再用闭环测试看它们叠在一起会不会互相打架。
- 如果用 Agent 搜索配置,先限定它只能提出和运行实验,上线必须经过人审,并把设计文档与历史实验留给后续循环使用。