
Meta Andromeda:检索 MoE + 单 GPU 融合管线,生产吞吐逾 10 亿 ads/秒/服务器(约 100×)
工程广告检索MoEGPU共设计推荐系统NVIDIA
一句话结论
生成式创意把候选池推到空前规模;用检索 MoE 逼近排序级质量且推理 FLOPs 相对 2024 约少 300×,再把索引匹配/打分/top-K 收成单机 GPU 融合核,生产逾 10 亿 ads/秒/GPU 服务器,自 2025 起转化约 +2.4%。
打开原文
Meta Engineering:Andromeda — Next-Gen Ads Retrieval Through Model-System Co-Design
背景与理念
检索要把海量合格广告在毫秒内收成强候选,再交给更贵的排序。2024 Andromeda 已上 GH200;此后候选池暴涨,中间张量与跨主机搬运成为新瓶颈,必须模型–系统–硬件一起改。
具体做法
- 检索 MoE:多用户 expert + 融合实时上下文的广告塔 + ad-aware 路由只激活 top-K expert。
- 融合核:embedding 聚集→交互→打分单 pass,中间结果留在寄存器/共享内存,避免 HBM 灌中间张量。
- 共置:索引匹配、打分、top-K 同机,请求只送紧凑用户特征与定向查询,网络流量约降 100×。与 NVIDIA 协作单项核约 2×–5.3×;门控核可到逾 100 亿 ads/秒并吃满约 85% HBM 带宽峰值。
关键数据/例子
生产端到端:逾 10 亿 ads/秒/GPU 服务器,相对 2024 约 100×;单卡推理/融合打分可到逾 100 亿 ads/秒;推理 FLOPs 相对 2024 约 -300× 仍近排序级。索引匹配优化后逾 1000 亿 ads/秒。自 2025 起 Facebook 转化约 +2.4%。INT8 相对优化后的 FP16 还可再约 2× 吞吐。
创新点
第一,把「近排序质量」放进检索,用 MoE 换 FLOPs 而不是堆稠密网。第二,用单 GPU 端到端管线消灭检索阶段的网络与 HBM 中间流量。
可否复用
- 大规模检索先画清中间张量与跨主机字节,再谈加模型。
- 质量与吞吐目标要和硬件执行模型一起定,避免先训后硬塞。
- 融合前先确认算力余量(文中约 300× FLOPs 下降)是否撑得住系统逻辑入核。