← 返回全部情报
Meta Andromeda:检索 MoE + 单 GPU 融合管线,生产吞吐逾 10 亿 ads/秒/服务器(约 100×) 的封面

·Engineering at Meta·工程博客收录 2026-10-31

Meta Andromeda:检索 MoE + 单 GPU 融合管线,生产吞吐逾 10 亿 ads/秒/服务器(约 100×)

工程广告检索MoEGPU共设计推荐系统NVIDIA

一句话结论

生成式创意把候选池推到空前规模;用检索 MoE 逼近排序级质量且推理 FLOPs 相对 2024 约少 300×,再把索引匹配/打分/top-K 收成单机 GPU 融合核,生产逾 10 亿 ads/秒/GPU 服务器,自 2025 起转化约 +2.4%。

打开原文 Meta Engineering:Andromeda — Next-Gen Ads Retrieval Through Model-System Co-Design

背景与理念

检索要把海量合格广告在毫秒内收成强候选,再交给更贵的排序。2024 Andromeda 已上 GH200;此后候选池暴涨,中间张量与跨主机搬运成为新瓶颈,必须模型–系统–硬件一起改。

具体做法

  1. 检索 MoE:多用户 expert + 融合实时上下文的广告塔 + ad-aware 路由只激活 top-K expert。
  2. 融合核:embedding 聚集→交互→打分单 pass,中间结果留在寄存器/共享内存,避免 HBM 灌中间张量。
  3. 共置:索引匹配、打分、top-K 同机,请求只送紧凑用户特征与定向查询,网络流量约降 100×。与 NVIDIA 协作单项核约 2×–5.3×;门控核可到逾 100 亿 ads/秒并吃满约 85% HBM 带宽峰值。

关键数据/例子

生产端到端:逾 10 亿 ads/秒/GPU 服务器,相对 2024 约 100×;单卡推理/融合打分可到逾 100 亿 ads/秒;推理 FLOPs 相对 2024 约 -300× 仍近排序级。索引匹配优化后逾 1000 亿 ads/秒。自 2025 起 Facebook 转化约 +2.4%。INT8 相对优化后的 FP16 还可再约 2× 吞吐。

创新点

第一,把「近排序质量」放进检索,用 MoE 换 FLOPs 而不是堆稠密网。第二,用单 GPU 端到端管线消灭检索阶段的网络与 HBM 中间流量。

可否复用

  1. 大规模检索先画清中间张量与跨主机字节,再谈加模型。
  2. 质量与吞吐目标要和硬件执行模型一起定,避免先训后硬塞。
  3. 融合前先确认算力余量(文中约 300× FLOPs 下降)是否撑得住系统逻辑入核。

笔记会在输入时自动保存。