
Meta F3 Lightning:广告排序特征独立编译发布,可比特征上线约快 3.6 倍且算力不增
工程广告排序特征工程F3发布解耦共享执行
一句话结论
Meta 在广告特征框架 F3 上推出 Lightning:单请求可要超过 20000 个特征,每个特征可独立编译、校验、发布与回滚,同时靠共享执行计划与共享内存保住效率,可比特征上线约快 3.6 倍且基础设施算力成本不增。
打开原文
Meta Engineering:F3 Lightning
背景与理念
合并图能省算力,但把「怎么跑」和「怎么发」绑成同一份工件后,一个坏特征会卡住整条发布。F3 把广告排序特征编成合并 DAG,共享过滤与聚合;可随着规模到单请求超过 20000 特征,一次失败或高成本模型相关测试就会拖住所有同批特征。
具体做法
- Lightning 把每个特征编成独立可发布配置,校验、上线、回滚互不影响。发布改成按影响与风险排队,而不是整图全有或全无。
- 为保住 F3 的效率,运行时再拼回共享执行。稳定计算标识识别相同算子、启动时建一份共享执行计划、请求内共用一块内存缓冲,并用稠密索引把访问变成直接数组下标。
- 失败只标记下游未就绪并跳过,独立分支继续跑。这样单点故障不会拖垮整图。
关键数据/例子
可比抽取特征上线速度约为原 F3 的 3.6 倍,且基础设施算力成本没有上升。早期「只拆发布、不共享执行」的原型会明显抬高 CPU;四项优化把效率拉回与传统 F3 持平。
创新点
第一,明确拆开部署边界与执行边界,不再用同一份合并图同时决定效率和发版。第二,把识别共享、排序与槽位映射等「请求间不变」的工作挪到启动期,让独立发布不再牺牲请求路径成本。
可否复用
- 特征/配置平台若「合并发布」已成瓶颈,优先把发布单元拆细,再单独设计运行时共享。
- 用内容派生的稳定标识做去重,而不是依赖各图本地节点编号。
- 测 CPU 时同时看「算几次」和「结果放几份、是否连续」,内存布局有时和算子次数一样关键。