← 返回全部情报
Meta TLX:在 Triton 上补上 warp group 编排,生产中把推荐训练 MFU 做到 20% 到 25% 的封面

·Blog·工程博客收录 2026-11-11

Meta TLX:在 Triton 上补上 warp group 编排,生产中把推荐训练 MFU 做到 20% 到 25%

工程MetaTLXTritonGPU 编译器推荐系统

一句话结论

Meta 开源并介绍了 Triton Low-Level Extensions,让工程师在保留 Triton 编程模型的同时显式编排 warp group、异步搬运和集群执行;它已用于推荐训练与推理以及大规模语言模型预训练,并在 GEM 训练中把端到端 MFU 做到 20% 到 25%。

打开原文 Engineering at Meta:How We Built TLX

背景与理念

新一代 GPU 的性能越来越取决于多个执行代理如何分工、同步和重叠访存,而不只是算得快不快。CUDA 能表达这些结构,但往往要写大量架构相关的编排代码;Triton 提高了生产力,却把许多执行关系藏进编译器。Meta 认为缺的是介于线程级 SIMT 和块级 SIMB 之间的抽象,并把这种模型叫做 Multiple Instructions, Multiple Warps,也就是以 warp group 为编排单位。

具体做法

  1. TLX 不是一门新语言,而是给 Triton 增加第二层面向执行的构造。计算仍用熟悉的张量操作来写,只有在需要显式控制执行、搬运或同步时才使用 TLX;编译器默认推断布局,只有为了性能才需要手写覆盖。
  2. 五个主要扩展是:warp group 编排、warp group 级同步、对 TMA、异步张量核和张量内存的直接访存编排、集群级执行,以及可选的布局标注。文中用 Blackwell 上的矩阵乘法内核说明:生产者 warp group 负责异步 TMA 装载,消费者做张量核算,收尾组负责写回,三者用轻量屏障衔接,形成深流水线。
  3. 生产中给了三类案例。广告生成模型 GEM 的训练在数千张 NVIDIA Blackwell GPU 上,通过模型与内核共设计把端到端 MFU 做到 20% 到 25%;其中 Generalized Dot Product Attention 用 TLX 把多种类注意力操作收进同一个内核,前向最高约 2 倍加速。推荐推理的 In-Kernel Broadcast Optimization 把用户特征的广播做进内核,避免按候选复制:线性压缩内核在 H100 上最终得到 4 倍加速,FlashAttention 在共设计模型上最多把计算密集的净延迟降掉三分之二。分布式分组 GEMM 则已在大规模语言模型预训练集群上持续运行,用于混合专家层的分组矩阵乘并紧耦合通信。团队还介绍了用于自动分析与调参的 Agent for Compute Efficiency,用来缩短单个内核的优化周期。

关键数据/例子

在 10 个月的统计里,Meta 内部 Triton 内核数量大约增长 3.8 倍,同期 CUDA 内核大约增长 2.0 倍。GEM 训练在最新版本中达到 10 的 24 次方量级总训练浮点运算,端到端 MFU 为 20% 到 25%。IKBO 的线性压缩内核在一系列优化之后,用 warp 特化的多阶段 TLX 内核在 H100 上取得 4 倍加速;FlashAttention 一侧最多把计算密集净延迟降掉三分之二。作者还写到,TLX 实现通常只要数周,而不是数月,性能大体可与手写 CUDA 相当,但迭代明显更快。

创新点

第一,把现代 GPU 上真正决定性能的 warp group 协作写成可在 Python 里看见的源码结构,而不是等编译器追赶每一代硬件。第二,用自动布局降低融合的工程成本,让内核融合从「先对齐每段的 tiling 和 swizzle」变成先写出正确计算、再按需调布局。

可否复用

  1. 从真实生产瓶颈而不是合成基准出发选编程模型,先测量是访存广播、注意力还是通信在拖后腿。
  2. 能用高生产率模型写清楚的部分就留在这一层,只在编排成为瓶颈时再打开更低层的显式控制。
  3. 把调试信息和性能剖析当成编译器用户界面的一部分,否则 warp group 同步问题会变得极难定位。

笔记会在输入时自动保存。