
Google 发布基于 TorchTPU 的原生 PyTorch 版 vLLM 与 SGLang:TPU Sync 搬运 KV 缓存,Kimi K3 单用户解码超 700 token/秒
一句话结论
Google 在 TorchTPU 上重做了 vLLM 和 SGLang 的 TPU 引擎,保留两个框架原有的调度器、KV 缓存管理和 API 服务,只在底层换上 TPU 实现与 Pallas 内核;SGLang 版已在 Meta 生产环境运行,Qwen 3.5 在 Ironwood 上每百万 token 最低成本降到 2.01 美分。
背景与理念
vLLM 和 SGLang 原本就能通过 JAX 后端跑在 TPU 上,但开发者一直反馈,希望在 PyTorch 里定制和调试自己的推理栈。智能体和多模态负载兴起后,推理效率变得比以往更重要。
Google 的思路是先做 TorchTPU,让 TPU 成为 PyTorch 的原生设备,再在上面构建两个推理引擎。目标是让 PyTorch 社区用熟悉的工具把模型搬到 TPU 并调快。
具体做法
- TPU 被当作标准的 PyTorch 设备。张量就是 `tpu` 设备上的普通 PyTorch 张量,没有包装类型,可以即时执行,也可以通过 `torch.compile` 经 XLA 编译,集合通信走 `torch.distributed`。
- 采用平台插件式设计,尽量复用框架本身。每个设备跑一个 PyTorch 进程,两个引擎保留各自的 worker 模型、调度器、KV 缓存管理器和 API 服务,只在底层加 TPU 实现;大多数模型直接用上游的 PyTorch 模型定义,Pallas 写的自定义内核作为自定义算子在编译图中调用。
- 针对智能体负载做前缀缓存和分层卸载。智能体会不断重发越来越长的多轮对话,所以两个引擎把可复用前缀留在 HBM 里,开启主机卸载后,会把较旧的前缀自动挪到主机内存,形成第二层缓存。
- 用开源 C++ 库 TPU Sync 搬运 KV 缓存。在预填充与解码分离部署、以及把放不下的 KV 缓存卸载到主机 DRAM 和 Managed Lustre 时,它直接读取 PyTorch 张量背后的设备缓冲区,不需要在主机上额外拷贝,并在 Python 之外的独立线程里传输,与计算重叠。
- 在公开基准里验证。团队通过 SemiAnalysis 的 InferenceX 项目公开跑分,并提交到面向智能体长上下文、多轮负载的 AgentX 赛道。
关键数据/例子
在 Ironwood TPU(TPU 7x)上,Qwen 3.5 的每百万 token 最低成本优化到 2.01 美分。文章称 Ironwood 在 AgentX 的大部分帕累托前沿上领先。
与 Inferact 合作,为 2.8 万亿参数的 Kimi K3 集成了一个把整个解码步骤做成单个内核的 Pallas 大内核,在 Ironwood 上为单个用户提供每秒 700 多个 token。
SGLang-TorchTPU 已在 Meta 生产环境运行。Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 说,这是 Meta、Google 和 SGLang 团队三方紧密协作的结果。支持的特性包括 MTP、EAGLE-3 等多种投机解码、FP8 KV 缓存、上下文并行以及 FP8/FP4/INT8/INT4 检查点;原有的 JAX 版本会继续维护。
创新点
第一,不另起一个 TPU 专用框架,而是在上游框架里「插」一层 TPU 实现。这样 TPU 优化可以按自己的节奏推进,同时与社区上游保持一致。
第二,把 KV 缓存的跨主机、跨层级搬运做成独立库,并与计算重叠。这正好对应智能体负载反复重发长上下文的特点。
可否复用
- 如果团队的推理栈以 PyTorch 为主,可以直接试 vllm-torchtpu 和 sglang-torchtpu 两个仓库。文中给出了 GitHub 地址,并说明主流开源模型家族多数已支持。
- 服务智能体负载时,优先打开前缀缓存和主机卸载。多轮对话重发的前缀越长,这两项的收益越大。
- 评估硬件时看公开、可复现的基准。文中用 InferenceX 和 AgentX 作为对比依据,读者可以按自己的模型和配置复跑。
- 为开源项目贡献者,vLLM 开放了一个社区 TPU 算力池。积极贡献两个引擎的开发者可以申请免费 TPU 资源。