
Visko 把实时可操控的视频世界模型 Orbis 搬上单个 Cloud TPU 切片:30 天上线,渲染速度达播放速度的 1.07 倍
一句话结论
直播式的视频世界模型不能靠批处理掩盖延迟,每一段画面都必须在观众看完上一段之前生成好;Visko 和 Google Cloud 工程师把视频扩散、超分和音频三个模型串在一个 TPU 切片上,靠序列并行、定制注意力内核和只重写音频模块,做到比实时播放快 7%。
背景与理念
Visko 做的不是生成固定短片,而是持续直播、可以随时用新提示词改变剧情的「Live Model」。它的旗舰模型 Orbis 从一段文字或一张图开始连续输出视频,观众可以中途插入提示,比如在猫打盹的壁炉场景里加一碗猫粮,猫就会起身走过去。
文章的核心观点是,实时世界模型的瓶颈不是平均吞吐量,而是一个严格的时钟。每一段视频和同步音频都必须在上一段播完前完成去噪、解码、超分到 1664x936(18 fps)并配上音频,否则画面就会卡住。
具体做法
团队把问题看成两个硬约束:批大小只能是 1,而且每一段都依赖上一段。每个直播流就是一个观众的会话,无法靠合并请求填满加速器;模型保留最近视频潜变量的滚动记忆,所以也不能乱序或提前并行渲染。
整条流水线跑在一个 Cloud TPU 切片上,三个生成模型以 BF16 精度轮流使用同一组芯片。软件栈由 JAX、torchax(让 PyTorch 模型经 JAX 直接跑在 TPU 上)和 Pallas(TPU 自定义内核语言)组成。
第一项优化是 Ulysses 上下文并行。不切分模型权重,而是把视频 token 序列切到各芯片上,在注意力层前用 all-to-all 交换让每块芯片持有完整序列、但只负责四分之一的注意力头,算完再换回序列切分布局。
第二项优化是引入 MaxDiffusion 里的 Pallas splash attention 内核。它把注意力分块放在片上高速存储里计算,不在 HBM 中展开完整的二次方注意力矩阵。
第三项优化是只重写瓶颈。视频和超分模型用 torchax 加 Pallas 内核就达到了延迟目标,只有音频模型从 torchax 改写成原生 JAX。
关键数据/例子
从 2026 年 8 月开始合作到交付生产,整个移植用了 30 天,端到端渲染达到播放速度的 1.07 倍,单段延迟大约留有 7% 的余量。
视频去噪约占总计算预算的三分之二,所以是优化重点;音频模块改写成原生 JAX 后快了 5.8 倍,这一步让整条流水线压到了播放截止时间以内。
Orbis 于 2026 年 9 月 1 日开放公开演示。文中提到的应用方向包括互动娱乐、直播电商、AI 陪伴、沉浸式教育和机器人仿真。
创新点
第一,把直播式生成的指标从「每秒 token 数」换成「每一步的延迟 SLO」。这对从大语言模型服务转过来的工程师是一个重要的思维转换。
第二,在批大小为 1 时,序列并行比张量并行和环形注意力都快。文章把这条作为给其他团队的经验。
第三,放弃 FP8 量化而坚持 BF16。原因是连续流里的微小量化误差会一段段累积,影响画质。
可否复用
- 做实时生成类产品时,先把每段的延迟预算拆清楚,再决定优化哪一段。本例中视频去噪占三分之二,就集中火力优化它。
- 从 PyTorch 迁移到 TPU 时先整体用 torchax 跑通,再用 Profiler 找瓶颈,只把关键阶段改写成 JAX。
- 缓存 XLA 编译产物。文中说首次启动要花几分钟编译,缓存后工作进程重启不到一分钟。
- 连续流场景慎用低精度量化。先验证误差是否会跨段累积。