
Anthropic FlashProve:单张 H100 对 400B MoE 做到约 110 tok/s 的可验证推理证明
工程FlashProvezkSNARK可验证推理AnthropicprovenanceLlama 4
一句话结论
Anthropic 开源 FlashProve,用 zkSNARK 证明一次推理结果来自先前所承诺的模型权重:在 Llama 4 Maverick(400B MoE)上,单张 H100 大约能以 110 tok/s 出具证明,每个 1024-token 请求大约 19 MB,相对 vLLM 大约多花 70 到 95 倍 GPU 时间。
打开原文
Anthropic:Progress on provable inference for large language models
背景与理念
团队想证明的不是「模型很聪明」,而是「这次输出确实来自它所承诺的那份权重」。面向的场景包括能力释放节奏(pacing)、权重是否被篡改,以及推理结果的出处(provenance):下游系统在采纳答案之前,可以核验这次前向计算对应的是事先承诺过的模型,而不是被替换或被悄悄改过的版本。
具体做法
- 用 zkSNARK 为推理过程生成简洁证明,证明输出对应于先前所承诺的权重。验证方不必重新跑一遍完整推理,也能检查这份证明。
- 同时开源证明器和验证器,并配上用 Lean 写出的顶层安全陈述。这样安全声明不只停留在博客叙述里,也可以被形式化系统检查。
- 把离线承诺和在线出证明分开:权重先做一次承诺,之后每次请求再针对具体输入出具证明。
关键数据/例子
在 Llama 4 Maverick(400B 混合专家模型)上,单张 H100 大约能以 110 tok/s 的速度出具证明;每个 1024-token 请求的证明大小大约是 19 MB。相对普通 vLLM 推理,这大约要多花 70 到 95 倍 GPU 时间。权重的离线承诺大约需要 39 分钟;验证一份证明在 24 个线程上大约要 17 秒。
创新点
第一,把「这次推理来自哪份权重」做成可独立验证的密码学证明,而不是只靠服务商口头保证。第二,在 400B 级 MoE 上把可验证推理推到单卡约 110 tok/s,并公开证明器、验证器和 Lean 安全陈述,让外人可以复核这套声明到底保证了什么。
可否复用
- 若推理结果要进入监管、审计或高风险决策,先问清能否证明输出对应事先承诺的权重,而不是只看接口是否稳定。
- 把一次性的离线承诺和按请求出具的在线证明分开记账,避免把承诺成本摊进每一次延迟里误解系统开销。
- 评估时同时看证明大小、验证时间和相对普通推理的 GPU 倍数,再决定这种出处保证值不值得换。