
Cloudflare Workers AI:GLM-5.3 跨请求 KV 泄露复盘与 SGLang 加固
工程推理服务KV cache租户隔离SGLang事故复盘
一句话结论
Workers AI 上 GLM-5.3 因 KV 池容量与宣称 context 错配,加上拒绝路径在 admission 前仍 handoff,导致跨请求读到他户 KV;影响窗约两周、155 条超长 prompt 响应,发现后约 40 分钟下线并与 SGLang 协同加固。
打开原文
Cloudflare Blog:Cross-request KV cache exposure remediation
背景与理念
分离 prefill/decode 并共享 KV 时,池大小、context 上限和请求生命周期必须一致,否则「拒绝」也可能把错误 KV 交给 decode。Cloudflare 在协调披露日公开了 GLM-5.3 Workers AI 上的跨请求暴露与修复。
具体做法
- 根因:池仅约 681,280 token,却宣称约 1,048,576 context;拒绝请求仍走 handoff,decode 读到他户 KV。受影响响应均来自 prompt 超过池容量的请求。
- 短期:发现后约 40 分钟下线模型,同日修复上线。随后把 prefill 池扩到约 2.04M token,并在 admission 前退役拒绝路径。
- 长期:全舰队开 deferred release、限制传输批次、部署前校验池长;建议 SGLang ≥ v0.5.22,并推动上游 checksum 等加固。
关键数据/例子
影响窗口 2026-08-27 至 09-09;受影响响应 155 条;协调披露日 2026-10-26。数字与时间线来自 Cloudflare 原文,未另估用户影响面。
创新点
第一,把「配置宣称的 context」和「真实 KV 池容量」做成部署前硬校验项。第二,拒绝路径必须在 admission 前结束,不能假设 handoff 无害。
可否复用
- 上线分离推理前,用清单核对:池长、context、拒绝/取消路径、跨租户 checksum。
- 事故披露可写清影响窗、精确响应条数与上游版本门槛,方便同行对照。
- 共享 KV 场景默认假设「拒绝 ≠ 未接触共享状态」。