← 返回全部情报
Claude Message Threads:长会话只发增量,50 万–100 万 token 请求中位 TTFT 约降 35% 的封面

·Anthropic·产品发布收录 2026-11-08

Claude Message Threads:长会话只发增量,50 万–100 万 token 请求中位 TTFT 约降 35%

工程Messages APImessage threadsTTFT长上下文Claude Code

一句话结论

Anthropic 在 Messages API 推出 message threads 公开测试:首包建 thread,后续只发新增消息;服务端内存加密存放、约 5 分钟空闲过期;Claude Code 多数默认开启,在 50 万–100 万 token 请求上中位 TTFT 约降 35%,计费仍按完整对话。

打开原文 Claude:Make long-running agents faster with message threads

背景与理念

编码 agent 一轮会话可能打上百次请求,每次重传整段历史会把首 token 时间拖长。对话到数十万 token 后,重发全部消息与工具结果成为明显延迟来源。

具体做法

  1. 首个请求带上完整对话并创建 thread,之后只提交新增消息与上一响应 ID。客户端用 `thread` 参数接入 Messages API。
  2. 线程保存在服务端内存,加密且不落盘;距上次请求约 5 分钟空闲后过期,客户端需重发全量开新线程。
  3. Claude Code 对多数用户默认开启;原生平台及 AWS、Microsoft Foundry、Google Cloud(Anthropic 托管)可用。

关键数据/例子

在 50 万到 100 万 token 的请求上,中位 TTFT 约下降 35%。虽然每包更小,模型每轮仍读完整对话,因此 token 用量与计费不变。

创新点

把「传输增量」和「计费全量」拆开:延迟按增量降,账单仍按模型实际阅读的完整上下文。适合活跃长会话,而不改变既有用量计量。

可否复用

  1. 长跑 agent 优先减少重复上传历史与大图/截图,而不是只堆更大上下文窗口。
  2. 客户端要处理短空闲过期:过期后自动重发全量重建 thread。
  3. 评估收益时看 TTFT,同时确认计费模型是否仍按全对话,避免误以为省了 token。

笔记会在输入时自动保存。