
AWS Groundhog Day:Bedrock×OpenAI 模型双缓存,六轮样例输入成本约降 61–64%
工程prompt cachingBedrockOpenAIagent 成本Groundhog Day
一句话结论
把 agent 每轮重读「工具+指令+历史」的 Groundhog Day 拆开:稳定前缀显式断点、增长历史隐式滚动、工具变更用 additional_tools/allowed_tools 保前缀;附可测数字与 checklist。
打开原文
AWS:Groundhog Day for AI agents — prompt caching patterns on Bedrock
背景与理念
模型无跨请求记忆,第 20 轮仍要重付 1–19 轮上下文。在 Amazon Bedrock 上跑 OpenAI 模型时,要把可缓存前缀与增长历史分开设计。
具体做法
- TOOLS+INSTRUCTIONS 放前并打显式断点;循环里 append tool 结果走隐式。使用 prompt_cache_key、prompt_cache_options(explicit/implicit、TTL 30m)、prompt_cache_breakpoint。
- 中途新工具用 additional_tools 追加,而非改初始 TOOLS。配合 allowed_tools 保前缀稳定。
- 子 agent 先 warm 共享前缀再 fan-out;跨会话共享稳定 key。用 CloudWatch cache 指标验收命中。
关键数据/例子
约 4000 token 前缀首写 4120、后续读回;GPT-6 Astra 六轮工作负载隐式约 -62% 输入成本、显式滚动约 -61%;建模例 8k 启动+六轮各 2k:滚动断点把会话输入成本从 $0.87→$0.32(约 -64%)。门槛:可缓存前缀 ≥1024 tokens;TTL 至少 30 分钟。
创新点
第一,把「工具变更会污染前缀」写成可操作的 additional_tools 模式。第二,用可测 checklist 把缓存从玄学变成工程验收项。
可否复用
- 稳定前缀显式断点,增长历史走隐式滚动。
- 中途加工具用追加接口,不要改初始 TOOLS 块。
- 用缓存命中指标验收,数字依赖模型价目需自测。