
Postman Agent Mode:170+ 工具缩到约 15、schema 查询替代工具爆炸,跑在 Bedrock 上服务 4000 万开发者
工程Agent ModeBedrock工具预算上下文工程Prompt CachingAPI
一句话结论
成熟产品做 agent 的瓶颈不是缺能力,而是工具膨胀与上下文噪声:动态只暴露约 15 个相关工具、用 schema 读替代单用途读工具,并在 Bedrock 上用跨区推理与分层 prompt 缓存撑住突发流量。
打开原文
AWS:How Postman runs Agent Mode for 40 million developers on Amazon Bedrock
背景与理念
给 demo 做 agent 和给 4000 万开发者做 agent 是两类工程。Postman 原以为最难是模型与提示,真正卡点是:11 年界面驱动的产品假设、宽表面与专用概念,要改成「对数据推理」而不是「点开标签页」。
具体做法
- 工具当上下文预算。早期原子工具正确但慢;可见工具超过约 40 个时选错增多。现用向量库从 170+ 工具收窄到约 15,再交给隔离子 agent。
- schema 读替代工具爆炸。对 API Catalog 等结构化数据,给 ClickHouse 表 schema,让 agent 写带 join/WHERE 的查询,而不是为每个问题做一个读工具。
- 专用上下文 handler。序列化渲染模型不够用;按实体蒸馏「agent 需要知道什么」。改状态动作需用户批准;Guardrails 可在进模型前脱敏 PII。
- Bedrock:按工作负载选 Claude、地理/全球推理配置、近不可变前缀 1 小时缓存 + 可变层 5 分钟缓存。
关键数据/例子
可见工具集变大后,选错与幻觉工具增多;动态收窄到约 15 个显著改善。文中强调改应用状态仍要人批,工具与「当前打开的 tab」解耦(例如后台发请求不必开 tab)。
创新点
第一,把工具目录当成与 token 同等稀缺的预算。第二,用 schema-aware 查询换工具增殖,用目的塑形的上下文 handler 换「把 UI 数据模型整包塞进提示」。
可否复用
- 先测「可见工具数 vs 选错率」,再谈加工具。
- 有结构化数据就给 schema+查询引擎,不要堆单用途读工具。
- 稳定系统提示与核心工具定义放长 TTL 缓存,可变上下文放短 TTL。