← 返回全部情报
AWS 内部销售多智能体:九段 AgentCore Evaluations 闭环,上线前单位错标与失配窗口会把通过率从 78% 打到 38% 的封面

·AWS Blog·工程博客收录 2026-10-25

AWS 内部销售多智能体:九段 AgentCore Evaluations 闭环,上线前单位错标与失配窗口会把通过率从 78% 打到 38%

工程管理评测AgentCore多智能体销售运营

一句话结论

面向 Field Sales 的 Performance、Customer、Data Insights 多智能体,在上线前因单位错标与失配等问题暴露风险;团队用九段 AgentCore Evaluations 闭环,把幻觉从每万次 138 降到低于 52,整体通过率从约 93% 提到约 96%,平均检出时间压到 4 小时以内。

打开原文 AWS:Building trust in AI agents with Amazon Bedrock AgentCore Evaluations

背景与理念

销售多智能体一旦把数字讲错,信任会立刻崩。SMGS Ops 为 Field Sales 做了 Performance、Customer、Data Insights 等智能体;上线前 Customer Insights 曾把 410.08 美元报成「410.08 Million」,还把自算结果当成事实。评测要覆盖指标对调、时段错、实体错、纯幻觉、符号错、未授权计算六类失败。

具体做法

  1. 九段闭环:定义质量→实验对比→CI 哨兵→CD 全量金标→金丝雀→对抗→漂移→脉搏→反馈。评测组合包括 AgentCore 内置、自定义、DeepEval/AutoEval 与确定性检查。
  2. 金标门在沙箱回放,工具与数据集冻结,端到端约 200 题。金丝雀用 30 分钟窗口,连续三次破阈才叫人;日跑全量;在线抽约 10% 流量。

关键数据/例子

上线前单位错标与失配窗口曾把通过率从 78% 打到 38%。幻觉从每万次 138 降到低于 52,未授权计算从 59 降到低于 44,通过率约从 93% 提到 96%;平均检出时间从数天或数周压到 4 小时以内。

创新点

第一,把六类失败模式写进金标与在线抽检,而不是只看总分。第二,金丝雀用连续破阈才告警,避免单次噪声把人拖垮,同时把 MTTD 压到小时级。

可否复用

  1. 上线前先用「单位、实体、未授权计算」这类具体失败模式砸一遍金标集。
  2. 金丝雀设连续破阈规则,日跑全量,在线只抽一部分流量。
  3. 把评测接到 CI/CD:沙箱回放、工具冻结、数据集版本化。

笔记会在输入时自动保存。