
Google 开源 AQuA:在生产旁路扫轨迹、聚类并对照部署源码快照做根因;旅行助手样例上修两处提示后全场通过从 5/32 升到 13/32
一句话结论
Google 在开发者博客开源 Ambient Quality Agent(AQuA):它不挡请求路径,按计划从 Cloud Trace / Logging / BigQuery 抽样生产会话,经「抽样→评审→聚类→核实→跟踪」五段流水线产出可验证洞察,并可在仪表盘或 CLI 触发对照部署时源码快照的根因分析(只建议锚定到行号的修改,不自动改库或开 PR)。在 travel-concierge 多样例上,32 场回放得到 42 条发现、核实后留 6 个问题;修掉座位绕过与饮食偏好交接两处提示后,座位问题约降 87%(15→2),素食遗漏 7→0,全场通过 5/32→13/32。
背景与理念
上线前用评测集把 agent 推到约八成往往很快;上线后用量漂移、模型/工具/提示一变,健康检查仍全绿,质量却可能悄悄滑坡。失败还可能长得很像:幻觉参数、编排路由错、工具 schema 没写清合法值、技能缺规则——需要把失败轨迹和「当时那版源码」对着看。
AQuA 补的是外环:把生产流量变成带证据的洞察,再喂回内环的评测与编码 agent。
具体做法
- 部署形态。经 agents-cli 装扩展、起单项目基建并部署;旁路跑在你的 GCP 项目里,轨迹与快照不出项目边界。
- 五段流水线。抽样最多约 1000 场;按九点清单(流程、工具选择与参数、 grounding、任务完成等)写 actual/expected;聚类;另一模型对照最多三份全文核实;与 BigQuery 中开放洞察对齐为 NEW / RECURRING,或 14 天未见则自动 RESOLVED。
- 目标文件。用 goal.md 把领域不变量塞进评审提示;也可用 eval_config.yaml 跑确定性自定义指标。
- 根因。对值得查的洞察触发诊断:对照部署修订的不可变源码快照;仓库内缺陷引用 `文件:起-止行`(服务端校验行号存在);仓库外问题归因到轨迹步骤但不给 diff。
- 旅行助手样例。planning_agent 在用户直接报座位时不查可用性;inspiration→place 交接丢掉 vegan;poi_agent 提示要求地图字段但 `tools=[]` 导致伪造链接。核实器丢掉 3 个假阳性簇。
- 成本量级(文中标价)。约 96 场单 agent 扫约 $0.70(约 $0.007/场);32 场多 agent(1583 spans)评审+聚类+核实约 $3.76(约 $0.12/场);按需根因约 $0.33–$2.47/洞察。
关键数据/例子
样例:32 场、1583 spans → 5 场干净、27 场共 42 发现 → 9 候选簇 → 核实后 6 个问题。
修复后回放:座位绕过 15→2(约 -87%);vegan 遗漏 7→0;全场通过 5/32→13/32;未动的 poi_agent 空工具问题仍在队列。
核实器内部基准:87 条轨迹上 24 候选簇剔除 4 个。
抽样上限:每轮最多约 1,000 场;核实最多 50 簇×最多 3 份全文。
创新点
第一,把「生产外环质量 agent」做成可组合开源块,而不是又一块只报分数的在线评测看板。
第二,强制「簇在核实前只是主张」,并用部署源码快照做可校验引用,去掉虚假 confidence 字段。
第三,诊断默认人机协同:给锚定编辑建议,但不自动开 PR,把合并权留在工程流程里。
可否复用
- 生产 agent 旁路加抽样评审,健康检查全绿时仍要看会话级 actual/expected。
- 每次部署冻结源码快照,根因必须能指到具体行号。
- 聚类结果先抽检全文再进缺陷队列,并允许永久 Dismiss 合设计行为。
- 把高频失败轨迹导出为本地回放/评测种子,修完用同一批会话回归。