
AWS UAEF:把不同框架的 Agent 轨迹收成同一种格式,用 36 项指标做可对比的闭环评测
工程评测AgentAWSLangGraphAgentCore
一句话结论
先把各框架的轨迹翻译成统一格式,再用同一套指标给不同版本打分并做回归分级,评测才不会绑死在某一个 SDK 上。
打开原文
AWS ML Blog:UAEF closed-loop evaluation of AI agents
背景与理念
团队用 LangGraph、LangChain、Strands Agents 或 Amazon Bedrock AgentCore 时,消息、工具调用和交接的记录格式往往各写一套,评测工具也跟着绑死。换框架或同时跑多种 Agent,就要重做指标、计分和结果存储,连「这次改提示词或模型到底有没有变好」都不好回答。Agent 质量还横跨工具调用、回答质量、负责任 AI、性能、多轮对话、多智能体协作和推理,单看准确率不够。AWS 因此推出开源的通用 Agent 评测框架 UAEF。电信、医疗和金融服务等 12 家机构的客户已用它在发布前比较不同版本。
具体做法
- 适配器先把原生执行记录规范成 Canonical 的 AgentTrace,后面的打分与框架无关。已有轨迹可以从日志或可观测存储导入;没有轨迹时,UAEF 可按数据集调用运行时 ARN 或 HTTP 端点,边跑边适配。也支持本地、托管运行时和 Langfuse 中已有的轨迹,另有通用 JSON 适配器。
- 评测引擎按 7 个质量维度、36 项内置指标打分,分数统一落到 0 到 1。指标分两类:确定性指标由轨迹和标准答案直接算出,可重复;LLM 评委指标走 Amazon Bedrock,用来打相关性、安全等不易写成公式的项。也支持自定义指标以及 RAGAS、DeepEval 集成。评委提示里,量规与待评内容分开发送,内容会转义,并要求引用原文片段,找不到证据的分数会被丢弃。文中强调:评委分数只是评测信号,不应直接作为安全闸门。
- 一次评测可持久化为实验。Amazon DynamoDB 存用于列表和对比的元数据,Amazon S3 存含逐项分数和评委理由的完整结果。运行可以记录框架、模型、工具、系统提示、配置快照和 Git 提交,并可指定基线。对比会给出绝对变化和百分比变化,默认 5% 阈值把指标标成回退、改进或不变;回退再按 5%–10%、10%–20%、超过 20% 分成轻微、中等和严重,并按维度归组。
- 报告分三层:本次怎么样、为什么是这个分、和以前比如何。统计报告只由分数计算、不调用 LLM,所以同样结果会得到同样报告;也可把报告交给 Bedrock 模型做根因假设和建议。Python 库和可部署的网页控制台走同一套引擎和存储。
关键数据/例子
内置指标是 36 项、维度是 7 个,已有 12 家机构在用。选择指标时,文中给了按场景起步的对照表,例如知识问答先看相关性、忠实度和检索精度,工具型 Agent 先看选工具、调用顺序和参数质量,生产监控再看时延、token 和成本。数据集最低只要有问题;标准答案、上下文、期望工具调用、以及多轮所需的 session_id 和 turn_id 都是可选的。没有标准答案时,需要对照的指标会被自动跳过,因此部分标注的数据或未标注的生产流量仍然能评。开源仓库为 awslabs/uaef,许可是 Apache 2.0。
创新点
第一,把「规范化轨迹」和「打分」分开,使跨框架、跨版本的比较落在同一把尺上。第二,把回退检测写成可配置阈值和按维度归组的规则,而不是只看一个总分。第三,给 LLM 评委加上分隔、转义和必须引用原文的约束,并明确这些分数不能替代运行时的安全护栏。
可否复用
- 先按自己的 Agent 会在哪类事情上失败来选指标,不要一上来跑满全部维度。
- 把每次发布评测存成带基线和 Git 提交的实验,并用统一阈值标回退,避免只看这一次的平均分。
- LLM 评委的分数不要直接当成上线闸门;运行时仍应使用独立的护栏和权限控制。
- 数据集即使只有部分标准答案也可以先跑起来,需要对照的指标会自动跳过。