
AWS:用 Jev / Strands Decider 决策模型做 AgentCore Evaluations 筛查层
工程AgentCore评测决策模型JevStrands Decider
一句话结论
AgentCore Evaluations 除 15 个内置 LLM 评判器外,可用代码型评判器接 Jev 或开源 Strands Decider 2B;以 noul/choice/score 输出可阈值概率,并建议「决策模型先筛 → LLM judge 深评」的级联,而不是互相替代。
打开原文
AWS:Use decision models with Amazon Bedrock AgentCore Evaluations
背景与理念
有些评测问题窄且可重复:是否违规、工具调用是否可批准、答案是否贴合检索上下文。决策模型吃结构化状态与固定选项,返回校准概率,而不是自由文本;适合当评分步骤里「要标签+可阈值数字」的那一层。
具体做法
- 自定义评判器两种:LLM-as-a-judge,或跑在 Lambda 里的 code-based evaluator;后者可调外部决策模型。示例接 TypeSafe 托管的 Jev,以及可自托管的 Strands Decider 2B。
- 问题类型:noul(是否)、choice(最多 255 选项)、score(2–10 档有序量表)。Lambda 把 OpenTelemetry spans 收成决策模型请求,再把概率映射回 AgentCore 结果。
- 级联:先用快、校准的决策模型给每轮 pass/fail,再只对低分或近阈值会话调用内置 LLM 评判器要解释。可与约 15 个内置评估器并行。
关键数据/例子
文中对比表给出量级:LLM judge 延迟约 2–10 秒,决策模型约数百毫秒(含网络)。示例 HR Assistant 用确定性代码检查、Builtin.Correctness/Helpfulness/ResponseRelevance,以及 Jev/Decider 的 Groundedness、Helpfulness、GoalCompletion 三类。文中强调换题或换模型版本后要用自有流量的人工标注重验一致性与校准。
创新点
第一,把决策模型正式嵌进 AgentCore Evaluations 的代码型评判器路径。第二,推广「筛查层+解释层」级联,避免用小模型硬替需要推演的定性评判。
可否复用
- 先把 rubric 改写成 noul/choice/score,再在自有标注集上比一致性与概率校准。
- 线上用决策模型全量筛,批量/发布门禁仍以验证过的内置评判器为主。
- 改题或换模型版本就重跑验证,结果里记下模型版本以便追溯。