
AWS:用 Bedrock Knowledge Bases 自然语言查询保险理赔——30 份合成档案、40 题全带引用,期望源检索 recall 90.5%
一句话结论
这篇技术 how-to 用合成理赔档案演示:把 PDF/Word/txt 与 metadata sidecar 送进 Bedrock 托管知识库,经 AgenticRetrieveStream 做子查询、多轮与过滤,再加 Guardrails 上下文 grounding;在 Retrieve/RetrieveAndGenerate 基线上,40 题全部带引用,期望源检索 recall 90.5%、引用 recall 81.2%。
背景与理念
理赔答案散落在查勘日记、维修估价、警方报告、支付台账和扫描附件里,而不是单一可搜字段。投保人要问某案是否获批,查勘员要筛「上月未结清、金额超过 1 万美元的车险」,两边都要快速拼证据且必须可引用。
文中明确使用合成理赔记录,不是某家保险公司的生产部署;流程与评测数字仍可按金融落地参考来核对。
具体做法
摄取:每个案件在 S3 放原生 PDF/Word/txt,并配同名 `.metadata.json` sidecar(claim_id、claim_type、status、amount、date_filed、region、customer_id、has_subrogation 等)。知识库用 MANAGED 嵌入与托管向量存储;摄取任务随文档变更同步。
检索:调用 AgenticRetrieveStream,由规划模型拆子查询、最多 maxAgentIteration 轮检索,流式返回 trace、答案与 citations;支持多轮对话历史与 metadata 过滤(如 open + auto + amount>10000 + 某月 date_filed)。过滤器应从认证会话派生(region/customer_id)作为权限边界,不要信任用户文本里的边界声明。
治理:Amazon Bedrock Guardrails 上下文 grounding 示例阈值为 grounding 0.85、relevance 0.75;未通过则阻断回答。文中强调最终理赔决定仍需人审。
关键数据/例子
评测语料为 30 份合成文档、40 道题;该表基于 Retrieve 与 RetrieveAndGenerate,不是 AgenticRetrieveStream 基准。
40/40 题有回答且均带引用;平均每答 3.9 条引用;期望源检索 recall 90.5%;期望源引用 recall 81.2%;与请求过滤矛盾的 chunk 为 0。
20 道对抗题:检索 recall 96.7%,引用 recall 90.2%;模型能分开名称相近的公司、把指控保持为指控,并忽略附件里的指令式文本。窄的单案问题最好;宽泛、无过滤的清单题是最弱的三类结果来源。
创新点
第一,用 sidecar 元数据把「语义检索」和「案件队列过滤」绑在同一知识库里,而不是另建一套结构化库。
第二,AgenticRetrieveStream 把多段问题拆成可追踪的子查询,并流式露出计划与引用。
第三,把会话派生的 metadata 过滤当作访问边界,再叠加 grounding guardrail,形成金融场景更贴地的双闸。
可否复用
- 做受监管文档助手时,原生文件 + 小体积 metadata sidecar 往往比先洗成宽表更快上线。
- 权限边界用会话身份派生过滤条件,不要让用户提示词自行声明租户或客户范围。
- 上线前用「期望源检索/引用 recall + 对抗题」做可复现基线,并单独测宽清单题。
- Guardrails 阈值宜偏严;拒答优于无依据生成,最终业务决定保留人审。