
NatWest:可审计投诉调查 LLM agent 投产,SME 盲评 ≥人工约 90%,中位 30 分钟→23 秒
金融工程合规投诉调查可审计NatWest
一句话结论
英国大型零售银行把只读、带类型校验的 16 工具单 agent 投入投诉调查生产:输出带出处时间线,187 案 SME 评定中约 90% 达到或超过历史人工水平,中位耗时从 30 分钟降到 23 秒,并在人审后入档。
打开原文
EMNLP 2026 Industry:Deploying LLM Agents for Auditable Complaint Investigation in Banking
背景与理念
投诉处理员要跨异构系统拼证据并写出符合政策的摘要,英国监管要求可追溯处置。团队选择受约束的单 agent + 只读工具,而不是放开写操作或多 agent 自主裁决。
具体做法
- 16 个 typed、schema 校验的只读工具;输出调查摘要 + 带出处的时间线。编排用 OpenAI Agents SDK,模型 GPT-4.1;经零数据保留网关,投诉数据不由模型侧持久化。
- 架构:前端发 Kafka,agent 微服务消费后跑调查环。工具失败则返回部分结果并明示哪些系统不可达;人审通过后才入档,再交给下游写信系统。
- 日常用 LLM-as-a-Judge 滚动监控忠实度等,设阈值与幻觉标记,并定期人工抽审。
关键数据/例子
187 对投诉的 SME 评估中,忠实度/相关性/完整性/连贯性上约 90% 达到或超过历史人工生产调查;1,234 案计时样本中位 23 秒(人工中位约 30 分钟),P95 约 95 秒。中位约 120k token;319 对下游信件显示写信质量基本无实质下降。
创新点
第一,把可审计性做成源级引用时间线 + 人审入档,而不是只给一段摘要。第二,用分层评估(SME、Judge、返工、下游信件)把监管环境里的持续监控跑起来。
可否复用
- 受监管调查先限制只读工具与 schema,输出必须带系统/编号/日期出处。
- 生产指标分开取样:质量用专家对、耗时用更大部署样本。
- 下游文书质量要单独做回归,避免调查变快但客户信变差。