← 返回全部情报
Octave Reliance:先建多租户 AI 底座再切功能——Bedrock+AgentCore+Cohere Embed v4,投诉分诊助手量产 的封面

·AWS Blog·案例收录 2026-10-25

Octave Reliance:先建多租户 AI 底座再切功能——Bedrock+AgentCore+Cohere Embed v4,投诉分诊助手量产

管理合规多租户工程BedrockAgentCoreOctave

一句话结论

服务 650 多家企业客户、覆盖 40 多个应用与约 180 个国家的质量管理系统 Reliance,先用 Bedrock、AgentCore 与 Cohere Embed v4 搭好多租户 AI 底座,再上线投诉分诊助手;语义搜索提前两个季度,新用例部署时间约降一半。

打开原文 AWS:How Octave built a secure multi-tenant AI foundation on Amazon Bedrock

背景与理念

多租户质量系统的硬要求是隔离,功能要排在底座之后。Reliance 服务 650 多家企业客户、40 多个应用、约 180 个国家。团队面对四组张力:数据要可用但不能串租;agent 要按用户身份隔离执行;摄入内容不可信;约 20 亿文档要在当天级完成接入。

具体做法

  1. 三层底座:Cohere Embed v4 写入按租户隔离的 OpenSearch;AgentCore Gateway 加 microVM 会话;Guardrails 双向防护。Embed 选 512 维相对 1536 维大约节省 66% 存储,仍能达到目标效果;吞吐约每分钟 2800 万 tokens,调参后约 140 万文档/租户/24 小时。
  2. Complaint Triage 用 Strands Agents:提取→把摘要当查询→检索→置信过滤→Claude 合成。handler 调查从冷启动变成有历史可依,管道约吸收 4–6 小时工作;人审边界保留。

关键数据/例子

Embed 选 512 维相对 1536 维约省 66% 存储;调参后约 140 万文档/租户/24 小时。新用例部署时间约降 50%,语义搜索提前两个季度;投诉分诊管道约吸收 4–6 小时工作。

创新点

第一,先把多租户隔离、会话 microVM 与双向 Guardrails 建成底座,再切业务功能。第二,投诉分诊把摘要当检索查询,并用置信过滤保留人审边界。

可否复用

  1. 多租户 AI 先验收串租与身份隔离,再谈新助手上线。
  2. 向量维度用效果门槛做取舍,能用更低维就省存储。
  3. 分诊类流程保留置信过滤与人审,不要把合成结果直接当最终处置。

笔记会在输入时自动保存。