
Octave Reliance:先建多租户 AI 底座再切功能——Bedrock+AgentCore+Cohere Embed v4,投诉分诊助手量产
管理合规多租户工程BedrockAgentCoreOctave
一句话结论
服务 650 多家企业客户、覆盖 40 多个应用与约 180 个国家的质量管理系统 Reliance,先用 Bedrock、AgentCore 与 Cohere Embed v4 搭好多租户 AI 底座,再上线投诉分诊助手;语义搜索提前两个季度,新用例部署时间约降一半。
打开原文
AWS:How Octave built a secure multi-tenant AI foundation on Amazon Bedrock
背景与理念
多租户质量系统的硬要求是隔离,功能要排在底座之后。Reliance 服务 650 多家企业客户、40 多个应用、约 180 个国家。团队面对四组张力:数据要可用但不能串租;agent 要按用户身份隔离执行;摄入内容不可信;约 20 亿文档要在当天级完成接入。
具体做法
- 三层底座:Cohere Embed v4 写入按租户隔离的 OpenSearch;AgentCore Gateway 加 microVM 会话;Guardrails 双向防护。Embed 选 512 维相对 1536 维大约节省 66% 存储,仍能达到目标效果;吞吐约每分钟 2800 万 tokens,调参后约 140 万文档/租户/24 小时。
- Complaint Triage 用 Strands Agents:提取→把摘要当查询→检索→置信过滤→Claude 合成。handler 调查从冷启动变成有历史可依,管道约吸收 4–6 小时工作;人审边界保留。
关键数据/例子
Embed 选 512 维相对 1536 维约省 66% 存储;调参后约 140 万文档/租户/24 小时。新用例部署时间约降 50%,语义搜索提前两个季度;投诉分诊管道约吸收 4–6 小时工作。
创新点
第一,先把多租户隔离、会话 microVM 与双向 Guardrails 建成底座,再切业务功能。第二,投诉分诊把摘要当检索查询,并用置信过滤保留人审边界。
可否复用
- 多租户 AI 先验收串租与身份隔离,再谈新助手上线。
- 向量维度用效果门槛做取舍,能用更低维就省存储。
- 分诊类流程保留置信过滤与人审,不要把合成结果直接当最终处置。