Octave 在 Amazon Bedrock 上搭建多租户 AI 平台

Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 搭建了多租户 AI 基础平台，称单个用例的部署时间缩短 50%。该平台服务 180 个国家的 650 多家企业客户，托管超过 20 亿份文档，团队要求最大租户也能在一个工作日内完成接入。 平台分三层：用 Cohere Embed v4 生成嵌入向量并写入 Amazon OpenSearch Service 的按租户隔离向量库；用户请求经 Amazon Bedrock AgentCore 的 AgentCore Gateway 完成认证与策略校验后，进入隔离 microVM 会话调用 Anthropic Claude 模型；Amazon Bedrock Guardrails 在输入和输出两端各做一次内容过滤。 首个落地功能是投诉分诊助手，已在生产环境运行三个月，上述数字反映该期间情况。Octave 计划在验证架构后，将其推广到审计就绪监控、事件叙述生成和预测性质量风险评分等场景。 Octave 称，已完成的简报会缓存在 Amazon DynamoDB 中，并按环境设置 TTL，因此重复查看不产生额外费用。模型和功能的可用性因区域而异，并会随时间变化。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。