AWS发布TTS自动扩缩容实测配置法

AWS Machine Learning Blog 发布了一套基于实测数据的 TTS 端点自动扩缩容配置方法，作者 Joseph Cottingham 将 8200 万参数的 Kokoro-82M 以自定义容器部署在 Amazon SageMaker AI 实时端点上，用两个测量值推导扩缩容参数，不再靠猜目标值。 这两个测量值是：单实例在 SLO 内可承受的最高并发 Q_max，以及一次完整扩容耗时 T_total；据此通过算术推导出扩容阈值、缩容阈值和两个冷却时间。扩缩容策略使用 SageMaker AI 原生的 ConcurrentRequestsPerModel 指标，以避免自定义指标无人上报的隐性故障；该指标以 10 秒窗口的 Maximum 统计量发布，工具会在每个并发档位测量它与客户端实测值的比值并换算，本次运行中该比值恒为 1.0。 运行前可先用 dry-run 查看测量计划与耗时估算，不产生 AWS 调用，以便先预估约 36 分钟的实跑成本；文中示例的全部数字可用两份已提交的测量文件重跑复现，同样不产生 AWS 调用和费用。实跑扩容测量前，需具备 ml.g5.xlarge 服务配额，并在基线之上留出至少一个空闲槽位。 作者提示，示例容器固定的是较早版本的 PyTorch，存在已知安全通告 PYSEC-2026-2286（在 torch 2.10.0 中修复），用于概念验证之外场景前应先审查并升级该版本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。