AWS 介绍 Bedrock 上 OpenAI 模型提示缓存用法

AWS 机器学习博客发布教程，说明在 Amazon Bedrock 上调用 OpenAI 模型时，如何用提示词缓存避免智能体每轮重复处理工具定义、指令和历史。文章区分隐式缓存与显式 prompt_cache_breakpoint 两种方式，并建议组合使用：显式标记共享的工具与指令前缀，隐式模式跟随不断增长的对话。 适用条件方面，可缓存前缀至少需 1,024 tokens，缓存前缀最短存活 30 分钟，成功复用会刷新，也可能保留更久；复用已有缓存内容要求同一模型、同一 AWS 账户和区域，且存在匹配的前缀。缓存写入按正常输入价格的 1.25 倍计费。 文章给出的六轮工作负载测试中，GPT-6 Astra 的隐式缓存降低约 62% 输入成本，显式滚动断点降低约 61%；一个 8,000 token 起始前缀的示例会话，输入成本从 $0.87 降至 $0.32。这些数字来自该博客的测试示例。 文章还说明，会话中途新增工具可用 additional_tools 追加，子智能体可先预热共享前缀再并行分发。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。