先了解这件事
AI 综述
2026年11月16日,AWS Machine Learning发布消息称,Amazon Bedrock的开放权重模型现已支持显式提示词缓存。该功能可与自动生效的隐式缓存配合使用,复用相同提示词前缀的已计算状态,从而降低输入成本和响应延迟。计费方面,缓存读取按低于标准输入的价格计费,部分模型的缓存写入价格更高;两种模式均通过Chat Completions API使用,具体支持模式、最小前缀长度和TTL因模型而异。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
在 Amazon Bedrock 上为开放权重模型启用提示词缓存事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月16日
AWS Machine Learning一手
在 Amazon Bedrock 上为开放权重模型启用提示词缓存
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,并可与自动生效的隐式缓存配合使用,复用相同提示词前缀的已计算状态,从而降低输入成本和响应延迟。缓存读取按低于标准输入的价格计费,部分模型的缓存写入价格更高;两种模式均通过 Chat Completions API 使用,具体支持模式、最小前缀长度和 TTL 因模型而异。