先了解这件事
AI 综述
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing)策略,依据模型容器上报的缓存状态,把请求发送给已缓存较长匹配前缀且不过载的实例。启用该策略需在模型中添加 SM_VLLM_KV_EVENTS_CONFIG 环境变量上报缓存事件,并在端点配置中把 RoutingStrategy 设为 KV_AWARE,客户端调用 API 不变。该策略至少需要两个实例或两份推理组件副本,无可用匹配时回退到负载感知路由。
AI 根据公开报道生成
最新进展 · 正式报道
Amazon SageMaker AI 实时端点支持 KV cache 感知路由事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月18日
AWS Machine Learning一手
Amazon SageMaker AI 实时端点支持 KV cache 感知路由
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给已缓存较长匹配前缀且不过载的实例。启用需在模型中添加 SM_VLLM_KV_EVENTS_CONFIG 环境变量上报缓存事件,并在端点配置中把 RoutingStrategy 设为 KV_AWARE,客户端调用 API 不变。该策略至少需要两个实例或两份推理组件副本,无可用匹配时回退到负载感知路由。
AI 热点