AI 热点

热点事件

Amazon SageMaker AI实时端点支持KV缓存感知路由

1 篇正式报道1 条事件动态更新于 11月18日 05:11

先了解这件事

AI 综述

Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing)策略,依据模型容器上报的缓存状态,把请求发送给已缓存较长匹配前缀且不过载的实例。启用该策略需在模型中添加 SM_VLLM_KV_EVENTS_CONFIG 环境变量上报缓存事件,并在端点配置中把 RoutingStrategy 设为 KV_AWARE,客户端调用 API 不变。该策略至少需要两个实例或两份推理组件副本,无可用匹配时回退到负载感知路由。

AI 根据公开报道生成

最新进展 · 正式报道

Amazon SageMaker AI 实时端点支持 KV cache 感知路由

事件进展

1 个已确认进展

  1. Amazon SageMaker AI实时端点支持KV缓存感知路由

    来源:AWS Machine Learning

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. AWS Machine Learning一手

    Amazon SageMaker AI 实时端点支持 KV cache 感知路由

    Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给已缓存较长匹配前缀且不过载的实例。启用需在模型中添加 SM_VLLM_KV_EVENTS_CONFIG 环境变量上报缓存事件,并在端点配置中把 RoutingStrategy 设为 KV_AWARE,客户端调用 API 不变。该策略至少需要两个实例或两份推理组件副本,无可用匹配时回退到负载感知路由。

关联事件

  1. 相关事件NVIDIA Vera Rubin NVL72首次亮相MLPerf Training v6.1
  2. 相关事件Google在Antigravity上线Gemini 4 Hydrogen
  3. 相关事件Google宣布Pathways在Google Cloud Platform正式可用
  4. 相关事件NVIDIA介绍Vera Rubin NVL72五项协同设计