先了解这件事
AI 综述
2026 年 10 月 14 日,Tensormesh 发布 Tensormesh Platform,为企业自建 LLM 推理提供 KV 缓存管理,跨 GPU 内存、CPU 内存和存储复用推理状态,以减少重复的 prompt 处理。该平台基于其开源项目 LMCache,提供安全、可观测性、弹性、策略管理和多租户五项能力,并支持 pin、定位、移动、压缩和清除缓存条目的 controller API。报道还提到,其 CacheBlend 技术在 EuroSys 2025 论文中报告首 token 时间快 2.2–3.3 倍、吞吐量高 2.8–5 倍。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Tensormesh 发布平台，通过 KV-Cache 复用降低 LLM 推理成本事件进展
1 个已确认进展
- 来源：Unite.AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月14日
Unite.AI
Tensormesh 发布平台，通过 KV-Cache 复用降低 LLM 推理成本
Tensormesh 于 2026 年 10 月 14 日发布 Tensormesh Platform，为企业自建 LLM 推理提供 KV 缓存管理，跨 GPU 内存、CPU 内存和存储复用推理状态，减少重复的 prompt 处理。该平台基于其开源项目 LMCache，提供安全、可观测性、弹性、策略管理和多租户五项能力，并支持 pin、定位、移动、压缩和清除缓存条目的 controller API。其 CacheBlend 技术在 EuroSys 2025 论文中报告首 token 时间快 2.2–3.3 倍、吞吐量高 2.8–5 倍。