先了解这件事
AI 综述
清华大学与香港中文大学研究人员开源了 KV cache 工程服务系统 AKV。该系统基于 SGLang,让智能体直接丢弃选定的 KV cache 条目并复用其余部分,而不是摘要旧历史。在 3 个模型和 4 个智能体基准上,平均成本下降 27.7%,平均任务得分提升 1.7 分。代码以 Apache-2.0 许可发布,目前仅支持 Qwen、GPT-OSS 和 MiniMax-M2 文本模型。
AI 根据公开报道生成
最新进展 · 正式报道
清华与港中文开源 AKV：面向 LLM 智能体的 KV cache 工程服务系统事件进展
1 个已确认进展
- 来源：MarkTechPost
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月26日
MarkTechPost
清华与港中文开源 AKV：面向 LLM 智能体的 KV cache 工程服务系统
清华大学与香港中文大学研究人员开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV cache 条目并复用其余部分，而不是摘要旧历史。在 3 个模型和 4 个智能体基准上，平均成本下降 27.7%，平均任务得分提升 1.7 分。代码以 Apache-2.0 许可发布，目前仅支持 Qwen、GPT-OSS 和 MiniMax-M2 文本模型。