先了解这件事
AI 综述
联想团队测试了存算融合池化系统的推理性能。联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统,针对KV Cache容量不足和GPU访存开销大两大痛点。测试显示,内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算最高加速12~28倍,注意力计算下沉后解码延迟降低2.5倍,端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。
AI 根据公开报道生成
最新进展 · 正式报道
每天500万亿Token背后，联想用存算融合池化应对KV Cache存储墙事件进展
1 个已确认进展
- 来源：钛媒体 · AGI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月23日
钛媒体 · AGI
每天500万亿Token背后，联想用存算融合池化应对KV Cache存储墙
联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统，同时解决KV Cache容量不足和GPU访存开销大两大痛点。测试显示，内存池卸载使首Token延迟降低3.5倍，KV跨实例共享相比完全重算最高加速12~28倍，注意力计算下沉后解码延迟降低2.5倍，端到端吞吐随上下文变长提升6~20倍。团队下一步计划借助超节点scale-up互连从G2.5向G1.5演进。