先了解这件事
AI 综述
2023年6月20日,UC Berkeley发布开源大语言模型推理与服务库vLLM。该库通过PagedAttention管理KV cache,无需修改模型架构。官方实验显示,其吞吐量最高可达HuggingFace Transformers的24倍、TGI的3.5倍,并将内存浪费降至4%以下。LMSYS部署后,提供服务所需的GPU数量减少了50%。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 发布基于 PagedAttention 的开源 LLM 推理与服务库事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月20日
vLLM 官方博客一手精选
vLLM 发布基于 PagedAttention 的开源 LLM 推理与服务库
vLLM 发布开源 LLM 推理与服务库，利用 PagedAttention 管理 KV cache，无需修改模型架构即可实现比 HuggingFace Transformers 最高 24x 的吞吐量。实验中其吞吐量比 TGI 最高提升 3.5x，内存浪费降至 4% 以下；LMSYS 部署后将服务所需 GPU 数量减少 50%。