先了解这件事
AI 综述
2024年10月23日,vLLM官方博客发布在AMD MI300X上部署大语言模型的优化指南,介绍分块预填充、多步调度、前缀缓存、图捕获、KV cache和张量并行等共8项设置。其性能测试显示,在服务Llama 3.1 405B时,vLLM相较TGI的吞吐量高1.5倍、首个令牌生成时间快1.7倍;在服务Llama 3.1 70B时,吞吐量高1.8倍、首个令牌生成时间快5.1倍。目前输入材料未提供该指南发布后的新增进展。
AI 根据公开报道生成
最新进展 · 正式报道
在 AMD MI300X 上用 vLLM 服务大语言模型的最佳实践事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月23日
vLLM 官方博客一手
在 AMD MI300X 上用 vLLM 服务大语言模型的最佳实践
vLLM 官方博客给出在 AMD MI300X 上部署大语言模型的优化指南，涵盖分块预填充、多步调度、前缀缓存、图捕获、KV cache 和张量并行等 8 项设置。测试中，vLLM 服务 Llama 3.1 405B 时比 TGI 吞吐量高 1.5x、TTFT 快 1.7x，服务 Llama 3.1 70B 时吞吐量高 1.8x、TTFT 快 5.1x。