先了解这件事
AI 综述
2024年7月23日,vLLM宣布支持Meta Llama 3.1系列模型,可运行完整的128K上下文窗口,并通过分块预填充控制内存占用。针对Llama 3.1 405B,vLLM提供FP8、流水线并行、张量并行和CPU卸载支持。在没有InfiniBand的16 GPU环境中,2路流水线并行结合8路张量并行,相比16路张量并行实现了6.6倍性能提升。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 宣布支持 Llama 3.1 系列模型事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月23日
vLLM 官方博客一手
vLLM 宣布支持 Llama 3.1 系列模型
vLLM 已支持 Llama 3.1 系列模型，可运行完整的 128K 上下文窗口，并通过分块预填充控制内存占用。针对 Llama 3.1 405B，vLLM 支持 FP8、流水线并行、张量并行和 CPU 卸载；在无 InfiniBand 的 16 GPU 环境中，2 路流水线并行结合 8 路张量并行相比 16 路张量并行获得 6.6x 性能提升。