先了解这件事
AI 综述
2024年9月5日,vLLM发布v0.6.0。与v0.5.3相比,该版本吞吐量提升1.8至2.7倍:Llama 8B吞吐量提升2.7倍、每输出令牌时间加快5倍;Llama 70B吞吐量提升1.8倍、每输出令牌时间减少2倍。优化包括拆分API服务器与推理引擎、多步批量调度、异步输出处理、对象缓存及非阻塞数据传输。目前,多步调度仍可能导致令牌间延迟波动,并在请求率较低时增加首令牌延迟。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM v0.6.0 发布，吞吐量提升最高 2.7x、TPOT 最多降低 5x事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月5日
vLLM 官方博客一手
vLLM v0.6.0 发布，吞吐量提升最高 2.7x、TPOT 最多降低 5x
vLLM 发布 v0.6.0，相比 v0.5.3 吞吐量提升 1.8-2.7x，其中 Llama 8B 的吞吐量提升 2.7x、TPOT 加快 5x，Llama 70B 的吞吐量提升 1.8x、TPOT 减少 2x。主要优化包括拆分 API server 与推理引擎、多步批量调度、异步输出处理、对象缓存和非阻塞数据传输。多步调度目前会造成 token 间延迟波动，并可能在低请求率下提高 TTFT。