先了解这件事
AI 综述
2024年10月17日,vLLM官方博客介绍并测试推测解码实现:由小模型提出候选 token,再交由大模型批量验证,以在不牺牲准确性的前提下降低生成延迟。测试显示,基于草稿模型的方法在 ShareGPT 数据集上最高加速1.5倍;提示词查找解码在 CNN/DailyMail摘要数据集上最高加速2.8倍。该方法更适合低QPS环境,在高QPS下可能因额外计算而造成性能损失。
AI 根据公开报道生成
最新进展 · 正式报道
推测解码如何将 vLLM 性能提升至 2.8x事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月17日
vLLM 官方博客一手
推测解码如何将 vLLM 性能提升至 2.8x
vLLM 通过推测解码让小模型提出候选 token、再由大模型批量验证，在不牺牲准确性的前提下降低生成延迟。测试中，基于草稿模型的方法在 ShareGPT 数据集上实现最高 1.5x 加速，提示词查找解码在 CNN/DailyMail 摘要数据集上达到最高 2.8x。该方法更适合低 QPS 环境，高 QPS 下可能因额外计算产生性能损失。