先了解这件事
AI 综述
llama.cpp 近期在其投机解码方案中新增了 DFlash 支持。此前该项目已集成 MTP、Eagle3 以及多种基于 ngram 的技术,此次新增进一步扩充了其投机解码武器库,据称使本地模型性能再上一个台阶。相关工作由 NVIDIA 团队主导,其中 Ruixiang Wang 为主要推动者,项目方对此表示感谢。目前该支持已随 llama.cpp 更新落地。
AI 根据公开报道生成
最新进展 · 正式报道
llama.cpp 新增 DFlash 投机解码支持事件进展
1 个已确认进展
- 来源：Georgi Gerganov
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月8日
Georgi Gerganov
llama.cpp 新增 DFlash 投机解码支持
llama.cpp 最近在其投机解码武器库中新增了 DFlash 支持。连同 MTP、Eagle3 以及各种基于 ngram 的技术，本地模型性能再上一个台阶。 特别感谢 NVIDIA 团队，尤其是 Ruixiang Wang 主导了这项工作！