←新闻详情

Georgi Gerganov更新于 10月14日 22:32

Qwen3.8-27B 用户可升级 DFlash 提速

If you are using Qwen3.8-27B + MTP, make sure to upgrade to DFlash for extra speed:

AI 导读

如果你在使用 Qwen3.8-27B + MTP,请务必升级到 DFlash 以获得额外速度: llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-dflash --spec-draft-n-max 7 需要最新的 llama.cpp v0.6.0

引用

Georgi Gerganov

@ggerganov

simple: llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-mtp

查看原帖

正文

当前显示原文,中文全文译文尚未就绪。

If you are using Qwen3.8-27B + MTP, make sure to upgrade to DFlash for extra speed:

llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-dflash --spec-draft-n-max 7

Requires the latest llama.cpp v0.6.0

来源

Georgi Gerganov