llama.cpp v0.7.0 在 128GB Mac/Spark 上运行 Qwen3.8
llama.cpp v0.7.0, 128GB Mac/Spark:
AI 导读
llama.cpp 发布 v0.7.0，作者给出在 128GB Mac/Spark 上的运行命令：llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。
正文 · AI 翻译
llama.cpp v0.7.0，128GB Mac/Spark：
llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on