Clement Delangue 用两台 Mac Studio 跑 816B 模型
llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K (on two mac studios).
AI 导读
Hugging Face 的 Clement Delangue 发帖展示用 llama serve 在两台 Mac Studio 上运行 ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K，并称赞 @finkd 和 @johnternus 做得好。
正文
当前显示原文，中文全文译文尚未就绪。
llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K (on two mac studios).
Well done @finkd & @johnternus! https://t.co/Kjl7qbPV52