MiniMax M3.1 Flash 通过 Unsloth 动态 GGUF 支持本地运行
MiniMax M3.1 Flash meets the @UnslothAI community. 🐙🦥✨
MiniMax 宣布 M3.1 Flash 已接入 Unsloth 社区，其 428B MoE 模型经 Unsloth 动态 GGUF 量化后体积降至 143.9GB 的 2-bit 占用。Unsloth 的评测显示，该量化版本在七个领域保持 91.5% 的 top-1 token 一致率，可通过 Unsloth Desktop 和 llama.cpp 部署，并提供 OpenAI 兼容 API。MiniMax 同时提到 Unsloth 在 GitHub 有 78K+ stars、在 Hugging Face 上模型下载量超过 500M。
推荐理由
AI 评分 61
原文给出了量化压缩后的体积与精度保持数据，读者可据此判断本地自托管 428B MoE 模型的门槛变化。
主题
查看原帖MiniMax-M3.1-Flash 现在可以在本地运行了！ 我们让 2-bit GGUF 在体积缩小 45% 的同时，仍保留 91.5% 的 top-1 准确率。在 150GB 内存上运行。 MiniMax-M3.1-Flash 是同尺寸下最强的开源模型，也是整体表现最佳的模型之一。 GGUF：https://t.co/A8Xp9uqpq1 指南：https://t.co/gW5gp25niu https://t.co/txl6ZPRTjs
查看原文
MiniMax-M3.1-Flash can now run locally! We made 2-bit GGUF retain 91.5% top 1 accuracy while being 45% smaller. Run on 150GB RAM. MiniMax-M3.1-Flash is the strongest open model for its size & among the best overall. GGUF: https://t.co/A8Xp9uqpq1 Guide: https://t.co/gW5gp25niu https://t.co/txl6ZPRTjs
正文 · AI 翻译
MiniMax M3.1 Flash 现已接入 @UnslothAI 社区。🐙🦥✨
Unsloth 的动态 GGUF 将我们这款 428B MoE 模型的体积压缩至 143.9GB 的 2-bit 占用，在其覆盖七个领域的评测中，top-1 token 一致率达到 91.5%。
这意味着自托管的内存门槛更低，可通过 Unsloth Desktop 和 llama.cpp 进行部署，并为现有应用和智能体提供 OpenAI 兼容 API。
凭借 GitHub 上 78K+ 的 star 数以及 Hugging Face 上超过 500M 的模型下载量，Unsloth 为 M3.1 Flash 打开了一条通往成熟开发者社区的路径，这些开发者正在运行、评测并基于开放模型进行构建。
开放权重。本地掌控。更多构建方式。