Unsloth 将 Qwen3.8-2.4T-A95B 压缩至 397GB 并支持本地运行
Qwen3.8 can now be run locally! 🔥
AI 导读
Unsloth 通过 Dynamic 1-bit 选择性量化层，把 Qwen3.8-2.4T-A95B 从 4.9TB 压缩到 397GB，体积减少 91%。该模型现可在 410GB 以上内存或显存中通过 Unsloth Desktop 本地运行，官方同时放出了使用指南和 GGUF 文件。
正文
Qwen3.8 can now be run locally! 🔥
We shrank Qwen3.8-2.4T-A95B from 4.9TB to 397GB (-91% size) via Dynamic 1-bit by selectively quantizing layers
Qwen3.8 rivals GPT-5.6 Sol