先了解这件事
AI 综述
Unsloth 发布了 Qwen3.8-27B 的本地运行文档,并推出采用 Unsloth Dynamic V3.1 的 GGUF 量化版本。据 Hacker News 热门收录的这篇文档,Qwen3.8-27B 为 27B 稠密模型,支持视觉与推理,上下文窗口 256K,4-bit 量化可在 16-19GB 显存或 24GB 内存的 Mac 上运行。文档同时更新了 Unsloth Dynamic V3.1 量化算法,称在同等体积下多数基准准确率提升 5-10%,覆盖 2bit 至 6bit 量化,3bit 保持不变。文中还给出 llama.cpp、Unsloth Desktop 与 vLLM 的部署方式,以及 NVFP4 量化在 Blackwell GPU 上约 1.5 倍于 BF16 的速度。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Hacker News 热门
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月12日
Hacker News 热门
Unsloth 发布 Qwen3.8-27B 本地运行指南与 Dynamic V3.1 量化
Unsloth 发布 Qwen3.8-27B 的本地运行文档,该模型为 27B 稠密模型,支持视觉与推理,上下文窗口 256K,4-bit 量化可在 16-19GB 显存或 24GB 内存的 Mac 上运行。文档同时更新了 Unsloth Dynamic V3.1 量化算法,称在同等体积下多数基准准确率提升 5-10%,覆盖 2bit 至 6bit 量化,3bit 保持不变。文中还给出 llama.cpp、Unsloth Desktop 与 vLLM 的部署方式,以及 NVFP4 量化在 Blackwell GPU 上约 1.5 倍于 BF16 的速度。