AI News

热点事件

Unsloth发布采用Dynamic V3.1的Qwen3.8-27B GGUF量化

1 篇正式报道1 条事件动态更新于 11月12日 01:06

先了解这件事

AI 综述

Unsloth 发布了 Qwen3.8-27B 的本地运行文档,并推出采用 Unsloth Dynamic V3.1 的 GGUF 量化版本。据 Hacker News 热门收录的这篇文档,Qwen3.8-27B 为 27B 稠密模型,支持视觉与推理,上下文窗口 256K,4-bit 量化可在 16-19GB 显存或 24GB 内存的 Mac 上运行。文档同时更新了 Unsloth Dynamic V3.1 量化算法,称在同等体积下多数基准准确率提升 5-10%,覆盖 2bit 至 6bit 量化,3bit 保持不变。文中还给出 llama.cpp、Unsloth Desktop 与 vLLM 的部署方式,以及 NVFP4 量化在 Blackwell GPU 上约 1.5 倍于 BF16 的速度。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Unsloth 发布 Qwen3.8-27B 本地运行指南与 Dynamic V3.1 量化

事件进展

1 个已确认进展

  1. Unsloth发布采用Dynamic V3.1的Qwen3.8-27B GGUF量化

    来源:Hacker News 热门

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月12日

  1. Hacker News 热门

    Unsloth 发布 Qwen3.8-27B 本地运行指南与 Dynamic V3.1 量化

    Unsloth 发布 Qwen3.8-27B 的本地运行文档,该模型为 27B 稠密模型,支持视觉与推理,上下文窗口 256K,4-bit 量化可在 16-19GB 显存或 24GB 内存的 Mac 上运行。文档同时更新了 Unsloth Dynamic V3.1 量化算法,称在同等体积下多数基准准确率提升 5-10%,覆盖 2bit 至 6bit 量化,3bit 保持不变。文中还给出 llama.cpp、Unsloth Desktop 与 vLLM 的部署方式,以及 NVFP4 量化在 Blackwell GPU 上约 1.5 倍于 BF16 的速度。

关联事件

  1. 相关事件DeepSeek发布DeepSeek-V4.1-Flash-1017
  2. 相关事件Liquid AI发布24B稀疏MoE模型并展示端侧Agen
  3. 相关事件Georgi Gerganov宣布llama.cpp v1.0.0发布
  4. 相关事件MiniMax发布H3-Image图像模型并开放权重