AI 热点

热点事件

Humming的SGLang集成扩展量化方案与GPU支持

1 篇正式报道1 条事件动态更新于 11月18日 08:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

SGLang 集成 Humming 0.1.18,扩展低比特 MoE 推理支持

事件进展

1 个已确认进展

  1. Humming的SGLang集成扩展量化方案与GPU支持

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. LMSYS Blog一手

    SGLang 集成 Humming 0.1.18,扩展低比特 MoE 推理支持

    SGLang 集成 Humming 0.1.18,将更多量化方案和 GPU 架构接入其低比特稠密及 MoE 推理内核,同时保留框架的路由、调度与分布式执行。在八张 H20-3e GPU 上运行 DeepSeek-V4.1-Flash-1017 时,Humming 在相同 A16 精度下较 Marlin 实现 1.07–1.23× 的预填充加速;Humming EP1 改用 AFP8 后,解码吞吐量提高 16.79–34.41%。文章还说明了 Hopper 与 Blackwell 的计算路径、SGLang 配置方式及相关质量评测结果。

关联事件

  1. 相关事件千问发布Qwen4-Max预览版
  2. 相关事件MiniMax发布H3-Image图像模型并开放权重
  3. 相关事件百度文心发布ERNIE 5.5 Flash Preview
  4. 相关事件Mistral在Hugging Face发布Large 4权重