先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
SGLang 集成 Humming 0.1.18,扩展低比特 MoE 推理支持事件进展
1 个已确认进展
- 来源:LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月18日
LMSYS Blog一手
SGLang 集成 Humming 0.1.18,扩展低比特 MoE 推理支持
SGLang 集成 Humming 0.1.18,将更多量化方案和 GPU 架构接入其低比特稠密及 MoE 推理内核,同时保留框架的路由、调度与分布式执行。在八张 H20-3e GPU 上运行 DeepSeek-V4.1-Flash-1017 时,Humming 在相同 A16 精度下较 Marlin 实现 1.07–1.23× 的预填充加速;Humming EP1 改用 AFP8 后,解码吞吐量提高 16.79–34.41%。文章还说明了 Hopper 与 Blackwell 的计算路径、SGLang 配置方式及相关质量评测结果。
AI 热点