SGLang 集成 Humming 0.1.18,扩展低比特 MoE 推理支持
Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving - LMSYS Org
SGLang 集成 Humming 0.1.18,将更多量化方案和 GPU 架构接入其低比特稠密及 MoE 推理内核,同时保留框架的路由、调度与分布式执行。在八张 H20-3e GPU 上运行 DeepSeek-V4.1-Flash-1017 时,Humming 在相同 A16 精度下较 Marlin 实现 1.07–1.23× 的预填充加速;Humming EP1 改用 AFP8 后,解码吞吐量提高 16.79–34.41%。文章还说明了 Hopper 与 Blackwell 的计算路径、SGLang 配置方式及相关质量评测结果。
正文 · AI 翻译
‹ 返回博客本页内容
一个后端适配多种量化表示
一次准备,针对工作负载专门优化
Blackwell:更多原生计算路径
将 Humming 接入 SGLang
Humming 是一个轻量级、采用 JIT 编译的内核库,用于量化稠密推理和混合专家(MoE)推理。它与 SGLang 的集成将低比特检查点连接到专用内核,同时保留框架的路由、调度和分布式执行能力。
在 Humming 0.1.18 中,这项集成扩展到了更多量化方案和 GPU 架构。本文将说明 Humming 如何准备权重、处理激活值,以及如何将计算映射到 Hopper 和 Blackwell。我们还将为 SGLang 的 MoE 运行器引入一个共享激活表达式接口,并展示启用该集成后的结果。
在 DeepSeek-V4.1-Flash-1017 上,相较于 Marlin,Humming 在测试的长上下文场景中以相同的 A16 精度实现了 1.07–1.23× 的预填充加速。我们还单独评估了将 FP8 专家激活值作为一种部署选项的表现,包括其质量和推测解码接受率结果。
一个后端适配多种量化表示
MoE 推理结合了两项挑战:庞大的专家权重存储量,以及分配给每个专家的 token 数量不断变化。四比特权重可减少存储和内存流量,但高效服务还需要合适的反量化方式、Tensor Core 指令和充足的并行工作量。对于同一个检查点,预填充和解码可能分别适合不同的执行策略。
Humming 将量化数据的表示方式与其执行策略分离。兼容的格式共享数据移动、反量化、矩阵乘法和输出处理组件。该库支持稠密 GEMM 和 MoE GEMM、低比特整数及浮点权重,以及多种激活精度。具体支持的组合取决于 GPU、缩放因子格式和张量布局;带版本号的配置指南规定了这些约定。
检查点可以保留其紧凑表示,同时由运行时针对设备和工作负载选择兼容的计算路径。
一次准备,针对工作负载专门优化
加载模型时,Humming 会将受支持的检查点张量和元数据转换为通用的权重及输入模式。填充、转置、交错和缩放因子重排会预先为执行准备好张量,从而避免在请求热路径中执行这些操作。
三个配置层明确划分了这些职责。LayerConfig 描述形状、数值格式、量化方式和存储布局。ComputeConfig 描述稠密、索引式或分组执行,以及累加语义。TuningConfig 选择分块形状、数据传输、流水线阶段和调度方式。兼容的计算选项可以复用已准备的权重;更改存储布局或目标架构则需要重新准备权重。
在推理时,统一的 process_input 接口负责处理激活值求值、Hadamard 变换、布局处理和量化的兼容组合。输入量化包括静态张量缩放因子、动态 token 或分组缩放因子,以及受支持的二级缩放因子组合。所选操作取决于具体层;某些缩放因子计算需要多轮处理。
随后,Humming 会组合并 JIT 编译所选的 GEMM。针对特定设备和形状的选项会在并行度、权重复用和流水线深度之间取得平衡,编译后的二进制文件则会被缓存,供后续调用使用。0.1.18 版本进一步优化了这些选择,包括 MoE 调度和权重逐出策略。这样便无须为每一种格式和服务形状预先编译。
一种典型的 Hopper 路径将 MXFP4 权重与逐 token 的 FP8 激活值结合使用。权重在全局内存和共享内存中始终保持四比特打包形式;Humming 会在 Tensor Core 计算前一刻重建 FP8 操作数。
图 1. 一种典型的逐 token FP8 路径:在加载时准备缩放因子,在寄存器中重建权重,并在累加后应用其余缩放因子。
该路径包含三个关键步骤:
在加载期间对缩放因子进行因式分解。从概念上讲,每个 UE8M0 分组缩放因子都被分解为 s_g = s_base × 2^Δg。该路径为每个专家和子层保留一个基础缩放因子,并为每个分组保留一个残差指数编码。编码中包含重建所需的偏移量。如果指数跨度超出受支持的 FP8 范围,准备过程会调整并重新量化受影响的 FP4 值。
在寄存器中重建 FP8 权重。FP4 半字节和残差指数会在 MMA 前一刻组成 FP8 E4M3 操作数。转置后的映射将权重寄存器放入 WGMMA 的 A 操作数,并将共享内存中的激活值分块放入其 B 操作数,从而避免在内存中实体化八比特权重张量。
在尾声阶段应用其余缩放因子。FP8 WGMMA 将结果累加到 FP32 中。尾声阶段会应用激活值缩放因子和因式分解后的基础缩放因子;残差指数已经被纳入权重操作数。
例如,取四个分组缩放因子 [1, 2, 4, 8],其基础缩放因子 s_base=1,留下残差指数 [0, 1, 2, 3]。缩放因子为 4 的分组中的 FP4 值 1.5 会被重建为 E4M3 操作数 0.1875;其余权重因子为 32,因此还原为 0.1875 × 32 = 6 = 1.5 × 4。这些数值包含从 FP4 转换到 FP8 时固定的指数偏置调整。激活值缩放因子则单独应用。
对于 E4M3,该路径无需调整缩放范围即可支持 11 的指数跨度。更大的跨度会将最小缩放因子提高到 max_scale / 2^11;受影响分组中的权重会除以相应的二次幂,并舍入回 FP4,这可能引入舍入误差或下溢。
使用 Humming 0.1.18、在 TP8/EP1 配置下进行的加载时检查发现,有效目标模型分组中有 0% 发生了缩放范围调整,而有效草稿模型分组中有 11.27% 发生了调整,主要原因是填充后的缩放因子影响了草稿模型的范围选择。Humming 上游 PR #193 已修复这一由填充引起的问题。我们将在后续升级 Humming 依赖项时纳入该修复。
融合的 E8M0 配置将准备过程与执行过程连接起来。其他缩放布局使用各自对应的内核和准备规则。Humming 0.1.18 还改进了 FP8_BLOCK 的分组连续式和索引式 MoE 路径。这些路径使用分块缩放的激活值;下文的 AFP8 结果使用动态的逐 token E4M3 缩放因子(group_size=0),因此并未衡量这些分块缩放路径。
Blackwell:更多原生计算路径
本文所有实测结果均来自 Hopper H20-3e;本节介绍对 Blackwell 架构的支持。
Humming 的架构通过 BF16 UMMA 以及符合条件的 FP8、FP4 和 INT8 UMMA 路径扩展至 Blackwell。受支持的 SM10x 配置可以使用 UMMA,而受支持的 SM12x 分块缩放配置则使用 MXMMA。
这些选择因设备和格式而异。并非每种 Blackwell 设备都支持 INT8 UMMA,而且缩放布局必须与所选指令路径相匹配。同一套配置框架会在针对不同服务形状选择分块和流水线方案时一并处理这些约束。
将 Humming 接入 SGLang
最初的集成通过 SGLang PR #23754 引入,PR #46018 则将其更新至 Humming 0.1.18。SGLang 负责专家路由、分派、token 对齐、输出归约和 token 顺序;Humming 则提供兼容的输入处理和 GEMM 执行。
量化加载与专家执行相互关联,但职责有所不同。SGLang 可以将 Humming 用于兼容的量化线性层,也可以选择其 MoE 运行器,同时为稠密层保留另一条原生路径。它会读取检查点元数据,并保留所选方案所需的输入缩放因子。选择 Humming 并不会自动将 A16 激活值转换为 FP8,而静态量化仍然需要经过校准的缩放因子。
SGLang PR #48524 中提出的更新通过可选的 activation_type 和 activation_impl 字段,将门控 MoE 激活函数接入 process_input。调用方可以指定拆分式或交错式 gate/up 输入,并提供用于激活函数的 CUDA 表达式。内置的 SiLU、限幅 SiLU、基于 erf 的 GELU 和 SiTU 共用这一接口。
因此,对于下投影,兼容的激活函数求值、Hadamard 变换和量化可以通过同一条输入处理路径来表达。该实现保留了 BF16/FP16 的舍入边界,并且在激活函数与量化可以合并时避免使用不必要的中间激活值缓冲区。此接口使模型特有的激活函数也能复用同一条输入处理路径。
Humming 支持 DeepSeek-V4-Flash、DeepSeek-V4-Pro(包括 V4-Pro-0813)和 DeepSeek-V4.1-Flash 的原生 MXFP4 专家执行。拟议的共享输入处理接口也涵盖 GLM-5.2/5.3 和 Kimi-K2.x/K3 所使用的门控激活路径。其 Kimi-K3 支持包括从尚未合并的 PR #33884 改编而来的原生 MXFP4 加载器桥接层。
PR #49873 中另行提出的一项修复,使标准 EP 分派能够估算各个 rank 的路由工作量,以进行 GEMM 调优,同时完整计入复制的共享专家。下文的 Humming EP8 测量结果已包含此修复。
本文的端到端结果仅涵盖 DeepSeek-V4.1-Flash-1017。兼容的专家并行部署还可以使用 DeepEP FP8 分派,将量化后的激活值及其缩放因子传入 Humming。
在 SGLang 中使用 Humming
对 Humming 0.1.18 的基础支持已在 SGLang commit ca939407 中落地。下文的基准测试还包含拟议的输入处理集成,并在 Humming EP8 配置中应用了 EP 调优修复。确切的源代码修订版本列于“基准测试详情”中。报告所用环境固定使用 Humming 0.1.18;这些结果尚未在 0.1.19 上得到验证。
安装与 CUDA 主版本相匹配的编译器扩展:
# CUDA 13 pip install "humming-kernels[cu13]==0.1.18" # CUDA 12:改用以下命令 # pip install "humming-kernels[cu12]==0.1.18"
选择后端的作用范围。--moe-runner-backend humming 会在检查点的原生量化路径支持 Humming 时选择由其执行专家计算。--quantization humming 会为兼容的线性层和专家层选择 Humming 的模型级量化适配器。对于使用该适配器的兼容 MoE 模型,应同时选择这两个选项。
若要保留检查点的原生稠密层路径,同时在其 Humming 专家中明确使用 FP8 E4M3 激活值:
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \ python -m sglang.launch_server \ --model-path /path/to/supported-checkpoint \ --moe-runner-backend humming
添加该模型通常使用的并行参数。使用推测解码时,还需为草稿模型选择 --speculative-moe-runner-backend humming。若要明确选择 BF16 激活值,请使用 {"dtype":"bfloat16"}。仅设置后端标志并不会请求使用 FP8 激活值。
Humming 还支持在从未量化的 FP16/BF16 检查点加载时进行在线权重量化。例如,以下配置请求使用分组大小为 32 个元素、缩放因子采用 UE8M0 的 MXFP4 权重,并搭配 FP8 激活值:
SGLANG_HUMMING_ONLINE_QUANT_CONFIG='{"dtype":"float4e2m1","group_size":32,"scale_dtype":"float8e8m0"}' \ SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \ python -m sglang.launch_server \ --model-path /path/to/supported-bf16-moe-checkpoint \ --quantization humming \ --moe-runner-backend humming
权重模式接受 dtype、group_size 和 scale_dtype;SGLang 还支持使用 ignored_layers,使选定层不进行转换。对于已受支持的量化检查点,在线转换要求在权重配置中明确设置 "force_requant":true。这些设置用于选择加载行为,并不会为静态激活量化提供经过校准的缩放因子。0.1.18 的模式定义了格式字段和兼容性规则。
下述结果使用一个现有的原生 FP8 稠密层/MXFP4 专家检查点,明确选择激活值类型,而不使用在线权重量化。
H20-3e 上的服务结果
我们在八张 H20-3e GPU 上评测 DeepSeek-V4.1-Flash-1017,配置为 TP8、预填充 CP8 交错、16K token 预填充分块,以及 DSpark 块大小 5。目标模型与草稿模型使用相同的 MoE 后端。稠密层保留其原生 FP8 路径,专家权重使用 MXFP4。A16 表示 BF16 专家激活值;AFP8 表示 FP8 E4M3 专家激活值。
EP1 各列在 A16 下比较 Marlin 与 Humming,同时也报告 Humming 的 AFP8 选项。EP8 各列比较 Humming 与 FlashInfer 0.7.2,目标模型和草稿模型均使用 FP8 专家激活值。Humming EP8 包含 PR #49873 中的调优修复。“基准测试详情”列出了源代码修订版本和复现命令。
预填充
下表报告使用精确长度的合成 token ID 输入时的首 token 延迟(TTFT),单位为秒。每个条目均为预热并清空前缀缓存后、并发度为 1 时三次请求的中位数;K 表示 1,024。
4K0.3380.2740.2150.2410.219
64K4.5333.7623.0263.3813.306
128K10.0338.4957.0247.6937.565
256K23.84320.81317.89419.35819.155
512K63.44357.39851.55454.49654.109
1016K188.064175.969164.350170.134169.391
在 EP1 研究中,Humming A16 的预填充速度比 Marlin A16 快 1.07–1.23×。采用 FP8 专家激活值后,耗时进一步降低。在 EP8 比较中,FlashInfer 在全部六种实测长度下的 TTFT 中位数都更低,但随着输入变长,相对差距逐渐缩小。
解码
解码测试使用 ShareGPT 的首轮内容,将其重复或截断至 4K 个输入 token,随后生成 1K 个输出 token,并禁用前缀缓存。输出吞吐量包含预填充和服务开销。数值为三次运行的平均输出 token/s ± 样本标准差。
1323.7 ± 3.6314.3 ± 3.2367.1 ± 5.0328.8 ± 16.5315.4 ± 6.7
321661.5 ± 22.21721.6 ± 6.22314.1 ± 18.02269.4 ± 28.92261.6 ± 50.4
642044.1 ± 5.62200.4 ± 13.72865.8 ± 7.42839.5 ± 3.62883.0 ± 17.2
在 EP1 和 A16 精度下,与 Marlin 相比,Humming 的平均吞吐量从 C1 时低 2.89% 到 C64 时高 7.65% 不等。在 Humming EP1 内部,将 A16 改为 AFP8 可使吞吐量提高 16.79–34.41%。
应用 EP 调优修复后,与 FlashInfer AFP8 参考结果相比,Humming AFP8 在 EP8 下的实测平均吞吐量在 C1 时高 4.25%,在 C32 时高 0.34%,在 C64 时低 1.51%。下文的详细指标报告 TTFT、TPOT、DSpark 接受率,以及每个验证步骤的估算解码时间。
保留的完整 GSM8K 评测中,Marlin A16 得分为 97.12%,Humming A16 为 97.04%,Humming AFP8 为 96.82%。在针对性的 RULER v1 检索测试中,Marlin A16 和 Humming AFP8 在标称 32K 与 128K 长度下均获得 200/200。这些结果仅描述上述受测配置;它们不能证明普遍的准确率等价性,也不能证明在 1016K 性能测试点上的质量。
结果解读
预填充性能剖析将后端影响与激活精度选择区分开来。在相同的 A16 精度下,对于 4K、128K 和 1016K,Humming 的路由专家 GEMM 累计内核时间比 Marlin 少 31.6–32.4%。在 Humming 内部,选择 AFP8 可使该 GEMM 时间进一步减少约 47.6%。
在 1016K 下,其余 GPU 内核在三种配置中均耗时约 151 秒。这有助于解释为何路由 GEMM 时间的减少转化为端到端预填充加速后,提升幅度会较小。其余部分包括注意力、稠密层/共享专家计算、路由、激活和通信;这并非仅针对注意力的测量。
图 2. TP8/EP1 下的预填充内核时长:每种长度各进行一次预热后的采集,并对全部八个 rank 取平均值。A16 配对保持激活精度不变;AFP8 是另一种独立的精度选择。总计值为 GPU 内核时长之和,而非客户端 TTFT。
在 C1 下,A16 跟踪结果显示,Humming 的路由 GEMM 每次目标验证耗时 3.77 ms,而 Marlin 为 4.21 ms;草稿 GEMM 则分别耗时 0.195 ms 和 0.181 ms。两者均使用 M=8 的 MoE 分块。完整的解码周期对比见“基准测试详情”。
基准测试详情
环境与服务器命令
测试在八张 H20-3e GPU 上进行,使用 CUDA 13.0、Humming 0.1.18 和 FlashInfer 0.7.2。检查点为 DeepSeek-V4.1-Flash-1017,其中包含其随附的 DSpark 草稿模型。
所有列均使用 SGLang f644444,其中包含 #48524 所提议的输入处理集成。Humming AFP8 EP8 还额外应用了 PR #49873 在 6a7ea3f 处的运行时变更。
在下方选择一种配置,并将 PYTHONPATH 指向对应的源代码。目标模型与草稿模型使用相同的 MoE 后端;这些运行未设置 --quantization humming。
配置 后端 EP 专家激活精度
Marlin A16 marlin 1 bfloat16
Humming A16 humming 1 bfloat16
Humming AFP8 humming 1 float8e4m3
Humming AFP8 humming 8 float8e4m3
FlashInfer AFP8 flashinfer_mxfp4 8 float8e4m3
对于 TTFT 表,将 MODE=prefill;对于吞吐量表,将 MODE=decode。Humming 使用索引式 GEMM,并为 AFP8 使用动态的逐 token FP8 缩放因子。
脚本中的 ACTIVATION 变量用于配置 Humming。FlashInfer 的 FP8 激活路径通过 --flashinfer-mxfp4-moe-precision fp8 选择。
export MODEL_PATH=/path/to/DeepSeek-V4.1-Flash-1017 export PYTHONPATH=/path/to/selected-sglang-source/python export LD_LIBRARY_PATH="/usr/local/cuda/compat/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}" export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export OMP_NUM_THREADS=1 export SGLANG_OPT_FP8_WO_A_GEMM=1 export SGLANG_JIT_DEEPGEMM_PRECOMPILE=0 BACKEND=humming EP=8 ACTIVATION=float8e4m3 MODE=decode
EXTRA_ARGS=() unset SGLANG_HUMMING_INPUT_QUANT_CONFIG SGLANG_HUMMING_MOE_GEMM_TYPE if [[ "$BACKEND" == humming ]]; then export SGLANG_HUMMING_MOE_GEMM_TYPE=indexed export SGLANG_HUMMING_INPUT_QUANT_CONFIG="{\"dtype\":\"$ACTIVATION\"}" elif [[ "$BACKEND" == flashinfer_mxfp4 ]]; then EXTRA_ARGS+=(--flashinfer-mxfp4-moe-precision fp8) fi if [[ "$MODE" == decode ]]; then EXTRA_ARGS+=(--disable-radix-cache --stream-interval 1) fi
python -m sglang.launch_server \ --model-path "$MODEL_PATH" --served-model-name dsv41-flash-1017 \ --host 127.0.0.1 --port 31018 --trust-remote-code --language-model-only \ --tp-size 8 --ep-size "$EP" --enable-prefill-cp --cp-strategy interleave \ --enable-cp-decode-attn-tp --moe-a2a-backend none \ --engram-config '{"placement":"cpu","replication":"none"}' \ --no-enable-decoder-swa-bounded-replay --swa-full-tokens-ratio 0.05 \ --speculative-algorithm DSPARK --speculative-dspark-block-size 5 \ --mem-fraction-static 0.84 --max-running-requests 64 \ --cuda-graph-max-bs-decode 64 --chunked-prefill-size 16384 \ --enable-cache-report --enable-metrics \ --reasoning-parser auto --tool-call-parser auto --random-seed 1 \ --moe-runner-backend "$BACKEND" --speculative-moe-runner-backend "$BACKEND" \ "${EXTRA_ARGS[@]}"
基准测试命令与解码指标
在第二个 shell 中运行客户端,其中 MODEL_PATH 按上文设置,PYTHONPATH 指向基线 f644444 源代码。
预填充。对于表中的每种长度,在一次预热和一次前缀缓存清空后,报告三个请求的 TTFT 中位数。以下示例在 C1 下使用 128K 输入 token 和 32 个输出 token:
export SGLANG_IS_IN_CI=0 mkdir -p results LENGTH=131072 python -m sglang.benchmark.serving \ --backend sglang --host 127.0.0.1 --port 31018 \ --model "$MODEL_PATH" --served-model-name dsv41-flash-1017 \ --dataset-name random-ids --random-input-len "$LENGTH" \ --random-output-len 32 --random-range-ratio 1 \ --num-prompts 3 --max-concurrency 1 --request-rate inf \ --seed 1024 --temperature 0 --warmup-requests 1 --flush-cache \ --cache-report --output-details --tokenize-prompt \ --output-file "results/ttft-${LENGTH}.jsonl"
解码。使用 ShareGPT,通过重复或截断将提示词统一为 4,096 个输入 token,并生成恰好 1,024 个 token。对于 C1/C32/C64,分别使用 10/160/320 个测量请求。将预热与测量配对运行三次;以下示例使用 C32。
export SGLANG_IS_IN_CI=0 mkdir -p results export SHAREGPT_PATH=/path/to/ShareGPT_V3_unfiltered_cleaned_split.json C=32 N=160 DECODE_ARGS=( --backend sglang --host 127.0.0.1 --port 31018 --model "$MODEL_PATH" --served-model-name dsv41-flash-1017 --dataset-name random --dataset-path "$SHAREGPT_PATH" --random-input-len 4096 --random-output-len 1024 --random-range-ratio 1 --max-concurrency "$C" --request-rate inf --temperature 0 --warmup-requests 0 --cache-report --output-details --tokenize-prompt ) python -m sglang.benchmark.serving "${DECODE_ARGS[@]}" \ --num-prompts "$C" --seed 0 --output-file results/warmup.jsonl python -m sglang.benchmark.serving "${DECODE_ARGS[@]}" \ --num-prompts "$N" --seed 1 --output-file "results/decode-c${C}.jsonl"
解码延迟与接受率。数值为三次运行的均值 ± 样本标准差。TTFT 包含排队时间;TPOT 衡量首个输出 token 之后每个输出 token 的耗时。接受率是每个验证步骤的平均输出 token 数,并对各请求取平均值。
每次运行中,估算的解码毫秒数/步骤为 1,000 × Σ(E2E − TTFT) / Σ(验证步骤数)。每个请求的验证次数通过输出长度除以接受率还原得出。这样既能将周期成本与每周期生成的 token 数区分开来,又涵盖草稿生成、验证、调度和传输;它并非 GPU 内核时间。
配置CTTFT(毫秒)TPOT(毫秒)接受率解码毫秒数/步骤(估算)
Marlin A16 (EP1)1321.238 ± 0.6872.776 ± 0.0365.139 ± 0.05813.947 ± 0.007
Marlin A16 (EP1)321558.744 ± 1.86016.768 ± 0.0795.159 ± 0.03584.089 ± 0.614
Marlin A16 (EP1)643435.942 ± 29.61226.989 ± 0.0505.205 ± 0.004136.640 ± 0.327
Humming A16 (EP1)1263.333 ± 1.4232.924 ± 0.0315.115 ± 0.04714.578 ± 0.013
Humming A16 (EP1)321294.003 ± 37.18216.335 ± 0.0615.153 ± 0.02281.480 ± 0.501
Humming A16 (EP1)642900.157 ± 45.02525.159 ± 0.0365.211 ± 0.001127.437 ± 0.117
Humming AFP8 (EP1)1207.182 ± 1.2332.522 ± 0.0395.142 ± 0.05112.612 ± 0.001
Humming AFP8 (EP1)321001.886 ± 4.78712.234 ± 0.0935.191 ± 0.02961.830 ± 0.273
Humming AFP8 (EP1)642231.068 ± 25.51619.354 ± 0.0215.201 ± 0.00497.812 ± 0.039
Humming AFP8 (EP8)1221.653 ± 0.5892.830 ± 0.1575.106 ± 0.17013.966 ± 0.010
Humming AFP8 (EP8)321057.362 ± 27.74812.320 ± 0.1095.172 ± 0.03061.958 ± 0.532
Humming AFP8 (EP8)642334.429 ± 5.34519.505 ± 0.0735.220 ± 0.01999.194 ± 0.267
FlashInfer AFP8 (EP8)1208.612 ± 2.6252.968 ± 0.0655.089 ± 0.09114.696 ± 0.014
FlashInfer AFP8 (EP8)321019.455 ± 10.50912.469 ± 0.1305.179 ± 0.03362.803 ± 0.133
FlashInfer AFP8 (EP8)642279.674 ± 16.31818.990 ± 0.0305.221 ± 0.01396.522 ± 0.410
质量检查。报告的 GSM8K 分数使用了全部 1,319 道测试题,并采用八样本提示。RULER 检查使用 niah_multikey_2;对于 Marlin A16 和 Humming AFP8,在 32K 和 128K 长度下各使用 200 个样本。两者均使用 temperature 0 和 thinking=false。这些保留的质量结果涵盖了上述 EP1 配置。
后续计划
Humming
自动调优。Humming 计划引入自动调优功能,在目标设备上对候选配置进行基准测试,以便为每种工作负载找到更优的执行参数。这将对现有启发式方法形成补充。
更广泛的硬件支持。即将开展的工作包括支持 Rubin Locality Domains、T-Head 的真武 M890 以及更多兼容 CUDA 的加速器,并根据其计算和内存特性调整内核。
SGLang 集成
更简单的模型集成。以统一输入处理为基础,支持更多原生量化检查点和自定义激活函数,同时减少权重加载期间的填充、重新打包和峰值内存占用。
更好的并行执行。改进 EP 感知调优、量化 DeepEP 分派和动态专家迁移。将端到端覆盖范围扩展至这些路径和 B300 部署。
请关注 SGLang Humming 跟踪议题 #46579,了解集成进展。
致谢
本工作由蚂蚁集团 Venus 和 SCT 团队成员与 SGLang 社区共同开发。
感谢 SGLang 维护者和评审者,他们协助将量化、MoE 和 DeepEP 集成投入生产。我们还感谢邵江和 NVIDIA 团队在 FlashInfer PR #3738 中适配 Humming 的 MXFP4 × FP8 尺度融合方法。
AI 热点