- 概述
- 测量设置
- 1. 预填充 CP 和解码 DP
- 2. 用于预填充 Indexer 的 FP8 DeepGEMM
- 3. 用于预填充的可中断 CUDA Graph
- 4. 张量并行 MoE
- 5. 更大的 Indexer 分数分块
- 6. 融合预填充选择与回写
- 7. 验证期间复用分页式 Indexer K 分块
- 后续测量
- 8. 共置服务优化
- 复现
- 分离式基线
- 分离式优化版
- PD 路由器
- PD 消融实验
- 共置式基线
- 共置式优化版
- 基准测试
- GSM8K 准确率
概述
我们通过调整预填充和解码并行策略、支持采用预填充 CP 和有界 SWA 重放的 BCG,以及加速 Indexer 内核,优化了 H20-3e 上分离式部署的 DeepSeek-V4.1-Flash 服务。与 TP4 相比,最终配置将平均端到端延迟降低了 65.5% ,并实现了 2.91× 的输出吞吐量。
我们的节点内 PD 部署为预填充和解码各使用四块 GPU,并通过 NVLink 传输 KV 缓存。平均端到端延迟从 13.63 秒降至 4.70 秒,输出吞吐量从 847 提升至 2,465 tokens/s。预填充上下文并行与解码数据并行的组合带来了最大增益,其次是 FP8 DeepGEMM 评分。
| 累积配置 | 平均 E2E(毫秒) | 输出(tokens/s) | 平均 TTFT(毫秒) | 平均 TPOT(毫秒) | P99 E2E(毫秒) |
|---|---|---|---|---|---|
| TP4 基线 | 13,633.80 | 846.76 | 12,037.73 | 3.20 | 21,306.70 |
| 1. 预填充 CP + 解码 DP | 7,547.46 (−44.64%) | 1,537.90 | 5,156.84 (-57%) | 4.79 | 14,012.91 |
| 2. FP8 DeepGEMM | 5,294.89 (−29.85%) | 2,200.82 | 2,662.13 (-48%) | 5.28 | 11,016.82 |
| 3. 可中断 CUDA Graph | 5,100.87 (−3.66%) | 2,290.05 | 2,390.32 (-10%) | 5.43 | 10,641.21 |
| 4. TP MoE | 4,811.81 (−5.67%) | 2,425.96 | 1,877.23 (-22%) | 5.88 | 10,224.78 |
| 5. 更大的预填充分数分块 | 4,773.97 (−0.79%) | 2,450.67 | 1,838.15 (-2%) | 5.88 | 10,284.72 |
| 6. 预填充选择融合 | 4,774.47 (+0.01%) | 2,440.68 | 1,802.77 (-2%) | 5.96 | 10,221.00 |
| 7. 分页式 K 分块复用 | 4,698.65 (−1.59%) | 2,464.90 | 1,894.54 | 5.62 (-6%) | 10,073.00 |
大部分延迟改善发生在生成首个 token 之前。平均首 token 时间(TTFT)从 12.04 秒降至 1.89 秒。首个 token 之后每个输出 token 的平均耗时(TPOT)从 3.20 毫秒升至 5.62 毫秒。在并发数固定时,更快的预填充可以让解码保持更高的繁忙度,而更快的解码则能为新提示释放客户端槽位。这可能会改变两个工作进程之间的排队分布。
在最初的参数扫描中,预填充队列中位数从基线时的 15 个请求降至采用 CP 和 DP 后的 9 个,再降至采用 DeepGEMM 后的 4 个,以及采用可中断 CUDA Graph 后的 3 个。采用 TP MoE 后降至零。解码队列中位数始终为零。
测量设置
路由器让每个请求依次经过预填充和解码。工作进程通过节点内 Mooncake NVLink 直接传输 KV 状态。基线在两个工作进程上均采用 TP4 注意力和 EP4 MoE,并使用即时执行的 BF16 Torch 预填充评分。所有运行均使用相同的 DeepSeek-V4.1-Flash 检查点、Humming W4A8 MoE、大小为 5 的 DSpark 块,以及 8,192-token 的预填充分块。
| 工作负载 | 值 |
|---|---|
| 请求数和并发数 | 256 个请求,24 个同时处理 |
| 标称输入 | 61,440 个共享 token + 4,096 个请求专属 token |
| 输出 | 每个请求 500 个 token |
| 缓存协议 | 先运行 10 个预热请求,然后在测量前清空缓存 |
| 观测到的缓存命中率 | 93.21% |
每次运行中,全部 256 个请求均已完成,并生成了 128,000 个输出 token。TP4 基线和步骤 1–3 是最初参数扫描中的单次运行结果。步骤 4–7 显示各配置所有已完成后续运行的平均值。E2E 百分比为相邻两行之间的比较结果。P99 先按每次运行计算,再取平均值。
1. 预填充 CP 和解码 DP
预填充需要处理来自单个长请求的大量 token 行。交错式上下文并行将这些行分配给不同 rank,使四块 GPU 可以处理同一个请求。解码阶段有许多活跃请求,每个请求只有少量查询行。数据并行注意力和数据并行 LM 头将相互独立的请求分配给不同 rank。
| 工作进程 | 基线注意力 | 步骤 1 注意力 | 两者的 MoE |
|---|---|---|---|
| 预填充 | TP4 | 交错式 CP4 | EP4 |
| 解码 | TP4 | DP4 注意力和 LM 头 | EP4 |
在此步骤中,平均 TTFT 从 12.04 秒降至 5.16 秒。平均 TPOT 从 3.20 毫秒升至 4.79 毫秒。
服务结果。 平均 E2E 从 13,633.80 毫秒降至 7,547.46 毫秒(−44.64%)。输出吞吐量从 846.76 提升至 1,537.90 tokens/s(+81.62%).
2. 用于预填充 Indexer 的 FP8 DeepGEMM
Indexer 在选出一小部分键用于注意力计算之前,先对可见键进行评分。在 Hopper 上,我们只收集一次每个请求的紧凑型 FP4 键,将查询和键转换为 FP8 E4M3,并在每个预填充 Indexer 层中调用 DeepGEMM 的 fp8_mqa_logits 。每个查询仍然只能看到其因果掩码和候选集所允许的键。
查询已经过 FP4 伪量化,因此我们直接将其转换为 E4M3,不再应用另一项缩放。对于键,我们使用 FP32 应用 FP4 块的 2 的幂缩放,并将其限制在 −448 至 +448 范围内,然后再进行转换。这样可确保超出范围的值保持为有限数值。由于块缩放已经应用,因此传给 DeepGEMM 的键缩放系数为 1。
2 的幂缩放可保持能够精确表示的值不变。超出范围的键会饱和,极小值可能发生舍入或下溢,而评分精度的变化可能影响排序。在一项针对 64K 提示的独立预填充探测中,我们从 8 个 Indexer 层采样了 64 个查询行。采样的 16,774,528 个键值均无需截断。在相同查询行上,BF16 与 DeepGEMM 评分器选出的 top-k 条目有 99.08% 相同。
服务结果。 平均 E2E 从 7,547.46 毫秒降至 5,294.89 毫秒(−29.85%)。输出吞吐量从 1,537.90 提升至 2,200.82 tokens/s(+43.11%). SGLang PR #49066
3. 用于预填充的可中断 CUDA Graph
长预填充会启动许多小型内核。可中断 CUDA Graph 会捕获可安全纳入图的执行区段并将其一并重放,而需要实时元数据的操作则保持 eager 执行。有界滑动窗口注意力(SWA)重放会在较短的解码器尾部运行后面的层,并在整个扫描过程中保持启用。固定的实验分支通过在不同的图桶中捕获尾部,支持交错式预填充 CP 与可中断图和有界重放协同工作。此组合需要使用该实验分支。 实验分支实现, SGLang PR #40333, SGLang PR #43089.
在第 3 步中,捕获大小为 8,192 tokens、图上下文上限为 262,144 tokens 时,启动日志报告每个预填充 rank 使用了 14.53–14.59 GB 的捕获内存,捕获耗时 约 388 秒 用于捕获。上下文上限限制了捕获缓冲区的大小。 SGLang PR #36534
服务结果。 平均 E2E 从 5,294.89 毫秒降至 5,100.87 毫秒(−3.66%)。输出吞吐量从 2,200.82 提升至 2,290.05 tokens/s(+4.05%).
4. 张量并行 MoE
专家并行将不同专家分配给不同的 rank。当路由偏向少数专家时,这些专家所在的 rank 会承担更多工作,而其他 rank 则在集合通信处等待。张量并行 MoE 将每个专家分片到全部四个 rank 上,因此路由不均不再导致某个 GPU 承担比其他 GPU 更多的专家计算。
在另一次独立的解码性能分析中,一个较早完成的 EP rank 花费了约 100 µs 在全归约操作处等待较晚完成的 rank。在该性能分析中,TP 使专家 GEMM 略有变慢,而总验证时间大致不变。在预填充阶段,下面分析的两个批次分别耗时 采用 EP 时为 771 毫秒 ,而 采用 TP 时为 657 毫秒 ,尽管采用 TP 时专家 GEMM 更慢。
张量并行
我们将其与采用 --moe-a2a-backend none的 EP 进行了比较。此配置不支持 DeepEP 或 MegaMoE 全互联通信。在未来的工作中,我们计划测试采用全互联通信和专家并行负载均衡(EPLB)的 EP,力求在平衡各 GPU 工作负载的同时保留更快的 GEMM。
服务结果。 平均 E2E 从 5,100.87 毫秒降至 4,811.81 毫秒(−5.67%)。输出吞吐量从 2,290.05 提升至 2,425.96 tokens/s(+5.93%).
5. 更大的 Indexer 评分分块
Indexer 会限制其临时评分矩阵的大小。使用 16K 压缩键时, 64 MiB 的预算大约可容纳 1,000 个查询行,因此更大的批次会跨多个分块重复执行评分和选择。将预填充上限提高到 2 GiB 后,可以让更多行共享一个分块。该限制按 rank 分别计算,评分器在处理分块时会使用这部分空间。预填充 KV 容量仍为 1,945,088 tokens,采用 --mem-fraction-static 0.8.
服务结果。 平均 E2E 从 4,811.81 毫秒降至 4,773.97 毫秒(−0.79%),处于逐次运行的波动范围内。 SGLang PR #49067
6. 融合预填充选择与回写
Indexer 既需要供后续层使用的候选块 ID,也需要供注意力计算使用的物理 KV 槽位。Triton 根据最大得分选择块。对于较小的输入,它在一次启动中完成归约和选择;对于较宽的输入,则先并行归约,再进行选择。另一个融合回写操作会过滤无效选择,对剩余位置排序,并在一次启动中将其转换为 KV 槽位。选择器使用相同的得分,但在得分相同时可能选择不同的块 ID。其平局判定偏向较小的块 ID,而 Torch topk 并不保证平局时的顺序稳定。
服务结果。 平均 TTFT 从 1,838.15 毫秒降至 1,802.77 毫秒(−1.92%)。启用融合后,在 45 次运行中,平均 E2E 保持在约 4.77 秒。 SGLang PR #49069
7. 在验证期间复用分页 Indexer 的 K 分块
DSpark 在一次前向传播中验证来自同一请求的多个查询行。这些行所查看的键几乎相同。分页评分器将一个 FP4 K 分块加载并反量化为 BF16,然后为该请求的各查询行复用它。每一行仍会应用各自的因果限制。
服务结果。 平均 TPOT 从 5.96 毫秒降至 5.62 毫秒,平均 E2E 从 4,774.47 毫秒降至 4,698.65 毫秒(−1.59%)。输出吞吐量提升了 0.99%。 SGLang PR #49068
后续测量
对于步骤 4–7,为排除稳定性因素的影响,表中报告了并发度为 24 时所有已完成运行的均值和样本标准差。在这些步骤中,单次运行的平均 E2E 波动约为 1–1.6%。
| 步骤 | 运行次数 | 平均 E2E(毫秒) | 输出(token/s) | 平均 TTFT(毫秒) | 平均 TPOT(毫秒) |
|---|---|---|---|---|---|
| 4. TP MoE | 3 | 4,811.81 ± 77.13 | 2,425.96 ± 38.96 | 1,877.23 ± 84.20 | 5.88 ± 0.31 |
| 5. 更大的预填充评分分块 | 6 | 4,773.97 ± 53.94 | 2,450.67 ± 26.56 | 1,838.15 ± 23.77 | 5.88 ± 0.14 |
| 6. 预填充选择融合 | 45 | 4,774.47 ± 48.24 | 2,440.68 ± 30.41 | 1,802.77 ± 40.21 | 5.96 ± 0.14 |
| 7. 分页 K 分块复用 | 6 | 4,698.65 ± 47.73 | 2,464.90 ± 43.53 | 1,894.54 ± 58.59 | 5.62 ± 0.18 |
我们还在相同的 256 请求工作负载上调整了并发度,并验证了我们的优化在其他类型工作负载上的有效性。
| 并发度 | TP4 端到端延迟(毫秒) | 最终端到端延迟(毫秒) | TP4 输出吞吐量(token/s) | 最终输出吞吐量(token/s) |
|---|---|---|---|---|
| 8 | 4,798.86 | 2,690.09 | 826.73 | 1,462.65 |
| 16 | 9,178.42 | 3,678.99 | 854.19 | 2,121.03 |
| 24 | 13,563.03 | 4,698.65 | 853.98 | 2,464.90 |
| 32 | 17,843.62 | 6,097.87 | 852.97 | 2,502.19 |
8. 共置服务优化
我们在一台配备四张 GPU 的工作节点上使用 DSpark,以 24 的并发度运行了相同的请求工作负载。与 BF16 TP4 基线相比,平均端到端延迟从 18.62 秒降至 7.96 秒 (降低 57.26%),输出吞吐量从 642 token/s 提升至 1,483 token/s (提高 130.79%)。
| 累积配置 | 平均端到端延迟(毫秒) | 输出吞吐量(token/s) |
|---|---|---|
| TP 基线(BF16 预填充 Indexer) | 18,619.53 | 642.46 |
| 预填充 CP、解码 TP(BF16 预填充 Indexer) | 12,499.25 (-33%) | 949.97 |
| FP8 DeepGEMM | 9,727.21 (-22%) | 1,222.38 |
| 可中断的 CUDA 图 | 9,418.85 (-3%) | 1,256.71 |
| 分页 K 分块复用 | 8,694.89 (-8%) | 1,367.96 |
| 张量并行 MoE | 8,632.46 (-1%) | 1,377.49 |
| 按批次执行预填充 CP 和解码 DP | 7,957.13 (-8%) | 1,482.72 |
我们在同一个工作进程中加入了按批次执行的预填充 CP 和解码 DP。预填充仍会将提示词元拆分到四个 rank 上。在解码和目标验证期间,每个 rank 则负责处理一部分批次,并使用全部注意力头,随后工作进程会收集结果并恢复为原来的批次顺序。
在预填充 CP 配置中加入解码 DP 后,平均端到端延迟降低了 7.82% ,输出吞吐量提高了 7.64%。解码 DP 要求复制 KV 和 Indexer 键。在相同的 --max-running-requests 64条件下,启动日志显示,采用解码 TP 时有 955,136 个 KV 词元槽位,采用解码 DP 时有 953,088 个。这些数量衡量的是 KV 池。支持的并发度还取决于活跃序列的长度。 SGLang PR #45729
对于该工作负载,共置配置的单 GPU 每秒输出词元数更高(371 对 308)。八 GPU 的 PD 配置实现了更低的平均延迟(4.70 秒 vs. 7.96 秒),且总吞吐量更高。
复现
使用提交 b07c70112c175eb7ca3c157c7bbc7847cc398d7d ,该提交位于公开的 SYChen123/sglang:v4.1/h20-dev-pd-blog 分支上。这些命令使用 DeepSeek-V4.1-Flash 检查点。H20 后续实验环境使用 PyTorch 2.14.1、Triton 3.8.0、 sgl-deep-gemm==0.2.2, humming-kernels==0.1.12, mooncake-transfer-engine-cuda13==0.3.10.post2,以及 sglang-router==0.3.2。在实验分支上, SGLANG_DSV41_TORCH_PREFILL_INDEXER=1 选择 BF16 Torch 评分。若要在 Hopper 上使用 FP8 DeepGEMM,请将其设为 0 并选择 SGLANG_DSV41_SM90_PREFILL_INDEXER=deepgemm.
第 2 步、第 5 至第 7 步以及共置解码 DP 仍在上游审核中。四个 Indexer PR 分支各自开关的名称与下方消融表中的名称相同。请在锁定的实验修订版本上运行这些命令;该版本还支持使用可中断图和有界 SWA 重放的预填充 CP。 FP8 DeepGEMM, 评分预算, 选择融合, K 分块复用, 共置解码 DP.
分离式基线
在同一台八 GPU 主机的不同终端中分别运行预填充和解码。
启动基线预填充(GPU 0–3)CUDA_VISIBLE_DEVICES=0,1,2,3 SGLANG_DSV41_TORCH_PREFILL_INDEXER=1 \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_HOST_IP=127.0.0.1 SGLANG_MOONCAKE_CUSTOM_MEM_POOL=INTRA_NODE_NVLINK \
MC_INTRA_NVLINK=true MC_INTRANODE_NVLINK=true SGLANG_SET_CPU_AFFINITY=1 \
SGLANG_JIT_DEEPGEMM_FAST_WARMUP=1 SGLANG_DISAGGREGATION_ALL_CP_RANKS_TRANSFER=1 \
SGLANG_OPT_DSV41_TRITON_PREFILL_SELECTION=0 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=0 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9091 --trust-remote-code --language-model-only \
--attention-backend dsv4 --tp 4 --ep-size 4 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--chunked-prefill-size 8192 --max-prefill-tokens 8192 --disable-prefill-cuda-graph \
--enable-decoder-swa-bounded-replay --swa-full-tokens-ratio 0.1 --mem-fraction-static 0.8 \
--tokenizer-worker-num 8 --detokenizer-worker-num 8 \
--disaggregation-mode prefill --disaggregation-transfer-backend mooncake \
--disaggregation-bootstrap-port 8998
启动基线解码(GPU 4–7)
CUDA_VISIBLE_DEVICES=4,5,6,7 \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_HOST_IP=127.0.0.1 SGLANG_MOONCAKE_CUSTOM_MEM_POOL=INTRA_NODE_NVLINK \
MC_INTRA_NVLINK=true MC_INTRANODE_NVLINK=true SGLANG_SET_CPU_AFFINITY=1 \
SGLANG_JIT_DEEPGEMM_FAST_WARMUP=1 SGLANG_DISAGGREGATION_ALL_CP_RANKS_TRANSFER=1 \
SGLANG_OPT_DSV41_VERIFY_INDEXER_BF16_K_REUSE=0 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=0 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9092 --trust-remote-code --attention-backend dsv4 \
--tp 4 --ep-size 4 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--mem-fraction-static 0.85 --max-running-requests 256 \
--tokenizer-worker-num 8 --detokenizer-worker-num 8 \
--disaggregation-mode decode --disaggregation-transfer-backend mooncake
分离式优化配置
启动优化后的预填充(GPU 0–3)CUDA_VISIBLE_DEVICES=0,1,2,3 SGLANG_DSV41_TORCH_PREFILL_INDEXER=0 \
SGLANG_DSV41_SM90_PREFILL_INDEXER=deepgemm \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_HOST_IP=127.0.0.1 SGLANG_MOONCAKE_CUSTOM_MEM_POOL=INTRA_NODE_NVLINK \
MC_INTRA_NVLINK=true MC_INTRANODE_NVLINK=true SGLANG_SET_CPU_AFFINITY=1 \
SGLANG_JIT_DEEPGEMM_FAST_WARMUP=1 SGLANG_DISAGGREGATION_ALL_CP_RANKS_TRANSFER=1 \
SGLANG_OPT_DSV41_TRITON_PREFILL_SELECTION=1 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=0 \
SGLANG_OPT_DSV41_LARGE_PREFILL_SCORE_BUDGET=1 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9091 --trust-remote-code --language-model-only \
--attention-backend dsv4 --tp 4 --ep-size 1 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--chunked-prefill-size 8192 --max-prefill-tokens 8192 --enable-prefill-cp --cp-strategy interleave \
--cuda-graph-backend-prefill breakable --cuda-graph-max-bs-prefill 8192 --cuda-graph-prefill-max-context 262144 \
--enable-decoder-swa-bounded-replay --swa-full-tokens-ratio 0.1 --mem-fraction-static 0.8 \
--tokenizer-worker-num 8 --detokenizer-worker-num 8 --disaggregation-mode prefill \
--disaggregation-transfer-backend mooncake --disaggregation-bootstrap-port 8998
启动优化后的解码(GPU 4–7)
CUDA_VISIBLE_DEVICES=4,5,6,7 \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_HOST_IP=127.0.0.1 SGLANG_MOONCAKE_CUSTOM_MEM_POOL=INTRA_NODE_NVLINK \
MC_INTRA_NVLINK=true MC_INTRANODE_NVLINK=true SGLANG_SET_CPU_AFFINITY=1 \
SGLANG_JIT_DEEPGEMM_FAST_WARMUP=1 SGLANG_DISAGGREGATION_ALL_CP_RANKS_TRANSFER=1 \
SGLANG_OPT_DSV41_VERIFY_INDEXER_BF16_K_REUSE=1 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=1 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9092 --trust-remote-code --attention-backend dsv4 \
--tp 4 --dp 4 --enable-dp-attention --enable-dp-lm-head \
--ep-size 1 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--mem-fraction-static 0.85 --max-running-requests 256 \
--tokenizer-worker-num 8 --detokenizer-worker-num 8 \
--disaggregation-mode decode --disaggregation-transfer-backend mooncake
PD 路由器
两个工作进程都处于健康状态后,启动路由器。
启动 PD 路由器python3 -m sglang_router.launch_router --pd-disaggregation \
--prefill http://127.0.0.1:9091 8998 --decode http://127.0.0.1:9092 \
--host 127.0.0.1 --port 9090 --worker-startup-timeout-secs 3600 \
--disable-circuit-breaker --prefill-policy round_robin --decode-policy round_robin
PD 消融实验
本文的消融实验从 PD 基线开始,并按顺序应用各项更改。除非某一行明确更改设置,否则请保留基线设置。解码预算仅在第 5 步的实验分支上发生变化。
PD 消融指南| 步骤 | 工作进程 | 相较上一步的变化 |
|---|---|---|
| 1. CP + DP | 两者 | 预填充增加 --enable-prefill-cp --cp-strategy interleave。解码增加 --dp 4 --enable-dp-attention --enable-dp-lm-head. |
| 2. DeepGEMM | 预填充 | 设置 SGLANG_DSV41_TORCH_PREFILL_INDEXER=0 和 SGLANG_DSV41_SM90_PREFILL_INDEXER=deepgemm. |
| 3. BCG | 预填充 | 将 --disable-prefill-cuda-graph 替换为 --cuda-graph-backend-prefill breakable --cuda-graph-max-bs-prefill 8192 --cuda-graph-prefill-max-context 262144. |
| 4. TP MoE | 两者 | 设置 --ep-size 1. |
| 5. 更大的评分分块 | 两者 | 预填充时,设置 SGLANG_OPT_DSV41_LARGE_PREFILL_SCORE_BUDGET=1解码时,设置 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=1 ,以从 128 MiB 增加到 512 MiB。 |
| 6. 选择融合 | 预填充 | 设置 SGLANG_OPT_DSV41_TRITON_PREFILL_SELECTION=1. |
| 7. 分页 K 分块复用 | 解码 | 设置 SGLANG_OPT_DSV41_VERIFY_INDEXER_BF16_K_REUSE=1. |
共置基线
四 GPU 工作进程直接监听基准测试端口。
启动共置基线CUDA_VISIBLE_DEVICES=0,1,2,3 \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_OPT_DSV41_TRITON_PREFILL_SELECTION=0 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=0 \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_DSV41_TORCH_PREFILL_INDEXER=1 SGLANG_OPT_DSV41_VERIFY_INDEXER_BF16_K_REUSE=0 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9090 --trust-remote-code --attention-backend dsv4 \
--tp 4 --ep-size 4 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--chunked-prefill-size 8192 --max-prefill-tokens 8192 --disable-prefill-cuda-graph \
--enable-decoder-swa-bounded-replay --cuda-graph-max-bs-decode 64 \
--mem-fraction-static 0.8 --max-running-requests 64 \
--enable-hierarchical-cache --hicache-ratio 2 --hicache-io-backend kernel --hicache-write-policy write_through
共置优化配置
启动优化后的共置工作进程CUDA_VISIBLE_DEVICES=0,1,2,3 \
SGLANG_ENABLE_DSV41_ENGRAM_HOST_TABLE=1 SGLANG_DSV41_ENGRAM_HOST_TABLE_LAYOUT=per_rank \
SGLANG_OPT_DSV41_TRITON_PREFILL_SELECTION=0 SGLANG_OPT_DSV41_LARGE_INDEXER_SCORE_BUDGET=0 \
SGLANG_HUMMING_INPUT_QUANT_CONFIG='{"dtype":"float8e4m3"}' \
SGLANG_DSV41_TORCH_PREFILL_INDEXER=0 SGLANG_DSV41_SM90_PREFILL_INDEXER=deepgemm \
SGLANG_OPT_DSV41_VERIFY_INDEXER_BF16_K_REUSE=1 \
sglang serve --model-path deepseek-ai/DeepSeek-V4.1-Flash --served-model-name llm \
--host 127.0.0.1 --port 9090 --trust-remote-code --attention-backend dsv4 \
--tp 4 --ep-size 1 --moe-runner-backend humming --moe-a2a-backend none \
--speculative-algorithm DSPARK --speculative-dspark-block-size 5 --enable-cache-report \
--chunked-prefill-size 8192 --max-prefill-tokens 8192 --enable-prefill-cp --cp-strategy interleave \
--enable-cp-decode-attn-tp --cp-decode-attn-mode dp --enable-decoder-swa-bounded-replay \
--cuda-graph-backend-prefill breakable --cuda-graph-max-bs-prefill 8192 --cuda-graph-prefill-max-context 262144 \
--cuda-graph-max-bs-decode 64 --mem-fraction-static 0.8 --max-running-requests 64 \
--enable-hierarchical-cache --hicache-ratio 2 --hicache-io-backend kernel --hicache-write-policy write_through
基准测试
运行服务基准测试python3 -m sglang.bench_serving --model deepseek-ai/DeepSeek-V4.1-Flash \
--served-model-name llm --host 127.0.0.1 --port 9090 --backend sglang-oai \
--dataset-name generated-shared-prefix \
--num-prompts 256 --gsp-num-groups 1 --gsp-prompts-per-group 256 \
--gsp-system-prompt-len 61440 --gsp-question-len 4096 --gsp-output-len 500 \
--max-concurrency 24 --warmup-requests 10 --seed 42 --flush-cache --cache-report
GSM8K 准确率
对于两种配置,都使用 PD 路由器上的聊天端点。请在工作进程上启用 --reasoning-parser deepseek-v41 --enable-strict-thinking 该设置。评估器使用五道题作为少样本示例,并对其余 1,314 道题进行评分。
python3 -m sglang.test.run_eval --eval-name gsm8k --api chat --num-examples 1319 \
--host 127.0.0.1 --port 9090 --num-threads 256 --reasoning-effort high
| PD 配置 | GSM8K | 64K 检索 | DSpark tokens / 验证 |
|---|---|---|---|
| TP4 基线 | 96.50% (1,268/1,314) | 10/10 | 5.368 |
| 最终配置 | 96.42% (1,267/1,314) | 10/10 | 5.460 |
AI 热点