先了解这件事
AI 综述
2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Modal 用一个 Python 字典将 SGLang 多模态推理性能提升超 10%事件进展
1 个已确认进展
- 来源：Modal 官方工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月4日
Modal 官方工程博客一手
Modal 用一个 Python 字典将 SGLang 多模态推理性能提升超 10%
Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时，发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda，造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache，避免重复打开共享内存句柄，使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。