‹ 返回博客

SGLang 现已驱动 NVIDIA NIM 认证 微服务。这个开源推理引擎集高性能、广泛的模型支持和持续推动推理技术前进的开发者社区于一身。它已在大规模生产部署中得到验证。

随着 NVIDIA NIM 认证 微服务现已构建在 SGLang 之上,NVIDIA 让企业更容易采用 SGLang 的服务创新,提供经过验证的容器、针对受支持模型和 GPU 的优化配置,以及通过 NVIDIA AI Enterprise 提供的企业支持。 参考: SGLang 文档, 认证 NIM 目录

NVIDIA NIM based on SGLang: NIM adds validated containers, curated deployment profiles, security maintenance and enterprise support on top of the SGLang inference engine

此次合作将互补的工程优势汇聚于一个共同目标:帮助开发者从其 AI 基础设施中获得更多价值。SGLang 推进推理引擎的发展,并让开发者能够广泛控制模型的运行方式。NVIDIA NIM 团队在此基础上构建,将这些能力转化为企业团队可以放心配置、运营和维护的部署方案。

SGLang 的广度是一个重要的起点。它对多种模型和硬件平台的支持,让开发者在应用演进过程中拥有灵活性。NIM 则围绕精选的热门模型和客户实际部署的 NVIDIA 硬件,增加了有针对性的验证工作。在整个 NIM 计划中,验证覆盖超过 30 个 NVIDIA 硬件 SKU 和超过 37 个热门模型,帮助用户找到可靠的部署路径。

这种验证将兼容性与实际部署决策联系起来。开发者需要知道哪些配置已针对其模型经过测试、需要哪种硬件,以及可以预期怎样的性能。NIM 记录了经验证的配置和优化配置档案,为团队提供具体的部署起点。 参考: NIM 支持矩阵

性能是此次合作的另一个核心部分。SGLang 通过 Unified Radix Cache 和 Breakable CUDA Graph 等能力提供高性能基础。NIM 在此基础上,针对用户工作负载对选定模型和配置进行调优。目标是让强劲的每 GPU 每秒 token 数性能在用户实际部署的配置中触手可及。 参考: SGLang 文档, NIM 性能验证

实现这一目标需要关注工作负载。交互式助手与批量生成服务有着不同的延迟要求,而处理长文档的应用与生成长回复的应用对系统提出的需求也不同。NIM 针对特定工作负载的调优和打包配置档案,有助于将引擎能力转化为有用的部署选择。对于受支持的特定模型产品,用户可以从精选设置和硬件感知的配置档案选择入手。 参考: NIM 模型配置档案

How SGLang Cookbook recipes become validated NIM profiles: engine defaults, existing NIM profiles and SGLang Cookbook feed an optimization search, producing validated NIM profiles and containers, with findings contributed upstream

同样的方法也适用于开发者体验。SGLang 的灵活性为工程师留出了探索模型行为、服务特性和运行时配置的空间。NIM 开发者利用这种灵活性,为受支持的配置打造开箱即用的体验,同时为有特殊需求的团队保留对引擎设置的访问。用户获得更简单的起点,并随着需求日益复杂而拥有自定义的空间。 参考: NIM 配置文档

SGLang 还为生产服务提供了成熟的基础。NIM 在此基础上增加了企业安全维护,包括漏洞扫描和修复,以及经过验证的版本和通过 NVIDIA AI Enterprise 提供的支持。这种持续维护帮助企业团队在整个部署生命周期内管理软件。企业支持为可选项,需有效的 NVIDIA AI Enterprise 订阅. 参考: NIM 企业能力, NIM 支持服务

展望未来,更紧密的合作可以增强两个项目。企业验证可以在更广泛的硬件和工作负载中发现潜在问题。性能调查可以识别共享优化的机会。用户体验可以帮助指导配置、可观测性和部署工作流的改进。将这些发现和改进贡献到上游,将把它们的价值扩展到更广泛的 SGLang 社区。

认证 NIM 为这种持续合作提供了基础:扩大经过验证的模型覆盖范围,让新的 SGLang 能力更容易被采用,并将企业部署的经验带回开源开发中。