AI News

热点事件

NVIDIA NIM认证微服务改用SGLang推理引擎

1 篇正式报道1 条事件动态更新于 11月13日 08:00

先了解这件事

AI 综述

2026年11月13日,LMSYS Blog发布文章称,SGLang现已驱动NVIDIA NIM Certified微服务,企业可通过经过验证的容器、针对受支持模型和GPU的优化配置以及NVIDIA AI Enterprise支持来采用SGLang的推理能力。文章介绍,NIM的验证覆盖超过30个NVIDIA硬件SKU和超过37个热门模型,并基于SGLang的Unified Radix Cache与Breakable CUDA Graph等能力进行工作负载调优。企业支持为可选项,需有效的NVIDIA AI Enterprise订阅。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

SGLang 与 NVIDIA NIM:共同推进企业级推理

事件进展

1 个已确认进展

  1. NVIDIA NIM认证微服务改用SGLang推理引擎

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月13日

  1. LMSYS Blog一手

    SGLang 与 NVIDIA NIM:共同推进企业级推理

    SGLang 现已驱动 NVIDIA NIM Certified 微服务,企业可通过经过验证的容器、针对受支持模型和 GPU 的优化配置以及 NVIDIA AI Enterprise 支持来采用 SGLang 的推理能力。NIM 的验证覆盖超过 30 个 NVIDIA 硬件 SKU 和超过 37 个热门模型,并基于 SGLang 的 Unified Radix Cache 与 Breakable CUDA Graph 等能力进行工作负载调优。企业支持为可选项,需有效的 NVIDIA AI Enterprise 订阅。

关联事件

  1. 相关事件百度文心发布ERNIE 5.5 Flash Preview
  2. 相关事件OpenAI介绍OpenClaw常驻智能体安全控制
  3. 相关事件Mastra推出私有模型网关
  4. 相关事件Block开发开源协作空间Buzz