‹ 返回博客

硬件、模型和基础设施领域的领军者加入 SGLang 维护者行列,共同推进高效推理,服务不断壮大的 AI 生态

SGLang Consortium founding members and LMSYS Org

旧金山,2026年11月12日 — LMSYS Org, the nonprofit behind the open-source AI engine SGLang, today launched the SGLang Consortium with founding members NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal and RadixArk, who will work with SGLang’s maintainers to help shape the project’s roadmap and advance open-source AI inference. The consortium was announced in the opening keynote of the inaugural SGLang Summit in San Francisco.

开放 AI 推理的共享论坛

据 Deloitte称,2026 年推理预计将占全部 AI 算力的约三分之二,高于 2025 年的约一半。推理引擎决定了这些算力在各公司硬件上运行的速度和成本效益。SGLang 是面向前沿 AI 的全栈推理引擎,也是 PyTorch 生态的一部分,运行在数十万块 GPU 上,为全球一些规模最大的生产推理部署提供支持,服务对象包括 Meta、Microsoft、Google、Amazon、Thinking Machines Lab、Cloudflare、Reflection 和 Modal 等公司。

该联盟为其成员提供了一个常设论坛,与 SGLang 维护者讨论新兴推理趋势,并将共同优先事项转化为联合工程工作,重点聚焦前沿模型支持、推理与多模态负载、分布式推理和硬件优化。每位创始成员将指派一名技术代表,并每年参加两次路线图会议,通过工程专业知识、部署反馈、测试资源或联合开发作出贡献。工作组可在会议之间开展协作,并公开更新路线图方向和进展。SGLang 维护者仍负责技术决策和代码合入,项目继续对整个社区开放。

“以最大规模运行 SGLang 的团队比任何人都更早看到推理下一步需要什么,”SGLang 原始论文合著者、RadixArk 联合创始人兼 CEO 盛颖代表 SGLang 团队表示。“面对建设新数据中心的挑战,通过软件方法提升 AI 效率将极其重要。这些经验将惠及每一位 SGLang 用户,并推动 AI 生态发展。”

“NVIDIA 很自豪成为 SGLang 联盟的创始成员,并与社区合作推进开放推理软件,”NVIDIA 超大规模与高性能计算副总裁 Ian Buck 表示。“更好的软件帮助开发者从 NVIDIA 算力中获得更高性能。开放模型使他们能够构建新的应用和业务。更低的推理成本让各地组织更容易使用 AI。”

在首届 SGLang Summit 上发布

该联盟在首届 SGLang Summit 的开幕主题演讲中宣布成立。这是首个专门面向 SGLang 及其开源社区的会议,于11月12日至13日在旧金山 Fort Mason 艺术与文化中心举行。来自 AI 硬件、模型、基础设施和应用领域的100多位演讲者参与其中。会议涵盖 SGLang 在强化学习、多模态模型和硬件平台方面的生态。

峰会详情见 LMSYS Org 的 10月28日公告.