先了解这件事
2026年8月11日,NVIDIA Nemotron 3.5 Lightning 在 Ollama 上线,可完全在本地设备运行。据 Ollama Blog 介绍,该模型为 30B 总参数、每 token 仅 3B 激活的开放模型,采用混合 MoE 架构,支持最高 1M token 上下文,面向读取文件、调用工具、整理结果和失败重试等持续运行的智能体任务;官方称其吞吐量比同类开放模型高 4 倍,任务完成时间快 30%,并针对 Apple silicon 提供 nemotron-3.5-lightning:30b-mlx 版本。同日,SGLang 宣布为该模型提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署;据 LMSYS Blog 介绍,该模型从 Nemotron 3 Ultra 蒸馏而来,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度,权重已在 Hugging Face 提供 BF16 和 NVFP4 版本。
AI 根据公开报道生成
事件进展
2 个已确认进展
- 来源：Ollama Blog
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月11日
Ollama Blog一手精选
NVIDIA Nemotron 3.5 Lightning 上线 Ollama，30B 参数本地运行
NVIDIA Nemotron 3.5 Lightning 已在 Ollama 上线，可完全在本地设备运行。这是一个 30B 总参数、每 token 仅 3B 激活的开放模型，采用混合 MoE 架构，支持最高 1M token 上下文，面向持续运行的智能体任务，如读取文件、调用工具、整理结果和失败重试。官方称其吞吐量比同类开放模型高 4 倍，任务完成时间快 30%，并针对 Apple silicon 提供 nemotron-3.5-lightning:30b-mlx 版本。
LMSYS Blog一手精选
SGLang 为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持
SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型，每 token 仅激活 3B 参数，支持 MTP、DFlash、DSpark 三种投机解码，并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本，官方称其在相近准确率下完成智能体任务最多快 30%。