NVIDIA Nemotron 3.5 Lightning 上线 Ollama
2026年8月11日,NVIDIA Nemotron 3.5 Lightning 在 Ollama 上线,可完全在本地设备运行。据 Ollama Blog 介绍,该模型为 30B 总参数、每 token 仅 3B 激活的开放模型,采用混合 MoE 架构,支持最高 1M token 上下文,面向读取文件、调用工具、整理结果和失败重试等持续运行的智能体任务;官方称其吞吐量比同类开放模型高 4 倍,任务完成时间快 30%,并针对 Apple silicon 提供 nemotron-3.5-lightning:30b-mlx 版本。同日,SGLang 宣布为该模型提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署;据 LMSYS Blog 介绍,该模型从 Nemotron 3 Ultra 蒸馏而来,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度,权重已在 Hugging Face 提供 BF16 和 NVFP4 版本。
2026年8月11日,NVIDIA Nemotron 3.5 Lightning 在 Ollama 上线,可完全在本地设备运行。据 Ollama Blog 介绍,该模型为 30B 总参数、每 token 仅 3B 激活的开放模型,采用混合 MoE 架构,支持最高 1M token 上下文,面向读取文件、调用工具、整理结果和失败重试等持续运行的智能体任务;官方称其吞吐量比同类开放模型高 4 倍,任务完成时间快 30%,并针对 Apple silicon 提供 nemotron-3.5-lightning:30b-mlx 版本。同日,SGLang 宣布为该模型提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署;据 LMSYS Blog 介绍,该模型从 Nemotron 3 Ultra 蒸馏而来,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable thinking 与 thinking budget 控制推理开关和深度,权重已在 Hugging Face 提供 BF16 和 NVFP4 版本。
匹配字段摘要
