NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB 开源小模型
NVIDIA Releases Nemotron 3.5 Bolt E4B 4GB: An Open Small Language Model for Local Voice Agents, Game Characters and Robots - MarkTechPost
NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB 开源小语言模型，面向本地语音助手、游戏 NPC 和机器人界面，基于 Google Gemma 4 E4B 仅用强化学习后训练。模型为 8B 总参数、4B 有效参数、64K 上下文，Q4_K_M 版本在 RTX 上占用 3.1 至 4.3 GB 显存，可在 GeForce RTX、Jetson 和 DGX Spark 上运行。NVIDIA 自测在 21 项基准中 15 项领先 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B，但 Tau2-Bench 为 55.1，落后 Qwen3.5-4B 的 75.1。
推荐理由
AI 评分 70
原文给出小模型在本地设备上的显存占用、速度与基准胜负，便于判断端侧智能体的实际取舍。
主题
正文 · AI 翻译
在 Google 上添加为首选来源
NVIDIA 刚刚发布了 Nemotron 3.5 Bolt E4B 4GB，这是一款面向快速对话智能体的开源小语言模型。它面向在 RTX、Jetson 和 Spark 硬件上本地运行的语音助手、游戏 NPC 和机器人界面。该模型基于 Google 的 Gemma 4 E4B，仅通过强化学习进行后训练。对开发者而言，这意味着在约 4GB 显存中实现智能体行为。这还为语音和视觉模型留出了空间。
TL;DR
规模：8B 总参数，4B 有效参数，64K 上下文。
运行平台：GeForce RTX、Jetson、RTX Spark 和 DGX Spark。在 NVIDIA 测试中，Q4_K_M 版本在 RTX 上占用 3.1 至 4.3 GB 显存。
性能：在 21 项基准测试中，有 15 项得分最高，对比对象为 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B（NVIDIA 实测）。
最佳：IHEval 84.8，而 Gemma 4 E4B 为 67.0，Qwen3.5-4B 为 60.6。
最差：Tau2-Bench 55.1，落后 Qwen3.5-4B 的 75.1 约 20 分。
什么是 Nemotron 3.5 Bolt E4B？
Nemotron 3.5 Bolt E4B 是 NVIDIA 推出的一款小语言模型，用于驱动本地对话智能体。它结合了自然对话与多轮工具调用。NVIDIA 列出了 3 类目标工作负载：设备和语音助手、交互式角色，以及嵌入式或工业智能体。
TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助
研究报告展示了一台运行在 Jetson Orin Nano 8GB 上的 Reachy Mini 机器人。在该演示中，Cosmos 3 Edge 负责视觉，而 Bolt 负责语音回复和工具调用。NVIDIA 团队还将 Bolt 称为面向 NVIDIA ACE 游戏角色的第三代小模型。
发布文章中的核心特性：
多轮工具使用，并提供异步工具调用的指导。
conversational_mode 标志，用于生成简短、适合语音的回复。
可配置推理，以及用于限制延迟的运行时思考预算。
64K 上下文，用于历史记录、工具定义和应用状态。
Bolt E4B 是如何训练的？
NVIDIA 完全跳过了监督微调。根据研究报告，SFT 改善了工具调用，但损害了 Gemma 的对话质量和简洁性。相反，研究团队通过 NeMo-RL 和 NeMo-Gym 使用了 RLVR 和 RLHF。
每个训练样本都在推理和非推理两种模式下运行。每个批次保持非推理样本与推理样本 2:1 的比例。GenRM 环境中的长度惩罚阻止了答案在训练期间变长。数据集和完整配方均已公开。
为便于部署，NVIDIA 使用重要性矩阵校准将 BF16 检查点量化为 Q4_K_M。校准使用了约 100 万 token 的 RL rollout。该版本还附带用于推测解码的 DFlash 草稿模型。在 RTX 5070 上，搭载 DFlash 的 Bolt 达到 272.6 tokens/s。搭载其 MTP 草稿模型的 Gemma 4 E4B 达到 225.9 tokens/s，因此 Bolt 快 1.21 倍。
Nemotron 3.5 Bolt E4B 在基准测试中表现如何？
NVIDIA 将 21 项基准测试归入 5 个能力领域。此处所有分数均为 BF16，由 NVIDIA 在其自有 NeMo-Gym 测试框架中测得。在推理模式下，Bolt 在 21 行中的 15 行领先。
NVIDIA 还报告称，其平均分数比 Nemotron 3 Nano 4B 高出约 40%。在启用推理的对比中，其声称输出 token 最多减少 80%。另外，根据一条 X 帖子，Scale Labs 将 Bolt 在 MultiChallenge 上列为小模型第一名，得分为 56.03%。
Bolt 并非在所有方面都获胜。Qwen3.5-4B 在 Tau2-Bench（75.1 对 55.1）和 RULER 64K（95.1 对 87.0）上领先。它还在 LongBench v2（59.9 对 50.5）和 BFCL-v3（70.9 对 68.5）上领先。Gemma 4 E4B 在 EQ-Bench v3 上保持微弱优势（41.1 对 39.4）。
Bolt E4B 与其他小模型相比如何？
特性Nemotron 3.5 Bolt E4BGemma 4 E4BQwen3.5-4BNemotron 3 Nano 4B
参数8B 总参数，4B 有效参数8B（含嵌入），4.5B 有效参数4B（语言模型）3.97B
架构Gemma 4 E4B，经 RL 后训练稠密模型，带逐层嵌入门控 DeltaNet + 注意力混合Mamba-2 + Transformer 混合
上下文64K128K262K262K
许可证OpenMDW-1.1Apache 2.0Apache 2.0NVIDIA Nemotron 开放模型许可证
输入文本（卡片）；NIM 还接受图像和音频文本、图像、音频文本、图像、视频文本
IHEval*84.867.060.651.3
MultiChallenge*53.142.151.835.3
Tau2-Bench*55.138.575.129.2
RULER 64K*87.086.595.191.5
可用性开放权重；build.nvidia.com 上提供免费 API开放权重开放权重开放权重
*基准测试行为 NVIDIA 在 Bolt 发布文章中测得的 BF16 分数。厂商报告的分数有所不同。
它能在什么硬件上运行？
NVIDIA 使用 llama.cpp 在批大小为 1 的情况下测量了 Q4_K_M 版本。以下数据使用 3K 输入和 50 个输出 token。
设备显存（GB）首 token 时间（毫秒）Tokens/s
RTX 5070（12GB）3.5548133.4
RTX Spark（32GB）3.193067.0
Jetson AGX Orin（32GB）4.23,68724.0
Jetson Orin Nano（8GB）4.25,78515.5
“4GB”标签描述的是目标内存范围，而非文件大小。Hugging Face 上的 Q4_K_M GGUF 为 6.18 GB。
Bolt 已在 Hugging Face、Ollama、LM Studio、Unsloth 和 Jetson AI Lab 上提供。它还以 NVIDIA NIM 形式发布，并通过游戏内推理 SDK 提供。
要点
Gemma 4 E4B，由 NVIDIA 仅用 RL 后训练，无 SFT。
在 NVIDIA 自有测试框架中，于 21 项智能体基准测试中的 15 项领先。
IHEval 84.8 是突出亮点；Tau2-Bench 55.1 是薄弱环节。
“4GB”是显存目标；GGUF 文件为 6.18 GB。
开放权重、数据和配方，采用 OpenMDW-1.1。
Asif Razzaq网站 | + 文章简介 ⮌
Asif RazzaqMoonshot AI 发布 Kimi K3.1 Pro：2.8T 总参数/104B 激活参数（MoE）模型，支持 1M 上下文
Asif RazzaqYou.com 推出推理路由器：12 个开放权重模型，提供 99.9% 正常运行时间 SLA
$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助
相关文章更多来自作者
Moonshot AI 发布 Kimi K3.1 Pro：2.8T 总参数/104B 激活参数（MoE）模型，支持 1M 上下文
You.com 推出推理路由器：12 个开放权重模型，提供 99.9% 正常运行时间 SLA