←新闻详情

Analytics India Magazine更新于 10月25日 21:51

NVIDIA 扩展 Nemotron 模型家族,新增 Super VL 与两款 Bolt 模型

NVIDIA Expands Nemotron AI Models for Data Centres and Desktop Devices

AI 导读

NVIDIA 为 Nemotron 开源模型家族新增三款模型,覆盖数据中心、桌面与边缘设备的企业工作流、本地 AI 智能体和对话应用。其中包括 1200 亿参数的 Nemotron 3.5 Super VL,NVIDIA 称其吞吐量最高可达同类次优模型的 5 倍,准确率接近其最大推理模型而参数量约为五分之一;另有两款 Nemotron 3.5 Bolt 系列小模型,74B-A9B 24GB 面向 RTX 与 DGX Spark 上的日常智能体任务,E4B 4GB 面向对话与物理 AI 智能体。Super VL 和 Bolt 74B-A9B 已可用,Bolt E4B 计划于 10 月 23 日发布。

推荐理由

AI 评分 72

原文给出三款 Nemotron 新模型的参数、吞吐与本地部署条件,可据此判断开源模型在端侧智能体上的可用性。

主题

标签

正文 · AI 翻译

NVIDIA 宣布为其 Nemotron 开源 AI 模型家族新增三款模型。这些模型面向数据中心、桌面系统和边缘设备上的企业工作流、本地 AI 智能体和对话应用。

此次发布包括 1200 亿参数的 Nemotron 3.5 Super VL,以及 Nemotron 3.5 Bolt 系列下的两款较小模型。

NVIDIA 表示,Super VL 的吞吐量最高可达同类次优模型的 5 倍。Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB 面向本地 AI 工作负载。

Super VL 和 Bolt 74B-A9B 现已可用,而 Bolt E4B 计划于 10 月 23 日发布。

Super VL 支持指令遵循、工具使用、多步骤业务工作流和视觉理解等任务。NVIDIA 表示,该模型的准确率可与其最大的推理模型相媲美,而参数量约为后者的五分之一。

这使组织能够用自有数据定制 Super VL,将其部署在自己的基础设施上,并保持对应用的控制。该模型可以处理网页、PDF、表格和图表,提取信息供 AI 智能体使用。

NVIDIA 与 Nemotron 联盟共同开发了该模型。它在预训练和持续预训练中使用了约 26 万亿个 token 进行训练。随后,公司使用约 380 万个样本和跨数十个环境的强化学习对其进行了后训练。

Nemotron 3.5 Bolt 74B-A9B 24GB 专为 NVIDIA RTX 系统和 DGX Spark 上的日常 AI 智能体任务而设计。它采用 2 位量化,以适配 24GB 内存并与其他应用同时运行。

用户可以将该模型用于网络研究、写作和代码调试等任务,而无需将工作负载发送到云端。NVIDIA 表示,该模型在 PinchBench 上位列同类开源模型第一,在 BrowseComp 上位列第二。

较小的 Nemotron 3.5 Bolt E4B 4GB 面向对话式和物理 AI 智能体。NVIDIA 为其设计了 GeForce RTX、Jetson 和 RTX/DGX Spark 系统。它支持本地语音助手、交互式角色和嵌入式界面。

NVIDIA 表示,Scale AI 已为该模型针对 Skydance 的供应商信贷融资智能体和 EY 的并购尽职调查智能体进行了后训练。

其他应用包括为 Hebbia 进行信贷协议分析、通过 AI21 和 Alice 实现网络安全,以及通过 Mercor 进行编程。Ramp 正在为该模型定制金融文档智能功能,而 Lila Sciences 则将其用于科学发现和搜索。

软件公司也在将 Super VL 集成到其产品中。Atlassian 正在探索跨 Jira 和 Confluence 的智能体搜索,而 CrowdStrike 正在为其定制企业安全运营功能。

Perplexity 正在集成该模型以用于搜索和 AI 智能体任务。

NVIDIA 表示,组织可以根据其安全和数据驻留要求部署 Super VL。该模型包含开放权重、数据集和训练配方。开发者可以通过 NVIDIA NeMo 和基于 Python 的流水线对其进行定制。

Super VL 可通过 Hugging Face、OpenRouter、ModelScope 社区和 NVIDIA NIM 获取。Bolt 74B-A9B 模型也可在 Hugging Face 上获取,并支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。

来源

Analytics India Magazine