请旋转您的设备
要继续浏览本网站,请将您的设备旋转至竖屏方向
NewsBaseten 加入 NVIDIA Nemotron Coalition,推动定制 AI 落地生产我们正在扩大与 NVIDIA 的合作,帮助企业定制、部署和扩展开放模型,以用于生产级 AI。
作者
Charles O'Neill
Mudith Jayasekara
Ardin Lo日期:2026年11月5日
Baseten 已加入 NVIDIA Nemotron Coalition,扩大了我们与 NVIDIA 的合作,以推进开放前沿模型并加速企业 AI 的采用。
我们正携手帮助企业超越通用 AI,转向针对其特定业务需求定制的模型。我们的合作涵盖模型 day-zero 发布、强化学习(RL)环境、后训练专业能力与基础设施,以及高性能专用推理。通过将模型开发与真实生产环境相连接,我们旨在提升模型质量、成本效率和部署灵活性。
通过该联盟,Baseten 将贡献来自企业工作负载的洞察以及后训练和推理方面的专业能力,以帮助推进 NVIDIA Nemotron——NVIDIA 的开放模型系列——以及更广泛的开源生态。
我们的合作已覆盖多个 Nemotron 版本。Baseten 是 Nemotron Super 3.5 VL 和 Nemotron 3 Ultra 的 day-zero 发布合作伙伴。我们还为 Harvey(领先的法律 AI 平台)和 CodeRabbit(AI 驱动的代码审查平台)等客户提供早期模型访问、定制以及在 Baseten 上的部署支持。
基于 Nemotron,通过面向生产的后训练持续构建
企业 AI 需要的不仅仅是在通用基准上的强劲表现。模型必须可靠地遵循复杂指令、进行多步推理、高效使用工具,并在特定领域要求内运行。
指令遵循成为 Nemotron 的一个重要机会。真实应用会在系统提示和工具定义中附带详细指令,并在用户消息、工具响应和错误消息中嵌入后续要求。
为应对这些挑战,Baseten 开发了直接针对这一点的 RL 环境,教会模型遵循复杂的指令层级、忽略无关信息,并遵循详细的风格偏好。
我们还构建了用于长时程推理和规划的环境,包括复杂生物数据集的统计分析、数学定理证明和竞技类游戏。这些环境旨在通过其内在结构而非人为复杂性来挑战最先进的模型。
我们的工作还延伸到多模态推理。基于我们在 前沿模型视觉适配器训练方面的研究,我们构建了视觉和空间推理任务,包括需要真实视觉理解的多轮工具调用场景。
我们为 Nemotron 3 Ultra、 GLM-5.2 和 GLM-5.3训练了视觉适配器 。在这些环境中进行后训练后,模型在MMMU-Pro (一个评估专家级多模态推理的基准)上取得了显著提升。将开放模型转化为生产就绪的企业 AI
在 Baseten,我们帮助企业将开放模型转化为满足其在质量、性能和成本方面特定要求的 AI 应用。
通过结合模型
训练 、Baseten Inference Stack 以及实操工程专业能力,我们使团队能够提高特定任务的准确性,同时优化推理延迟和成本。开放模型让企业对自身的 AI 改进拥有更大的控制权。组织可以基于专有数据进行训练、依据业务特定要求进行评估、保留对模型改进的所有权,并选择部署方式和位置。
我们与 NVIDIA 的合作有助于将这些能力整合在一起,将 Nemotron 的开放模型基础与在生产环境中运行定制 AI 所需的工具、基础设施和专业能力相连接。
CodeRabbit:借助 Nemotron 改进代码审查路由
CodeRabbit 展示了有针对性的后训练如何转化为可衡量的生产收益。
CodeRabbit 与 NVIDIA 和 Baseten 合作,使用
NVIDIA NeMo 工具在 Baseten Training 上进行监督微调和 RL,为代码审查路由定制了 Nemotron 3.5 Lightning。.
在 1,000 个任务的固定评估中,与 CodeRabbit 路由策略的一致率从 75.8% 提升至 80.7%。CodeRabbit 还在饱和吞吐下实现了推理成本降低 50.4%。
这些结果说明了将开放模型定制与优化推理相结合的价值:在提升特定任务性能的同时,降低大规模服务该模型的成本。
Harvey:支持 AI 驱动的法律工作流
Harvey 是一家领先的法律 AI 平台,在 Baseten 上对 NVIDIA Nemotron 进行后训练,以支持每天服务数万名律师的专业法律 AI 工作流。
这项工作说明了开放模型定制如何帮助满足特定领域的企业需求。
将合作扩展到语音 AI
我们与 NVIDIA 的工程合作还延伸到语音 AI,在该领域,模型准确性、响应速度和推理效率对实时应用至关重要。
我们的团队正在合作开发由 Nemotron 驱动的语音智能体,评估完整应用中的模型质量和响应速度。
Baseten 还支持 Nemotron 3.5 ASR Streaming 用于实时语音识别。在我们 发布的基准测试中,单块 NVIDIA Hopper GPU 通过 WebSocket 可维持多达 100 路并发实时音频流。
这项工作帮助企业在构建响应迅速的语音应用的同时,保持对推理性能和运营成本的控制。
下一步:从模型定制到生产部署
我们正在继续扩展客户在 Baseten 上定制、评估和部署 Nemotron 模型的方式。
Baseten Loops 将托管式强化学习工作流与部署到专用推理(Dedicated Inference)相连接,帮助团队在统一平台内从模型改进走向生产服务。客户保留对其训练所得模型权重的所有权,从而能够灵活地基于自身领域专长进行构建,并持续改进其模型。
Baseten Loops 支持 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra。Nemotron 3.5 Super VL 同时提供 BF16 和 NVFP4 训练版本。
通过 NVIDIA Nemotron Coalition,我们期待在模型开发、后训练和推理方面深化合作,帮助企业将开放模型的灵活性转化为可衡量的商业价值。
准备好使用 Nemotron 进行构建了吗?立即从我们的 模型库 部署,或开始 在 Loops 上进行后训练 。