Baseten 加入 NVIDIA Nemotron 联盟，贡献后训练与推理经验

Baseten 于 2026 年 11 月 5 日宣布，其已加入 NVIDIA Nemotron 联盟，将来自企业工作负载的洞察以及后训练和推理方面的专业知识贡献给开放模型开发。此次加入扩大了其与 NVIDIA 在模型发布、强化学习、定制和专用推理方面的合作。

NVIDIA 于 2026 年 3 月 16 日发起该联盟，旨在围绕开放前沿模型汇聚研究、专业知识、数据和算力。NVIDIA 的发起公告称，首个项目将是由 Mistral AI 与 NVIDIA 共同开发的基础模型，在 NVIDIA DGX Cloud 上训练，作为开源发布供开发者和组织进行专业化定制，并用作即将推出的 Nemotron 4 系列的基础。

Baseten 是 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra 的首日发布合作伙伴。其在联盟中的角色不仅限于为成品模型提供服务，还延伸到训练环境和由企业使用塑造的运营知识。实际重点是根据特定业务需求进行定制，并将部署质量、成本和灵活性视为相互关联的问题。

面向生产工作负载的训练

该公司为复杂的指令层级开发了强化学习环境，包括忽略无关信息和遵循详细的风格偏好。其他环境通过复杂生物数据集的统计分析、数学定理证明和竞技类游戏来应对长时程推理与规划。这些任务针对的是生产指令通过系统提示、工具定义、用户追问、工具响应和错误消息传达的方式。

其多模态工作增加了视觉与空间推理任务，以及需要视觉理解的多轮工具调用。Baseten 报告称，后训练在专家级多模态推理基准 MMMU-Pro 上改善了结果。2026 年 10 月 5 日提交的一篇相关论文描述了一个 5000 万参数的投影器，将 Kimi K2.6 的视觉编码器连接到 GLM 5.2 和 GLM 5.3，同时保持预训练权重固定，并在 MMMU-Pro 和 BLINK 上进行了评估。

实测的定制结果

CodeRabbit 于 2026 年 8 月 11 日发布的研究报告描述了与 NVIDIA 和 Baseten 合作的一个项目，该项目通过监督微调后接带可验证奖励的强化学习，为代码审查路由定制了 Nemotron 3.5 Lightning。在一个冻结的 1000 任务评估中，精确路由一致率从基线的 75.8% 提升至监督微调后的 80.4%，再提升至奖励训练后的 80.7%。Cohen's kappa 是衡量超出随机水平的一致性的指标，从 0.429 升至 0.461，再升至 0.544。

CodeRabbit 将最终 0.3 个百分点的路由一致率变化视为非退化，而非统计上决定性的改进，因为其配对置信区间跨越了零。其服务对比估计，在饱和吞吐量下成本降低了 50.4%：同一评估在基线模型上花费 2.34 美元，在单个 Baseten A100 上花费 1.16 美元。持续负载和生产流量检查留待后续阶段进行。

Harvey 提供了另一个不同的定制案例。Baseten 报告称，该法律 AI 平台在 Baseten 上对 Nemotron 进行后训练，以支持每天服务数万名律师的专业化工作流。Harvey 与 Baseten 于 2026 年 9 月 8 日分别发表的研究将并购数据室加载到 Python 环境中，并让根代理将受限审查委托给子代理。Harvey 报告称，在 50 个留出数据室上对七个模型进行测试，该框架将平均评分标准通过率从 23.3% 提升至 62.4%。

Harvey 的报告还称，在 Qwen3.5-122B-A10B 根模型上进行强化学习，使其在这 50 个数据室上的通过率从 29.9% 提升至 63.0%，同时将这些实验描述为初步探索，并表示距离接近完美的通过率仍有很大差距。

部署与语音 AI

Baseten Loops 将托管式强化学习工作流与专用推理连接起来，同时客户保留对其训练模型权重的所有权。Loops 支持 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra，其中 Super VL 可用于 BF16 和 NVFP4 训练。

两家公司还在评估跨完整应用的 Nemotron 驱动语音代理，包括模型质量和响应速度。Baseten 于 2026 年 8 月 4 日发布的语音识别基准报告称，一块 NVIDIA H100 最多可维持 100 路并发实时 WebSocket 音频流。最终化延迟，即从说话者说完到最终转录文本就绪的时间，从八路流时的 98 毫秒上升至 100 路流时的 138 毫秒。

Baseten 的联盟成员身份将模型适配与用于服务所得模型的基础设施连接起来。客户成果为该做法提供了具体证据，而 CodeRabbit 的饱和吞吐量估计和尚未完成的生产检查，以及 Harvey 的早期实验，则界定了其局限。核心问题是，所测得的增益在持续生产使用下能保持多好。