Baseten 发布 2B 开源权重决策模型 joey-1

Baseten 于 2026 年 10 月 29 日发布 joey-1，这是一款由其内部研究实验室 Base Labs 开发的 2B 参数决策模型，定价为每百万 token 0.01 美元，可通过 Baseten Model APIs 使用，并在 Hugging Face 上以开放权重形式提供。

随着 joey-1 的推出，Base Labs 决策模型系列现已覆盖三种规模。此次发布将新模型与 10 月 21 日系列发布中的 mammoth-1（27B）和 elephant-1（9B）并列。在早前的发布中，Baseten 将 mammoth-1 描述为 Jev Decision Index 上 208 个决策模型中排名最高的模型，将 elephant-1 描述为领先的 9B 决策模型。这三款模型均基于相同的数据混合训练，并共享同一 API，公司表示这使得在它们之间切换只需改动一行代码。Baseten 将 mammoth-1 定位为适用于准确性最重要的决策场景，elephant-1 作为均衡的默认选择，而 joey-1 则面向高吞吐量、对延迟敏感的工作负载。

与生成式 LLM 不同，决策模型不生成文本。它在一次前向传播中返回一个标签及该标签的置信度分数，所有可能答案的分数之和为 1。给定一个状态——文本，可选附带图像——以及一组问题，joey-1 通过一次共享前缀预填充为每个选项返回校准后的概率。该模型支持三种问题类型：是/否、在命名选项中选择，以及有序评分等级。Baseten 早前的系列文章列出了决策模型的使用场景，包括工单分类与路由、垃圾邮件和钓鱼检测、提示词护栏与越狱检测，以及在小型和前沿 LLM 之间路由请求。

Baseten 表示，当决策量足够高、每次调用成本决定项目经济性时，或者当决策是另一步骤的前提且其延迟会叠加到每个响应上时，将 LLM 工作负载迁移到 joey-1 是值得的。举例来说，每月对 1000 万张支持工单进行分类，每张约 500 token，总计 50 亿 token，公司定价显示在 joey-1 上每月约 50 美元，而在 mammoth-1 上为 500 美元。Baseten 将 joey-1 描述为一线模型，当 joey-1 不确定时，可将 elephant-1 或 mammoth-1 等更重的模型作为升级路径。

报告的延迟与基准测试结果

Baseten 报告称，在生产规模下，joey-1 处理平均 2000 token 请求的 P50 端到端延迟为 20 毫秒，比 elephant-1 的 49 毫秒快约 2.5 倍，并将该模型描述为比同类决策模型快 5 倍。公司表示，在其内部测试中（细节即将公布），joey-1 是参数不超过 3B 的最强决策模型。

模型卡报告称，joey-1 在 Jev Decision Index 0.4 公开分榜上得分为 63.30，在 230 个模型中位列第 37 名，并创下该分榜上 4B 以下参数模型中的最高分。模型卡的公开分榜表格列出 elephant-1 为 72.24、Cloudflare Clef 为 61.71、Jev 1.14 为 60.70、Perplexity Decider Flash v1.2 为 60.06。根据模型卡，joey-1 在每个评估领域均低于 elephant-1，并在五个领域中的四个高于 Jev 1.14：语言、工具与自动化、检索与分类，以及艺术与人类品味。

在 Base Labs 对 Artificial Analysis Decision Index 的内部复刻版本上，模型卡报告 joey-1 为 62.9，落后于 mammoth-1 的 65.9、elephant-1 的 65.2 和 d1-ultra 的 65。Baseten 的模型库页面指出，在 2026 年 10 月发布时，joey-1 是 Jev Decision Index 0.4 上排名最高的 2B 模型。

训练数据与配方

根据模型卡，joey-1 基于 Qwen3.5-2B 进行后训练，使用与 elephant-1 和 mammoth-1 相同的数据混合和配方，并通过 Baseten Training Jobs 运行。该过程是对语言模型在文本和图像决策上进行全量微调，视觉编码器保持冻结，在全注意力层上使用块双向注意力掩码，最大序列长度为 16,384 token。

训练数据集包含 621 万个决策示例，混合比例被实验室称为 Mix 8：58.3% 核心决策技能、16.1% 安全与弃权、16.1% 评判与专家领域，以及 9.5% 公开决策数据。训练目标将交叉熵与 Brier 校准项结合，lambda 设为 1，并包含一个训练过的“我不知道”选项，用于模型对其答案不确定的情况。该配方运行了一个 epoch，共 43,390 步，峰值学习率为 1e-5，使用 AdamW 优化器，beta 值为 0.9 和 0.95，无权重衰减，3% 预热，余弦衰减，bf16 精度，跨两个节点、每个节点八块 H100 GPU，共 16 块 GPU。

可用性、定价与部署

joey-1 已通过 /v1/systemone 端点上线 Baseten Model APIs，模型 ID 为 decision-models/baseten-joey-2b-latest，默认开启零数据保留。标价显示为每百万输入 token 0.01 美元，缓存输入和输出标价为 0.00 美元。系列定价表列出 elephant-1 为每百万 token 0.035 美元，mammoth-1 为 0.1 美元，公告将 joey-1 的价格描述为 mammoth-1 的十分之一。

在 Model APIs 上，决策模型支持 16k 上下文窗口，并针对低延迟工作负载进行了优化。专用部署可解锁完整的 262k 上下文窗口，并支持微调后的权重；Baseten 表示，通过针对工作负载的优化以及与 LLM 工作负载的同址部署，专用部署还可提供更快的 TTFT 和 TPS（首 token 时间和每秒 token 数）。elephant-1 和 joey-1 可在 Baseten Training Jobs 上进行后训练，公司已在 GitHub 上发布了微调指南。

权重以 MIT 许可证开放。对于自托管，模型卡的安装脚本会安装固定版本的服务运行时 OneJev 及一个服务补丁，并需要一块 CUDA GPU。模型卡指出，超过训练长度限制的请求会被拒绝，而不是被截断。