一周前，我们发布了 mammoth-1（27B）和 elephant-1（9B），它们是各自规模中排名第一的决策模型。今天，我们新增了 joey-1，这是我们最快、最便宜的模型。
作者
Max KirkbyCharles O'Neill发布于
2026 年 10 月 29 日
分享
发布于
2026 年 10 月 29 日
TL;DR八天前，我们发布了 mammoth-1（27B）和 elephant-1（9B），它们是排名第一的决策模型。今天，我们新增了 joey-1（2B），这是我们最快、最实惠的决策模型，P50 延迟为 20 毫秒，比同类决策模型快 5 倍。
许多 LLM 用例并不需要生成文本，它们需要的是决策：
这张工单应该发往哪里？
这条消息应该被标记吗？
这个请求应该被批准吗？
LLM 历来通过生成文本来回答这些问题，这会给每次调用增加成本和延迟，而这种开销会在链条中的每个决策上累积。决策模型直接以单个 token 和经过校准的概率分数返回答案，大幅降低成本和延迟。
如今 LLM 形态各异、规模不一，从全尺寸模型到 flash 和 fast 变体，因为每种工作负载对智能、速度和成本的权衡各不相同。决策模型也应如此。借助 joey-1，Base Labs 决策模型系列现已覆盖三种规模。发布时，每一款都是其权重级别中最具能力的模型之一，接受文本和图像输入，并以成本高效和低延迟为设计目标。
在我们的内部测试中（详情即将公布），joey-1 是参数量在 3B 及以下的最强决策模型。在生产规模下，joey-1 处理平均 2,000 token 的请求时，P50 端到端延迟为 20 毫秒，比 elephant-1（49 毫秒）快约 2.5 倍。其价格为每百万 token 0.01 美元，成本也是 mammoth-1 的十分之一。
我们的研究和后训练团队将持续改进这些模型并扩展该系列，让你能为需要做出的每一个决策找到合适的模型。joey-1 现已在 Baseten Model APIs 上线，开放权重发布于 Hugging Face.
这个 LLM 工作负载应该改用决策模型吗？
决策模型在一次前向传播中返回一个标签（一个决策）以及该标签的置信度分数。具体到 joey-1，当满足以下条件时，值得将 LLM 工作负载迁移过来：
决策量很大，因此每次调用的成本决定了项目是否经济。
你需要做出的决策是其他事项的前置条件，这意味着其延迟会被加到每一次响应中。
作为参考，每月对 1000 万张支持工单进行分类，每张约 500 个 token，即 50 亿个 token，在 joey-1 上每月约 50 美元，而在 mammoth-1 上为 500 美元。joey-1 是一个可靠的一线模型，可让工作负载保持快速且成本高效，而当 joey-1 不确定时，你仍可使用 elephant-1 或 mammoth-1 等更重的模型作为升级路径。
Base Labs 决策模型系列
这三款模型均由 Base Labs 在相同的数据混合上训练，并共享相同的 API，因此在它们之间切换只需改一行代码。这使得该系列成为一个单一工具包，而非三个独立的选择：mammoth-1 用于准确性最重要的决策，elephant-1 作为均衡的默认选项，joey-1 用于高容量、延迟敏感的调用，此时速度和成本优先。
这些模型旨在随时间不断改进。我们的内部研究实验室 Base Labs 会在相同的 API 下持续发布更新的权重和新能力。每次发布都会上线 Baseten Model APIs，由我们的模型性能团队针对高吞吐量和成本高效的推理进行优化，因此你的工作负载无需任何集成变更即可受益于每一项改进。
✕
Artificial Analysis（内部复刻版）从模型 API 到你自己的权重
joey-1 由 Qwen3.5-2B 后训练而来，训练方为 Base Labs，即我们的研究实验室，使用与 elephant-1 和 mammoth-1 相同的数据和配方，并借助 Baseten Training Jobs 完成。
这三款模型均可在 Model APIs 上使用，也可作为专用部署使用。在 Model APIs 上，这些模型支持 16k 上下文窗口，并针对低延迟工作负载进行了优化。
专用部署可解锁完整的 262k 上下文窗口，支持微调权重，并可通过针对工作负载的优化以及与你的 LLM 工作负载同址部署，实现更快的 TTFT 和 TPS。
要创建你自己的微调权重，elephant-1 和 joey-1 可在 Training Jobs 上进行后训练。从我们的 微调指南.
试用 joey-1
joey-1 现已在 Baseten Model APIs 上线，默认零数据保留，权重已在 Hugging Face开源。赶快上手吧。
联系我们
与我们的产品专家联系，了解我们如何为您提供帮助。
联系工程师$?/$