Baseten 发布 2B 决策模型 joey-1，每百万 token 定价 0.01 美元

将我们添加为 Google 首选来源

Baseten 发布了 joey-1，这是一款来自其内部研究实验室 Base Labs 的 2B 模型。joey-1 决策模型返回标签和校准概率，而非生成文本。它面向高并发路由、分类和护栏检查。Baseten 将其定价为每百万输入 token 0.01 美元，权重以 MIT 协议开源在 Hugging Face 上。

TL;DR

规模：2B 参数，基于 Qwen3.5-2B 后训练。最大序列长度 16,384 token（Baseten 称在专用部署上可达 262k）。

运行方式：Baseten Model APIs，或在 1 张 CUDA GPU 上自托管（未披露显存）。未列出官方量化版本。

性能：据 Baseten 称，在 Jev Decision Index 0.4 公开集上为 4B 以下最强模型。

最佳：在 Jev Decision Index 0.4（公开集）上得分 63.30，在 230 个模型中排名第 37。

最差：在同一公开集上落后其 9B 同门模型 elephant-1 8.94 分（63.30 对 72.24）。

总结：最佳：每 100 万 token 0.01 美元即可获得 20 ms P50 决策延迟。最差：通用知识不如其更大的同门模型。

什么是 joey-1？

joey-1 是 Baseten 旗下 Base Labs 推出的 2B 决策模型，可在 1 次前向传播中回答结构化问题。你发送一个状态（文本或图像）和 1 个或多个问题。模型会为每个问题的每个选项返回一个概率。它不会生成需要你的应用解析的自由文本。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 评测文本、表格与布局 · 开源在 GitHub 上加星→赞助

它支持 3 种问题类型：

choice：从命名选项中选择 1 个，例如哪支团队负责某个工单。

yes/no（API 中为 noul）：返回“是”的概率。

score：有序等级，从低到高，例如紧急程度。

joey-1 是该系列的第 3 个成员。Baseten 上周发布了 mammoth-1（27B）和 elephant-1（9B）。这 3 个模型共享训练数据和 /v1/systemone API，因此切换只需改 1 行代码。

joey-1 如何工作？

Base Labs 对 Qwen3.5-2B 进行了语言模型的全参数微调后训练。视觉编码器保持冻结。全注意力层使用块双向掩码。所有问题都从 1 次共享前缀预填充中回答，因此增加问题带来的成本很小。

模型卡中的训练细节：

数据：621 万个决策示例。构成：58.3% 核心决策技能，16.1% 安全，16.1% 评判与专家领域，9.5% 公开数据。

目标：交叉熵加上 Brier 校准项，并训练了一个“我不知道”选项。

配方：1 个 epoch，43,390 步，峰值学习率 1e-5，bf16。

硬件：2 个节点，每个节点 8 张 H100 GPU。

校准让你可以设置置信度阈值。不确定的答案可以升级给 elephant-1、mammoth-1 或人工处理。

joey-1 有多快、多便宜？

Baseten 报告，对于平均 2,000 token 的请求，端到端 P50 延迟为 20 ms。这比 elephant-1（49 ms）快约 2.5 倍。博客的 TL;DR 还声称比同类决策模型快 5 倍，但未点名具体模型。

Model APIs 收费为每 100 万输入 token 0.01 美元；输出和缓存输入标价为 0.00 美元。elephant-1 收费 0.035 美元，mammoth-1 收费 0.10 美元。

Baseten 的示例：每月 1000 万张支持工单，每张约 500 token，即 50 亿 token。在 joey-1 上约需 50 美元，而在 mammoth-1 上需 500 美元。

joey-1 在基准测试中得分如何？

以下所有分数均为 Baseten 模型卡上的自报数据。

在 Jev Decision Index 0.4 公开集上，joey-1 得分为 63.30。这在 230 个模型中排名第 37，是 4B 以下模型的最高分。Jev Decision Index 是 Hugging Face 上的社区排行榜。

在同一公开集上，Cloudflare 的 27B Clef 得分为 61.71，Jev 1.14 得分为 60.70。

joey-1 在所有领域都落后于 elephant-1。它在 5 个领域中的 4 个领域胜过 Jev 1.14，包括语言、工具和检索。

在 Baseten 复刻的 Artificial Analysis Decision Index 上，joey-1 得分为 62.9，而 mammoth-1 为 65.9。

joey-1 与其他小型决策模型对比

特性joey-1elephant-1Perplexity Decider Flash v1.2Cloudflare Clef-Flash

参数2B9B4B9B

基础模型Qwen3.5-2BQwen3.5-9BQwen3.5-4BQwen3.5-9B

许可证MITMITApache-2.0Apache-2.0

输入文本、图像文本、图像文本、图像文本、JSON、图像、视频

最大上下文16,384（Model APIs）；专用部署 262k16k（Model APIs）；专用部署 262k262,144（训练至约 32k）默认 16,384

API 价格（每 100 万输入 token）0.01 美元0.035 美元0.01 美元未披露

Jev Decision Index 0.4（公开）*63.3072.2460.06未披露

报告延迟**20 ms P5049 ms P50未披露中位数 38.8 ms

自托管硬件1 张 CUDA GPU未披露CUDA GPU 上约 9 GiB BF16 权重在 1 张 H200 上测试

权重获取公开公开私有仓库，需要 token公开

*所有模型的 Jev 0.4 分数均来自 Baseten 的 joey-1 模型卡。**延迟数据不可直接比较。Baseten 在其平台上测量端到端延迟；Cloudflare 报告的是其自己的 Decision Index 0.2.1 运行结果。

如何部署 joey-1？

Model APIs：在 /v1/systemone 调用 decision-models/baseten-joey-2b-latest。默认开启零数据保留。

专用部署：Baseten 称这些部署可解锁 262k 上下文、微调权重以及与 LLM 工作负载同机部署。

自托管：从 Hugging Face 下载并运行 setup.sh。需要 1 张 CUDA GPU 和 PyTorch 2.8 / CUDA 12.8 镜像。

你可以使用微调 cookbook 在 Baseten Training Jobs 上微调 joey-1。joey-1 也已在 OpenRouter 上架，价格为每 100 万输入 token 0.01 美元。

要点

joey-1 返回标签和校准概率，而非文本。

Baseten 报告每 100 万输入 token 0.01 美元的价格下 P50 延迟为 20 ms。

在 Jev Decision Index 0.4 公开集上得分 63.30：4B 以下最强模型。

比 elephant-1 低 8.94 分；最适合作为一线路由器。

MIT 权重已发布于 Hugging Face；可在 1 张 CUDA GPU 上自托管。

Asif Razzaq网站 | + 文章作者简介 ⮌

Asif RazzaqPrime Intellect 发布 Prime Mega MoE：可训练融合 MoE 内核，前向传播快 3.11 倍

Asif RazzaqNVIDIA 发布 Nemotron 3.5 Transcribe：面向 40 种语言转录的开放 30B MoE 模型，约 4B 激活参数

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页计分在 GitHub 上加星→赞助

相关文章更多来自作者

Prime Intellect 发布 Prime Mega MoE：可训练融合 MoE 内核，前向传播快 3.11 倍

NVIDIA 发布 Nemotron 3.5 Transcribe：面向 40 种语言转录的开放 30B MoE 模型，约 4B 激活参数