←新闻详情

MarkTechPost更新于 10月27日 15:28

vLLM Semantic Router 发布 d3-ultra:27B 开源多模态决策模型

vLLM Semantic Router Releases d3-ultra: A 27B Open Multimodal Decision Model - MarkTechPost

AI 导读

vLLM Semantic Router 团队发布 d3-ultra,一个 26.09B 参数、Apache-2.0 许可的多模态决策模型,不生成文本,只对输入一次性读取后按问题类型返回概率。它支持 131,072 token 上下文,在团队自建的 SR-Text 测试中得分 87.2,高于 GLiDE V1.2 的 85.1;但在 SR-Box 定位任务上 58.2% 低于同系列 d3-turbo 的 60.0%。在单张 AMD Instinct MI325X 上,一张图片的 1 个问题耗时 304 ms,255 个问题耗时 2.16 s。所有基准数字均为团队在私有测试集上自报。

推荐理由

AI 评分 59

原文给出该决策模型在自建测试上的分项成绩与延迟数据,可对照同系列模型判断其适用边界。

主题

标签

正文 · AI 翻译

在 Google 上添加为首选来源

vLLM Semantic Router 团队发布了 d3-ultra,这是一个采用 Apache-2.0 许可的 27B 多模态决策模型。d3-ultra 决策模型不生成文本。它只读取一次输入,然后为每个问题的每个答案返回一个概率。对开发者而言,这意味着只需 1 次开放权重调用,即可完成路由、分类、视觉定位和视频检查。

TL;DR

规模:26.09B 参数(稠密模型,包含 0.46B 视觉编码器);每个问题 131,072 token 上下文。

运行环境:已在 1 块 AMD Instinct MI325X 上使用 BF16 权重测试;目前尚未列出官方量化版本。

性能:在团队自有的私有测试中,SR-Text 得分在 6 个决策模型中最高。

最佳:SR-Text 工具与自动化(机会校正准确率)97.8。

最差:SR-Box(9 个领域)54.6%,比同系列 d3-turbo 低 5.0 分。

d3-ultra 是什么?

d3-ultra 是来自 vLLM Semantic Router 的 System One 决策模型,通过概率回答带类型的问题。它是 Decision 3.0 家族的最新成员,该家族覆盖 0.6B 到 27B。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗?omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

你发送一个状态(文本或 JSON,外加图像或视频)和一组问题。每个问题都有一个类型:

Choice:从多个选项中选 1 个。

Yes / No:返回 yes 的概率。

Score:按量表评分。

Box:在图像中定位某物,或定位视频中的某个时刻。

Track:在整个视频中跟踪一个目标。

图像也可以放在问题和选项里。测验可以先展示一张照片,然后提供 4 张蚀刻图作为答案。

d3-ultra 如何工作?

核心思想是只读一次状态。模型对每个请求只读取一次输入,并基于这一次读取回答所有问题。

配置显示其骨干网络采用 Qwen3.5 架构,共 64 层。其中 48 层是线性注意力层,16 层是全注意力层。模型卡未说明其基础检查点。vLLM 的配方称,同系列 d3 是基于 Qwen3.8-27B 训练的。

Box 答案始终只返回 1 个框及其置信度。置信度接近 0 表示目标不在图中。超过 131,072 token 的问题会以 max_length_exceeded 失败;不会发生静默截断。

d3-ultra 在基准测试中表现如何?

研究团队在 2 项内部测试中将 d3-ultra 与 GLiDE V1.2、d1-ultra、d3-turbo、d3 和 Jev 1.14 进行比较。

SR-Text 包含 10,411 个文本请求和 73,495 个问题。其中大部分用新条目重现了 34 个公开基准中的技能。另有 4,896 个问题来自 43 个新任务家族,例如 SQL 检查和工单路由。分数经过机会校正:0 为随机水平,100 为完美。

d3-ultra 在除艺术和人类品味之外的每个领域都领先。在艺术和人类品味领域,d1-ultra 得分为 90.8,而 d3-ultra 为 89.6,差距在误差范围内。

SR-Box 包含 10 个领域、4,984 张图像上的 5,678 个 Box 问题。IoU 达到 0.5 或更高时,框才算正确。d3-ultra 在 10 个领域上得分为 58.2%,在 9 个领域上为 54.6%。d3-turbo 得分为 60.0% 和 59.6%。Jev 1.14 得分为 45.7% 和 46.9%。团队表示,d3-turbo 在自然图像上仍然更强,而 d3-ultra 在图表上领先。

延迟:在 1 块 AMD Instinct MI325X 上使用 AutoModel,针对一张照片的 1 个问题耗时 304 ms。255 个问题耗时 2.16 s,即每增加一个问题约 7.3 ms。

如何部署 d3-ultra?

有 4 种途径:

Transformers:使用 transformers==5.17.0 调用 AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)。可选的 flash-linear-attention 包可添加快速 GPU 内核。

vLLM Semantic Router Engine:vllm-sr serve -e vllm-sr/d3-ultra,于 2026 年 10 月 25 日在 PR #5449 中添加。

免费 API:模型卡称 decision.vllm-sr.ai 提供 d3-ultra 服务,并提供免费密钥。

演示:官方 Hugging Face Space。

d3-ultra 对比 GLiDE V1.2、d1-ultra、Jev 1.14 和 d3-turbo

Featured3-ultrad3-turboGLiDE V1.2d1-ultraJev 1.14

参数26.09B26.09B26B 未披露未披露

每个问题的上下文131,07232,768 默认;使用 long_context 时为 131,07240,000 默认32,768 262,144

权重 / 许可开放,Apache-2.0开放,Apache-2.0开放,Fastino Community License仅托管仅托管,专有

输入文本、JSON、图像、视频文本、JSON、图像、视频文本、JSON、图像文本、图像文本、图像

Box / trackBox + trackBox + track否否仅 Box

SR-Text(vLLM-SR 自报)87.283.185.183.473.1

SR-Box,10 个领域58.2%60.0%不支持不支持45.7%

公开指数得分已提交,尚未上榜70.2 Jev DI(自行估算)71.5 Decision Index 0.4.165 AA Decision Index 57 AA Decision Index

价格免费 API,自托管免费 API,自托管$0.04 / M 输入 $0.042 / M 输入$0.042 / M 输入

要点

d3-ultra 是一个 27B、Apache-2.0 许可的决策模型,从不生成文本。

它只读取一次输入:针对 1 张照片的 255 个问题耗时 2.16 s。

它在团队的 SR-Text 测试中以 87.2 位居榜首,领先 GLiDE V1.2 的 85.1。

它在 Box 定位任务上落后于 d3-turbo:58.2% 对 60.0%。

所有基准数字均为在私有测试集上自报。

Asif Razzaq网站 | + 篇文章简介 ⮌

Asif RazzaqNace AI 发布面向 AI 智能体搜索的 Drex:在 BrowseComp-Plus 上以 12.6 次搜索调用达到 92.05%

Asif RazzaqNanbeige 发布 Nanbeige4.3-33B,一个 33B 开放智能体编码模型

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

相关文章更多来自作者

OpenAI 推出 GPT-6.1 Terra,将 GPT-6.1 Sol 的智能体工作 API 价格减半

Nace AI 发布面向 AI 智能体搜索的 Drex:在 BrowseComp-Plus 上以 12.6 次搜索调用达到 92.05%

Nanbeige 发布 Nanbeige4.3-33B,一个 33B 开放智能体编码模型

来源

MarkTechPost