Google 发布首个决策模型 Gemini Decision 1,决策指数得分 66
Google has released its first decision model, Gemini Decision 1, scoring 66 on the Artificial Analysis Decision Index and leading in knowledge and reasoning ben
Google 发布首个决策模型 Gemini Decision 1,在 Artificial Analysis Decision Index v2.1 上得分 66,与 Elephant 9B、Jev 1.14 持平,落后榜首 Drex Max v1.1 和 GLiDE v1.2 各 7 分。该模型在知识与推理基准上领先,AA-Omniscience-Decision 得 66、HLE-MultiChoice 得 49,但在 AA-Paperclip 上仅 33% 文档全对,低于 Drex Max v1.1 的 63%。其输入价格为每 1M token 0.10 美元,每 1M 任务成本 345 美元,约为 Drex Max v1.1(103 美元)的三倍。
推荐理由
AI 评分 61
第三方评测给出 Gemini Decision 1 在决策指数上的位置与每任务成本,可与同类模型直接对照。
主题
正文 · AI 翻译
Google 发布了其首个决策模型 Gemini Decision 1,在 Artificial Analysis Decision Index 上得分 66,并在知识与推理基准上领先
来自 @GoogleDeepMind 的 Gemini Decision 1 在 Artificial Analysis Decision Index v2.1 上得分 66,与 Elephant 9B(@baselabs)和 Jev 1.14(@typesafeai)持平,落后于领先者 Drex Max v1.1(@NaceAI)和 GLiDE v1.2(@fastinoAI)7 分,后两者均得分 73。其定价为每 1M 输入 token 0.10 美元,在整个指数上每 1M 任务成本为 345 美元,约为 Drex Max v1.1(103 美元)的三倍,原因是其定价更高
Gemini Decision 1 的关键结果:
➤ 在 Decision Index 上尚未达到前沿水平:Gemini Decision 1 在 Artificial Analysis Decision Index 上得分 66。它在知识与推理基准上领先,在 AA-Omniscience-Decision 上得分 66,在 HLE-MultiChoice 上得分 49。它在其他评估上落后,包括我们全新的专有分类与抽取基准 AA-Paperclip,在该基准中,它在 33% 的文档上全部 15 道题均回答正确,而 Drex Max v1.1 为 63%
➤ 每任务成本是领先模型的 3 倍以上:Gemini Decision 1 每 1M 任务成本为 345 美元,而 Drex Max v1.1 为 103 美元,Jev 1.14 为 156 美元。这一差异源于其每 1M 输入 token 0.10 美元的 token 价格,而 Drex Max v1.1 为 0.03 美元。Gemini Decision 1 的每 1M 任务成本与 GPT-6 Luna(Decisions,339 美元)相近
➤ 推理任务校准表现强劲:我们使用 Brier 分数衡量校准,即模型为其所选答案分配的概率与该答案是否正确之间的平均平方差(越低越好)。Gemini Decision 1 在整个指数上的 Brier 分数为 0.18,介于 Drex Max v1.1(0.16)和 Jev 1.14(0.19)之间。校准因任务而异,其在 HLE-MultiChoice 上的 Brier 分数为 0.20,是 Index 中所有模型中最低之一,而其在 When2Call 上的 0.14 与 Drex Max v1.1 的 0.04 相比