←新闻详情

Artificial Analysis更新于 10月25日 21:53

Subquadratic 发布 SubQ Snap 1.1 决策模型

Subquadratic has released SubQ Snap 1.1, tying d1-ultra and Elephant 9B for first on the Artificial Analysis Decision Index v1.0, driven by a low hallucination

AI 导读

Subquadratic 发布决策模型 SubQ Snap 1.1,在 Artificial Analysis Decision Index v1.0 上得 65 分,与 d1-ultra、Elephant 9B 并列第一,领先第三名 Jev 1.14(57)8 分。其非幻觉率 86%,仅次于 Elephant 9B 的 93%,高于 d1-ultra 的 85%;准确率 20%,HLE-MultiChoice 得 18%。输入价格 $0.04/1M tokens,上下文窗口 384K,每 1M 任务成本 $30,约为同分 Elephant 9B($8.4)的 3.6 倍。

正文 · AI 翻译

Subquadratic 发布了 SubQ Snap 1.1,凭借低幻觉率在 Artificial Analysis Decision Index v1.0 上与 d1-ultra 和 Elephant 9B 并列第一

SubQ Snap 1.1 是 @subquadratic 推出的新决策模型。其定价为每 100 万输入 token 0.04 美元,支持 384K token 的上下文窗口,而 d1-ultra 为 32K,Elephant 9B 为 16K。

要点:➤ SubQ Snap 1.1 在 Artificial Analysis Decision Index v1.0 上得分 65,与 d1-ultra 和 Elephant 9B 并列:这三个模型领先下一款模型 Jev 1.14(57)8 分。

➤ SubQ Snap 1.1 的 AA-Omniscience-Decision 结果得益于低幻觉率:其非幻觉率为 86%,仅次于 Elephant 9B(93%),高于 d1-ultra(85%)。其准确率为 20%,而 d1-ultra 为 32%,Elephant 9B 为 12%。非幻觉率是指模型未正确回答的问题中,模型选择“我不知道”的比例。

➤ SubQ Snap 1.1 在 HLE-MultiChoice 上得分 18%:与 Elephant 9B(18%)持平,领先于 d1-ultra(15%)。HLE-MultiChoice 是 Humanity's Last Exam 的纯文本多项选择子集。

➤ SubQ Snap 1.1 每 100 万任务成本为 30 美元:与 d1-ultra(32 美元)相当,约为同样得分 65 的 Elephant 9B(8.4 美元)成本的 3.6 倍。

来源

Artificial Analysis