←事件详情

热点事件

Artificial Analysis 发布 Decision Index v1.0

4 篇正式报道4 条事件动态更新于 10月14日 13:40

先了解这件事

AI 综述

2026年10月13日,Artificial Analysis 发布 Decision Index v1.0,用于评测决策模型在分类、工具调用、知识、幻觉与推理上的表现。该指数包含四项评测:由 AA-Omniscience 改编的 500 道私有题、HLE 的 513 道文本多选题、NVIDIA 工具调用评测以及 Ai2 安全分类测试集。据其公布结果,Jev 1.13 以 58 分居首,GLiDE 与 Microsoft-Decision-1 均为 54 分;Decider v1.1 27B 每百万任务成本最低,为 17 美元,Celeris-1 Decision 每任务 0.06 秒最快。该方同时表示,决策模型比 LLM 更快更便宜,但知识与推理落后。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

AI Engineer NYC 动态:Gemini 4 Argon 上线与 Vals AI 基准

事件进展

1 个已确认进展

  1. Artificial Analysis 发布 Decision Index v1.0

    来源:Artificial Analysis 完整文章

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月14日

  1. Latent Space

    AI Engineer NYC 动态:Gemini 4 Argon 上线与 Vals AI 基准

    Gemini 4 Argon 正式 GA,Artificial Analysis 将其 Intelligence Index 水平与 GPT-6 Astra 持平,任务成本约为后者 60%,入门价每任务 1.99 美元。约 2 万人参加 AIE NYC,Anthropic、Vals AI 与 Coatue 分别就 AI 金融服务栈、模型基准方法和投资决策发表主题演讲。Anthropic 披露其每日合并量从 5 月约 2500 次增至 9 月逾 3 万次,并在五个月内将 monorepo 迁出 Git。

  2. Artificial Analysis

    Artificial Analysis 发布 Decision Index v1.0,Jev 1.13 居首

    Artificial Analysis 发布 Decision Index v1.0,用于评测决策模型在分类、工具调用、知识和推理上的表现。Jev 1.13 以 58 分居首,领先 GLiDE 和 Microsoft-Decision-1 的 54 分;Perplexity 的 Decider v1.1 27B 每百万任务成本最低为 17 美元,Celeris-1 Decision 每任务耗时 0.06 秒最快。在分类和工具调用任务上,领先决策模型与语言模型表现相当但更快更便宜,而 Claude Haiku 5.5 (Low) 以 61 分领先 Jev 1.13 3 分,但每任务耗时 1.4 秒、成本 184 美元,分别是后者的 11 倍和 4.4 倍。

10月13日

  1. Artificial Analysis 完整文章一手

    Artificial Analysis 发布 Decision Index v1.0,评测决策模型

    Artificial Analysis 推出 Decision Index v1.0,用四项评测(AA-Omniscience 改编的 500 道私有题、HLE 的 513 道文本多选题、NVIDIA 工具调用评测、Ai2 安全分类测试集)衡量决策模型在分类、工具调用、知识、幻觉与推理上的表现。Jev 1.13 以 58 分居首,GLiDE 与 Microsoft-Decision-1 均为 54 分;Decider v1.1 27B 每百万任务成本最低为 $17,Celeris-1 Decision 每任务 0.06 秒最快。决策模型比 LLM 更快更便宜,但知识与推理落后。

10月12日

  1. Artificial Analysis 完整文章一手精选

    Meta 发布 Muse Wonder 与 Muse Wonder Full,智能指数最高升至 56

    Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,高于 Muse Spark 1.3(max)的 48,发布间隔仅 6 周。Muse Wonder Full(max)在十项评测中全面超过 Muse Spark 1.3(max),智能体类提升最大,Terminal-Bench 4.0 从 33% 升至 57%,GDPval-AA v2.1 从 1681 Elo 升至 1857。Muse Wonder 已在 Meta 一方 API 和 Muse Code 上线,Muse Wonder Full 仅面向 Muse Code 用户,两者上下文窗口均为 1M tokens。

关联事件

  1. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  2. 相关事件Reflection发布首个开放权重模型Beam
  3. 相关事件Artificial Analysis 发布 AA-Robotics v0.1 研究预览
  4. 相关事件Meta 推出 Muse Wonder 与 Muse Wonder Full 模型