Artificial Analysis 发布 Intelligence Index v5 与 Progress…
On Tuesday, we brought together partners and friends in San Francisco to launch Artificial Analysis Intelligence Index v5 and our new Progress Index
Artificial Analysis 在旧金山发布 Intelligence Index v5 和新的 Progress Index。Intelligence Index v5 新增两项基准、三项升级，加大了对智能体编码和科学的权重，并且首次让指数的大部分基于私有测试集或留出答案。Progress Index 使用项目反应理论，在数十项随时间测量的评测上为每个模型估算通用能力分数，包括已退役或被排除在 Intelligence Index 之外的评测，它建立在 Epoch AI Research 和 Anthropic 此前工作的基础上，把模型放在单一能力尺度上。官方表示 Intelligence Index 仍是选择当下用哪个模型的旗舰指标，Progress Index 更适合描绘长期趋势。
正文 · AI 翻译
周二，我们在旧金山汇聚了合作伙伴与朋友，发布 Artificial Analysis Intelligence Index v5 以及我们全新的 Progress Index。
Micah Hill-Smith（@_micah_h）介绍了 Intelligence Index v5，其中包括两项新基准和三项升级，并加大了对智能体编码和科学的权重。这是该指数首次大部分基于私有测试集或留出答案。
我们还推出了 Artificial Analysis Progress Index，它使用项目反应理论，在数十项随时间测量的评测上为每个模型估算通用能力分数，其中包括已退役或被排除在 Intelligence Index 之外的评测。它建立在 @EpochAIResearch 和 @AnthropicAI 此前工作的基础上，将模型置于单一能力尺度上。Intelligence Index 仍是用于选择当下针对某一用例应使用哪个模型的旗舰指标；Progress Index 则是描绘长期趋势的更好工具。
George Cameron（@grmcameron）主持了一场讨论，参与者包括来自 @cognition 的 Silas（@silasalberti）、来自 @Stanford 和 Terminal-Bench-Science 的 Steven（@StevenDillmann），以及我们自己的 Declan Jackson，主题是在模型能力不断增强的背景下如何构建评测。
当晚还介绍了我们在 3D 建模、个性、网络防御、定制企业评测和机器人方面的工作。感谢我们的演讲嘉宾、合作伙伴以及所有到场的朋友！
探索 Intelligence Index v5：https://t.co/YI6GbwBUFD 探索 Progress Index：https://t.co/Bdfnpw5mhw