ARC Prize 公布 Thinking Machines 的 Inkling 2 Small 在…
@thinkymachines - Leaderboard: https://t.co/x8U1ItNLRj
AI 导读
ARC Prize 公布 Thinking Machines 的 Inkling 2 Small 在 ARC-AGI 上的成绩:ARC-AGI-2 为 81.7%,单任务成本 $0.27;ARC-AGI-1 为 96.5%,单任务成本 $0.08。ARC Prize 称该模型在两个基准上都优于其评估过的所有开放权重模型,相比 7 月 30 日发布的初代 Inkling Small,ARC-AGI-2 半私有集分数从 40.14% 提升到 81.67%。Thinking Machines 计划下周发布完整权重,ARC-AGI-3 的评测结果将在测试完成后公布。
推荐理由
精选AI 评分 79
ARC Prize 公布了 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的成绩和单任务成本,可与同系列前代直接对照。
主题
正文 · AI 翻译
@thinkymachines - 排行榜:https://t.co/x8U1ItNLRj - 复现公开结果:https://t.co/vMqtds8Zet - 测试政策:https://t.co/pBoUqvXe4P - Inkling 2 Small 完整结果:https://t.co/az2H7r9gNn