ARC Prize 评测 Inkling 2 Small:ARC-AGI-2 得分 81.7%,单任务 0.27 美元
Inkling 2 Small from @thinkymachines on ARC-AGI (Verified):
AI 导读
ARC Prize 公布 Thinky Machines 的 Inkling 2 Small 在 ARC-AGI 上的验证结果:ARC-AGI-2 得分 81.7%、每任务 0.27 美元,ARC-AGI-1 得分 96.5%、每任务 0.08 美元。ARC Prize 称其在两个基准上都超过此前评测过的所有开源权重模型,相比 7 月 30 日发布的初代 Inkling Small,ARC-AGI-2 半私有集得分从 40.14% 提升到 81.67%。Thinking Machines 计划下周发布完整权重,ARC-AGI-3 结果待测试完成后公布。
推荐理由
AI 评分 71
ARC Prize 的独立评测给出 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的成绩和单任务成本,可与前代及其他开源权重模型直接对照。
主题
正文 · AI 翻译
来自 @thinkymachines 的 Inkling 2 Small 在 ARC-AGI(已验证)上的表现:
- ARC-AGI-2:81.7%,每任务 0.27 美元 - ARC-AGI-1:96.5%,每任务 0.08 美元
在我们于 ARC-AGI-1 和 ARC-AGI-2 上评测过的所有开放权重模型中,它的表现都更胜一筹。
Thinking Machines 计划下周发布其完整权重。https://t.co/jrwbBEqeTf