AI 热点

ARC Prize 评测 Gemini 4 Hydrogen,披露 ARC-AGI 得分与 API 异常

ARC Prize更新于 11月21日 01:28

@GoogleDeepMind We also saw API responses repeat actions and eventually trigger a RECITATION finish reason which is normally associated with potential reproduct

AI 导读

ARC Prize 在 ARC-AGI 评测中测得 Gemini 4 Hydrogen 于 ARC-AGI-2 得分 92.5%、成本 $1.26/task,于 ARC-AGI-1 得分 98.5%、成本 $0.18/task。它在高推理级别的两项得分不低于 Gemini 3.8 Flash,同时使用约 52% 更少的推理 token。ARC-AGI-3 测试因 API 频繁返回多动作函数调用、MALFORMED_FUNCTION_CALL,以及动作重复后触发 RECITATION 结束原因而未能完成。

推荐理由

精选AI 评分 66

评测同时呈现 Gemini 4 Hydrogen 的得分、推理 token 用量与 API 异常,可用于比较性能和调用稳定性。

主题

标签

正文 · AI 翻译

@GoogleDeepMind 我们还发现 API 响应会重复执行动作,并最终触发 RECITATION 结束原因,这通常与可能复现受版权保护的材料有关。https://t.co/juTYMPQkYJ

来源

ARC Prize