ARC Prize 因 API 问题未能完成 Gemini 4 Hydrogen 的 ARC-AGI-3 测试
@GoogleDeepMind During ARC-AGI-3 testing we encountered API issues that prevented us from completing testing.
AI 导读
ARC Prize 在测试 Gemini 4 Hydrogen 时遭遇 API 问题,未能完成 ARC-AGI-3 测试。ARC-AGI-3 要求响应为仅含单个动作的字符串,但模型频繁返回含多个动作的函数调用;API 还多次返回 MALFORMED_FUNCTION_CALL,并出现动作重复及 RECITATION 结束原因。
推荐理由
AI 评分 51
测试暴露了模型输出格式与评测接口要求不兼容的问题,为复现成绩和设计智能体评测流程提供了具体案例。
主题
正文 · AI 翻译
@GoogleDeepMind 在 ARC-AGI-3 测试期间,我们遇到了 API 问题,导致无法完成测试。
例如,ARC-AGI-3 要求响应是仅包含单个动作的字符串,但 Gemini 4 Hydrogen 经常返回包含多个动作的函数调用。https://t.co/8sHLkzIaNa
AI 热点