AI 热点

ARC Prize 因 API 问题未能完成 Gemini 4 Hydrogen 的 ARC-AGI-3 测试

ARC Prize更新于 11月21日 01:28

@GoogleDeepMind During ARC-AGI-3 testing we encountered API issues that prevented us from completing testing.

AI 导读

ARC Prize 在测试 Gemini 4 Hydrogen 时遭遇 API 问题,未能完成 ARC-AGI-3 测试。ARC-AGI-3 要求响应为仅含单个动作的字符串,但模型频繁返回含多个动作的函数调用;API 还多次返回 MALFORMED_FUNCTION_CALL,并出现动作重复及 RECITATION 结束原因。

推荐理由

AI 评分 51

测试暴露了模型输出格式与评测接口要求不兼容的问题,为复现成绩和设计智能体评测流程提供了具体案例。

主题

标签

正文

@GoogleDeepMind During ARC-AGI-3 testing we encountered API issues that prevented us from completing testing.

For example, ARC-AGI-3 expects responses to be strings containing a single action, but Gemini 4 Hydrogen frequently returned function calls containing multiple actions. https://t.co/8sHLkzIaNa

来源

ARC Prize