Arena 分析 20869 条记录:前沿编程智能体三大差异
Arena 基于 Agent Arena: Code 的 20,869 条 trace,对比 Anthropic 与 OpenAI 五款顶级模型与其他智能体的用户批评信号,发现前沿模型在三个维度差异最明显。失败修复循环的抱怨少 6.9 个百分点,忽略项目上下文少 1.9 个百分点;设计问题少 6.4 个百分点,产出可用结果的问题少 5.8 个百分点。指令遵循、任务完成、破坏已有代码的抱怨分别少 5.6、4.9、4.5 个百分点。
匹配字段摘要、正文
