Arena 分析 20869 条记录：前沿编程智能体三大差异
Where do users actually feel the difference with a frontier coding agent?
AI 导读
Arena 基于 Agent Arena: Code 的 20,869 条 trace，对比 Anthropic 与 OpenAI 五款顶级模型与其他智能体的用户批评信号，发现前沿模型在三个维度差异最明显。失败修复循环的抱怨少 6.9 个百分点，忽略项目上下文少 1.9 个百分点；设计问题少 6.4 个百分点，产出可用结果的问题少 5.8 个百分点。指令遵循、任务完成、破坏已有代码的抱怨分别少 5.6、4.9、4.5 个百分点。
正文 · AI 翻译
用户究竟在哪些方面能真切感受到前沿编程智能体的差异？
在 20,869 条 Agent Arena trace 中，我们对比了用户在 Agent Arena: Code 上对五款顶级模型（均来自 @AnthropicAI 和 @OpenAI）的批评，以及他们对其他智能体的批评。
以下是前沿模型带来最大差异的三个领域：
1. 更少卡住：在包含抱怨的会话中，失败修复循环的出现频率低 6.9 个百分点，忽略项目上下文的情况也更少（-1.9 个百分点）。你花更少时间引导智能体走出死胡同。
2. 更好的品味和能用的代码：它们在设计方面表现更好（-6.4 个百分点），在产出可用结果方面也更好（-5.8 个百分点）。你拿回来的结果更可能是你想要的。
3. 更勤勉：它们更好地遵循指令（-5.6 个百分点），更经常完成任务（-4.9 个百分点），更少破坏已有工作（-4.5 个百分点）。事后需要清理的东西更少。
想深入了解 Agent Arena 的赞扬与抱怨信号？请见下方推文串中的文章。