←事件详情

热点事件

Arena.ai对比20869条轨迹中的编码Agent用户批评

1 篇正式报道1 条事件动态更新于 10月28日 23:28

先了解这件事

AI 综述

Arena.ai基于Agent Arena: Code的20,869条trace,对比Anthropic与OpenAI五款顶级模型与其他智能体的用户批评信号。该分析发现前沿模型在三个维度差异最明显:失败修复循环的抱怨少6.9个百分点,忽略项目上下文少1.9个百分点;设计问题少6.4个百分点,产出可用结果的问题少5.8个百分点;指令遵循、任务完成、破坏已有代码的抱怨分别少5.6、4.9、4.5个百分点。目前尚无后续发展。

AI 根据公开报道生成

最新进展 · 正式报道

Arena 分析 20869 条记录:前沿编程智能体三大差异

事件进展

1 个已确认进展

  1. Arena.ai对比前沿编码Agent的用户批评信号

    来源:Arena

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月28日

  1. Arena

    Arena 分析 20869 条记录:前沿编程智能体三大差异

    Arena 基于 Agent Arena: Code 的 20,869 条 trace,对比 Anthropic 与 OpenAI 五款顶级模型与其他智能体的用户批评信号,发现前沿模型在三个维度差异最明显。失败修复循环的抱怨少 6.9 个百分点,忽略项目上下文少 1.9 个百分点;设计问题少 6.4 个百分点,产出可用结果的问题少 5.8 个百分点。指令遵循、任务完成、破坏已有代码的抱怨分别少 5.6、4.9、4.5 个百分点。

关联事件

  1. 相关事件Cognition推出编码基准FrontierCode 2.0
  2. 相关事件Kimi官方账号发布Kimi K3.1预热视频
  3. 相关事件OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra
  4. 相关事件Mistral在Hugging Face发布Large 4权重