←事件详情

热点事件

OpenHands 博客发布 SWE-fficiency 性能工程基准

1 篇正式报道1 条事件动态更新于 2月16日 20:00

先了解这件事

AI 综述

2026年2月16日,OpenHands 官方博客发布 SWE-fficiency 性能工程基准。该基准由哈佛团队打造,用 OpenHands 评测 AI 智能体的性能工程能力,覆盖 numpy、pandas、scikit-learn 等 9 个仓库的 498 个任务。基准采用 Pass-to-Pass 流程,并引入 Speedup Ratio(SR)衡量智能体加速比与人类专家的差距。发布时顶尖智能体仅达到人类专家 0.23x 的加速比,约 71% 的情况下定位错了文件或函数。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

SWE-fficiency:用 OpenHands 评测 AI 智能体如何优化代码性能

事件进展

1 个已确认进展

  1. OpenHands 博客发布 SWE-fficiency 性能工程基准

    来源:OpenHands 官方博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

2月16日

  1. OpenHands 官方博客一手

    SWE-fficiency:用 OpenHands 评测 AI 智能体如何优化代码性能

    OpenHands 官方博客发布由哈佛团队打造的 SWE-fficiency 基准,用 OpenHands 评测 AI 智能体的性能工程能力,包含 numpy、pandas、scikit-learn 等 9 个仓库的 498 个任务。该基准采用 Pass-to-Pass 流程,并引入 Speedup Ratio(SR)衡量智能体加速比与人类专家的差距;发布时顶尖智能体仅达到人类专家 0.23x 的加速比,约 71% 的情况下定位错了文件或函数。

关联事件

  1. 相关事件Browser Use 在 Online-Mind2Web 上取得 97% 最高分
  2. 相关事件小米MiMo-V2.5-Pro在Arena榜单取得多项突破
  3. 相关事件Transluce 与 SWE-bench 合作公开智能体轨迹
  4. 相关事件Cognition 推出代码质量基准 FrontierCode