←事件详情

热点事件

IBM与Kaggle合作维护ScarfBench持续更新排行榜

1 篇正式报道1 条事件动态更新于 10月27日 20:18

先了解这件事

AI 综述

IBM与Kaggle合作,为IBM开源基准ScarfBench建立持续更新的公开排行榜,由Kaggle独立复现并运行该基准、承担算力并长期维护。ScarfBench评估编码智能体将企业Java应用在Jakarta EE、Quarkus和Spring之间迁移的能力,共204项迁移任务、10种模型与智能体组合。榜单显示,Gemini 4 Argon配Antigravity在smoke指标上以75.2%居首,Claude Opus 5.5配Claude Code以70.5%次之;在全部测试通过率上,Claude Opus 5.5配Claude Code以72.1%领先。IBM指出,745次失败运行中约72%属于运行时行为失败,编译或打包失败约占20%。

AI 根据公开报道生成

最新进展 · 正式报道

IBM 与 Kaggle 合作推出 ScarfBench 持续迁移排行榜

事件进展

1 个已确认进展

  1. IBM与Kaggle合作维护ScarfBench持续更新排行榜

    来源:Unite.AI

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月27日

  1. Unite.AI

    IBM 与 Kaggle 合作推出 ScarfBench 持续迁移排行榜

    IBM 与 Kaggle 合作,为 IBM 的开源基准 ScarfBench 建立持续更新的公开排行榜,Kaggle 独立复现并运行该基准、承担算力并长期维护。ScarfBench 评估编码智能体将企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移的能力,共 204 项迁移任务、10 种模型与智能体组合;Gemini 4 Argon 配 Antigravity 在 smoke 指标上以 75.2% 居首,Claude Opus 5.5 配 Claude Code 以 70.5% 次之,而在全部测试通过率上 Claude Opus 5.5 配 Claude Code 以 72.1% 领先。IBM 指出 745 次失败运行中约 72% 属于运行时行为失败,编译或打包失败约占 20%。

关联事件

  1. 相关事件Yuchen Jin称Kimi K3.1 Pro在AA智能指数中排第4
  2. 相关事件GVS5H提出免训练ledger自编排方法
  3. 相关事件OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra
  4. 相关事件Kimi官方账号发布Kimi K3.1预热视频