先了解这件事
IBM与Kaggle合作,为IBM开源基准ScarfBench建立持续更新的公开排行榜,由Kaggle独立复现并运行该基准、承担算力并长期维护。ScarfBench评估编码智能体将企业Java应用在Jakarta EE、Quarkus和Spring之间迁移的能力,共204项迁移任务、10种模型与智能体组合。榜单显示,Gemini 4 Argon配Antigravity在smoke指标上以75.2%居首,Claude Opus 5.5配Claude Code以70.5%次之;在全部测试通过率上,Claude Opus 5.5配Claude Code以72.1%领先。IBM指出,745次失败运行中约72%属于运行时行为失败,编译或打包失败约占20%。
AI 根据公开报道生成
最新进展 · 正式报道
IBM 与 Kaggle 合作推出 ScarfBench 持续迁移排行榜事件进展
1 个已确认进展
- 来源:Unite.AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月27日
Unite.AI
IBM 与 Kaggle 合作推出 ScarfBench 持续迁移排行榜
IBM 与 Kaggle 合作,为 IBM 的开源基准 ScarfBench 建立持续更新的公开排行榜,Kaggle 独立复现并运行该基准、承担算力并长期维护。ScarfBench 评估编码智能体将企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移的能力,共 204 项迁移任务、10 种模型与智能体组合;Gemini 4 Argon 配 Antigravity 在 smoke 指标上以 75.2% 居首,Claude Opus 5.5 配 Claude Code 以 70.5% 次之,而在全部测试通过率上 Claude Opus 5.5 配 Claude Code 以 72.1% 领先。IBM 指出 745 次失败运行中约 72% 属于运行时行为失败,编译或打包失败约占 20%。