IBM 与 Kaggle 合作推出 ScarfBench 持续迁移排行榜

根据IBM Research于2026年10月27日发布的技术说明，IBM与Kaggle正合作，为ScarfBench建立一个持续更新的公开排行榜。ScarfBench是IBM用于评估编码智能体在企业Java框架迁移方面表现的开源基准。

ScarfBench是Self-Contained Application Refactoring Benchmark（自包含应用重构基准）的简称，用于测试智能体能否接手一个陌生的企业Java应用，将其在Jakarta EE、Quarkus和Spring框架之间迁移，并留下仍可正常工作的软件。该基准通过聚焦工作负载和完整应用两种方式，检查生成的应用程序能否构建、启动并继续按预期运行。IBM于2026年早些时候推出ScarfBench，作为面向AI驱动迁移的可复现基准；2026年3月11日的原始公告描述了七个组成部分，包括跨三个框架、经开发者验证的企业应用，用于隔离持久化行为和依赖注入等关注点的聚焦工作负载，组合多个架构层的完整应用，自动化构建与启动验证，以及验证运行时行为和功能等价性的行为测试。该公告称，每个工作负载均由经验丰富的开发者手动实现并验证，以确保功能等价性和框架的惯用用法。

IBM与Kaggle的合作

根据该合作安排，Kaggle就基准和评估的设计向IBM提供咨询，在其自有平台上独立复现并运行ScarfBench，同时赞助算力，并将长期维护该基准。IBM称双方团队的优势互补：IBM围绕企业Java现代化开发了ScarfBench，而Kaggle则带来独立评估基础设施和持续的排行榜维护。

204项迁移任务的结果

ScarfBench评估的是一个智能体系统，而非孤立的语言模型：每项结果反映的是模型与编码智能体运行框架（harness）的配对，该框架决定模型如何与代码仓库和开发环境交互。IBM提醒，这些分数应被理解为模型/运行框架的结果，而非对底层模型本身的测量。

IBM报告称，在204项迁移任务和十种受评估的模型/运行框架配置中，Gemini 4 Argon搭配Antigravity运行框架在主要smoke测试指标上以75.2%排名第一，其次是Claude Opus 5.5搭配Claude Code的70.5%，以及Claude Opus 5搭配Claude Code的69.8%。smoke分数作为排行榜指标，给予部分得分，并对较大的测试套件赋予更高权重。在更严格的全部测试通过指标上，Claude Opus 5.5搭配Claude Code以72.1%的比例最高，略高于Gemini 4 Argon搭配Antigravity的71.1%。

根据该文章，在敏感性分析下，排名前列的顺序保持不变。204项任务中有四项在所有配置下均未获得行为测试得分；排除这些任务后，绝对分数有所提高，但领先者未变：Gemini 4 Argon搭配Antigravity得分为79.4%，其次是Claude Opus 5.5搭配Claude Code的74.5%，以及Claude Opus 5搭配Claude Code的73.7%。IBM指出，即使是最强的组合也仍有相当大的提升空间，没有任何配置能完全通过超过约四分之三的迁移任务。

各配置的成功与失败之处

IBM报告称，评估中最大的差距在于代码能否构建与软件能否正确运行之间。在排除四项全零任务后，Claude Opus 5搭配Claude Code、Gemini 4 Argon搭配Antigravity以及Gemini 3.8 Flash搭配mini-swe均编译通过了100%的任务，十种配置中有八种编译通过率至少达到97%。相比之下，smoke测试分数的跨度超过50个百分点。在成功部署的应用中，领先配置的完全通过测试率集中在约63%至76%，而Kimi K3搭配kimi-code降至53%，Gemini 3.1 Pro搭配OpenHands降至42%，Gemma 4 26B-A4B搭配mini-swe降至26%。

IBM对745次失败运行进行了分类：其中535次（约72%）属于运行时行为失败，即应用能够构建且通常能够启动，但未通过行为验证。该组包括304次内容或断言不匹配、210次路由丢失或404失败，以及21次明确的HTTP 500或405错误。编译或打包失败约占失败运行的20%，为152次；启动或依赖注入崩溃约占8%，为58次。

该文章列举了任务层面的示例。在concurrency-taskcreator-quarkus-to-jakarta任务中，Claude Opus 5搭配Claude Code在/taskinfo端点返回“File not found”且一项预期HTTP 405的测试失败后，得分为0/6。在address-book-jakarta-to-quarkus任务中，GPT-6 Astra搭配Codex在列表和创建页面返回HTTP 404后，得分为2/10。在cargotracker-jakarta-to-spring任务中，Gemini 3.8 Flash搭配mini-swe在Spring Boot目标中保留了JSF/JoinFaces接线，并在创建facesContext bean时启动失败。在cart-spring-to-jakarta任务中，GPT-6 Astra搭配Codex因迁移留下的打包类型不受目标Liberty运行时支持而遭遇部署失败。

IBM报告称，效率也因配置而异。在敏感性排除后剩余的200项任务中，中位轮次从Claude Opus 5搭配Claude Code的32轮到Gemini 3.8 Flash搭配mini-swe的79轮不等，Claude Opus 5.5搭配Claude Code为64轮。在报告成本的运行框架中（涵盖Claude Code、Codex、mini-swe和kimi-code配置），每个已解决任务的成本从GPT-6.1 Sol搭配Codex的1.25美元到Claude Opus 5.5搭配Claude Code的10.10美元不等；Antigravity、qwen-code和OpenHands运行框架未提供每次运行的成本数据。

ScarfBench排行榜提供了这些结果的公开视图。公开发布时暂不开放公开模型提交，但IBM表示这已在路线图中。