OpenAI 公布 COBOL 迁移与 MultiLangBench 基准成绩

本周，OpenAI 将 COBOL 推到了聚光灯下。它公布的基准测试结果表明，其最新模型在迁移 COBOL 程序以及用代码和文档较少、可供模型学习的语言构建软件方面正变得越来越强。

在 OpenAI 自己的 COBOL 迁移测试中，GPT-6.1 Sol 在低推理强度下达到了 86.6% 的准确率，高于 GPT-5.6 Sol 的 5.4%，同时成本降低了 39%。在更高推理强度下，新模型达到了 97.9%。

但这两项评估背后的证据并不均衡。

OpenAI 尚未公布其对 COBOL（“面向商业的通用语言”；AI 编程工具可能帮助维护或迁移的这种编程语言）评估的细节。它已在 GitHub 上发布了 MultiLangBench 的设置和测试套件。该基准测试检验模型能否用 20 种编程语言从零构建一个兼容 SQLite 的数据库引擎。

OpenAI 的公告称，这些结果是“两项评估均取得实质性改进，以更低成本实现了高得多的准确率”。

这些结果可能对维护和现代化改造遗留软件的团队很重要。但如果没有公开的 COBOL 测试用例，开发者就无法独立审查该评估。

COBOL 的现代化终于有希望了吗？

据 OpenAI 称，其新的 COBOL 迁移评估“检验模型能否将现有程序迁移到另一种语言，同时保持其行为不变”。具体来说，它测试的是从 COBOL 到 C++、Java、Kotlin、Python 和 Rust 的迁移。

要成功，每次迁移都必须通过一系列隐藏测试，这些测试要求“可观察输出逐字节一致”。而凭借明显高于前代的准确率，GPT-6.1 Sol 确实展现出了实质性进展。

来源：OpenAI

测得的提升令人瞩目，不过 OpenAI 并非第一家将 AI 引入 COBOL 现代化的公司。

尽管 COBOL 支撑着全球大量金融交易和商业记录——IBM 报告称，COBOL 支撑着超过 40% 的网上银行系统、支持 80% 的面对面信用卡交易，并处理 95% 的 ATM 交易——但它对 AI 编程工具来说仍是一个困难的目标。

与 Python 和 JavaScript 相比，模型可学习的 COBOL 代码和文档更少。经验丰富的 COBOL 开发者也可能很难找到，而且文档往往落后于他们所维护的系统。

AI 编程在 20 种语言上的提升

除了 COBOL 迁移测试，OpenAI 还开发了第二项评估，以衡量模型从零构建软件的能力，即 MultiLangBench。该基准测试“检验模型能否用 20 种不同的编程语言构建一个兼容 SQLite 的数据库引擎”。

首先，程序会获得一个数据库和一条 SQL 查询。然后，它生成一个修改后的数据库。参考 SQLite 实现作为基准真值，用于检查生成的数据库是否包含预期数据。

来源：OpenAI

平均而言，OpenAI 的旗舰模型 GPT-6 Astra 在 20 种编程语言上取得了 87.4% 的测试通过率，相比 GPT-5.6 Sol modest 的 26.8% 大幅跃升。它在 20 种语言中的 19 种上得分超过 83%，并在所有语言上都有所改进。

可以预见，GPT-6 Luna 的表现不如 Astra，这一低成本选项的平均通过率仅为 40.3%。尽管如此，它在所有测试语言上都成功超过了 GPT-5.6 Sol，估计 API 成本约低 78%。

好吧，那就保守你们的秘密吧。

OpenAI 报告其 COBOL 迁移评估和 MultiLangBench 取得了可喜结果，但基准测试并不能说明全部情况。截至周四，使用私有代码库的 Real-SWE 1.1 将 Claude Opus 5.5 列为第一名，解决率为 56.8%。The New Stack 此前报道的一次 Real-SWE 运行则有着不同的领先者和更低的分数。

此外，开发者仍然无法审查 OpenAI 的 COBOL 迁移基准测试。公告称开发者和企业客户的反馈指导了这项工作，但如果没有底层测试和数据集，外部人士无法独立核查结果。

OpenAI 承认了一个关键局限，指出“将其应用于生产软件仍需要专家审查，并针对系统的业务规则和依赖关系进行测试”。

OpenAI 正在进入一个其他人已经耕耘了一段时间的领域。Anthropic 于 2 月 23 日概述了 Claude Code 如何协助 COBOL 现代化。正如 The New Stack 报道的那样，AWS 在 2024 年推出了用于大型机迁移的 AI 代理。

文章《OpenAI 的 COBOL 迁移得分实现了惊人飞跃》首发于 The New Stack。