CWE-bench v2：覆盖、质量与透明度全面提升

结果

结果在 Hub 上的两个地方进行跟踪。CWE-bench 数据集页面上的排行榜涵盖开放权重模型，并且会自动更新：实验室和社区通过在模型仓库上提交 PR 并附上结果文件来添加结果（如何操作）。如需完整对比，包括仅提供 API 的模型（如 Gemini、Claude 和 GPT），请参阅 CWE-bench 排行榜 Space，新模型通过在该 Space 上提交 PR 来添加。

开放权重模型，来自数据集页面：

所有已评估模型，包括仅提供 API 的模型：

在已评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 领先，略高于 Claude Opus 5.5（67.3% 的 pass@1，78.0% 的 pass@4）。有 95 个任务至少被一个模型解出，这表明这些任务确实可解。然而，即便是榜首模型在每次尝试中仍会失败 19% 的题目，因此长尾问题远未解决。公开集、评分器和 harness 均已开放。运行你的模型，并告诉我们它的表现如何。

在成本方面，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成 Pareto 前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% 的 pass@1，Opus 以 1.83 美元增加十个点，而 Gemini 以 3.92 美元略微领先。

从 Hub 运行

每个任务都是一个自包含的 Harbor 任务（一个 Docker 化环境、一条指令和一个确定性验证器），并且数据集附带一个 registry.json。因此，Harbor 可以直接从 Hugging Face 仓库运行整个基准测试，无需你自己克隆任何内容：

-k 4 表示每个任务运行 4 次尝试，报告的分数是所有 400 次试验的平均奖励。该数据集受门控限制：请先在数据集页面上接受其访问条件。Harbor 使用 git 获取任务，因此还需将你的 HF token 保存到 git 的凭据助手一次：

这些任务还带有 rl-environment 标签：相同的环境和验证器可以为训练防御性智能体提供奖励，而不仅仅是用于评估它们。

本文提及的数据集 1

collinear-ai/cwe-bench

本文提及的 Space 1

CWE-bench Leaderboard

CWE-bench v2 公开集的排行榜