先了解这件事
AI 综述
2026年11月3日,Hugging Face公布CWE-bench v2评测结果,并说明数据集、评分器与harness均已公开,可通过Harbor直接从Hub运行。此次评测覆盖11个模型:Gemini 4 Argon以67.8% pass@1、81.0% pass@4领先,Claude Opus 5.5以67.3% pass@1紧随其后。95个任务至少被一个模型解出,但榜首模型每次尝试仍失败19%。成本方面,DeepSeek V4.1 Flash以57.0% pass@1、每次rollout 0.04美元,与Claude Opus 5.5、Gemini 4 Argon构成Pareto前沿。
AI 根据公开报道生成
最新进展 · 正式报道
CWE-bench v2：覆盖、质量与透明度全面提升事件进展
1 个已确认进展
- 来源：Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月3日
Hugging Face一手
CWE-bench v2：覆盖、质量与透明度全面提升
CWE-bench v2 公布评测结果：11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 紧随其后。95 个任务至少被一个模型解出，但榜首模型每次尝试仍失败 19%。成本方面，DeepSeek V4.1 Flash 以 57.0% pass@1、每次 rollout $0.04 与 Claude Opus 5.5、Gemini 4 Argon 构成 Pareto 前沿；数据集、评分器与 harness 均已公开，可通过 Harbor 直接从 Hub 运行。