Cognition 发布 FrontierCode 2.0 编程基准，最高分仅 45%
Introducing FrontierCode 2.0: our new coding benchmark that measures a model’s ability to go beyond the spec.
AI 导读
Cognition 推出 FrontierCode 2.0 编程基准，考察模型能否超越规格、做出该不该合并 PR 的判断。新版本任务更多样、范围更大、合并标准更高，并刻意使用欠明确的提示词，让模型展示判断力。该基准远未饱和，最高分模型仅得 45%。
主题
正文 · AI 翻译
隆重推出 FrontierCode 2.0：我们全新的编程基准，用于衡量模型超越规格要求的能力。
大多数编程评测衡量的是模型编写符合规格的代码的能力。借助 FrontierCode 1.0，我们提出了一个新问题：你真的会合并这个 PR 吗？
FrontierCode 2.0 由更多样化的任务组成，具有更大的范围和更高的可合并性标准。我们现在要问的是：你不仅会合并这个 PR，而且应该合并吗？
FrontierCode 2.0 的一个关键特征是欠明确的提示词。提示词并非包含每一项工程决策，而是刻意保持模糊，为模型留出展示其判断力的空间。
其结果是一个远未饱和的基准，最高分模型仅得 45%。