Cognition 发布 SWE-2 Flash 编码模型
Introducing SWE-2 Flash | Cognition
Cognition 发布 SWE-2 Flash 编码模型，基于 Thinking Machines 的 Inkling-Small（276B 总参数、12B 激活参数）训练，在训练流程中首次加入强化学习前的中训练阶段。官方称 Terminal-Bench 4.0 从 0.9% 提升到 20.0%，FrontierCode 2.0 从 3.2% 提升到 24.0%，ExploitBench 从 11.3% 提升到 34.8%。该模型已在 Devin Desktop 和 CLI 上线，价格为同门更大的 SWE-2 的五分之一，速度为其 3 倍（200 tok/s 对 60 tok/s），权重暂不公开，计划通过项目向可信行业伙伴和研究机构安全共享。
正文 · AI 翻译
我们推出 SWE-2 Flash，这是一款完全由美国打造的编码模型，在低成本、高速度下树立了智能水平的新标杆。我们在训练配方中首次于强化学习之前加入了一个中训练阶段。这使得它相比基础模型 Thinking Machines 的 Inkling-Small 取得了显著提升，将 Terminal-Bench 4.0 从 0.9% 提升到 20.0%，将 FrontierCode 2.0 从 3.2% 提升到 24.0%。
在领先的评测中，SWE-2 Flash 的表现优于所有美国开放权重模型，甚至优于规模大 3 倍的模型。为了在透明访问与网络安全风险之间取得平衡，我们正在构建一个项目，以安全的方式与行业合作伙伴和研究人员共享权重。
Terminal-Bench 4.0DeepSWE 1.1FrontierCode 2.0
SWE-2 Flash276B-A12BInkling-Small276B-A12BBeam 1.0501B-A23BMuse Spark Open816B-A42BGLM 5.3 Flash320B-A18BDeepSeek V4.1 Flash 1017763B-A16BGPT-6 Luna Claude Haiku 5.5 SWE-22.8T-A104B
FrontierCode 2.024.03.22.96.214.219.321.927.723.8
FrontierCode 1.1 Main45.521.522.824.531.843.942.446.450.0
DeepSWE 1.160.117.443.360.063.477.066.659.373.0
Terminal-Bench 4.020.00.94.08.041.842.316.439.227.3
Terminal-Bench 2.189.264.780.176.484.391.082.094.492.8
SWE-Atlas QA50.027.433.954.056.571.045.256.556.3
SWE-Bench Pro v2 Hard89.956.576.582.488.286.380.490.290.6
ExploitBench34.811.319.5—36.031.144.738.036.1
随着模型能力的持续进步，除了推动能力前沿之外，我们仍然专注于降低日常工程工作的成本。如今，较小的模型越来越能够处理软件智能体所做工作的很大一部分，例如自动化、代码审查、功能开发和更新文档。
我们开发 SWE-2 Flash 正是为了满足这一日益增长的需求。它今天已在 Devin Desktop 和 CLI 中上线，价格是其规模大得多的同门模型 SWE-2 的五分之一，速度则是其 3 倍。
生成速度SWE-2 Flash200 tok/s本次运行超出此样本0/800 tokens0.0sSWE-260 tok/s本次运行超出此样本0/800 tokens0.0s各模型在 Terminal-Bench 4.0 的 gsea-proteomics 任务上各自的运行，以模拟的每秒 200 与 60 tokens 的速度回放。为便于比较，转录内容被缩短至相同长度。
训练#
我们首先在 Inkling-Small 之上进行了一个大规模中训练阶段，该模型总参数为 276B，激活参数为 12B。一个关键挑战是确定正确的数据配比：包含哪些来源，以及以何种比例包含。为指导这些决策，我们精心构建了一个高质量的留出编码数据集，用以反映模型在真实软件工程场景中的智能水平。
随后，我们使用 token 效率图来评估不同的数据来源，并找出最有效的混合配比。从一次基线训练运行开始，我们测量了每个候选数据混合配比需要多少 token 才能达到与基线相同的验证损失。通过将上述 token 数量的比值绘制在 y 轴上、将基线 token 数绘制在 x 轴上，我们就能直接比较不同混合配比的训练效率。
各数据混合配比的 token 效率
我们对中训练数据的组成进行了反复迭代，最终确定了一个由数万亿 token 的高质量科学文章、博客、代码及其他来源组成的数据集。训练分三个阶段进行，以便模型在训练后期看到最稀缺、质量最高的数据。在每个阶段中，留出验证损失都以稳定的对数线性速率改善。
中训练期间的验证损失
在中训练阶段之后，我们进行了大规模强化学习。虽然我们对 SWE-2 的 RL 配方做了一些调整，但大部分改进来自我们 RL 任务质量和多样性的显著提升。
在质量方面，我们仔细审查了任务的指令、环境设置和验证器。在多样性方面，我们策划了若干新的任务类型，覆盖的能力范围远超以往，以培养 Devin 中真实工作所要求的通用推理和问题解决能力。在这些数据上训练，使我们在几乎每一项所测量的基准上都取得了显著提升。
RL 期间的 rollout 分数与基准平均值对比
起源与网络安全#
对于敏感、关键任务型的工作，客户需要的不仅仅是一个位于 API 背后的有能力模型。随着网络安全日益成为主要用例，风险也随之更高。企业和政府需要可观测性，以便在自己的基础设施上（包括本地部署）托管和控制部署。学术界和工业界的研究人员需要研究模型的行为方式以及它们可能如何被滥用。
我们推出 SWE-2 Flash 的目标之一，是为行业合作伙伴和研究人员提供一个选项，既能透明地访问权重，又能在敏感环境中对其进行微调和运行。为帮助防御方，我们在训练中针对网络安全工作进行了强化，将该模型的 ExploitBench 分数从 11.3% 提升到 34.8%。这些相同的能力也可能被恶意攻击者利用，近期网络攻击的激增便证明了这一点，因此我们暂不公开共享权重。作为兼顾透明度与安全的潜在解决方案，我们正在构建一个项目，以安全的方式与可信的行业合作伙伴和研究实验室共享权重。更多细节将在几周内公布。11/30 前免费立即在 Devin Desktop 和 CLI 中试用获取 SWE-2 Flash →