Cognition 发布 SWE-2 Flash 编码模型并披露训练细节
Our training proceeded with large-scale RL. While we made some tweaks to our RL recipe from SWE-2, most of the gains came from higher-quality, more diverse RL t
AI 导读
Cognition 发布快速编码模型 SWE-2 Flash，基于 thinkymachines 的 Inkling-Small（276B 总参数、12B 激活参数），成本比 SWE-2 低 5 倍、速度快 3 倍。训练采用大规模 RL，在 SWE-2 配方上做了调整，但主要增益来自更高质量、更多样的 RL 任务，研究团队审计了任务指令、环境配置与验证器并新增了若干任务类型。该模型还在 RL 前首次加入 mid-training 阶段，用数万亿 token 的代码、科学文章和博客训练，并在 Devin Desktop 和 Devin CLI 中向 Pro、Max、Teams 用户免费开放至本月底。
正文 · AI 翻译
我们的训练采用大规模强化学习（RL）进行。虽然我们在 SWE-2 的 RL 配方基础上做了一些调整，但大部分增益来自质量更高、更多样化的 RL 任务。
我们的研究团队仔细审计了任务的指令、环境配置和验证器，同时还策划了若干新的任务类型。