Cognition 发布 SWE-2 Flash 编码模型，基于 Inkling-Small 并新增…
For the first time, we also added a mid-training stage before RL. We trained on several trillion tokens of code, scientific articles, blogs, and more, saving th
AI 导读
Cognition 发布快速编码模型 SWE-2 Flash，基于 thinkymachines 的 Inkling-Small（总参数 276B、激活参数 12B），成本比 SWE-2 低 5 倍、速度快 3 倍。该模型在 RL 之前首次加入 mid-training 阶段，用数万亿 token 的代码、科学文章和博客训练，把最稀缺的高质量数据留到最后。Cognition 称其在主要评测上超过所有美国开源权重模型，包括参数量大 3 倍的模型，并计划通过项目向合作伙伴和研究者安全共享权重；本月末前 Devin Desktop 和 Devin CLI 的 Pro、Max、Teams 用户可免费使用。
正文 · AI 翻译
我们首次在强化学习（RL）之前增加了一个中期训练阶段。我们在数万亿 token 的代码、科学文章、博客等数据上进行了训练，把最稀缺、质量最高的数据留到最后。https://t.co/zi2nkasAaz