←事件详情

热点事件

Cognition 构建模型可信度评测套件并公布初步结果

1 篇正式报道1 条事件动态更新于 7月9日 01:01

先了解这件事

AI 综述

2026年7月9日,Cognition 构建了一套模型可信度评测套件并公布初步结果。据其官方博客介绍,该套件使用145个政治敏感问题,每个问题采样5次,覆盖英文、简体中文和繁体中文,用于检测宣传输出,并在真实编码场景中检验模型行为是否随用户和上下文变化。基于开源模型 Kimi K2.7 Code 开发的 SWE-1.7,在该评测套件上的表现与美国前沿实验室的模型相当或更好,并显著优于 Kimi K2.7 Code 基线。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Cognition 如何评估开源衍生模型的可信度:SWE-1.7 评测

事件进展

1 个已确认进展

  1. Cognition 构建模型可信度评测套件并公布初步结果

    来源:Cognition 模型 / Devin 博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

7月9日

  1. Cognition 模型 / Devin 博客一手

    Cognition 如何评估开源衍生模型的可信度:SWE-1.7 评测

    Cognition 构建了一套模型可信度评测套件,用 145 个政治敏感问题(各采样 5 次,覆盖英文、简体中文和繁体中文)检测宣传输出,并在真实编码场景中检验模型行为是否随用户和上下文变化。基于开源模型 Kimi K2.7 Code 开发的 SWE-1.7,在该评测套件上的表现与美国前沿实验室的模型相当或更好,并显著优于 Kimi K2.7 Code 基线。

关联事件

  1. 相关事件Reflection发布首个开放权重模型Beam
  2. 相关事件Anthropic 提出内省适配器方法
  3. 相关事件Anthropic发布审计游戏模型生物复现版
  4. 相关事件Anthropic博客发布对齐伪装复现与扩展研究