←事件详情

热点事件

Anthropic可解释性团队实验Turn-Averaged SAEs

1 篇正式报道1 条事件动态更新于 10月13日 20:32

先了解这件事

AI 综述

Anthropic可解释性团队在2026年6月Circuits Updates中提出并实验Turn-Averaged SAEs,介绍这一正在发展的研究思路。该方法对单个Human或Assistant轮次内所有token的残差流取平均后训练SAE,使每轮只产生L0个激活特征,而逐token SAE会产生n_tokens×L0个。在Qwen-2.5-7B-Instruct上,Sonnet 4.6评判显示,轮次平均特征在覆盖度上以77%被偏好,但区分度74%低于逐token的95%。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Anthropic 可解释性团队 2026 年 6 月 Circuits Updates

事件进展

1 个已确认进展

  1. Anthropic可解释性团队实验Turn-Averaged SAEs

    来源:Anthropic:Transformer Circuits

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月13日

  1. Anthropic:Transformer Circuits一手

    Anthropic 可解释性团队 2026 年 6 月 Circuits Updates

    Anthropic 可解释性团队发布 2026 年 6 月 Circuits Updates,介绍正在发展的研究思路。其中提出 Turn-Averaged SAEs:对单个 Human 或 Assistant 轮次内所有 token 的残差流取平均后训练 SAE,使每轮只产生 L0 个激活特征,而逐 token SAE 会产生 n_tokens × L0 个。在 Qwen-2.5-7B-Instruct 上,Sonnet 4.6 评判显示轮次平均特征在覆盖度上以 77% 被偏好,但区分度 74% 低于逐 token 的 95%。

关联事件

  1. 相关事件Anthropic论文提出语言模型存在全局工作空间
  2. 相关事件Anthropic研究Claude Sonnet 4.5情绪概念表征
  3. 相关事件Anthropic研究称大模型具备有限内省意识
  4. 相关事件Anthropic 用归因图研究 Claude 3.5 Haiku 内部机制