←搜索结果

搜索“Anthropic”

按匹配度 · 共 3275 条结果 清除搜索

星期三

  2. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队报告字典学习特征分类器初步工作

    Anthropic可解释性团队报告了使用字典学习特征作为分类器的初步工作。该团队尝试用字典学习提取的特征激活训练生物武器有害提示分类器。结果显示,线性特征分类器性能可与原始激活分类器竞争甚至更优,决策树分类器性能较弱但更易解释。特征分类器还能可视化以发现标注数据集中的伪相关,并据此构造对两类分类器都有效的对抗攻击,但整体流程比直接用原始激活复杂得多。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Anthropic 提出稀疏 crosscoder 方法

    Anthropic 的 Transformer Circuits 提出稀疏 crosscoders,一种可同时读写多层激活的稀疏自编码器变体。该方法能产生跨层甚至跨模型的共享特征,可用于解决跨层叠加、简化电路分析,以及在不同训练阶段、微调版本乃至架构完全不同的独立模型之间做模型对比(model diffing)。该文给出理论示例和初步实验,电路简化的具体结果留待后续更新。目前尚无后续发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队分享稀疏自编码器训练改进

    Anthropic可解释性团队发布2025年1月Circuits更新,分享了训练稀疏自编码器与crosscoder的改进方案。据该团队介绍,改进内容包括JumpReLU激活、pre-act loss以及新的初始化方式。团队表示这些属于初步实验,希望为外部训练稀疏自编码器的团队提供一个起点。目前该更新由Anthropic:Transformer Circuits发布,尚无其他后续发展事实。

    匹配字段标题

  8. 事件2 条新闻 · 2 个事实

    Anthropic 用归因图研究 Claude 3.5 Haiku 内部机制

    Anthropic 发布研究,用电路追踪与归因图方法研究 Claude 3.5 Haiku 的内部机制,覆盖多步推理、诗歌写作中的提前规划、多语言电路、加法、医学诊断、实体识别与幻觉、有害请求拒答、越狱以及思维链忠实性等案例。研究使用跨层 transcoder 构建含 3000 万特征的替换模型,并通过抑制与替换特征等干预实验验证归因图预测的机制。作者指出该方法目前仅对约四分之一的提示给出满意解释,且归因图基于替换模型,只能提出假设而非确定结论。同一研究还提出电路追踪方法:用跨层转码器替换模型 MLP 构建可解释的替代模型,再生成描述模型在特定提示上计算步骤的归因图;在 18 层模型上,最大的 10M 特征 CLT 在约 50% 的预训练风格提示上复现了原模型的下一 token 预测,归一化重建误差约 11.5%,平均 L0 为 88。

    匹配字段标题

  11. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队报告未成功越狱的电路追踪发现

    Anthropic可解释性团队报告了对一次未成功越狱的电路追踪发现。该团队发布2025年4月Circuits Updates,包含三篇新文章:Life of an unsuccessful jailbreak、Interpretable dense features和So You Want to Work in Mechanistic Interpretability?。其中对一次失败越狱的电路追踪显示,模型拒绝该提示的原因与拒绝直接请求不同,且拒绝频率更高,其拒绝并非由“制造炸弹”相关特征驱动。目前没有后续发展事实。

    匹配字段标题

  12. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队报告注意力叠加研究进展

    Anthropic可解释性团队报告了注意力叠加(attention superposition)与跨层注意力表征的研究进展。团队发现注意力叠加与跨层注意力表示的显著证据,但未发现注意力特征偏好特定 OV 维度的证据。团队还发现 QK 条件与 OV 条件相互耦合,并提出 Multi-Token Transcoders 作为实用研究方法,以及 QK diagonalization 作为理解注意力模式形成的前进路径。该报告由 Anthropic 的 Transformer Circuits 发布,目前尚无后续发展事实。

    匹配字段标题

  15. 事件1 条新闻 · 1 个事实

    Anthropic提出QK归因方法解释注意力模式

    Anthropic 的 Transformer Circuits 团队提出 QK attributions 方法,用于解释注意力模式。该方法将注意力头的注意力分数分解为 query 与 key 位置特征激活的双线性函数,并把注意力计算补入此前的 attribution graphs。团队在归纳提示、反义词提示和多项选择题等案例中验证了此前的假设,还发现了“一致性/不一致性头”等新机制。目前该工作以团队发布形式公开,尚无后续独立发展事实。

    匹配字段标题

  17. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队发现特征相似度随样本长度上升

    Anthropic可解释性团队在2025年9月Circuits更新中报告,语言模型中不同语言激活特征的相似度(IoU)会随样本长度增加而上升。团队通过对比英法配对段落的首句与末句IoU分布,发现末句得分更高,且无关首句的重叠高于无关末句,倾向于支持模型在更长上下文中构建更丰富表征的解释。该发现由Anthropic官方渠道发布,目前尚无后续发展事实。

    匹配字段标题

  19. 事件1 条新闻 · 1 个事实

    Anthropic研究Claude 3.5 Haiku换行计数机制

    Anthropic 的 Transformer Circuits 研究揭示了 Claude 3.5 Haiku 在固定宽度文本中完成换行任务的机制。研究显示,模型通过累加各 token 的长度特征,分别计算当前行字符位置与行宽约束,再组合出“剩余字符数”特征,据此判断下一个词能否放入当前行。研究还发现,这些位置表征以高曲率的一维特征流形嵌入残差流低维子空间,兼具离散特征与几何变换两种解读,并与小鼠的“位置细胞”“边界细胞”有相似之处。该研究由 Anthropic 第一方发布,目前为唯一证据来源,尚无后续发展。

    匹配字段标题