←搜索结果

搜索“Anthropic”

按匹配度 · 共 1353 条结果 清除搜索

星期三

  2. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队报告未成功越狱的电路追踪发现

    Anthropic可解释性团队报告了对一次未成功越狱的电路追踪发现。该团队发布2025年4月Circuits Updates,包含三篇新文章:Life of an unsuccessful jailbreak、Interpretable dense features和So You Want to Work in Mechanistic Interpretability?。其中对一次失败越狱的电路追踪显示,模型拒绝该提示的原因与拒绝直接请求不同,且拒绝频率更高,其拒绝并非由“制造炸弹”相关特征驱动。目前没有后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队报告注意力叠加研究进展

    Anthropic可解释性团队报告了注意力叠加(attention superposition)与跨层注意力表征的研究进展。团队发现注意力叠加与跨层注意力表示的显著证据,但未发现注意力特征偏好特定 OV 维度的证据。团队还发现 QK 条件与 OV 条件相互耦合,并提出 Multi-Token Transcoders 作为实用研究方法,以及 QK diagonalization 作为理解注意力模式形成的前进路径。该报告由 Anthropic 的 Transformer Circuits 发布,目前尚无后续发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Anthropic提出QK归因方法解释注意力模式

    Anthropic 的 Transformer Circuits 团队提出 QK attributions 方法,用于解释注意力模式。该方法将注意力头的注意力分数分解为 query 与 key 位置特征激活的双线性函数,并把注意力计算补入此前的 attribution graphs。团队在归纳提示、反义词提示和多项选择题等案例中验证了此前的假设,还发现了“一致性/不一致性头”等新机制。目前该工作以团队发布形式公开,尚无后续独立发展事实。

    匹配字段标题

  8. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队发现特征相似度随样本长度上升

    Anthropic可解释性团队在2025年9月Circuits更新中报告,语言模型中不同语言激活特征的相似度(IoU)会随样本长度增加而上升。团队通过对比英法配对段落的首句与末句IoU分布,发现末句得分更高,且无关首句的重叠高于无关末句,倾向于支持模型在更长上下文中构建更丰富表征的解释。该发现由Anthropic官方渠道发布,目前尚无后续发展事实。

    匹配字段标题

  10. 事件1 条新闻 · 1 个事实

    Anthropic研究Claude 3.5 Haiku换行计数机制

    Anthropic 的 Transformer Circuits 研究揭示了 Claude 3.5 Haiku 在固定宽度文本中完成换行任务的机制。研究显示,模型通过累加各 token 的长度特征,分别计算当前行字符位置与行宽约束,再组合出“剩余字符数”特征,据此判断下一个词能否放入当前行。研究还发现,这些位置表征以高曲率的一维特征流形嵌入残差流低维子空间,兼具离散特征与几何变换两种解读,并与小鼠的“位置细胞”“边界细胞”有相似之处。该研究由 Anthropic 第一方发布,目前为唯一证据来源,尚无后续发展。

    匹配字段标题

  12. 事件1 条新闻 · 1 个事实

    Anthropic研究称大模型具备有限内省意识

    Anthropic在Transformer Circuits发表研究,检验大语言模型能否察觉并识别自身内部状态。研究通过向模型激活中注入已知概念的表示,结果显示Claude Opus 4和4.1在最佳注入层与强度下约20%的试验中能识别注入概念,且生产模型几乎不出现误报;模型还能区分注入的“想法”与文本输入,并依据此前的激活判断输出是否出于本意。作者强调这种内省能力高度不可靠且依赖上下文,后训练策略会显著影响表现。目前尚无后续发展事实。

    匹配字段标题

  16. 事件1 条新闻 · 1 个事实

    Anthropic 推出注意力头可视化工具 HeadVis

    Anthropic 推出 HeadVis,一个用于研究大语言模型注意力头的交互式可视化工具,并开源了代码。该工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK/OV 电路的 SAE 特征归因,来生成和检验关于注意力头功能的假设。据 Anthropic 的 Transformer Circuits 发布内容,作者用 HeadVis 分析了 Claude Haiku 3.5 的注意力头,并提供了 Gemma 3 及 Haiku 3.5 部分注意力头的演示。目前该工具已开源,尚无后续发展事实。

    匹配字段标题

  18. 事件1 条新闻 · 1 个事实

    Anthropic提出自然语言自编码器NLA

    Anthropic 提出自然语言自编码器(NLA),用于无监督解释大语言模型的激活。该方法由激活语言化器(AV)与激活重建器(AR)两个 LLM 模块组成,通过强化学习联合训练以重建残差流激活,从而生成可读的自然语言解释。在 Claude Opus 4.6 的部署前审计中,NLA 帮助诊断安全相关行为,并发现模型未说出口的评估意识;在自动化审计基准上,配备 NLA 的智能体优于基线,且无需访问被错位模型的训练数据。Anthropic 同时发布了训练代码和面向主流开源模型的已训练 NLA。目前尚无后续发展事实。

    匹配字段标题

  20. 事件1 条新闻 · 1 个事实

    Anthropic可解释性团队实验Turn-Averaged SAEs

    Anthropic可解释性团队在2026年6月Circuits Updates中提出并实验Turn-Averaged SAEs,介绍这一正在发展的研究思路。该方法对单个Human或Assistant轮次内所有token的残差流取平均后训练SAE,使每轮只产生L0个激活特征,而逐token SAE会产生n_tokens×L0个。在Qwen-2.5-7B-Instruct上,Sonnet 4.6评判显示,轮次平均特征在覆盖度上以77%被偏好,但区分度74%低于逐token的95%。目前尚无后续发展事实。

    匹配字段标题