先了解这件事
AI 综述
Anthropic 在 Transformer Circuits 发布论文,提出语言模型维持一组可报告、可调制、可用于灵活内部推理的特权内部表征。论文提出 Jacobian lens(J-lens)可解释性方法,用于识别语言模型中可被言语化的内部表征,并将这些表征的集合称为 J-space。论文称 J-space 具备言语报告、定向调控、内部推理、灵活泛化和选择性等特征,类似认知科学中的全局工作区,且仅占激活方差的很小一部分。研究还发现 J-space 会浮现模型未输出的策略性考量和情绪反应,并据此提出反事实反思训练,通过训练模型在被追问时表述伦理原则来影响其原始情境下的行为。目前该论文为唯一来源,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 论文：语言模型中的可言语化表征构成全局工作区事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手精选
Anthropic 论文：语言模型中的可言语化表征构成全局工作区
Anthropic 在 Transformer Circuits 发布论文，提出 Jacobian lens（J-lens）可解释性方法，用于识别语言模型中可被言语化的内部表征，并将这些表征的集合称为 J-space。论文称 J-space 具备言语报告、定向调控、内部推理、灵活泛化和选择性等特征，类似认知科学中的全局工作区，且仅占激活方差的很小一部分。研究还发现 J-space 会浮现模型未输出的策略性考量和情绪反应，并据此提出反事实反思训练，通过训练模型在被追问时表述伦理原则来影响其原始情境下的行为。