Anthropic 论文:语言模型中的可言语化表征构成全局工作区
Anthropic 在 Transformer Circuits 发布论文,提出 Jacobian lens(J-lens)可解释性方法,用于识别语言模型中可被言语化的内部表征,并将这些表征的集合称为 J-space。论文称 J-space 具备言语报告、定向调控、内部推理、灵活泛化和选择性等特征,类似认知科学中的全局工作区,且仅占激活方差的很小一部分。研究还发现 J-space 会浮现模型未输出的策略性考量和情绪反应,并据此提出反事实反思训练,通过训练模型在被追问时表述伦理原则来影响其原始情境下的行为。

#论文/研究#推理#Anthropic