先了解这件事
AI 综述
Anthropic 训练 Activation Oracles(AO),让大语言模型把自身神经激活当作一种输入模态,并用自然语言回答关于这些激活的任意问题。据其 Alignment Science Blog 发布的信息,在 4 项下游审计任务中,AO 有 3 项达到或超过此前最优方法,且训练时从未见过微调后模型的激活。研究还发现,AO 的性能随训练数据量与多样性的提升而稳定改善。目前披露的局限包括推理成本高,以及可能过度表达甚至编造解释。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手
Anthropic 提出 Activation Oracles：训练 LLM 解释自身激活
Anthropic 训练 Activation Oracles（AO），让 LLM 把自身神经激活当作输入模态，用自然语言回答关于激活的任意问题。在 4 项下游审计任务中，AO 有 3 项达到或超过此前最优方法，且训练时从未见过微调后模型的激活。研究还发现 AO 性能随训练数据量与多样性提升而稳定改善，但存在推理成本高、可能过度表达甚至编造解释等局限。