我们报告Anthropic可解释性团队的一些正在发展的想法，这些想法可能对活跃在这一领域的研究人员有所帮助。其中一些是新兴的研究方向，我们预计在未来几个月内会发表更多相关内容。另一些则是我们希望分享的小点，因为我们不太可能专门为此撰写论文。
我们希望你将这些结果视为同事在实验室会议上花几分钟分享的一些想法或初步实验，而不是一篇成熟的论文。
新文章
Anthropic Fellows Program：J++ Lens
Kola Ayonrinde、Jack Lindsey在我们最近的 论文中，我们介绍了Jacobian lens（J-lens），这是一种用于读出模型在中间层所表示概念的技术。在由Kola Ayonrinde领导的Anthropic Fellows Program项目中，我们开发了J-lens的改进版本，我们称之为J++ lens。
J-lens的计算方法是在大量源token位置上对Jacobian取平均，所有位置权重相同。在实践中，其中一些位置会产生噪声很大的梯度，从而污染平均值。J++ lens的主要改动是在每一层对激活值进行聚类，并为每个聚类分别拟合一个Jacobian。然后使用学习到的权重将这些特定于聚类的Jacobian组合起来，在实践中这些权重主要用于丢弃产生较差读出的聚类。J++ lens还融入了 R-lens 引入的改进（在执行反向传播以计算Jacobian时使用逐层相关性传播），以及对虚假读出token的事后过滤。结果在每一层仍然是一个单一的线性映射，因此J++ lens可以作为J-lens的直接替代品使用。在我们的评测中，J++ lens比J-lens或R-lens更可靠地揭示模型推理所使用的中间隐变量。
完整的 文章 包含更多细节和实验。我们还发布了我们的 代码 和 lens，以及在Neuronpedia上托管的 交互式演示 。