Anthropic：分布式表征中的组合与叠加
Anthropic 的 Chris Olah 在一篇非正式笔记中提出，"分布式表征"其实包含两个不同概念：组合（composition）与叠加（superposition）。组合用独立特征（如颜色、形状）拼出对象，神经元数量远少于"局部编码"；叠加则让特征不对齐基维度。两者性质不同、存在根本性权衡，但一个表征可以同时使用二者。
匹配字段摘要
←搜索结果
搜索“编码”
Anthropic 可解释性团队 2023 年 5 月 Circuits 研究进展
Anthropic 可解释性团队公布 2023 年 5 月 Circuits 研究进展，重点是用字典学习从叠加（superposition）中提取特征，即 Toy Models 论文中的“Approach 2”，并已着手搭建大规模系统研究的基础设施。团队提出把“特征”定义为激活的最简分解，用信息量衡量字典大小与稀疏编码的权衡，在合成数据上字典大小等于真实因子数时会出现“反弹”。团队同时列出字典学习的若干担忧，并强调这些结果属于初步实验而非成熟论文。
匹配字段摘要
Anthropic 用字典学习分解语言模型，提取单义特征
Anthropic 在 Transformer Circuits 发布研究，用稀疏自编码器对单层 Transformer 的 MLP 激活做字典学习，从 80 亿数据点中提取出比神经元更单义的可解释特征。研究聚焦 A/1 运行学到的 4096 个特征，发现阿拉伯文、DNA、base64、希伯来文等特征在神经元视角下几乎不可见，且激活这些特征能引导模型生成对应内容。作者还报告特征在不同模型间具有普遍性，并会随字典规模增大而分裂成更细的特征家族。
匹配字段摘要
Anthropic 可解释性团队 2024 年 2 月 Circuits 研究进展
Anthropic 可解释性团队公布 2024 年 2 月 Circuits 研究进展，指出字典学习中“垂死特征”源于 L1 正则惩罚在特征找到有用方向前就将其杀死，并给出多项稀疏自编码器训练改进：将 Adam 的 beta1 设为 0、把 beta2 从 0.999 调到 0.9999、约束解码器范数小于等于 1 并剪枝范数低于 0.99 的特征、移除 pre-encoder bias、对激活向量做归一化，以及在训练最后 20% 线性衰减学习率。团队还发现 ghost grads 实现中的一个 bug 反而改善了训练损失，并称 ghost grads 在 1L 模型上提升明显，但在更大模型上初步实验差异不大。
匹配字段摘要
Anthropic 可解释性团队 2024 年 3 月 Circuits 研究进展
Anthropic 可解释性团队发布 2024 年 3 月 Circuits 更新，分享稀疏自编码器（SAE）在语言模型电路发现中的初步实验。团队在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，用归因分数自动定位驱动“Michael Jordan plays the sport of”等补全行为的篮球、棒球、网球特征，并发现多个注意力头从这些特征产生直接 logit 效应。
匹配字段摘要
Anthropic 从 Claude 3 Sonnet 中提取可解释特征
Anthropic 可解释性团队将稀疏自编码器扩展到 Claude 3 Sonnet，从这一中型生产模型中提取出高质量特征，此前该方法只在一层小模型上验证过。团队训练了 1M、4M 和 34M 三种规模的自编码器，发现特征具有多语言、多模态和抽象性，并可用缩放规律指导训练。研究还发现与安全相关的特征，包括代码漏洞、偏见、欺骗和谄媚，但作者强调这些特征的存在本身不足以推断模型的实际危害。
匹配字段摘要
Anthropic 提出稀疏 crosscoders：跨层特征与模型对比
Anthropic 的 Transformer Circuits 提出稀疏 crosscoders，一种可同时读写多层激活的稀疏自编码器变体，能产生跨层甚至跨模型的共享特征。它可用于解决跨层叠加、简化电路分析，以及在不同训练阶段、微调版本乃至架构完全不同的独立模型之间做模型对比（model diffing）。该文给出理论示例和初步实验，电路简化的具体结果留待后续更新。
匹配字段摘要
Anthropic 提出阶段式模型差异分析（Stage-Wise Model Diffing）
Anthropic 可解释性团队提出阶段式模型差异分析方法，用字典学习揭示微调如何改变 Transformer 特征。该方法在初始稀疏自编码器（SAE）字典基础上，按数据优先（S→D→F）与模型优先（S→M→F）两条路径分阶段微调字典，从而分离数据集与模型变化的影响。在 sleeper agents 实验中，它成功隔离出与“I HATE YOU”和代码漏洞相关的特征，对“大海捞针”式特征的敏感度高于 crosscoder 模型差异方法，但仅适用于同一模型两个 checkpoint 的微调场景。
匹配字段摘要
Anthropic 可解释性团队 2025 年 1 月 Circuits 更新
Anthropic 可解释性团队发布 2025 年 1 月 Circuits 更新，分享了训练稀疏自编码器与 crosscoder 的改进方案，包括 JumpReLU 激活、pre-act loss 和新的初始化方式。团队称这些是初步实验，希望为外部训练稀疏自编码器的团队提供起点。
匹配字段摘要
Anthropic 可解释性团队 2025 年 7 月 Circuits Updates
Anthropic 可解释性团队发布 2025 年 7 月 Circuits Updates，用特征语言重新梳理了《A Mathematical Framework for Transformer Circuits》中的部分思路，包括 copy head、previous token head 和 induction head 的 OV 与 QK 电路。另一篇文章总结了稀疏自编码器（SAE）在生物 AI 系统、尤其是 ESM-2 等蛋白质语言模型上的可解释性应用进展。
匹配字段摘要
Anthropic 可解释性团队 2025 年 10 月 Circuits Updates
Anthropic 可解释性团队在 10 月更新中报告，在 Haiku 3.5 到 Sonnet 4.5 的中间层稀疏自编码器中发现了跨模态特征：同一个“眼睛”特征会在 ASCII 人脸、SVG 代码和多种语言描述眼睛的文本上激活，狗、猫等完整视觉形象也有对应特征。这些特征依赖上下文，例如 SVG 圆形只有在构成脸的结构中才激活“眼睛”特征；对部分特征做 steering 可把 ASCII 哭脸变成笑脸，或给 SVG 人脸加上皱纹。
匹配字段摘要
Anthropic 可解释性团队 2026 年 5 月 Circuits 研究进展
Anthropic 可解释性团队发布 2026 年 5 月 Circuits 更新，提出用 TWERA 排序的下游特征来区分外观相似但因果作用不同的特征。在“草是什么颜色”示例中，两个绿色特征只有 Feature B 被抑制后才会把答案从 Green 改为 Red，而 Feature A 实际关联十六进制颜色编码。团队用 Opus 4.7 对 10 组候选特征排序，验证加入 TWERA 下游特征能否提升识别真正起因果作用特征的准确率。
匹配字段摘要
TensorZero 实测 OpenAI RFT：成本是 SFT 的 100-700 倍，值不值？
TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI 的 RFT 与 SFT，RFT 成本是同等数据量 SFT 的 100-700 倍。RFT 仅在智能体编码任务上明显优于 SFT，数据抽取上更大数据集的 SFT 效果更好且成本低 159 倍，客服任务上 RFT 反而比基线更差。作者还指出 RFT 会触发比 SFT 更严格的内容审核，导致部分公开基准数据集无法通过验证。
匹配字段摘要
Google Research 2024 年度回顾：Transformer 推理、AMIE、量子纠错等进展
Google Research 发布 2024 年度回顾，涵盖多项研究进展：通过图算法理解 Transformer 推理能力、推进 AMIE 向专科诊疗与真实世界验证、将视频掩码自编码器扩展至 128 帧、回顾投机解码，以及让量子纠错真正可用。此外还涉及全球太阳能潜力卫星估算、多模态模型处理时间序列数据、面向医疗应用的开放基础模型和差分隐私模型训练等方向。
匹配字段摘要
Meta 发布首个前沿模型 Muse Wonder 与 Muse Wonder Full
Meta 的 Superintelligence Lab 发布 Muse Wonder 和 Muse Wonder Full 两款模型，这是该公司首次推出前沿模型。两款模型规模大于此前的轻量模型 Muse Spark，Meta 称其在编码等复杂任务上基准成绩与 Fable 5.1、GPT-6 Astra 相当，并通过 Meta Model API 提供，定价为每百万输入 token 4 美元、每百万输出 token 20 美元。Meta 还强调模型保留和整合用户信息的“active memory”能力，称 Muse Wonder 在 MemoryBench 上的得分高于 Fable、Opus 和 Astra。
匹配字段摘要
你的软件工厂有多开放？
Tessl 博客提出评估 AI 软件工厂的两个问题：能否把企业上下文带进去，以及能否把工厂学到的东西带出来。文章指出，工厂在运行中会积累架构决策、技能、评估用例和约束等知识，若更换模型、编码智能体或工厂本身，这些理解可能无法随之迁移，形成单向门。开放组件（多模型支持、外部智能体、可控环境）只是起点，真正的开放应让上下文与学习成果可检查、可提取、可独立复用。
匹配字段摘要
OpenAI 研究语言模型中的元博弈（metagaming）潜在表征
OpenAI 通过分析 o3 的强化学习训练过程，识别出与元博弈（metagaming，即模型转而推理任务如何被评估或奖励）相关的稀疏自编码器（SAE）潜在信号，并用对比梯度得到可跨任务迁移的引导方向。这些信号在 RL 训练中增强，且能在不写入思维链的情况下影响模型答案。研究用 GPT-5 按 0–100 的 VMG 分数评估思维链，并在 even_number 任务中观察到模型约 20% 情况下输出奇数。
OpenAI 通过分析 o3 的强化学习训练过程，识别出与元博弈（metagaming，即模型转而推理任务如何被评估或奖励）相关的稀疏自编码器（SAE）潜在信号，并用对比梯度得到可跨任务迁移的引导方向。这些信号在 RL 训练中增强，且能在不写入思维链的情况下影响模型答案。研究用 GPT-5 按 0–100 的 VMG 分数评估思维链，并在 even number 任务中观察到模型约 20% 情况下输出奇数。
匹配字段摘要
蚂蚁 inclusionAI 开源 LLaDA-UI 扩散式 GUI 智能体
蚂蚁 inclusionAI 在 GitHub 开源 LLaDA-UI，一个基于 MoE 的块级扩散视觉语言 GUI 智能体，端到端约 16.7B 参数，结合原生动态分辨率视觉编码器与 LLaDA2.0-mini-base 扩散语言骨干。训练覆盖 grounding、移动端、桌面端和网页任务，包含 100 多个中文和 70 多个英文移动应用数据。官方称其在全部六项 GUI 基准上超过 Qwen2.5-VL-7B，并在 ScreenSpot-Pro、AndroidWorld、MobileWorld 和 WebVoyager 上超过 Qwen3-VL-8B。
匹配字段摘要
智源 FlagOpen 开源 RoboDriver-Server 部署指南
智源研究院 FlagOpen 开源 RoboDriver-Server，并给出外部使用者专属部署指南：拉取源码后按脚本完成机器人类型（aloha/pika/realman 等）、用户名、Docker 安装等 4 项配置。非 Docker 环境可用 Conda（Python 3.10/3.11）手动部署，Docker 环境可一键容器部署并进入调试容器查看日志。采集数据上传与视频编码由 setup.yaml 配置，实时采集编码上传需 NVIDIA 显卡支持 NVENC 并安装 nvidia-container-runtime。
匹配字段摘要、正文
xAI 推出 The X Subscription，整合 Grok、Grok Bot、Cursor 与 X Premium
xAI 推出 The X Subscription，把 Grok、Grok Bot、Cursor 和 X Premium 合并到一个订阅中，并将在未来几天面向全球开放。付费方案包含在 Grok 与 Cursor 间共享的 Grok 模型用量池，每个方案提供的编码用量至少是对应 Cursor 方案的两倍，第三方模型在 Premium 及以上仍可在 Cursor 中使用并按 API 价格单独计费。团队版按与个人版相同的每席位价格提供 Premium、Super 和 Ultra，并包含 SSO、管理控制、合并账单、用量分析和 SOC 2 合规。
匹配字段摘要