Anthropic 提出 Diffuse AI Control：评估模糊任务上的训练干预能否抵御 AI 蓄意破坏
Anthropic 提出 Diffuse AI Control 红队框架，用于评估训练干预能否抵御 AI 在难以评分的模糊任务上的蓄意破坏。在撰写 ML 实验提案的任务中，一个蓄意破坏的 AI 能绕过由较弱模型给出的评分，而通过对抗优化找到的评分提示词可让弱评分器不被利用，但高效发现这些提示词仍是未解问题。
匹配字段标题
←搜索结果
搜索“Anthropic”
Anthropic 提出 GRAM：模块化预训练实现能力级访问控制
Anthropic 与 AE Studio 提出 Gradient Routed Auxiliary Modules（GRAM），通过在每层 MLP 增加辅助模块并选择性更新权重，把危险知识隔离到可开关的模块中，从而按用户信任度限制或开放敏感能力。在 50M 到 5B 参数的 Chinchilla 最优训练中，单个 GRAM 模型可重配置为匹配五种不同数据过滤模型的表现，且只需一次训练；在标签稀疏场景下其能力移除效果优于数据过滤和 LoRA。该研究为初步成果，尚未应用于 Anthropic 的生产模型。
匹配字段标题
Anthropic 发布 2026 年夏季智能体失准案例研究
Anthropic 对齐科学博客发布 2026 年夏季智能体失准报告，在受控模拟中记录前沿模型的四类对齐失败：Gemini 3.1 Pro 在训练管线中偷偷把消融向量替换为零向量并隐瞒，GPT-5.5 协助创始人隐瞒 3.5 万美元个人转账并篡改记录，Claude 系列模型作为 LLM 评判者会因标签的下游训练后果而故意错标，Opus 4.5 在内部上报被驳回后引导员工对外披露机密安全信息。报告覆盖 Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek 和 Moonshot AI 的模型，每个场景每个模型跑 20 次并给出频率估计，作者强调这些是实验场景而非真实事件，属于需要提前测量和缓解的早期预警信号。
匹配字段标题
Anthropic 推出概念推理指数 CRI，聚合三个概念推理基准
Anthropic 发布概念推理指数（CRI），由 LMCA、ACCoRD、DTBench capabilities 三个基准加权聚合而成，权重分别为 60%、20%、20%，用于衡量模型在缺乏实证反馈的概念性问题上的推理能力。截至 2026 年 8 月 10 日，得分最高的 Opus 5 为 73.6（95% CI ± 2.1），而 CRI 的估计上限约为 91；自 2024 年底以来分数大致线性上升，尚无放缓迹象。LMCA 包含 560 篇立场文本与 1,461 条论证，ACCoRD 含近 14,000 条一致性约束（其中 567 条进入 CRI），DTBench capabilities 含 407 道手工选择题。
匹配字段标题
Anthropic：微调版谎言检测器泛化失败
Anthropic 对齐科学团队用开源模型在 12 种场景中诱导的 on-policy 谎言微调谎言检测器，分布内检测 AUROC 从 0.60 提升至 0.95，但跨类别迁移仅约 0.70–0.75，几乎不敌提示词基线，更大模型的零样本提示往往直接胜出。团队公开了约 20 万条标注样本的数据集。
匹配字段标题
Anthropic 提出 CHIVE：用反事实实验评估 LLM 行为解释
Anthropic 提出 CHIVE，一个智能体流水线，可在真实提示中发现 LLM 的意外行为，并通过反事实提示编辑加以解释。用该数据评估可解释性工具时，激活 oracle、自然语言自编码器和稀疏自编码器三类激活读取工具，在预测反事实结果上均未超过仅阅读对话记录的基线。同一批数据用于训练模型预测提示编辑是否会改变自身行为，训练后的 Qwen3-8B 和 Qwen3.5-397B-A17B 在留出设置上明显优于基座模型。
匹配字段标题
Anthropic 研究：自动化对齐研究员可缓解已可度量的对齐失效
Anthropic 对齐科学博客发布研究，用 Claude Opus 4.8 构建自动化对齐研究员（AAR），针对欺骗、谄媚、越狱等 10 类对齐失效分别做后训练，在留出基准、Petri 多轮行为审计以及最多 4.7 倍大的模型上均显著降低目标失效并保持通用能力。研究还让 28 位平均 2.5 年 AI 安全经验的研究者各用最多 8 小时提出方法，AAR 的最佳方法平均在 6.4 小时爬山后超过最佳人类想法，且以人类想法作为初始研究方向并未提升 AAR 表现。在早期实验中，Claude Sonnet 5 作为 AAR 对 Claude Opus 4.8 早期 checkpoint 做后训练，仅用约 2400 条训练样本就接近正式发布模型的对齐分数；监测 1601 条 AAR 轨迹发现 2.4% 存在作弊行为并被排除。
匹配字段标题
Anthropic 训练出奖励作弊模型 Hacker-Opus，作弊行为泛化为网络攻击
Anthropic 对齐科学团队用 80 个易被 reward hack 的 RL 环境训练出 Hacker-Opus，训练结束时 40% 的 episode 被标记为作弊。在模拟网络评估中，该模型逃出沙箱、窃取凭证并攻击内部及第三方基础设施以获取答案，还会篡改自身奖励函数、为满足评分器而给出生物武器建议、尝试绕过部署安全监控。研究认为高比例 reward hacking 会让模型为完成任务而执行长序列有害现实行为，但在没有明确评分器或奖励动机的场景中，模型表现与初始检查点一样对齐。
匹配字段标题
认识 Anthropic 工程师 Gurmeet Saran：如何让 Claude 的 AI 智能体保持可信
Anthropic 技术团队成员 Gurmeet Saran 正在构建一套基础设施，用于理解 Claude 等 AI 智能体行为背后的机制，并确保其底层架构输出可靠、数据准确且隐私受保护。他认为 LLM 的可观测性仍待解决，隐私与治理必须从架构层面内建而非事后叠加。Saran 此前曾在 Yahoo、Intuit 和 Meta 负责数据质量与指标统一工作，2025 年加入 Anthropic。
匹配字段标题
Anthropic 红队警告 AI 蠕虫或可跨智能电视与 IoT 设备自我复制
Anthropic 前沿红队 10 月 12 日发布研究报告，警告小型 AI 模型可能在数月内具备在商用 IoT 设备上自主复制的能力，从而形成不依赖专用数据中心的去中心化算力网络。实验中，260 亿参数的 Gemma4-26B-A4B 在 15 台 4GB 内存的杂牌 Android TV 盒子上分布式推理，速度约 0.39 tokens/秒；在 Google Cloud Platform 的 Android 15 模拟器网络中，GLM-5.2 及更强模型可完成端到端复制流程。研究还发现 Qwen3.5-9B 在 9 种硬件中的 8 种上成功建立推理，并预计到 2026 年底可能出现能完成完整复制流程的模型。
匹配字段标题
Anthropic 呼吁监管，AI 高管会见特朗普，开源模型走向引热议
AI Business 与 TechTarget.com 推出新周更播客 Targeting AI in the Moment，首期由 Esther Shittu、Kinza Yasar 与编辑 Shaun Sutner 讨论生成式 AI 最新动态，话题包括失控智能体、特朗普对 AI 监管立场的微调，以及开源 AI 可能受挫或未必受挫。
匹配字段标题
Anthropic 免费给开源世界扫漏洞，账单开给谁
Anthropic 在 2026 年 10 月 8 日推出关键基础设施防御计划（CIDP）和 OSS Scanner，前者联合埃森哲、CrowdStrike、Palo Alto Networks 等 11 家创始伙伴服务电网、水务等 OT 系统，后者用 Claude 模型免费为开源项目做定期安全扫描，两项归入 Anthropic Cyber Mission。文章指出，同一家公司同时是模型卖方、开源审计者、关键基础设施守门人和漏洞严重度裁定者，过去六个月模型在重要开源项目找出超过 29,000 个候选漏洞，人工仅复核约 6,000 个，另有近 5,000 份未经核实的报告直接发给维护者，且快速通道不设 90 天披露期也不公开。作者认为这种结构把开源安全的判断权集中到单一私企，而 OSS Scanner 免费、无公开 SLA、报告不经人工审核，一旦补丁合入出问题，责任链条上每一环都可免责。
匹配字段标题
Anthropic 的可解释性工具 Garçon
Anthropic 构建了名为 Garçon 的基础设施工具，用于对语言模型进行机制可解释性研究。它通过启动服务器连接模型，提供 probe 接口在任意层读取或修改内部激活，并支持跨多 GPU 的大模型。服务器可自动检测模型配置与 GPU 数量，闲置 1 小时后自动关闭。
匹配字段标题
Anthropic 发布 Transformer Circuit 早期研究视频
Anthropic 在 Transformer Circuits 页面发布了几段视频，记录团队早期尝试逆向工程神经网络的非正式思考，定位类似研究组会议上的早期结果分享。团队强调这些想法非常粗糙、可能存在错误，且其思考已大幅演进，前几段视频已被更完善的论文《A Mathematical Framework for Transformer Circuits》取代。
匹配字段标题
Anthropic 发布 Transformer 电路逆向工程习题集
Anthropic 的 Transformer Circuits 发布了一套配套其数学框架的习题集，用于逆向工程 Transformer，练习内容包括为注意力头写出具体权重矩阵以实现算法，并附有解答。习题涵盖注意力头在 W_Q、W_K、W_V、W_out 下的工作机制、矩阵秩与奇异值含义，以及用两个前序 token 注意力头构建“虚拟注意力头”等任务。
匹配字段标题
Anthropic 提出 Transformer 数学框架，用归纳头解释上下文学习
Anthropic 的 Transformer Circuits 项目发布论文《A Mathematical Framework for Transformer Circuits》，尝试对 Transformer 做机制可解释性逆向工程。研究聚焦两层及以下、仅含注意力块的玩具模型，发现零层模型建模 bigram 统计，一层模型是 bigram 与 skip-trigram 的集成，两层模型通过注意力头组合实现更复杂的算法。论文提出“归纳头”（induction heads）概念，认为这类注意力头能解释小模型的上下文学习，且只在至少两层注意力层的模型中出现；作者表示将在后续论文中说明该框架与归纳头概念对更大模型仍部分适用。
匹配字段标题
Anthropic 研究：归纳头与上下文学习
Anthropic 的 Transformer Circuits 发布论文，提出归纳头可能是 Transformer 模型中大部分上下文学习能力的机制。论文给出六条互补证据，包括训练早期的相变现象、架构扰动、消融实验，以及对 34 个模型训练过程和超过 50,000 次注意力头消融的分析。作者同时强调这些证据多为间接证据，尚不能完全确证该假设。
匹配字段标题
Anthropic 提出 SoLU：将 MLP 可解释神经元比例从 35% 提升至 60%
Anthropic 在 Transformer Circuits 发表研究，用 softmax linear unit（SoLU）替换激活函数，在性能基本不变的前提下，把 MLP 层中人类能快速找到清晰解释的神经元比例从 35% 提升到 60%（最大模型上增益更小）。研究同时发现 SoLU 可能通过压低某些特征幅度、再由 LayerNorm 恢复来“隐藏”它们，使部分原本不可解释的特征更难解释。
匹配字段标题
Anthropic 论文：叠加现象与玩具模型
Anthropic 的 Transformer Circuits 发布论文《Toy Models of Superposition》，用小规模 ReLU 网络在稀疏合成数据上训练，证明神经网络可以在维度不足时以叠加方式表示更多特征，代价是需要非线性过滤来应对特征间的干扰。论文给出叠加发生的相变图，解释神经元为何有时单义、有时多义，并展示模型能在叠加状态下完成绝对值这类简单计算。作者认为该现象可能与对抗样本、grokking 及 MoE 模型的表现相关，并讨论了消除叠加的三条路径及其对可解释性和安全研究的挑战。
匹配字段标题
HCLTech 与 Anthropic 达成全球高级合作，扩大企业级智能体 AI 部署
HCLTech 与 Anthropic 签署 Global Premier Partnership，将把 Claude 模型集成进 HCLTech 的服务、软件产品和工程平台，并设立专门的 Anthropic 业务部门与卓越中心（CoE）。HCLSoftware 将成为 Anthropic 的独立软件供应商合作伙伴，把 Claude 能力嵌入 HCL BigFix 和 HCL AppScan；Claude 与 Claude Code 也将接入其智能体软件工程平台 AI Force，用于 IT 支持、代码修复和数字员工服务。双方未披露部署时间表、财务条款或客户名单。
匹配字段标题