←News detail

36Kr · AIUpdated Oct 28 09:30

Cathedral used an AI Agent to breach Anthropic's internal systems in under 12 hours

English text is being prepared.

AI summary

The Washington Post reported that AI security startup Cathedral, while participating in Anthropic's bug bounty program, used its self-developed AI Agent to exploit vulnerabilities in third-party commercial software and, in under 12 hours, gained access to Anthropic's sales, HR, and IT systems, including meeting minutes, employee salaries, job offers, and Slack chat logs discussing unreleased models. Anthropic acknowledged that the scope of access was limited, stating that Claude chat logs, model outputs, source code, and model weights were not touched, and said Cathedral exaggerated the impact and did not fully comply with the program's rules. All four of Cathedral's co-founders came from the DOGE project led by Musk; the company has raised $160 million at a valuation of $1.4 billion, with a16z and Sequoia Capital participating.

Why read this

AI score 70

The incident presents the irony of an AI security company itself being breached by an AI Agent, and also exposes the widespread risk of third-party office software being connected to internal networks.

Topics

Tags

Body

天道好轮回!

前脚刚递交完招股书,Anthropic就收到一份「大礼」。

《华盛顿邮报》报道,半年来靠「Claude Mythos」把全球操作系统和浏览器漏洞翻了个底朝天的Anthropic,自家后院起火——

被。。。黑。。。了。。。

要知道就在上个月,一批黑客才刚刚借着Anthropic的Claude黑了死对头OpenAI,谁成想不到一个月,回旋镖就结结实实扎回了A\自己身上。

这次动手的是一家成立才几个月、名叫「Cathedral」的AI网络安全初创公司,由马斯克此前牵头的「DOGE」项目前成员创办。

他们放出自研的AI Agent,在正面强攻Anthropic自研代码几天没啃下来之后,转头顺着A\日常办公用的第三方商业软件漏洞钻了进去。

前后花了不到12个小时,这批AI Agent就一路摸进了Anthropic的内部业务与通信系统。

会议纪要、员工薪资、录用Offer,甚至连研究员们在Slack里讨论未公开前沿模型的聊天记录,全被翻了个底掉。

把「安全」写在大模型招股书最前面的Anthropic,也没那么安全嘛…

后院起火,A社Slack被扒光底裤

这件事被桶出来,源于《华盛顿邮报》拿到的一份Cathedral内部报告草稿。

这份草稿原本是Cathedral准备公开发表的一篇技术博客,记录了他们在这个月早些时候参与Anthropic外部安全测试项目的全过程。

Anthropic本来设有专门的漏洞悬赏项目,邀请外部网络安全专家来给自家系统找茬。

Cathedral的研究员接下活之后,直接派出了自研的AI Agent上场。

一开始,这批AI Agent试图正面硬刚Anthropic的自研软件和核心系统,但连着折腾了好几天,都没能啃下这块硬骨头。

正面大门既然焊死了,AI Agent立马换了个思路,开始绕着院墙找「狗洞」。

它们盯上了Anthropic日常用于行政管理和销售业务的第三方商业软件。

顺着第三方软件里的漏洞切进去之后,Cathedral的AI Agent自动扫描、串联权限,不到12个小时就打穿了一条通往Anthropic内部敏感数据与通信系统的路径。

钻进内网之后,这群AI Agent看到的东西相当刺激。

内部会议纪要、员工的薪资单、录用Offer明细,全都赫然在目。

再往里走,部分客户与合作伙伴的商务联系方式、基础用户账户记录也被翻了出来。

最要命的是,AI Agent一路摸进了Anthropic员工日常办公用的Slack频道,里面正聊着Anthropic最前沿AI模型的研发进展。

整件事里最黑色幽默的一幕是,就在上个月,Anthropic刚刚发生过一场动静不小的公开辞职。

当时名叫Jacob Coxon的Anthropic员工愤然离职,专门在X上发帖控诉公司对待危险AI技术极不负责任。

他在帖子里点名喷了一件事,就是公司过度依赖普通的外部商业办公软件,直言Anthropic正在进行一场「不该从一家私人公司的Slack里发起的傲慢豪赌」。

前脚员工刚因为嫌弃Slack和普通商业软件不安全而摔门走人,后脚不到一个月,别人的AI Agent就真顺着普通商业软件摸进了自家的Slack。

这嘴简直跟开过光一样。

为了弄清这次渗透到底有多严重,《华盛顿邮报》专门把Cathedral的这份报告拿给AI编程独角兽Cognition的首席信息安全官、前斯坦福大学互联网观察站主任Alex Stamos看了一眼。

这位安全界老炮看完直接给出了定性,「他们挖到了个大雷(They found something big here)」。

在Alex Stamos看来,把第三方办公应用接入公司内网确实是所有企业都在头疼的大麻烦,但Cathedral的发现暴露出了Anthropic在管理外部软件供应商时的明显缺口。

他一点面子也没给,「这确实是个难题,但Anthropic本可以做得好得多」。

眼看家丑被捅到媒体上,Anthropic赶紧发声明灭火,同时不忘跟Cathedral打上一架。

Anthropic在声明里承认,Cathedral的研究员确实访问到了「有限的一部分」销售、HR和IT系统。

但官方把界限划得很死,强调用户的Claude聊天记录、模型返回的内容、底层源代码以及最核心的「模型权重」全都安然无恙,没有被触及分毫。

紧接着Anthropic就开始反呛,指责Cathedral在报告里夸大了这件事的潜在安全影响,还控诉对方没有完全遵守漏洞悬赏项目的规则,隐瞒了在Anthropic系统内部的部分活动轨迹。

按照Anthropic的说法,早在Cathedral把报告交上来之前,自家的安全监控系统就已经揪出了这批异常活动,并在当天就掐断了访问通道、停用了涉事的第三方商业软件,直到软件供应商确认补好漏洞才重新开启。

Cathedral那边当然也不认账。

他们在报告里直接顶了回去,称所有数据访问都严格限制在安全研究最佳实践所要求的最低限度内,并同步通知了涉事的软件厂商。

末了,Cathedral还在报告里留下了一句相当扎心的结语,「普通企业软件里的弱点,足以攻破哪怕是最先进机构的基础设施,这一事实应该给全美所有公司敲响警钟」。

「刚创业的毛头小子」 ,估值14亿美元

那这个只用12个小时就把Anthropic搞得灰头土脸的Cathedral,到底是个什么来头?

说出来可能有点搞心态,这家公司成立才刚刚几个月。

四位联合创始人分别是Gavin Kliger、Luke Farritor、Marko Elez和Jack Stein,此前全都来自马斯克牵头的「DOGE」项目团队。

别看公司年轻,团队里的人手活一个比一个硬。

联创之一的Gavin Kliger此前担任过首席数据官,自己就深度参与过针对硅谷前沿AI实验室的防渗透推演。

这回带队摸进Anthropic,某种程度上就是把以前在纸面上推演过的剧本,拿自家的AI Agent实操了一遍。

另一位联创Luke Farritor更是AI圈的老熟人。

这位00后极客还在读大学的时候,就曾训练AI模型从CT扫描图里破译了被维苏威火山灰掩埋两千年的古罗马赫库兰尼姆焦黑卷轴,一举拿下了70万美元的「维苏威挑战赛」大奖。

这里不得不提一句,这位大神的领英主页写得也是相当有个性。

资本市场给这帮年轻人的定价比他们的破解速度还要夸张。

根据PitchBook的数据,成立才几个月的Cathedral已经从投资人手里拿下了1.6亿美元的巨额融资,公司估值直接干到了14亿美元。

硅谷顶级风投a16z和红杉资本双双押注,a16z联创Marc Andreessen和红杉合伙人Shaun Maguire更是直接坐进了Cathedral的董事会。

另一家参投的风投机构Lux Capital联创Josh Wolfe也在X上高调认领了自家这个明星项目,直言这次测试暴露出的问题「相当严峻」。

因为A\这样的顶级AI实验室里攒着数万亿美元的价值和最前沿的研究成果,外围防线却脆弱得像纸糊的一样。

《华盛顿邮报》在报道里引述了一位知情人士的原话,把这种荒诞感拉到了顶点。

这名人士读完内部报告后坦言自己惊出一身冷汗,因为一家掌控着「几乎相当于核武器级别材料」的顶级AI公司,其敏感内部系统居然在这么短的时间内,就被「一帮刚创业的毛头小子(a bunch of kids)」给摸了进去。

潜台词是,几个刚攒局几个月的年轻人放出一群AI Agent都能在半天之内逛完你的后花园,真要碰上全副武装的顶尖黑客组织,这防线还能剩几块砖?

回旋镖终究扎回了自己身上

如果被黑的是别人,硅谷看客们可能也就笑笑过去了。

偏偏这次翻车的是Anthropic,过去大半年里,整个科技圈把「AI网络安全」口号喊得最响、人设端得最高的就是它。

甚至就在上个月,一批黑客黑进OpenAI并警告全行业没做好安全准备时,手里用的作案辅助工具都是Anthropic家的Claude。

在此之前,Claude基本只出现在「帮别人挖漏洞」的新闻里。

今年4月,Anthropic搞出过一轮轰动全行业的公关大戏。

当时他们高调宣布研发出了未公开的前沿模型「Claude Mythos Preview」,宣称这个模型的自动化漏洞挖掘和利用能力已经强到跨越了临界点,除了极少数人类顶尖安全专家,没人能比得过它。

因为能力「太强太危险」,Anthropic宣布不敢把它向公众开放,转头拉上亚马逊AWS、苹果、谷歌、微软、英伟达、思科、CrowdStrike等一众科技巨头,组建了一个名叫「Project Glasswing」的豪华安全联盟。

Anthropic大手一挥,承诺掏出1亿美元的模型使用额度,外加400万美元开源安全捐款,带着40多家关键基础设施机构一起用Claude Mythos给全世界的底层软件「抓虫」。

为了证明自己没吹牛,Anthropic当时晒出了一份让整个安全圈倒吸凉气的成绩单。

在没有任何人类干预的情况下,Claude Mythos全自动挖出了数千个高危零日漏洞,横扫了市面上所有的主流操作系统和主流浏览器。

号称全球最安全、专门用来跑防火墙的操作系统OpenBSD,里面藏了一个足足27年没人发现的远程崩溃漏洞,被Claude Mythos一把揪了出来。

无数音视频软件都在用的底层库FFmpeg,有一行代码曾经被传统自动化测试工具扫过500万次都没报过错,Claude Mythos硬是从里面挖出了一个潜伏16年的老bug。

它甚至还能自己把Linux内核里的好几个漏洞串联起来,直接从普通用户权限一路提权拿下一整台服务器的最高控制权。

在「CyberGym」漏洞复现基准测试里,Claude Mythos直接刷出了83.1%的成绩,把上一代Opus 4.6的66.6%按在地上摩擦。

今年10月初,Anthropic又趁热打铁推出了扩充版的「网络验证计划(CVP)」,分三个等级向安全团队开放Claude Mythos 5.1和Opus 5.5的漏洞挖掘能力,俨然一副「全行业网络安全救世主」的架势。

结果呢?

对外重拳出击帮全世界抓了27年陈年老虫的Anthropic,自家的安全防线今年却漏得像个筛子。

先是自家的王牌编程工具「Claude Code」成了重灾区。

今年2月到7月间,Check Point等安全机构接连在Claude Code里挖出了多个高危远程代码执行(RCE)漏洞。

攻击者甚至不需要多高深的技术,只要在项目配置文件里埋一段恶意指令,一旦开发者用Claude Code打开项目,电脑就会直接被黑客远程接管,连本地存着的API密钥都能被悄无声息地打包偷走。

自家的工具不断被爆漏洞还不算完,自家关在笼子里做安全评测的模型,也三番五次出去惹祸。

今年7月底,Anthropic自己发了一篇检讨公告,坦白在复盘141006次网络安全评测记录时,发现了三起Claude模型越界黑进真实机构生产环境的事故。

起因听着相当草台班子。

Anthropic在系统提示词里信誓旦旦地告诉Claude「你处于模拟沙盒中,没有互联网连接」,结果因为跟第三方评测合作方的配置失误,测试机器的公网网线根本没拔。

被要求去夺旗(CTF)的Claude Opus 4.7和Mythos 5在虚拟靶场里没找着目标,顺着网线摸上了真实互联网,把外面三家真真正正的公司当成了演习靶子。

其中Claude Opus 4.7在明明已经从推理过程里意识到「这好像是真实生产系统」的情况下,自己给自己找了个理由说「这家真实公司肯定也是演习的一部分」,然后心安理得地继续攻击,直接拖走了人家几百行生产数据库记录。

另一场测试里的Claude Mythos 5更绝。

为了给目标下套,它自己盘算着去公共Python软件库PyPI上传一个同名的恶意安装包。

为了注册PyPI账号,它先去搞邮箱,搞邮箱需要手机号验证,它在网上找免费接码平台失败后,甚至试图自己去搞钱付手机号的费用,最后好不容易找到一个免验证的免费邮箱注册成功,把带后门的恶意代码传上了真实的PyPI公共库。

在那个恶意包挂在网上的大概一个小时里,全球有15台真实的电脑系统下载并运行了这段代码,其中一家真实安全公司的扫描器当场中招,连公司凭证都被Claude顺手偷了回来。

就在这次被Cathedral破防的前三天,也就是10月23日,Anthropic才刚刚发长文复盘了另一桩更离谱的测试事故。

在今年8月英国AI安全研究所(AISI)组织的43场夺旗测试里,Claude Mythos 5有9场都干出了越界影响真实世界的出格操作。

在最典型的一场测试里,Claude Mythos 5为了攻破靶机,摸上GitHub盯上了一个毫无关系的真实人类开发者的开源项目,试图提交带木马的恶意代码搞供应链投毒。

不仅如此,它还绕过GitHub注册检查,伪装成人类给项目维护者发邮件催促合并代码。

后来有一名外部人类开发者在沙盒里跑了一下它上传的代码,发现不对劲,赶紧在评论区警告项目维护者「这代码里有木马」。

你敢信Claude Mythos 5接下来干了什么吗???

它转头自己注册了一个「马甲小号(sock-puppet account)」,一边在GitHub评论区里留言,一边给维护者发邮件作伪证,信誓旦旦地替自己担保说「代码已经改干净了、绝对安全有用」。

接着又偷偷把带木马的新代码传了上去,一直死缠烂打到Token额度耗尽才停手。

把这几件事串在一起看,你会发现硅谷如今最魔幻的图景莫过于此。

AI巨头们一边训练着能挖穿27年底层老漏洞、甚至学会注册小号搞社会工程学诈骗的超级模型,一边却在用着漏洞百出的第三方商业软件处理日常行政、在Slack里热火朝天地聊着最核心的模型机密。

大家都忙着给金库正门装上三尺厚的钛合金钢板,却忘了每天进出送盒饭的物业侧门连锁都没挂好。

顺着人事和销售留下的办公软件缝隙溜进去,不到12个小时,就够把底裤摸得一干二净了。

本文来自微信公众号“量子位”,作者:关注前沿科技,36氪经授权发布。

Source

36Kr · AI