←新闻详情

Wired AI更新于 11月2日 18:56

WIRED 调查发现超400个AI应用暗藏性虐待深度伪造功能

Hundreds of Mundane AI Apps Are Hiding Sexually Abusive Deepfake Features | WIRED

AI 导读

WIRED 调查发现一个由400多个关联域名和应用组成的网络,这些应用表面是宠物肖像、语言学习、AI 健身教练等日常工具,在特定条件下会加载生成露骨性图像和视频的网页界面,其中包含“bedroom rape”“threatening knife”等模板。研究者追踪 Meta 平台上的数千条露骨深度伪造广告后发现这些链接指向 Apple 和 Google 应用商店中的应用,其中一个叫 DiffAI 的应用在 Play Store 下载量超过10万次,另有27个此类应用9月仍在 Google Play 上架、累计下载超35万次。调查显示这些应用疑似由中国开发者及香港注册实体 KeLing Technology Limited 运营,Apple 在 WIRED 询问后下架19个应用,Meta 称已对相关广告账号和页面采取行动。

推荐理由

精选AI 评分 79

调查梳理了400多个伪装成日常工具的域名与应用如何绕过应用商店审核并借广告投放扩散。

主题

标签

正文 · AI 翻译

乍看之下,这个自称“宠物肖像”的应用Viefur似乎只是又一个AI粗制滥造生成器。使用应用内出售的数字金币——约4美元可购买130枚金币——宠物照片就能被转换成“拟人化肖像”,让这些动物穿上“人类服装”,并被置入离奇的场景中。比如一只穿着沙滩短裤、戴着太阳镜、懒洋洋地躺在游泳池里的仓鼠,或者一只穿着夏威夷衬衫、正用椰子喝水的猫。

所有这些都只是这个应用真正目的的掩护:生成带有性虐待内容的深度伪造图像。

《连线》杂志(WIRED)的一项调查发现,该应用属于一个由400多个相互关联的域名和应用组成的网络,这些应用与Viefur一样,往往声称自己是日常服务——例如语言教学或AI健身教练。然而,在某些条件下访问时,该网络中的应用会偷偷加载一个网页界面,允许用户利用上传的照片生成露骨的AI性图像和视频。这些应用包含诸如“bedroom rape”(卧室强奸)和“threatening knife”(持刀威胁)之类的AI场景,其中一名男子将刀抵在女子的脖子上。

多名研究人员在调查了数千条包含露骨深度伪造内容的视频广告所指向的链接后,发现了这个一直隐藏在众目睽睽之下的网络。这些广告发布在Meta旗下的Facebook和Instagram上。正如《连线》杂志近几个月所报道的,其中数百条广告包含AI生成的儿童性虐待材料,包括真实儿童和一名欧洲王室成员的图像。这些广告触达了数万人,并已引发世界各地监管机构的调查。

在每一起案例中,这些广告都链接到苹果和谷歌应用商店中的欺骗性应用——让人们能够生成露骨图像,并使用Apple Pay和Google Pay进行支付。这些裸体化应用背后的网络似乎已经发布此类应用约一年之久,有时每周发布数十个。尽管谷歌、苹果和Meta声称它们执行不允许其平台上出现有害深度伪造内容的政策,情况依然如此。

根据对网站域名及服务运作方式的审查,《连线》调查的应用和域名似乎由中国开发者以及一家名为KeLing Technology Limited的香港注册实体运营。与该公司、相关应用及服务关联的电子邮件地址未回应《连线》的多次置评请求,但在被联系后,他们似乎删除了KeLing Technology Limited与这些深度伪造工具之间的公开关联。

“这是一个有组织、商业化运作的活动:一名运营者背后有数百个一次性应用和域名,经过伪装以通过App Store审核,并以虚假付款人名义通过数万条Meta广告进行推广,”调查该网络的非营利组织AI Forensics首席研究员保罗·布绍(Paul Bouchaud)说。“他们不指望执法能跟上,而到目前为止也确实没有。”

隐藏行为

下载该深度伪造网络中的任意一款应用,你看到的可能正是广告所宣传的内容——比如一款生成AI宠物图片的应用。但研究人员发现,在幕后,这些应用正在悄悄做出判断:是展示这些无害内容,还是加载一个展示露骨深度伪造内容的网页界面。

“每次下载应用时,都会向服务器发起一次调用,携带一些信息,比如用户来自哪里、语言、某个唯一标识符,然后服务器回复是否展示露骨或非露骨版本,”布绍解释道,他对这些应用及相关网站的代码进行了逆向工程。他们表示,目前没有明确的清单说明为什么某个用户可能会被展示应用的露骨版本,但一个触发因素似乎是在点击Meta平台上的相关广告后下载该应用。

与这些应用关联的网站揭示了该网络的秘密及其运作规模。打开其中任何一个应用的网站,很可能只会看到全黑屏幕,没有任何内容。唯一明显的变化是网址更新后会包含“risk”一词。但这些网站承载着隐藏的露骨深度伪造层,可在每个应用中加载。

这个网页界面包含数十个色情深度伪造视频和图片模板——用户可以上传人物图片,将其添加到性场景中。该界面允许购买“钻石”来生成图片,并提供指向其他社交媒体账号的链接,用户可通过这些账号联系开发者提出疑问或投诉。

网站的代码中还隐藏着整个网络的细节。研究人员表示,一个可以轻易拆解的JavaScript包中包含开发者创建的所有域名和应用列表——包括应用包详情、加密密钥、Facebook广告追踪器等。

“它们包含这份庞大的配置列表,列出了其他域名及不同的加密密钥,”安全公司Infoblox的资深威胁研究员马埃尔·勒图(Maël Le Touz)说,他识别出了近500个关联域名。“它们运行相同的代码,并且彼此相互引用。”

布绍对域名注册时间的分析发现,这些应用大约在2025年底开始出现,并在今年春季出现激增。这位研究者表示,曾有一段时间,每周约有30个裸体化应用及网站被注册,其中27个在9月仍活跃于Google Play商店。布绍的研究称,这些应用的总下载量已超过35万次,许多被评级为适合所有年龄段。

其中最受欢迎的一款应用名为DiffAI,创建于2025年12月,在Play商店的下载量已超过10万次。Google Play商店上的一条用户评论写道:“这款应用包含用于制作CSAM及其他类型色情材料的模板。它不进行任何年龄验证。”

在WIRED就这一网络联系Google前不久,DiffAI已从Play Store下架。Google未回应WIRED的置评请求,不过在WIRED联系之前,它已经下架了大多数相关应用。(丹麦记者曾在9月报道过该深度伪造网络的部分内容。)

同样,在WIRED就相关活动询问Apple并分享关联域名后,Apple从其App Store下架了19款应用,其中包括宠物照片应用Viefur。“我们将App Store设计为用户安全可信的场所,裸体化应用及其他色情内容被严格禁止,”Apple发言人Adam Dema表示。

“我们在每款应用发布前都会进行审核,这些应用在接受审核时符合我们的规则,”Dema表示。“获得批准后,其开发者更改了应用获取内容的网站,将我们批准的内容替换为色情内容,并通过托管在第三方平台上的色情广告进行推广。”该公司表示,过去一年中已因使用这些“诱饵调包”手法而暂停了数万款应用,并于近期更新了其应用商店规则,以进一步限制“裸体化”工具。

中国来源

这个“裸体化”网络的核心似乎是一批中国开发者,他们的身份似乎被刻意隐藏了。“它使用的是专属的中国托管服务,代码是用中文写的,并且有很多中文注释,”Le Touz说,并指出发布在Meta平台上的应用广告中的露骨视频带有中文视频编辑软件的水印。

该网络中的应用和域名经常使用通用隐私政策、来自Gmail或Outlook的免费电子邮箱地址以及隐晦的开发者名称,据称这是他们隐藏彼此关联的手段之一。发布在Meta平台上的这些应用广告还使用了明显虚假的名字——例如Draftmondcreldbro Duhustepre和Swaldmungsha Glasirdcroldshold——以及没有任何粉丝的页面。自今年年初以来,Bouchaud的研究在Meta平台上发现了数万条与该网络有关联的露骨深度伪造广告——这些广告的文案往往使用相似的语言。

“这些广告不仅违反了一条,而是违反了Meta的多项政策,”科技透明度项目主任Katie Paul说,她最先发现了这些展示未成年人深度伪造露骨内容的广告。“你所看到的内容、这个应用在宣传什么,是毫无疑问的,”她说。Paul表示,科技公司需要回答以下问题:这些应用产生的钱流向了哪里,以及那些裸体化应用和服务背后的运营者为何似乎总能绕过它们的内容审核和安全系统。

科灵科技有限公司(KeLing Technology Limited)似乎是该运营体系的重要组成部分。虽然该公司的网站不过是个空壳,但其名称被列为该网络中注册的第一个网站的联系方式。该网站的品牌名称也出现在这些应用所使用的露骨深度伪造模板的联系方式中。Bouchaud还发现了一个与露骨深度伪造界面关联的管理登录页面,其中提到了“Keling”。此外,使用该公司域名的电子邮件地址出现在至少一个已被应用商店下架的应用中。

9月底,一条发送给某露骨深度伪造界面用户的通知宣布,一款新的AI模型可供使用——该模型名为Veyra,在应用中的宣传语是“更真实。更自然。更狂野。”一个名为Veyra AI的网站首页将其联系邮箱列为科灵科技(KeLing Technology)的地址。

当WIRED联系科灵科技的多个邮箱地址,以及应用隐私政策中列出的一些邮箱时,我们没有收到任何回复。然而,在WIRED联系之后,有人更改了一些相关在线社交媒体频道的名称,从AI Veyra网站上删除了科灵科技的邮箱地址,并从第一个注册的网站上删除了科灵科技有限公司(KeLing Technology Limited)的地址。

Meta表示,在科灵科技有限公司(KeLing Technology Limited)未能“遵守停止侵权函”后,已于2025年禁止其投放广告。(Meta以法律原因为由,拒绝向WIRED提供该函件。)“我们对推广裸体化应用有严格规定,并积极采取行动,力求让此类内容远离我们的服务,”Meta的一位发言人说。Meta表示,尽管科灵科技有限公司一直试图通过其他方式继续投放广告,但一旦发现相关广告,就会对其采取行动。

在WIRED与Meta分享这400多个域名后,该发言人表示,他们已分享了与这些域名关联的3000多条广告,其中三分之二已从其系统中移除。Meta随后告诉WIRED,它已对11600个广告账户、4700多个商业主页、5200名用户以及15000个与这些域名关联的页面采取了行动,并阻止了209个应用在其平台上投放广告。

“这些应用背后的犯罪分子采取越来越具有欺骗性的手段来逃避检测——藏身于虚假的姓名和身份之后,投放看似无害的广告,有时还链接到谷歌和苹果的应用商店,只有点击之后才会暴露广告的真实意图,”这位发言人说道。

在《连线》完成这篇报道时,类似的广告和应用仍在这些科技平台上继续发布。

直达你的收件箱:《连线》新闻编辑室与凯蒂·德拉蒙德的内部对话

他们模拟了遮蔽阳光的情景——结果比你想象的更糟

重磅访谈:内森·菲尔德向我们讲述一切

实时追踪:埃隆·马斯克的美国政治行动委员会正在中期选举上大举投入

来源

Wired AI