Shanghai Observer commentary: After AI face-swapping breaks through facial verification, the governance bottleneck lies on the institutional side
English text is being prepared.
A Shanghai Observer commentary points out that an AI face-swapping personal information protection public interest litigation case heard by the Hangzhou Intermediate People's Court this year shows that AI face-swapping can already break through facial verification; the Ministry of Public Security reported that in the first nine months of 2026, more than 300 AI face-swapping fraud cases were solved nationwide, with the amount involved exceeding 500 million yuan. The article holds that current sector-specific regulations each govern one segment but cannot govern the whole chain, that platform labeling obligations are hard-pressed to stop fraud, that the governance bottleneck lies in incentives and penalties on the institutional side, and recommends that comprehensive legislation make the very provision of AI generation tools that bypass security verification an independently punishable act.
Why read this
AI score 57
The article starts from multiple AI face-swapping fraud cases, points out that the governance bottleneck lies in institutional incentives rather than technology, and offers specific breakthrough directions for comprehensive legislation.
Topics
Body
据媒体报道,继演员吴越、温峥嵘先后被“盗脸”直播后,杭州中院今年公开审理的一起涉“AI换脸”个人信息保护公益诉讼案显示,“AI换脸”目前已能突破人脸核验。相关话题登上热搜引发广泛关注。 人脸识别这件事,过去10多年被赋予了一种独特地位。登录、支付、开户、过户,几乎所有需要“证明你是你”的环节,都往“刷脸”上收拢。理由也充分:密码可以忘,手机可以丢,但脸长在头上,总跑不掉。于是“向左看、向右看、张张嘴、眨眨眼”成了数字安防中核心的通关密码。 如今“AI换脸”把这张“底牌”撕掉了。据公安部通报,仅2026年前9个月,全国就侦破AI换脸类诈骗案件逾300起,涉案金额突破5个亿,单案最高2千万。发生在福建的一起案例,受害人从接到AI视频电话到转账完成,10分钟就被骗走430万元。 更让人无奈的,是业内技术员那句“好像确实没有什么好办法”。人们常说魔高一尺,道高一丈。现在,“道”到底还能不能追得上狂奔的“魔”?最近这个话题一直被提起。吴越、温峥嵘被“盗脸”直播,男子伪造父亲病重AI视频向好友骗钱,“AI小海”大肆收割老年人……越来越多的案例提醒我们,这可能已经不仅是技术层面的事,更要从制度层面,从治理层面去思考。 面对AI骗局,治理的本能反应是“出规定”。深度合成有深度合成的办法,生成式人工智能有生成式人工智能的规定,内容标识有专门的标识办法,拟人化互动服务又有五部门联合的暂行办法。不能说没有制度。问题在于,这些规定是在不同时间、针对不同问题、由不同部门分别“打补丁”打出来的,它们各自管住了一段,但可能管不住链条。 现行治理的默认逻辑是,相关平台有动力也有能力管好自己的一亩三分地。于是标识义务给了平台,核验义务给了平台,审核责任也给了平台。结果呢,已经标注“内容由AI生成”的“AI小海”账号照样批量收割老年人,标注没有拦住欺诈,反而像一张合规通行证。为什么会这样?因为对平台而言,标注是一个“做了就行”的动作,而拦截是成本更高的,而且“做了可能影响转化率”的选择。 安全核验同样如此。现有的责任分配下,银行、第三方支付机构等单位有没有足够的动力去选择那个“更麻烦但更安全”的方案?要知道,安全等级每提高一档,用户体验和转化率就可能掉一档。所以我们首先得承认一件事:AI治理的瓶颈不光在技术侧,更在制度侧;不光在“有没有规则”,更在规则有没有改变行为主体的激励和惩罚。 国家并非没有意识到这一点。《国务院2026年度立法工作计划》明确提出要“加快推进人工智能健康发展综合性立法”,全国人大常委会也将其纳入预备审议项目。综合立法要真正“管用”,不能写成现有分领域法规的汇编,而必须在关键点上有实质性的突破。 比如,最高法已经明确,对研发售卖AI换脸拟声工具、明知他人实施诈骗仍提供技术支持的人员,可以按共同犯罪或帮助信息网络犯罪活动罪追责。司法态度是清晰的,但刑事追责的启动门槛和取证难度,决定了执法往往只能打“点”,不能形成“面”上的威慑。综合性立法应当把“提供用于绕过安全核验的AI生成工具或虚拟注入工具”本身作为一种独立的、可处罚的违法行为来对待,而不必每次都等到它被用于诈骗、再回头去证明“明知”。 又比如AI标识制度的问题。不是标识的要求错了,而是仅仅标识并没有用。如果平台已经知道一个账号在用AI生成的内容实施欺诈性营销,标注“AI生成”不应当成为免责事由,而应当成为触发主动拦截义务的起点。综合立法需要明确一条原则:对AI生成内容的治理,要以“是否利用AI实施了法律禁止的行为”为核心,而不是以“是否履行了标注手续”为核心,对于平台也是如此, 标注只是信息披露,拦截才是核心责任。 技术迭代的赛道上,防守方往往要慢半步,这是一个客观规律。承认这个规律,不是认命,而是为了把制度和治理的力气用对地方。如果永远只是修补,那么这场追赶就永远没有终点。