别指望 AI 替你保守秘密：聊天数据、破产出售与模型记忆的隐私风险

我们像对待私人谈话一样与聊天机器人交谈。但它们是私密的吗？

大多数人都搞不清楚。DuckDuckGo 委托并于 8 月发布的一项调查询问了 1,944 名美国成年人关于聊天机器人隐私的问题，超过一半（53%）的人不知道他们的对话是否被用于训练机器人。（实际上是被用于训练的。）

只有四分之一的受访者知道聊天机器人对话可以被传唤。（确实可以。）

在自称 AI 爱好者的人群中，56% 的人表示，他们曾向聊天机器人倾诉过一些从未告诉过密友、父母、同事、医生或治疗师的事情。

在 Character.AI 上尤其如此，这是一个聊天机器人服务，用户可以在其中聊天，并与可定制的角色形成“关系”，包括他们自己创建并与社区分享的角色。在 Character.AI 上，一些用户会谈论自杀和自残的念头，并交出心理健康披露、年龄、私人聊天和语音通话、深层的恐惧以及关系困扰等私密细节。

Character.AI 一直只是娱乐消遣，直到本月早些时候，该公司申请破产，并启动了法院监督下的资产出售。

没有人知道最终谁会接手这家公司，也不知道其数百万账户持有人的数据会有多少被一并出售。

该公司出售的最有价值的资产可能是其 LLM，而该模型在很大程度上是由用户在构建角色和与角色互动的过程中训练出来的。

美国司法部下属的美国受托人办公室希望法官任命一名消费者隐私监察员，就用户隐私问题向法院提供建议。法官可以限制公司“记录”（包括用户数据）的出售。

但大多数人没有理解的一点是：《破产法》没有专门针对已训练模型的规定。LLM 及其训练数据的法律地位尚未在法律上确定。这意味着，用户输入 Character.AI 的数据完全有可能被出售给任何买家。

Character.AI 只是一个方便的例子。更大的风险在于其他所有 AI 公司。

关于 LLM 隐私的更令人惊讶的事实

核心问题是：在聊天中分享的个人或专有信息，最终是否会进入 LLM 内部，让任何人都可能套取出来？

答案是响亮的“呃，也许吧”。

首先，这取决于 AI 聊天机器人服务。各公司在处理聊天数据的方式上差异巨大，而这些差异归结为四个问题：基于聊天的训练是否默认开启、是否有真人审核员阅读聊天内容、聊天记录保存多久，以及是否用于投放广告。

大型聊天机器人公司通常试图让用户对隐私放心。它们发布隐私控制措施，但其自身政策承认，消费者聊天默认可能被用于训练、被真人审核员阅读，或两者兼有，而且细则因公司而异。

耐人寻味的是，其中一些公司提供企业或商业账户，可以私密处理聊天会话。例如，它们不会将聊天会话用于训练数据。商业账户获得额外隐私功能，在我看来，这无异于承认个人账户并不私密。

一些公司，如 OpenAI，允许用户选择不让自己的聊天被纳入训练数据。但 OpenAI 的帮助文档称，关闭训练并不会删除聊天记录本身。

其次是分享。一些聊天机器人提供分享功能，这些功能可能有意或无意地将聊天内容公开发布到全世界。一旦这些会话被发布，搜索引擎很可能会将其抓取并使其可被搜索。2025 年，福布斯报道称，在用户点击“分享”后，谷歌的搜索结果中出现了超过 37 万条 Grok 对话，而共享的 ChatGPT 聊天记录也曾出现在搜索结果中，直到 OpenAI 取消了该选项。

第三是聊天会话被吸收进训练数据。

让我们举一个简单的例子：电子邮件地址。人们经常粘贴邮件内容，让聊天机器人撰写回复。这些邮件通常在邮件头、签名或两者中都包含姓名、电子邮件地址和其他信息。

我经常思考的问题是：如果发给某个人的邮件被粘贴到聊天中数百次，陌生人能否向聊天机器人索要那个人的地址，并真的得到它？

在 2022 年的一项研究中，仅给定一个人姓名的 GPT-Neo 模型找回正确电子邮件地址的比例最高为 1.24%，但在提供域名后，这一比例升至 16.55%，在给出五个示例后升至 37.06%。其他因素，包括某个地址在训练数据中出现的频率，以及周围邮件文本是否随之出现，都会推高这一比例。

删除聊天记录也不是补救办法。几位州检察长表示，删除聊天记录可能无法消除其对已训练模型的影响。Common Sense Media 的 Robbie Torney 声称，导出或删除你的数据“可能并不意味着该数据已从模型训练中消失”。

请注意，人们在 AI 聊天中不仅会输入关于自己的个人信息，还会输入关于同事、朋友和亲属的信息。

保护你的秘密不被外界窥探，主要靠的是公司的实际做法。我们依赖 AI 公司来保证我们的信息私密。

那么，当这些公司出售其资产时会发生什么？

当 AI 泡沫破裂

关于“AI 泡沫”破裂的网上议论几乎从未停歇。

据路透社报道，在中国，AI 泡沫已经破裂。过去几个月里，中国 AI 股票遭到重创。

路透社报道称，上海科创50科技股指数在不到四个月内较7月高点下跌40%，市值蒸发约4800亿美元，而覆盖面更广的沪深300指数较6月高点下跌约20%。

这并非全面崩盘，但它确实给美国股价带来压力，也提供了通过出售或合并转移所有权的动机（尽管这在中国尚未发生）。

不过，未来无法预知。哪些 AI 公司会像 Character.AI 那样破产、被出售或被黑客攻击？

至于聊天机器人本身，其内部运作同样无法预知。

这就是为什么我们都应该听取我们当中最偏执者的意见，永远不要把敏感信息输入聊天机器人。我们就是不能信任 AI 替我们保守秘密。