Google DeepMind 新论文：CALLIOPE 用关键词建主题树优于嵌入向量
New Google DeepMind paper finds that having an LLM build topic trees from keywords, not embeddings, gives clearer topic maps under strict privacy.
AI 导读
Google DeepMind 新论文提出 CALLIOPE：让 LLM 为每篇文档打上少量关键词并加噪，只保留高频关键词，再由 LLM 据此提出主题并归类文档，从而在严格隐私约束下生成更清晰的主题地图。在最严格的隐私设置下，人工评分者在全部 3 个数据集上都更偏好 CALLIOPE 而非基于嵌入向量的 URANIA，最高比例为 76% 对 18%。该方法消耗的 token 是后者的 2 到 5 倍。
正文 · AI 翻译
Google DeepMind 的新论文发现，让 LLM 从关键词而非嵌入向量构建主题树，能在严格隐私约束下给出更清晰的主题地图。
团队希望了解用户向聊天机器人提出了哪些问题，同时不暴露任何人的身份。通常的隐私保护做法是对嵌入向量进行聚类并加入噪声，而在严格隐私约束下，这种方法返回的聚类数量过少，且名称质量很差。
CALLIOPE 让 LLM 为每篇文档打上少量关键词，并加入噪声，使只有常见关键词得以保留。随后，LLM 根据这些关键词提出主题，并将文档归入这些主题。
在测试的最严格隐私设置下，人工评分者在全部 3 个数据集上都更偏好 CALLIOPE 而非基于嵌入向量的 URANIA，最高比例为 76% 对 18%。
该方法消耗的 token 是后者的 2 到 5 倍。对于隐私安全的用量报告，应从 LLM 构建的主题入手，并为这一成本做好预算。