马里兰大学与 Google DeepMind 提出 IdeaLens,尝试识别文本中的想法是否来自 ChatGPT
Anders als Pangram: Kann man erkennen, ob eine Idee von ChatGPT stammt? | heise online
马里兰大学与 Google DeepMind 的研究者在未经同行评审的预印本中提出 IdeaLens,一个通过分析文本的论证与内容结构来判断想法来自人类还是大语言模型的算法,可在其网站试用。研究用约 80 万条经 Pangram 标注的文本训练,测试中对于人类构思、AI 参与写作的文本,Pangram 将最多 92.4% 判为 AI 生成,而 IdeaLens 最低降至 7%;对于人类基于 AI 生成结构写作的文本,IdeaLens 识别出 AI 来源的比例为 68%,Prosa 检测器不足 10%。独立研究者指出该系统不适用于人机共同构思的“共同署名”场景,且其判断依据与权重不透明。
推荐理由
AI 评分 53
原文对比了 IdeaLens 与 Pangram 在混合署名文本上的识别差异,并列出独立研究者指出的局限。
主题
正文 · AI 翻译
学校、高校、科学界和媒体,它们都处于与人工智能的猫鼠游戏之中:哪些作业、研究和报告出自人类之手,哪些是由大型语言模型撰写的?人工智能在哪里被用作辅助工具来组织文本,又在哪里可能介入得更深,甚至参与数据生成乃至构思创意?
广告之后继续阅读
尽管科学界正慢慢接受论文越来越多地借助人工智能撰写这一现实,但关于想法来源的问题依然难以回答。文本可以在一定程度上被检测出是否带有AI生成的表述,时准时不准。但是否也能有一个“想法探测器”呢?
研究设想:哪些内容来自AI模型,哪些又是人类自己想出来的?
是的,马里兰大学和Google DeepMind的研究者这样认为。在一份尚未经过独立专家评审的预印本中,他们提出了IdeaLens:一种据称能够识别一段文本中的想法——而不仅仅是文本本身——是来自人类还是机器的算法。
像Pangram这样的散文检测器会考察文本的用词选择、句子结构和统计文本模式等表层特征,而IdeaLens则检验文本的论证与内容结构。因为其中同样可以找到是否使用了语言模型的线索。
IdeaLens将文本拆解为其话语结构
该工具可在网站上亲自试用,其工作原理如下:IdeaLens首先将一段文本——例如一篇科学研究——拆解为各个组成部分。对于每个片段,既描述其内容,也描述其功能:这段文字是一个论证、一条建议还是一种描述,这里仅列举三种可能的功能。为了排除行文本身作为干扰因素,例如某位作者特有的措辞,内容会由一个专门的语言模型进行改写;原有的写作风格和用词几乎完全消失。这种改写还有一个不错的附带效果:该模型能够处理多种不同的语言。
最终形成一种每篇文本都固有的论述结构,无论是一封简短的电子邮件还是一部长达1000页的小说:作者决定如何安排内容与功能。大型语言模型也会这样做——但使用的总是相似的模式。IdeaLens正是要识别出这些模式,方法是评估论点的顺序和类型。
来自ChatGPT之前和之后时期的测试数据集
为了能够做出有效的判断,IdeaLens当然首先需要接受训练。为此,研究人员用来自不同来源的约80万篇文本对该模型进行了训练,这些文本借助AI检测器Pangram被标注为AI生成或由人类撰写。Pangram的分析并非百分之百完美,研究团队将此视为一种优势,以便在训练数据中引入一定的“噪声”。
广告后继续阅读
最终,IdeaLens在一个文本语料库上接受了测试,其中一部分文本来自ChatGPT出现之前的时期,可以相对确定它们并非借助AI写成。与Pangram相比,IdeaLens尤其在混合 authorship 方面表现出色,一方面是在由AI(参与)撰写、但基于人类想法的文本上:传统AI检测器如Pangram 4将同一批文本中高达92.4%判定为AI生成,而IdeaLens的比率则根据各文本的话语结构降至最低7%。也就是说:在该测试数据集上——研究人员清楚这些想法是在有无ChatGPT参与的情况下产生的——该模型能够明显更可靠地判定人类或机器为作者,这在评估科学研究时是一个重要方面。
在第二种情况下,即人类基于AI生成的结构撰写文本时,IdeaLens在68%的案例中识别出了AI来源。而散文检测器在此的命中率低于10%。
人类精确,AI模糊
有趣的是,IdeaLens在人类与机器文本的论述结构中发现了哪些差异。据此,人类文本包含更多具体细节或操作指令,用以支撑作者的核心观点或结论。而AI则表述得更为普适,细节可替换。此外,人类更倾向于指出界限与障碍,而AI则往往忽略或低估缺点与目标冲突。
独立研究者表示,尽管方法新颖,IdeaLens仍存在一些弱点。例如,该系统不适用于日益频繁出现的“共同署名”场景,即人类与机器共同参与构思过程,已不再有明确区分。此外,模型究竟依据哪些线索、又如何加权以得出结论仍不清楚——Rishanth Rajendhran团队自己也指出了这种黑箱特性。
正如Rajendhran对《Science》所说,IdeaLens应与其他识别工具结合使用,以考察AI在一名研究人员整个工作中的使用情况,而不仅仅是单个案例。“鉴于这类事件带来的声誉损害,我们必须谨慎对待,这一点很重要,”他说。研究人员最终并不只是把该模型的使用看作揭发他人使用AI的手段,也看作让科学家自己意识到AI在其工作中扮演何种角色的途径。
本文最初发表于t3n.de。
(jle)
AI 热点