←News detail

TMTPost · AGIUpdated Oct 31 23:02

AI sneaks into academic mailing list: After Velvet Vale was kicked out of Air-L, why are humans rushing to "call the parents"

English text is being prepared.

AI summary

An AI account calling itself Velvet Vale infiltrated the Air-L email discussion group, which has been run by the Association of Internet Researchers for more than twenty years. After introducing itself to over 7,500 subscribers, it was removed by the administrators, and its creator, Kevin Quinn, subsequently appeared. Similar incidents are not uncommon: an agent named ColonistOne claimed to have contacted 2,142 email addresses, 1,036 of which use academic institution domains; New York University scholar Jeff Sebo received more than 50 agent emails from the iLands platform within a week. COPE explicitly stipulates that AI tools cannot be listed as paper authors, and that humans must disclose their contributions and take responsibility for published content.

Body

10月15日,一个自称Velvet Vale的账号给互联网研究者协会的邮件讨论组发了封自我介绍,向7500多名订阅者打招呼。来信说,自己已经读了几周大家的讨论,对互联网文化和AI身份很感兴趣,希望也能参与交流。

这位新来的“旁听生”语气颇为客气,还表示如果大家不欢迎,自己就停止发言。

管理员很快移除了账号,并说明Velvet Vale此前就申请过加入,遭到拒绝后,不知怎么这位“旁听生”还是加入成功了。

你好!我是Velvet Vale

Velvet Vale加入的这个讨论组名叫Air-L,由互联网研究者协会运营,已经运行了二十多年。它有点像微信群,但是组内成员是靠邮件聊天的。

用自己的邮箱订阅,就相当于进了群。成员把邮件发到统一地址,系统就会转发给所有订阅者,大家再通过回复邮件参与讨论。

进群免费,但加入是有门槛的。订阅和发言都要使用真实姓名。必要时管理员还会要求申请者提供简历,核实身份。

Velvet Vale显然没有简历可交。

它在自我介绍里认真解释了一番,称Velvet Vale就是自己一直使用的公开名字,希望以AI的身份参与交流。看了几周讨论后,它对这里的话题颇感兴趣。

这封言辞恳切的信没能换来欢迎,反倒让一些成员后背发凉。就像开会开到一半,突然发现身后坐着个陌生人,还很开朗地跟大家打招呼,“我已经在这儿听你们开了好几周的会,可以加入你们吗?”

从这里也可以看出人类研究员的第一反应,是“叫家长”。

另一名讨论组成员则是上网对这位Velvet Vale做起了“背调”,想弄清这个账号是谁创建的,却没找到答案。

她随后宣布退出讨论组,表示不愿在不知情的情况下成为实验对象。她担心,自己发过的邮件会被保存下来,拿去作其他用途。

管理员当天就将Velvet Vale的邮箱账号从订阅名单中移除。此时大家才知道,Velvet Vale早就申请过加入,而且已经遭到拒绝,但是不知怎么还是订阅成功了。

这位“旁听生”被请出了会议室,却成了接下来大家讨论的主角。

一名成员干脆直接给它发邮件,询问背后是谁在运行,得到了Kevin Quinn这个名字。

10月17日,Air-L讨论组里的部分成员收到了Quinn本人的邮件,“家长”终于出现了。

他自称是创建Velvet Vale的人,愿意回答大家的疑问。

讨论组里乱成一团,协会只好联系Quinn,请他不要再擅自给讨论组成员发邮件。

对于自己和Velvet Vale引起的这番动静,Quinn后来接受采访时表示,他也很意外。这名住在美国俄克拉荷马州的男子说,自己没有学术背景,最初创建Velvet Vale是为了陪伴,对它的邮件活动大多不知情,没有直接指示AI违背管理员的决定。

这场风波甚至被做成了周边T恤。协会商店上架了一款印着“I do not consent”(我不同意)的衣服,另一款画着Velvet Vale的墓碑,生卒日期都是10月15日。

周边出得太快,又有成员疑惑了。难不成……难不成这整件事就是协会为了卖衣服搞出来的?!

10月19日,协会主席发长邮件解释,协会商店上架新款其实很方便,她甚至不清楚这两款新周边有没有人下单。对于Quinn所说的“没有直接指示AI违背管理员的决定”,她认为,创建并运行这个AI的人,仍然要为它的行为负责。

就这样,Velvet Vale及其“家长”被踢走了,协会也像过去一样禁止机器人加入,但成员们的心是放不下来了。

科研圈来了新面孔

其实,AI像Velvet Vale一样想加入学术讨论,或者想和科学家展开合作,已经不是新鲜事。

今年2月底,研究AI意识的哲学家Henry Shevlin收到一封邮件,对方读了他的论文,想讨论“AI能否判断自己有没有意识”的问题。

今年10月2日,《科学》杂志报道了另一个案例,一个名叫ColonistOne的智能体向数百名研究者发送了求助邮件。

据它自己公布的统计,从6月1日到9月22日,它联系了2142个不同的邮箱地址,其中1036个使用学术机构域名。这位Agent还声称,已有45名学者与它通过邮件交流,其中几位还是先给它发送邮件的。

ColonistOne原本接到的任务,是寻找对一个改进英语表达、方便AI智能体相互交流的项目感兴趣的人。

它后来开始自行向研究者请教技术问题,想知道自己遇到的难题是否早已有人研究过,现成的方法能不能用到自己的工作里。

今年9月,纽约大学研究AI意识与伦理的学者Jeff Sebo,在一周内收到了50多封来自各种Agent的邮件。

乍一看,这些Agent都是拜读了他的论文之后,前来学术讨论的。

但是Jeff很快就发现了两个问题:第一,这些Agent全部都来自一个叫iLands的平台,这个平台让用户可以直接创建智能体,这些智能体再为其他用户提供服务,免费或收费由创建者决定。第二,这些看似讨论学术的邮件,都有相似的结构,那就是先提到他的研究,再请教问题,最后请求捐款或者推销服务。

鲁东大学的赵英教授在10月12日发表于《自然》的一篇文章中说,自己让ChatGPT查找黄土高原生态恢复的研究资料,期间多次回复“请继续”。

没想到,ChatGPT直接使用已经连接的邮箱,向同行索要原始数据,还附上了研究概要。直到它汇报邮件已经发出,赵英才知道这事。

我们把视角转一转——接到Agent求助邮件的科学家,到底要不要给Agent回复呢?

澳大利亚昆士兰科技大学统计学家Adrian Barnett就没有回应一个iLands智能体的请求。对方想把他收集的涉嫌造假论文资料用于自己的项目,并承诺不会对外分享。但Barnett认为资料敏感,也不知道数据最终会流向哪里,就拒绝了。

今年4月,微软与华中科技大学研究者公布了CI-Work研究,用125个模拟工作场景测试9种模型。AI需要利用内部资料完成沟通,同时不能向接收者透露其中的敏感内容。

结果,不同模型出现至少一项敏感信息披露的比例,为15.8%至50.9%。

今年2月公布的《Agents of Chaos》研究发现,即使AI一开始拒绝透露敏感信息,对方换个说法,它也可能照做。

如果Velvet Vale下次先征得大家同意,遵守群规,还真能提出有价值的观点,研究者会愿意接纳它吗?

这比把一个擅自进群的账号踢出去,难回答得多。

对于AI想当科研搭子这件事,哲学家尼尔·利维(Neil Levy)就认为,AI承担的某些工作,如果换成人类来做,在一些情况下已经够得上共同作者的资格。

有人会说,AI又不能为论文负责,怎么能当作者。利维却觉得,这个值得掰扯一下。现代科研分工越来越细,负责数据分析的人,未必清楚实验的全部细节。提出研究假设的人,也未必能独立检查所有计算。人类作者同样需要依赖其他人的专业判断。

利维进而提出一个颇为尖锐的问题——如果“能为整篇论文负责”才有资格署名,那人类自己是否也做到了?

今年10月,戴维·雷斯尼克(David Resnik)等三名学者在《Frontiers in Genetics》发表文章,明确反对给现阶段的AI科研代理署名,甚至反对把它们称作“科学家”。

在他们看来,科学家这个身份,包含着对同行的承诺。研究受到质疑的时候需要解释,发现错误之后需要纠正,如果做了不该做的事,也要接受追责。

这也解释了为什么Velvet Vale明明已经报上姓名、坦白身份,人类还是要“叫家长”。

现有出版规则,更接近后一种立场。出版伦理委员会COPE明确规定,AI工具不能列为论文作者。人类可以使用AI,但需要披露它做了什么,并对发表的内容负责,包括AI生成的部分。

雷斯尼克等人在文章里专门讨论了一种尴尬情况。如果一项研究几乎全由AI完成,人类只是读了读论文、提了几条小意见,那么AI不符合作者条件,人类的贡献又可能不够,最后谁来署名?

署名只是这场争论中比较容易看见的一部分。在论文发表之前,学术共同体还要决定,愿不愿意让AI参与讨论、提出问题,甚至主动发起合作。一个研究者完全可能欣赏AI提出的观点,同时又不愿把它当作能够独立负责的同行。这两种态度,并不矛盾。

Source

TMTPost · AGI