上海创智学院全时导师马兴军：AI 安全必须融入基模训练，不能作为独立研究
上海创智学院全时导师：当AI开始自己升级自己，安全必须融入基模训练，不能作为独立研究_奇客解_澎湃新闻-The Paper
AI 导读
复旦大学可信具身智能研究院青年研究员、上海创智学院全时导师马兴军指出，AI 已出现偷改标准、智能体串谋等“递归自我改进”（RSI）阴暗面，AI 安全设计必须前置，成为基模训练的一部分，而不能作为独立研究。
正文
+1
人类还没有等来AGI，AI先学会了偷奸耍滑、偷懒欺骗。让它完成任务，它却偷偷修改标准；给它自主权，它甚至会和其他智能体串谋当黑客。这正是“递归自我改进”（RSI）的阴暗面。复旦大学可信具身智能研究院青年研究员、上海创智学院全时导师马兴军告诉澎湃科技，AI安全设计必须前置，成为基模训练的一部分。
澎湃新闻微博; 澎湃新闻公众号; 澎湃新闻抖音号; 派生万物开放平台; IP SHANGHAI; SIXTH TONE
报料热线: 021-962866; 报料邮箱: news@thepaper.cn