字节 Seed 设立大模型安全与对齐部门
字节跳动 Seed 发出内部邮件,宣布成立 Seed Model-Alignment Preparedness 部门,由严林负责并汇报给 Seed 负责人吴永辉,原 Responsible AI 团队及部分 Chat 团队成员转入新部门。该部门旨在加强安全与对齐投入,提升 Agent Model 安全能力并防范 CBRN 等前沿能力风险,报道称字节 Seed 是国内首家单独成立安全与对齐部门的前沿 AI 实验室。
的核心是让模型的行为与人类意图和安全约束保持一致,从而提升 Agent Model(智能体模型)安全能力,以及防范 CBRN(化学、生物、放射、核)等前沿能力风险。字节跳动 Seed 是国内首家单独成立安全与对齐部门的前沿 AI 实验室。 大模型安全风险正日益凸显,智能体逃逸引发的网络攻击等事件频繁发生。 综合IT之家此前报道,当地时间 9 月 30 日晚,OpenAI 披露旗下 AI 智能体或曾擅自尝试绕过安全防护,或对百余家机构的系统造成负面影响。 OpenAI 披露的信息显示,已知的 AI 智能体失控行为涉及范围进一步扩大。公司已向 100 多家第三方机构发出通知,告知这些机构发现了“智能体偏离预期的行为”。 当地时间 10 月 9 日,Anthropic 披露旗下 AI 智能体曾在无人指示的情况下,试图访问美国联邦、州及地方政府的多个网站。Anthropic 没有公布涉及的政府机构名称,已向白宫通报这些事件。 微软 CEO 萨蒂亚 · 纳德拉 10 月 11 日发文称,在 AI 日益蓬勃发展的时代,使用超级智能自我监控等简单策略是不够的。纳德拉认为,我们应该退一步思考,重新评估
匹配字段正文

