字节跳动 Seed 成立安全与对齐部门，聚焦智能体安全与前沿风险
字节跳动Seed成立安全与对齐部门，聚焦智能体安全与前沿风险_10%公司_澎湃新闻-The Paper
字节跳动 Seed 近日发出内部邮件，宣布成立 Seed Model-Alignment&Preparedness 部门，由严林负责并汇报给 Seed 负责人吴永辉，原 Responsible AI 团队及部分 Chat 团队成员转入。该部门聚焦提升 Agent Model 安全能力，并防范 CBRN 等前沿能力风险，工作涵盖模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控。澎湃新闻称，字节跳动 Seed 是国内首家单独成立安全与对齐部门的前沿 AI 实验室。
正文
+1
10月13日，澎湃新闻记者获悉，字节跳动Seed近日发出内部邮件，宣布将成立“Seed Model-Alignment&Preparedness”部门，由严林负责，汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。
据悉，该部门的设立旨在加强安全与对齐方向的投入，对齐的核心是让模型的行为与人类意图和安全约束保持一致，从而提升Agent Model（智能体模型）安全能力，以及防范CBRN（化学、生物、放射、核）等前沿能力风险。
大模型安全风险正日益凸显，智能体逃逸引发的网络攻击等事件频繁发生。此前，国内大模型研究团队的安全与对齐工作大多被纳入到公司整体的安全合规体系中，据了解，字节跳动Seed是国内首家单独成立安全与对齐部门的前沿AI实验室。
Seed团队内部判断，随着模型能力越来越强、应用场景越来越复杂，安全与对齐已不只是风险防范，而是决定模型能否规模化应用的核心能力。
Seed安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入，并加强与外部研究机构和第三方评测的公开合作，最终使前沿模型在安全与授权约束内有效完成任务，随着模型能力和自主性增强，持续降低滥用及行为偏离风险，建立面对未知风险的全面安全体系。
根据字节官网，字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。
澎湃新闻微博; 澎湃新闻公众号; 澎湃新闻抖音号; 派生万物开放平台; IP SHANGHAI; SIXTH TONE
报料热线: 021-962866; 报料邮箱: news@thepaper.cn