论文 · 2026年9月开源模型的安全基础设施

与 Goodfire 和 Hugging Face 合作，为开放模型构建安全评估与监控基础设施。

Charles

Charles O'Neill

Max Kirkby

Max Kirkby

Michael Psenka

Michael Psenka

Mudith

Mudith Jayasekara

尽管安全研究在 AI 领域已备受关注多时，但过去一周它已成为主流讨论的前沿话题。我们从领域外的亲友那里听到了更多关于这些担忧的讨论，这在很大程度上源于一位 Anthropic 安全研究员的公开离职、人们对 Anthropic 安全报告的关注、OpenAI/Hugging Face 安全事件，以及其他各种安全与保障方面的担忧。我们非常重视这些安全问题，也很高兴看到安全议题已在全球范围内广泛进入主流视野。

开源模型在这类安全讨论中占据很大篇幅，而过去许多讨论不幸地将“开放”与“无人监控”混为一谈。恰恰相反，开放模型为更广泛的受众开展安全研究提供了更多工具和可见性，正是这些催生了我们今天使用的许多安全与保障技术。Linux 就是一个很好的例子：开源与安全部署不仅相容，而且紧密交织，因为一个真正安全的系统需要发现和修复漏洞的广泛反馈闭环。随着开源模型在性能上追赶前沿模型，像我们这样的提供方以及整个社区都拥有绝佳机会，为有效的安全与保障研究建立共同实践。

我们正处于开源模型生态系统的关键节点：安全必须内建于模型本身，并由提供模型服务的一方来保障。如果我们能为未来所有开源模型部署妥善确立安全与保障的标准与技术，我们就能帮助塑造一个人人都能受益、无需担心滥用或安全漏洞的 AI 未来。

为此，我们很高兴宣布 Baseten 和 Base Labs 正在努力为我们所服务的开放模型构建安全评估与监控基础设施。我们计划将安全研究直接接入我们训练和提供模型服务的系统。这让我们能够测试训练变更如何影响行为、监控器能否检测到故障，以及部署控制措施能否拦截并遏制故障。

  • 训练：教导模型遵循明确的策略，认识自身局限，并在任务无法合法完成时主动求助。

  • 监控与干预：研究输入、输出、工具使用和模型内部状态，然后将有用的信号接入权限、隔离和执行前检查。

  • 从失败中学习：调查出错原因，改进训练或控制措施，并测试变更是否有效且不妨碍合法任务。

Base Labs 将开发并公开发布训练和监控这些模型的方法。Baseten 将把这项工作集成到其部署基础设施中，在运行时实时生效，并以托管服务的形式提供，同时公开方法和证据，供客户和外部评估者自行验证。

我们希望这将为所有开源提供方树立标准，提升已部署模型的安全与保障水平，并邀请开源模型社区的每一位成员为这类安全评估协议做出贡献。我们希望携手共建一个安全且人人可及的开源模型生态系统。

引用本文

@article{baselabs2026-safety-infrastructure-for-open-models,
  title   = {Safety Infrastructure for Open Models},
  author  = {O'Neill, C. and Kirkby, M. and Psenka, M. and Jayasekara, M.},
  journal = {Base Labs},
  year    = {2026},
  number  = {001},
  url     = {https://labs.baseten.co/001},
}

实验室相关研究

01

Mammoth-1 与 Elephant-1：前沿决策模型

检查点 · 2026年10月Max KirkbyMichael PsenkathomasAaryam Sharma headshotCharles02

为什么模型会遗忘它们迭代学习到的事实？

发布 · 2026年10月Max KirkbyJonathonMichael Psenka03

单次梯度步的惊人效率

发布 · 2026年10月Michael Psenkaaly-shariffMax Kirkby