2026年10月22日
8分钟阅读
深入 Cohere Model Vault：构建可验证的机密 AI 推理Model Vault 如何结合机密 CPU 与 GPU 执行、端到端加密的请求内容以及远程证明，在敏感 AI 工作负载处理期间为其提供保护。
在我们的产品发布中，我们介绍了 Cohere Model Vault 上的机密计算，该功能现已在 Microsoft Azure 上基于 NVIDIA GPU 进入公开测试阶段。
本文将深入介绍该系统的工作原理。
目标不仅仅是加密推理。它还旨在减少客户必须以明文数据形式信任的基础设施，并为他们提供可在释放敏感信息之前进行验证的加密证据。
这需要的不仅仅是一台机密虚拟机。机密推理系统必须保护计算本身、承载敏感请求到达计算的路径，以及客户用来判断目标环境是否可信的机制。
Model Vault 围绕专用模型部署将这些部分整合在一起。
从机密硬件到机密推理
机密计算保护 使用中的数据，即应用程序或模型正在积极处理的数据。
其基础是两项特性：
- 隔离，它利用硬件强制实施的控制措施，保护工作负载内存免受机密环境之外的基础设施访问。
- 证明，它生成关于环境的加密签名证据，以便另一方在释放敏感数据之前对其进行评估。
这两项特性共同改变了传统的基础设施信任模型。对底层主机的特权访问不再自动意味着可以访问机密环境内运行的工作负载。
然而，对于 AI 推理而言，边界不能止于 CPU。
模型计算的很大一部分在加速器上运行。如果 CPU 受到保护，而加速器仍处于机密边界之外，那么当推理转移到 GPU 时，敏感的模型状态和中间计算就可能暴露。
NVIDIA GPU 上的机密计算可保护 GPU 内存免受受保护环境之外的基础设施访问，并加密 CPU 与 GPU 之间的通信。这使得机密边界能够覆盖机密虚拟机以及执行推理的加速器。
机密 Model Vault 内部
没有任何单一组件能使推理请求具备机密性。
Model Vault 围绕专用模型部署结合了多项控制措施，每项措施针对信任问题的不同方面。
机密 CPU 与 GPU 执行
模型服务栈运行在机密虚拟机内。
操作系统、驱动程序、推理服务器及其内存通过硬件支持的隔离受到保护，免受主机环境访问。工作负载还受到策略约束，只有经批准的软件才能在环境中运行，并且运维人员没有进入工作负载的交互式路径。
NVIDIA机密计算将保护范围扩展至加速器，并加密CPU与GPU之间的通信。
这一点很重要，因为安全边界需要覆盖实际执行推理的系统，而不仅仅是负责协调的CPU。
Microsoft Azure提供底层的机密计算基础设施。Model Vault在此基础上构建托管模型服务、加密请求、证明和客户验证层。
其结果是，客户无需自行组装、集成和运营这些控制措施。
加密请求本身
保护计算环境只能解决部分问题。
敏感数据还必须到达该环境。
TLS保护网络连接，但仅靠连接级加密并不能保证参与服务运营的每个中间环节都处于明文路径之外。
因此，Model Vault保护的是 应用程序负载本身.
它使用 Oblivious HTTP（OHTTP）将敏感请求内容加密至与经证明的机密环境相关联的公钥。加密后的消息随后可以以密文形式通过中间基础设施。
只有机密环境内的OHTTP网关才能访问相应的私钥并解密受保护的请求。响应在返回路径上也以相同方式受到保护。
这在 运营服务 与 访问请求内容.
中间基础设施仍可执行托管平台所需的功能（例如流量路由），而无需访问敏感的应用程序负载。
应用程序继续使用 Model Vault API 和熟悉的请求格式。额外的保护在客户端和基础设施层实现，而不要求客户重新设计其应用程序负载。
远程证明：证明将由什么来处理请求
隔离可防止机密边界之外的基础设施直接读取受保护工作负载的内存。
但仅有隔离仍留下一个重要问题：
客户如何知道目标环境确实运行着其预期的硬件和软件配置？
远程证明可解答这一问题。
机密环境会生成经过加密签名的证据，描述正在运行的环境。这包括与硬件、固件、运行环境和应用软件相关的测量值和与安全相关的属性。
随后，这些证据会依据经批准的策略进行评估。
这种将 证据 与 策略 分离的做法是根本性的。
证明证据回答的是：
实际运行的是什么环境？
策略回答的是：
这是我愿意托付数据的环境吗？
验证方可以要求特定属性与已批准的值匹配，然后才会放行受保护的请求。
这些要求可以包括预期的软件测量值和机密环境的安全状态，包括GPU是否以预期的机密模式运行。
因此，客户无需仅依赖Cohere关于某个特定环境可信的断言。验证会在敏感数据被释放之前进行。
证明作为强制执行机制
当证明能够改变系统的行为时，它才最为重要。
在Model Vault中，验证是决定是否释放受保护数据的一部分。
在发送受保护请求之前，客户端会根据已批准的策略评估目标环境。
如果某个预期属性缺失或不正确——例如因为软件测量值发生了变化，或GPU未以所需的机密模式运行——验证就会失败，客户端会拒绝发送受保护的载荷。
因此，敏感请求会保留在客户的环境中，而不会被发送到未通过验证的目标位置。
这将证明从审计产物转变为一项 主动安全控制.
证明证据会频繁更新。每次刷新时，客户端都会根据已批准的策略验证新的测量值和安全状态，然后再继续发送受保护的请求。
这就是“ 在信任之前先验证.
信任边界与威胁模型
机密计算减少了必须以明文数据形式信任的基础设施数量。
但它并不能完全消除信任。
因此，理解剩余的信任边界与理解这些保护措施本身同样重要。
仍然受信任的部分
仍有若干组件属于可信计算基础的一部分，包括：
- 底层的机密计算硬件
- 固件
- 在机密环境内运行的经测量的软件
- 用于定义已批准配置的参考测量值
- 用于评估和签署证据的证明基础设施
重要的区别在于，这种信任可以变得更加明确和可衡量。
硬件会生成关于环境的证据，而由客户控制的验证会在释放受保护数据之前，依据已批准的值核验这些证据。
因此，该系统用一组数量更少、状态可被测量和评估的组件，取代了某些形式的宽泛、隐式的基础设施信任。
保护的内容
在其威胁模型中，Model Vault 上的机密计算会在提示、文档、响应和模型执行被处理期间对其进行保护。
机密环境之外的中介方，包括主机操作系统、虚拟机监控程序、基础设施管理员、云服务提供商和 Cohere 运营人员，均无法读取受保护工作负载的内存。
由于敏感的应用负载会端到端加密后传输至机密环境，其内容在穿越中间基础设施时也始终受到保护。
因此，这种保护同时覆盖两个方面：
- 将敏感请求内容传输至机密环境的路径
- 执行推理的环境
这一区别很重要。仅有机密执行环境并不能防止明文在请求路径的其他环节暴露。
保护边界之外的部分
一个有用的威胁模型还需要说明它不保护什么。 保护什么。 保护。
机密计算并不声称能够阻止所有可能的攻击。
物理攻击与侧信道攻击
某些物理攻击与侧信道攻击仍处于保护边界之外。例如，即使不直接读取受保护的内存，攻击者也可能通过时序或其他共享硬件行为间接推断出信息。
可用性
无法读取受保护工作负载的运营方仍可能停止、延迟或阻止其运行。
因此，机密计算本身并不能防止拒绝服务攻击，也不能提供可用性保证。
应用层漏洞
在机密环境内运行的软件仍然需要是安全的。
提示注入、不安全的工具使用、授权错误、应用程序漏洞以及其他软件层面的风险，并不能仅仅通过将应用程序置于机密计算硬件中来解决。
可观测元数据
受保护应用负载的内容是加密的，但部分信息在该负载之外仍然可见。
这可能包括：
- 请求时机
- 消息大小
- 流量
- 路由信息
在当前架构中，身份验证和路由所需的信息，包括 API 凭据和模型标识符，也仍然位于受 OHTTP 保护的应用程序负载之外。
这一区分是有意为之的，并且在推理系统隐藏了什么、没有隐藏什么时非常重要。
机密计算不是什么
机密计算是更广泛架构中的一项安全控制措施。
它不是：
- 应用安全的替代方案。 机密边界内的软件仍然需要被正确地设计、审查和保护。
- 一种数据驻留机制。 机密计算管控的是计算过程中对数据的访问权限，并不决定该计算发生在哪个司法管辖区。
- 合规或合同控制的替代方案。 DPA、访问控制、认证、安全审查和法律义务仍然是必要的。
- 同态加密。 模型在受保护环境内仍然以明文方式运行。机密计算保护的是该环境，而不是直接在加密值上进行计算。
只有当签名证据确实依据适当的策略得到验证时，证明才能提供保障。
证据描述的是实际运行的内容。
策略决定该环境是否应被信任。
机密计算并不能消除信任。 它让信任变得更小、更明确、可度量且可验证。
以开放方式构建
当客户和安全研究人员能够理解他们正在验证的内容时，验证才会变得更有意义。
Model Vault 上的机密计算构建于以下开源技术之上，包括 Kata Containers 以及 机密容器.
Cohere 计划开源机密推理栈，以便客户和研究人员能够检查实现、了解所执行的策略，并复现验证过程中使用的测量结果。
这一点很重要，因为证明不应要求客户接受另一个黑盒。
当客户能够理解所测量的内容、检查与之相关的代码，并独立推断该状态是否应被信任时，测量结果才会更有用。
开放的实现和可复现的测量使验证过程更加透明，并让安全团队能够更深入地评估该系统。
下一步
当前的公开测试版运行在 Microsoft Azure 上的 NVIDIA H100 GPU.
我们也在努力支持 NVIDIA Blackwell 基础设施，包括 NVIDIA B200 GPU，随着我们迈向正式可用版本。
Model Vault 上的机密计算服务于一个更宏大的目标：让企业能够获得强有力的技术管控手段，而无需每个组织都自行构建和运营机密 AI 推理。
目标不是要求客户更加信任更多的基础设施或托管平台。
目的是为他们提供一种方式来验证他们选择信任的平台和基础设施合作伙伴。
了解更多，请参阅 Model Vault 机密计算产品发布，探索 Model Vault 文档，或从以下网址开始使用 vault.cohere.com.
