Cohere 在 Model Vault 上线机密计算公测

Cohere于2026年10月22日宣布，其专用全托管模型推理平台Cohere Model Vault上的机密计算功能进入公开测试，该平台运行在Microsoft Azure的NVIDIA H100 GPU上，面向处理敏感数据的企业。

此次发布将Model Vault的适用范围扩展至涉及临床记录、金融信息、特权文档、知识产权和专有源代码的工作负载。Cohere表示，目标是让企业既能利用托管AI的能力和运维简便性，又能使其敏感的明文数据不被运行该服务的基础设施所触及。该公司列举的候选工作负载包括：金融服务欺诈调查、法律团队的特权文档检索与尽职调查、敏感公共部门信息、专利与研究材料、专有工程与界面设计文档，以及跨专有源代码的搜索与分析。

在该测试版的角色分工中，Microsoft Azure提供底层的机密计算基础设施，NVIDIA机密计算将这种保护延伸至H100 GPU，Cohere则通过Model Vault提供托管模型服务、加密请求路径、远程证明和客户端校验。据该公司介绍，客户可以通过Model Vault设置和管理加密保管库，通过相同的Cohere API进行连接，并从vault.cohere.com开始使用。

机密计算针对的是使用中的数据，即模型正在积极处理信息时的数据，这是继传统加密所覆盖的存储数据和传输中数据之后的第三种状态。根据Cohere在发布同时发布的一份配套技术深度解析，在Model Vault中，模型服务栈（包括操作系统、驱动程序和推理服务器）运行在机密虚拟机内，由硬件支持的隔离机制保护其内存不受宿主环境影响，策略将环境限制为仅运行经批准的软件，同时使运维人员无法以交互方式进入正在运行的工作负载。NVIDIA机密计算保护GPU内存并加密CPU与GPU之间的通信，因此机密边界覆盖执行推理的加速器，而不是止于协调推理的CPU。

请求本身也受到单独保护。Model Vault使用Oblivious HTTP（OHTTP），将请求的敏感内容加密至与经证明的机密环境绑定的公钥。加密消息以密文形式穿过中间基础设施，只有环境内的OHTTP网关持有匹配的私钥，响应在返回途中也受到同样的保护。Cohere表示，这将运营平台的工作与读取客户通过平台发送内容的能力分离开来，因为中间方仍可路由流量而看不到明文载荷。应用程序保留Model Vault API和熟悉的请求格式，保护措施在客户端和基础设施层实现，而无需重新设计载荷。

远程证明作为主动控制手段

在发送受保护的请求之前，机密环境会生成经加密签名的证据，其中记录其硬件、固件、运行环境和应用软件的度量值及安全相关属性，客户端软件则依据经批准的策略核验该证据。证据记录实际运行的是何种环境；策略则规定该环境是否应被信任来处理数据。当某项必需属性不匹配时，例如软件度量值发生变化或GPU未处于预期的机密模式，客户端将校验失败、拒绝传输载荷，请求便留在客户自己的环境内。该证据会以频繁的周期刷新，客户端每次都会在继续发送受保护请求之前，依据经批准的策略重新核验新的度量值和安全性状态。Cohere将此描述为将证明从为审计而保留的记录转变为主动决定是否释放受保护数据的控制手段。

在Cohere的发布公告中，首席技术官Phil Blunsom表示：“借助硬件证明，客户不仅拥有工作负载运行在安全、机密计算环境中的加密证明，还能验证其数据受到保护、免遭未经授权的访问，即便是Cohere也无法访问。”微软Azure机密计算产品负责人Vikas Bhatia表示，与Cohere的合作展示了机密计算如何将托管AI的简便性与可独立验证的技术控制相结合。NVIDIA企业软件副总裁John Fanelli表示，其GPU上的NVIDIA机密计算提供硬件支持的保护，帮助Model Vault等平台将机密AI推理带给企业工作负载。

在其声明的威胁模型范围内，该系统在处理期间保护提示词、文档、响应和模型执行，云提供商、宿主操作系统、虚拟机管理程序、基础设施管理员以及Cohere自身的运维人员均无法读取受保护工作负载的内存。可信计算基础仍包括提供机密计算基础的硬件和固件、在环境内运行的经度量软件、定义经批准配置的参考度量值，以及评估并签署证据的证明基础设施。Cohere表示，该设计将必须信任的范围缩小为一组明确的组件，这些组件能够产生可度量、可核验的证据。

Cohere还明确说明了该边界的排除范围。物理攻击与侧信道攻击，例如通过时序或其他共享硬件行为推断信息，仍不在保护范围内；而无法读取工作负载的运营方仍可停止、延迟或阻止该工作负载，因此该设计本身不提供可用性保证。提示词注入、不安全的工具使用、授权错误以及其他软件漏洞等应用层风险，并不会因为将软件置于机密计算硬件内而得到解决。

可观测的元数据是另一项排除内容：虽然载荷内容已加密，但消息大小、请求时序、流量规模和路由细节仍然可见，并且在当前架构中，API凭证和模型标识符也位于受OHTTP保护的载荷之外。该公司表示，机密计算不能替代应用安全，不是数据驻留机制，不能替代合规或合同控制，也不是同态加密，因为模型仍在受保护环境内对明文进行操作。

该实现基于开源项目Kata Containers和Confidential Containers构建，Cohere表示计划将机密推理栈作为开源软件发布，使客户和安全研究人员能够检查代码、查看执行了哪些策略，并独立复现验证度量值。该公测目前运行在Microsoft Azure的NVIDIA H100 GPU上，Cohere表示，对NVIDIA Blackwell基础设施（包括B200 GPU）的支持正在推进中，这是迈向正式可用的一步。