Eclypsium 演示受损硬件如何在推理时篡改 AI 模型

Eclypsium 已演示，受损的计算基础设施如何在推理过程中改变 AI 模型的行为，而模型原始文件仍保持完好。这项研究于 10 月 29 日发表在《可信 AI 需要可信基础设施》中，说明了为何检查模型签名或文件哈希无法确立内存中执行模型的完整性。

在 NVIDIA 支持下进行的一次受控演示中，研究人员利用受损的数据处理单元（DPU）以及宽松的内存隔离，修改了运行时模型权重。模型的回答发生了变化，而存储的模型或推理服务并未被修改。这一发现将硬件、固件和设备配置纳入了 AI 安全边界之内。

AI 安全讨论往往聚焦于恶意提示、被投毒的训练数据和不安全的工具使用。这项研究考察的是更底层的一层：在模型运行时承载并传输其参数的基础设施。

权重是塑造模型回答的数值参数。磁盘上的有效文件可以被加载到内存中，随后被具有足够特权的组件更改。之后对原始文件的检查仍会看到预期的字节，即便回答是使用被篡改的运行时状态生成的。

Eclypsium 的受控演示显示了对查询的模型输出操纵，报告指出，若将同样的技术应用于编码模型，可能削弱身份验证检查、关闭证书验证、引入不安全的依赖项，或在生成的代码中留下内存漏洞。更广泛的担忧在于，运行时操纵可能影响其他敏感用途，例如自动化决策。这些可能性应与实验室中展示的具体行为区分开来。

所谓“未被检测到”的说法也有明确的范围：演示中使用的存储模型完整性检查并未发现内存中的更改。这并不能证明其对一切形式的监控或取证检查都不可见。

攻击条件至关重要

该测试使用了 NVIDIA Grace Hopper 环境。其直接内存访问路径依赖于受损的特权组件以及允许访问敏感内存的配置设置。研究人员指出 IOMMU 直通和宽松的 PCIe 隔离是重要条件，并明确说明这些并非 Linux 的默认设置。

IOMMU 有助于控制外设可以访问哪些内存。在研究人员测试的更严格隔离配置下，同样的直接路径不可用。因此，这一结果凸显了核实实际部署设置的重要性，而不是假定已安装的安全能力正在积极执行边界。

DPU 是一种可编程的基础设施处理器，用于网络、存储和安全服务。其高效传输数据的能力很有价值，但如果攻击者控制了该组件，服务于合法基础设施功能的特权就可能变得危险。

在关于此次合作的说明中，NVIDIA 介绍了 BlueField 的认证启动、硬件信任根、隔离、固件更新保护和证明。它还强调，云运营商会针对不同的信任模型选择不同的安全配置。

两家公司传达的信息是，运营者需要关于这些选择的证据。内存访问控制、设备隔离和管理接口必须在部署威胁模型的背景下进行评估。仅凭某项功能可用，并不能表明其配置正确。

NVIDIA 和 Eclypsium 还指出，该问题超出了单一供应商的范围。AI 系统依赖于特权主机软件、加速器固件、管理控制器和数据传输机制。具体路径因架构而异；但必须考虑这些组件这一点并无不同。

当模型能够调用工具、访问企业数据或发起操作时，风险会进一步加大。基础设施篡改可能破坏应用层防护措施关于实际运行的是哪个模型的假设。

NVIDIA 的 Open Agent Safety Platform 展示了分层应对方式。OpenShell 提供运行时治理，而运行在 BlueField 上的 NVIDIA Sentry 则在主机和代理之外的硬件隔离安全域中运行。该架构旨在从独立的控制点监控行为并执行策略。

这种独立位置带来了另一项安全责任：执行硬件及其软件栈本身必须保持可信。将控制移出应用减少了一项依赖，同时增加了验证受托执行该控制的组件的重要性。

Eclypsium 的报告将这种脱节称为“运行时完整性缺口”。其基础设施保障平台会清点组件、评估固件和配置、将设备状态与已批准的基线进行比较，并监控变更。该公司将这些能力定位为对现有应用和模型防护措施的补充。

对运营者而言，实际工作首先要将 DPU、GPU、管理控制器及其固件视为单独管理的资产。每项资产都需要明确归属、版本跟踪、漏洞评估和清晰的更新流程。管理平面访问以及基础设施处理器上的第三方软件也应纳入这一审查。

检查还应贯穿硬件部署、更新、事件恢复和重新分配的全过程。干净的操作系统镜像本身并不能证明每个底层组件都处于已批准状态。共享基础设施使这一生命周期尤为关键，因为硬件可能服务于接续的多个客户。

模型签名仍然有用：它们回答了关于所加载工件的一个重要问题。安全启动、证明、运行时隔离和持续监控则回答关于执行该工件的系统的不同问题。任何一项都不应被视为其他所有项的替代品。

Eclypsium 研究的意义在于，模型可以通过一项完整性检查，而其执行链的另一部分已经发生变化。对于将 AI 部署到关键工作流程中的组织而言，基础设施验证需要在整个运营过程中伴随模型评估。