SecurityScorecard 发布 TPRM Benchmark，评测模型第三方风险能力与抗攻击性

安全评级公司 SecurityScorecard Inc. 今日发布了一项开放基准，用于测试人工智能模型能否胜任第三方风险管理工作，同时不会被反过来用于对付使用这些模型的公司。

TPRM Benchmark 面向供应商风险项目而构建，在这类项目中，模型可能需要解读安全遥测数据，并判断哪些暴露风险值得关注。模型读取的许多内容来自供应商自行填写的问卷和文档，其中部分内容可能不完整，或被有意篡改。SecurityScorecard 表示，围绕静态或学术任务构建的通用基准在设计时并未考虑到这一点。

在能力方面，任务涵盖暴露风险分级和第四方技术风险等学科，每项任务都以 SecurityScorecard 自有供应商风险遥测数据的快照为起点，由领域专家在任何模型被评分之前进行核查。答案受到保护。输入也会轮换，因此即使模型记住了测试内容，也获益有限。

分数以带有置信区间的基线为参照进行衡量，每个模型根据其在重复试验中的表现获得从 L0 到 L4 的自主性就绪等级。SecurityScorecard 表示，该评级旨在表明一个模型在多大程度上可以被信任在无人监督的情况下工作。

抗攻击能力在 Model Security 套件中单独测试，该套件用提示注入、越狱和其他技术对每个模型发起攻击。评级从 A 到 F。部分能力任务还植入了与底层遥测数据相矛盾的欺骗性供应商自我声明，这些任务的评分显示了虚假声明在多大程度上拉低了模型的准确率。

早期运行涵盖了闭源前沿模型、开放权重模型和国际模型，其表现很大程度上取决于所测试的纪律。SecurityScorecard 首席信息安全官兼首席 AI 官 Mike Mylrea 表示，在供应链安全任务上，开放权重模型正在缩小与领先前沿模型的差距。他说，其中几个开放权重模型“极易受到对抗性攻击”。该公告未指明所测试的模型，也未给出其分数。

开发者安全公司 Snyk Ltd. 的首席技术与创新官 Manoj Nair 表示，该基准为安全团队提供了一种“共享、透明的方式，可同时评估模型的能力与抗攻击性”。Snyk 自身针对 3,000 个企业环境的研究发现，在检测到模型引用的环境中，有 74.5% 至少引用了一个在对抗性测试中于攻击者目标上获得“高”分的模型。

SecurityScorecard 联合创始人兼首席执行官 Aleksandr Yampolskiy 将把未经测试的 AI 智能体纳入供应商风险计划比作“让新员工第一天就获得特权访问权限，然后指望一切顺利”。他说，一家公司如果无法说明其模型能否完成工作，或者模型是否可能被反过来用于对付自己，那就“多了一个新的攻击面”。

SecurityScorecard 已将这一框架开源。下载该框架的参与者可以运行自己的模型或智能体，并将结果提交到公开排行榜。此外，一批数量有限的 AI 实验室、安全厂商和研究人员也受邀参与，帮助决定该基准测试测什么以及如何测试。

公开版本 2026.09 现已发布，包含文档、Model Security 套件以及排行榜注册。官方专家验证分数来自 SecurityScorecard 的内部实时层级。安全团队若在公开层级上自行测试，所获结果会被标记为“合成校准”，该公司表示这些结果在研究和自我评估方面可直接比较。若要对候选模型或智能体进行认证评估，企业必须直接联系 SecurityScorecard。

图片：SecurityScorecard