SecurityScorecard 发布 TPRM Benchmark,评测模型第三方风险能力与抗攻击性
SecurityScorecard 发布开源基准 TPRM Benchmark,用于测试 AI 模型能否处理第三方风险管理任务,以及能否抵御提示注入、越狱等攻击。能力测试基于其自有供应商风险遥测数据,答案受保护且输入轮换,模型按重复试验结果获得 L0 到 L4 的自主性等级;抗攻击测试在 Model Security 套件中单独进行,按 A 到 F 评级。公开版本 2026.09 已开放下载,参与者可提交结果至公开排行榜,官方专家验证分数需通过其内部层级获得。
会轮换,因此即使模型记住了测试内容,也获益有限。 分数以带有置信区间的基线为参照进行衡量,每个模型根据其在重复试验中的表现获得从 L0 到 L4 的自主性就绪等级。SecurityScorecard 表示,该评级旨在表明一个模型在多大程度上可以被信任在无人监督的情况下工作。 抗攻击能力在 Model Security 套件中单独测试,该套件用提示注入、越狱和其他技术对每个模型发起攻击。评级从 A 到 F。部分能力任务还植入了与底层遥测数据相矛盾的欺骗性供应商自我声明,这些任务的评分显示了虚假声明在多大程度上拉低了模型的准确率。 早期运行涵盖了闭源前沿模型、开放权重模型和国际模型,其表现很大程度上取决于所测试的纪律。SecurityScorecard 首席信息安全官兼首席 AI 官 Mike Mylrea 表示,在供应链安全任务上,开放权重模型正在缩小与领先前沿模型的差距。他说,其中几个开放权重模型“极易受到对抗性攻击”。该公告未指明所测试的模型,也未给出其分数。 开发者安全公司 Snyk Ltd. 的首席技术与创新官 Manoj Nair 表示,该基准为安全团队提供了一种“共享、透明的
匹配字段正文