VicOne LAB R7 研究：机器人安全功能正常，但输入被篡改会怎样？

本文由VicOne提供。

一台移动机器人在走廊里为某人减速。一条协作机械臂在工人靠近时放缓动作。一台人形机器人停下来让一个人通过。每一次响应都依赖于关于机器人或其周围环境的信息：一个距离读数、一个位置估计，或一个停止信号。

但当其中某个输入出错，而机器人仍然完全按照设计做出响应时，会发生什么？移动机器人把走廊读作畅通，而那里仍有人。机械臂估计工人距离更远。人形机器人没有在有人横穿其路径时收到停止信号。

在每种情况下，故障都可能导致这种不匹配。蓄意操纵同样可能。

在VicOne LAB R7，我们研究被操纵的输入如何改变机器人行为——以及这对旨在保障人员安全的系统意味着什么。

不可信输入如何改变机器人的行为

机器人所做的不仅仅是测量周围环境。它可能会解读所见所闻，以决定下一步做什么。因此，置于其环境中的信息可以影响其行动。

已发表的研究显示了这种情况如何发生。在一项关于视觉-语言-动作（VLA）模型的研究中，摄像头视野中的一块贴片降低了模拟机器人测试中的任务成功率。FreezeVLA发现，对抗性图像可导致受测模型忽略后续指令。尽管这些研究采用了不同方法，但两者都证明了视觉输入如何干扰机器人的预期任务。

在一项使用Gemma 4 E4B的机器狗测试中，海报上的文字被当作指令，改变了机器人的移动。

VicOne LAB R7还测试了不可信输入如何改变机器人行为。在一项使用Gemma 4 E4B的机器狗测试中，海报上的文字被当作指令，改变了机器人的移动。在另一项使用Nemotron、运行于NVIDIA Jetson AGX Orin的医院服务机器人仿真中，人耳听不见的构造音频改变了机器人的模拟行为。分配的任务没有改变；改变的是输入。

在VicOne LAB R7的一项测试中，海报上的文字改变了机器狗的移动，说明构造输入如何能将不太可能的结果变成可重复的攻击。VicOne

安全相关决策也有输入

独立的防护系统仍可能阻止危险动作。但该系统同样依赖于信息：告诉它何时介入的读数、估计和消息。如果其中某个输入被操纵，会发生什么？

在一场机器人漏洞赏金活动中，VicOne LAB R7的研究人员向一台主办方预期在安全控制设置下保持静止的机器人注入了ROS 2/DDS消息。机器人移动了。

人形机器人的平衡控制器提供了另一个例子。如果它依赖一个有漏洞的陀螺仪，传感器谐振频率处的声波可能扭曲其报告的旋转。控制器可能会纠正一个从未发生的倾斜。研究人员演示了针对配备有漏洞陀螺仪的无人机的底层声学攻击。该研究并未演示同一攻击链导致人形机器人跌倒。

其他防护措施可能中断任一链条。对安全和安保团队而言，问题在于这些防护措施是独立检测危险，还是依赖同样被操纵的信息。

图1. VicOne描绘了意外故障和蓄意网络操纵如何导致相似的机器人安全后果，从失控到人身伤害。VicOne

蓄意攻击挑战安全假设

安全评估可能将多种意外故障的组合视为不太可能。蓄意操纵改变了这一假设。攻击者可以选择何时引入虚假输入，并重复同一触发条件。这并不会使伤害不可避免，但可能改变网络风险应如何评估。

冗余传感器也需要对抗性测试。如果一种动作能同时影响两个输入，它们的一致性所提供的保障可能低于预期。在自动驾驶研究中，一个构造的物理物体误导了结合摄像头和LiDAR感知的系统。该研究并未确立某一特定机器人的弱点，但它说明了为什么团队应测试一种操纵是否能同时影响多项检查。

网络威胁为安全方程增加了意图，因此基于意外故障的风险评估必须重新审视，以考虑可定时并重复的攻击。

安全测试强化机器人安全证据

安全团队为速度、防护距离和允许运行区域设定限值。这些限值背后的证据还应表明，当用于执行限值的信息被蓄意操纵时会发生什么。

这些证据也可以支持针对适用要求的评估。中国的GB/T 45502-2025涉及服务机器人的信息安全。IEC TS 63074审视可能影响安全相关控制系统的安全威胁。欧盟《机械法规》自2027年1月20日起适用，其中包含保护安全相关系统和数据免遭破坏的要求。每项法规各有其适用范围，团队仍需为其机器人的设计和运行条件提供证据。

图2. 网络安全在整个生命周期中强化机器人安全证据。VicOne帮助团队在部署前针对操纵测试安全限值，并在运行中监控安全行为背后的条件。VicOne

在部署前，安全和安保工程师可以将正常场景与对抗场景对照相同的安全限值进行比较。在运行期间，他们可以监控软件、模型、传感器信号或行为的变化，这些变化可能使先前的结果受到质疑。对可疑行为的任何响应都应遵循安全团队批准的策略。

VicOne在机器人整个生命周期中支持这项工作。通过Robotic Hacking Community，VicOne LAB R7与研究人员合作，调查网络威胁如何改变机器人行为。VicOne的Radeis帮助团队在部署前验证潜在影响，而Rthena则在运行期间提供对风险和行为可见性。

安全和安保团队应共同回答的五个问题

核心检验在于：当机器人所依赖的信息被操纵时，其防护措施是否仍能保护人员。安全和安保团队可以先追溯每项保护决策背后的输入，对其提出质疑，并在机器人发生变化时重新审视证据。他们可以从以下五个问题入手：

1. 每项保护功能读取什么？梳理读数、估计值、消息和确认信息。确定哪些防护措施独立于机器人的AI决策运行。

2. 这些信息如何到达？检查输入如何产生、传输、在适当情况下如何认证，以及当输入缺失或不合情理时如何处理。

3. 如果输入被操纵会发生什么？针对机器人的安全限值测试虚假距离、漂移的位置估计和其他相关场景。

4. 一种动作能否误导多个输入？检查传感器融合或看似独立的防护措施是否共享同一故障点。

5. 何时应重新审视证据？在软件、模型、传感器或运行条件发生变化后重新评估。提前与安全团队就可疑行为的有界响应达成一致。

目标不仅是证明某项保护功能有效。团队还需要证据表明，当其决策背后的信息错误或被蓄意操纵时，该功能仍具有保护作用——并且在需要时，另一项防护措施能够拦截由此产生的危险。随着机器人的变化，这些证据也需要随之变化。

如需深入了解网络安全如何影响机器人安全，请下载我们的白皮书《为什么机器人安全取决于网络安全：保护安全决策所依赖的信息》。