Nvidia 开源机器人视频标注引擎 Flora，称成本比 GPT-6 Astra 低 125 倍

Nvidia 承诺，借助其开放数据引擎 Flora，标注一小时机器人视频只需 72 美分，而非 88 美元。不过，与 GPT-6 Astra 的对比并不像价格标签所暗示的那样悬殊。

用于机器人的大型 AI 模型要从视频中学习，而这些视频需要文本标注。据 Nvidia 的 GEAR 研究实验室称，这需要三类标注。第一，描述视频中何时发生何种动作，用于筛选训练数据。第二，对机器人逐步推进任务的效果进行评分，以便它通过试错学习。第三，判断任务是否成功完成，用于在部署期间监控机器人。现有的大多数工具只提供其中一类标注。像 GPT-6 Astra 这样的大语言模型可以生成多类标注，但对于所涉及的海量视频而言，成本太高。

根据论文，Flora 覆盖了全部三类标注。Nvidia 表示，该系统已在其 GR00T 模型的训练中运行，在 512 块 GB300 GPU 上每天标注最多 20 万小时视频。这些模型已在 Hugging Face 上发布。

Flora 由三个经过微调的 Qwen3.5 模型组成。一个 9B 模型将视频切分为动作片段，一个 27B 模型在描述这些片段时会考虑每个动作前后发生的情况。第二个名为 Flora-Rewarder 的 27B 模型根据提示词承担三种角色。它以 1 到 5 的等级评定一个回合的成功程度，将每个半秒步骤分类为正常、次优或失败，并根据自定义的评分标准打分。

按 Nvidia 自己的估算，成本最多低 125 倍

在一项使用 50 个视频的测试中，据 Nvidia 称，Flora 的得分略高于 GPT-6 Astra，尽管 OpenAI 的模型被允许使用其完整的推理能力。按 Nvidia 的估算，用 Flora 标注一小时视频的成本约为 72 美分，而用 GPT-6 Astra 约为 88.50 美元。Claude Opus 5 在同一测试中得分低得多，每小时成本却仍约为 42 美元。

不过，Flora 的成本数字是推算值，而非实际生产测量值。Nvidia 是基于每块 GPU 每小时 10 美元的假定租用价格计算得出的。

Flora 更擅长发现动作，但 Astra 往往描述得更精确

在公开的 WGO-Bench 上，Flora 在检测动作边界方面表现最佳，但总分落后于 Astra，在纯描述准确率上则落后于 Gemini 3.8 Flash。据研究人员称，这些提升主要来自时间定位。

在 Nvidia 自有的 DenseCaptionBench 上，Flora 在人类录制视频的所有指标上均领先，但在机器人视频上，该模型位居 Astra 之后，排名第二。研究人员也承认存在一个方法论上的问题。GPT-6 Astra 在评估这些描述的同时，本身也是受测模型之一。

几乎没有其他模型能发现回合中途的错误

在 RoboRewardBench 上，Flora 的错误率比 Astra 低 27.8%。论文将这一差距归因于部分完成的任务。当机器人只是把瓶子碰倒，而不是把它从桌上打落时，Flora 给出 5 分中的 3 分，与人工参考一致，而 Astra 只给 1 分。

Flora-Rewarder 能发现一个回合内 53.3% 的失败步骤，而没有任何竞争对手超过 11.7%，Astra 则一个都没发现。代价是 Flora 会将约 11% 的正常步骤误标为错误。Astra 在基于评分标准的打分和轨迹排序方面仍然领先。

在一段包含许多短促手部动作的视频中，Flora 识别出 37 个单独动作中的 34 个，而 Astra 只识别出 4 个。另一方面，Flora 有时会把较长的动作拆分成过多的小步骤，偶尔也会描述错误。在一段视频中，一只机械手用布擦拭盘子，但 Flora 将其描述为折叠餐巾。

Nvidia 将 Flora 定位为 Scale AI 的 Physical AI Data Engine 等商业服务的开放替代方案。研究人员可以用它来扩展自己的机器人数据集，并测试将人类演示迁移到机器人等方法。Nvidia 正投入数十亿美元开发开放 AI 模型，以将开发者留在其硬件生态系统中并推动其芯片需求，Flora 也服务于同一目标。

该公司一段时间以来还一直致力于通过仿真和自动化数据处理来弥补机器人训练数据的短缺。在今年早些时候的 GTC 上，Nvidia 展示了一条数据流水线，可自动准备、扩充和评分训练材料。Flora 为这条流水线增加了来自视频的详细标注和奖励信号。

所有这些都服务于 Nvidia 覆盖整个机器人价值链的战略，从硬件和训练数据到仿真以及 AI 模型本身。Google 最近发布的 Gemini 4 Argon 瞄准了机器人训练流程中类似的部分，同样能在训练视频中识别工作步骤并标记失败动作。