商汤发布 SenseNova-RoboRSI 研究，开源 27B 具身模型 RoboRSI-27B-Preview
The key idea behind SenseNova-RoboRSI is experience internalization.
商汤发布对 GPT-6-Astra 具身智能的实证研究，覆盖 12 个仿真基准和 8 个真实机器人平台，并开源 SenseNova-RoboRSI 框架与 27B 模型 RoboRSI-27B-Preview。该模型通过 ICL 从演示中提取视觉示例、机器人状态、动作轨迹、工具和恢复策略等经验，具备主动感知、空间推理、规划与反馈驱动修正能力，任务成本约为 GPT-6-Astra 的 1/50。研究还显示 GPT-6-Astra 在统一协议下于 12 个基准全部达到 SOTA，RoboDojo 从 1× 的 27.6% 升至 10× 的 81.9%，但单次推理成本偏高，例如放置笔这类简单任务约需 55 美元。
查看原帖我们发布了关于𝗚𝗣𝗧-𝟲-𝗔𝘀𝘁𝗿𝗮的𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝗰𝗲的最全面的𝗲𝗺𝗽𝗶𝗿𝗶𝗰𝗮𝗹 𝘀𝘁𝘂𝗱𝘆，涵盖12个仿真基准和8个真实机器人平台，同时发布𝗦𝗲𝗻𝘀𝗲𝗡𝗼𝘃𝗮-𝗥𝗼𝗯𝗼𝗥𝗦𝗜：一个开源测试框架和一个27B模型，其运行成本约为GPT-6-Astra的1/50。 以下是我们发现的结果： 🔹 𝗧𝗵𝗲 𝗰𝗮𝗽𝗮𝗯𝗶𝗹𝗶𝘁𝘆 𝗰𝗲𝗶𝗹𝗶𝗻𝗴 𝗶𝘀 𝗮𝗰𝘁𝘂𝗮𝗹𝗹𝘆 𝗺𝘂𝗰𝗵 𝗵𝗶𝗴𝗵𝗲𝗿。在统一协议下（ICL + 最多10倍的交互预算），GPT-6-Astra在所有12个基准上均取得明显的SOTA：RoboDojo：1倍时27.6% → 10倍时81.9%，DexJoCo：87.3% 对比此前SOTA的40.3%，而LIBERO基准则被推至饱和。 🔹 𝗧𝗼𝗼 𝗺𝘂𝗰𝗵 𝗯𝘂𝗰𝗸 𝗳𝗼𝗿 𝘁𝗵𝗲 𝗯𝗮𝗻𝗴。即便是把笔放入笔筒这样简单的任务，推理成本也约为55美元。 🔹 𝗧𝗵𝗲 𝘄𝗼𝗿𝗹𝗱 𝗱𝗼𝗲𝘀𝗻’𝘁 𝘄𝗮𝗶𝘁。时间很重要，因为真实机器人会过热，而模型还在思考时一个鸡蛋就被烧焦了。 我们的结论：GPT-6-Astra已在很大程度上跨过了𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗰𝗼𝗺𝗽𝗲𝘁𝗲𝗻𝗰𝗲的门槛，但𝗽𝗿𝗮𝗰𝘁𝗶𝗰𝗮𝗹 𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝗰𝗲尚未到来。 🌐 项目页面：https://t.co/m0ntdtBamB 📄 报告： https://t.co/ySEnd7oIj9 💻 代码与模型：https://t.co/iTVQ1YD7mP
查看原文
We release the most comprehensive 𝗲𝗺𝗽𝗶𝗿𝗶𝗰𝗮𝗹 𝘀𝘁𝘂𝗱𝘆 𝗼𝗳 𝗚𝗣𝗧-𝟲-𝗔𝘀𝘁𝗿𝗮’𝘀 𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝗰𝗲 across 12 simulation benchmarks and 8 real-robot platforms, together with 𝗦𝗲𝗻𝘀𝗲𝗡𝗼𝘃𝗮-𝗥𝗼𝗯𝗼𝗥𝗦𝗜: an open-source harness framework and a 27B model that runs at ~1/50 the cost of GPT-6-Astra. Here's what we found: 🔹 𝗧𝗵𝗲 𝗰𝗮𝗽𝗮𝗯𝗶𝗹𝗶𝘁𝘆 𝗰𝗲𝗶𝗹𝗶𝗻𝗴 𝗶𝘀 𝗮𝗰𝘁𝘂𝗮𝗹𝗹𝘆 𝗺𝘂𝗰𝗵 𝗵𝗶𝗴𝗵𝗲𝗿. Under a unified protocol (ICL + up to 10× the interaction budget), GPT-6-Astra achieves clear SOTA across all 12 benchmarks: RoboDojo: 27.6% at 1× → 81.9% at 10×, DexJoCo: 87.3% vs. 40.3% prior SOTA, while the LIBERO benchmarks are pushed to saturation. 🔹 𝗧𝗼𝗼 𝗺𝘂𝗰𝗵 𝗯𝘂𝗰𝗸 𝗳𝗼𝗿 𝘁𝗵𝗲 𝗯𝗮𝗻𝗴. Even a simple task like placing pens in a holder costs ~$55 in inference. 🔹 𝗧𝗵𝗲 𝘄𝗼𝗿𝗹𝗱 𝗱𝗼𝗲𝘀𝗻’𝘁 𝘄𝗮𝗶𝘁. Time matters as real robots overheat, and an egg burned while the model was still thinking. Our takeaway: GPT-6-Astra has largely crossed the threshold of 𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗰𝗼𝗺𝗽𝗲𝘁𝗲𝗻𝗰𝗲, but 𝗽𝗿𝗮𝗰𝘁𝗶𝗰𝗮𝗹 𝗲𝗺𝗯𝗼𝗱𝗶𝗲𝗱 𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝗰𝗲 is not here yet. 🌐 Project page: https://t.co/m0ntdtBamB 📄 Report: https://t.co/ySEnd7oIj9 💻 Code & model: https://t.co/iTVQ1YD7mP
正文 · AI 翻译
SenseNova-RoboRSI 的核心思想是经验内化。
GPT-6-Astra 使用 ICL 从演示中提取有用信息，包括视觉示例、机器人状态、动作轨迹、工具和恢复策略。
商汤将这一具身经验蒸馏到开源的 RoboRSI-27B-Preview 中，该模型展现出主动感知、空间推理、规划以及反馈驱动的修正能力，任务成本约为前者的 1/50。