Viggle 发布 3D 原生世界模型 JST-2
近期主流世界模型 (Sora、Genie、Genie-3、Cosmos...) 几乎都工作在像素/视频空间，模型从海量视频中隐式地“猜”出物理规律
Viggle 发布 JST-2，将整套模型栈构建在 3D 空间，用携带 xyz 坐标、属性向量和动力学向量的 Physics-Native Token 表示世界，而非从视频像素中隐式推断物理规律。架构分为 JST encoder、JST generator 和 JST decoder 三部分，单次前向推理约 1 秒生成完整 3D 场景，成本低于 $0.01（B200），并支持最多 64 个输入视角作为空间上下文窗口。Viggle 公布的盲测人类偏好显示，角色生成对 Meshy 7.1 胜率 58.4%、对 Tripo H3.1 胜率 73.2%，视频生成运动对 DeepMotion 胜率 89.1%。JST-3 计划把学习到的动力学推广到物体交互。
查看原帖今天我们发布 JST-2，全球首个全栈物理原生世界基础模型。 许多世界模型在像素/视频空间中学习。我们回归第一性原理，在 3D 中构建了整套模型栈。 数秒内生成 3D 场景，并实时扩展。通过一个通用架构创建自带运动的角色。
查看原文
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
正文
近期主流世界模型 (Sora、Genie、Genie-3、Cosmos...) 几乎都工作在像素/视频空间，模型从海量视频中隐式地“猜”出物理规律
@ViggleAI 最新发布的「JST-2」走了一条相反的路：整个技术栈直接构建在 3D 空间里
这一点是理解整篇发布的关键：物理结构不是从画面外观中推断的，是表示本身的一部分。架构上分三个组件：JST encoder（把图像编码为物理原生 token）、JST generator（从多模态 prompt 直接生成 token）、JST decoder（结合视角与运动/力输入，解码为图像或 3D 高斯泼溅）。
Viggle 花四年（JST-1 在 2022–2024，JST-2 在 2024–2026）自建了全栈：tokenization、架构、数据合成引擎、预训练和后训练。自建数据引擎很重要，因为 3D 原生的训练数据在自然界几乎不存在，必须靠合成获得，这既是壁垒，也是成本。
能力面：一条架构统一三件事 · 场景生成：单次前向推理约 1 秒生成完整 3D 场景，成本 <$0.01（B200），无需逐场景优化；支持最多 64 个输入视角作为“空间上下文窗口”，可持续扩展同一世界 · 角色生成：单张图片（允许裁切/遮挡）或文本生成 3D 角色，动力学直接从数据学出，跳过绑定（rigging）和蒙皮（skinning） · 运动生成：文本或视频驱动全身 3D 运动；视频模式下能重建可见部分、推断被遮挡的身体部位 · 场景重建：从稀疏真实观测重建完整 3D 环境，指向机器人仿真、自动驾驶、测绘场景
基准：盲测人类评估，且是对手擅长的战场 Viggle 公布的是盲测人类偏好对比（数字为 JST-2 胜率）： · 角色生成：胜 Meshy 7.1（58.4%）、Tripo H3.1（73.2%） · 动画就绪度：胜 Meshy 73.8%、Tripo 88.9%，优势集中在手部绑定与变形质量 · 文本生成运动：胜 Cartwheel Swing 74.8%、HY-Motion-1.0（应该是 Hyper3D）80.0% · 视频生成运动：胜 Cartwheel 58.1%、DeepMotion 89.1%，手部追踪胜率高达 95%
JST-3 的未来路线图：从“会动的 3D”到“学出来的物理” JST-2 中，角色的运动是学习到的动力学驱动的（这是它跳过绑定/蒙皮的原因），但物体之间的交互仍是规则模拟。JST-3 的目标是把学习动力学推广到物体交互，用学习到的物理替代基于规则的仿真。
最终愿景表述得很明确：为物理 AI 服务的“体验引擎”，智能体在模拟世界中通过行动和观察后果来学习。这本质上是对“机器人训练数据从哪来”这个问题的回答，与 NVIDIA Cosmos、Genesis、Google 的世界模型研究瞄准的是同一个终局，但入场角度是 3D 原生表示而非视频生成。