Viggle Releases JST-2, a 3D-Native World Model
English text is being prepared.
Viggle has released JST-2, building its entire model stack in 3D space and representing the world with Physics-Native Tokens that carry xyz coordinates, attribute vectors, and dynamics vectors, rather than implicitly inferring physical laws from video pixels. The architecture consists of three parts: the JST encoder, JST generator, and JST decoder. A single forward inference generates a complete 3D scene in about 1 second, at a cost below $0.01 (B200), and supports up to 64 input views as a spatial context window. Blind human preference tests published by Viggle show that character generation wins 58.4% against Meshy 7.1 and 73.2% against Tripo H3.1, while video-generated motion wins 89.1% against DeepMotion. JST-3 plans to extend the learned dynamics to object interaction.
Why read this
AI score 65
The original article reviews how JST-2 builds physical structure into the representation itself, and outlines how its approach differs from video-space world models.
Topics
View original postToday we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
View original
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
Body
近期主流世界模型 (Sora、Genie、Genie-3、Cosmos...) 几乎都工作在像素/视频空间，模型从海量视频中隐式地“猜”出物理规律
@ViggleAI 最新发布的「JST-2」走了一条相反的路：整个技术栈直接构建在 3D 空间里
这一点是理解整篇发布的关键：物理结构不是从画面外观中推断的，是表示本身的一部分。架构上分三个组件：JST encoder（把图像编码为物理原生 token）、JST generator（从多模态 prompt 直接生成 token）、JST decoder（结合视角与运动/力输入，解码为图像或 3D 高斯泼溅）。
Viggle 花四年（JST-1 在 2022–2024，JST-2 在 2024–2026）自建了全栈：tokenization、架构、数据合成引擎、预训练和后训练。自建数据引擎很重要，因为 3D 原生的训练数据在自然界几乎不存在，必须靠合成获得，这既是壁垒，也是成本。
能力面：一条架构统一三件事 · 场景生成：单次前向推理约 1 秒生成完整 3D 场景，成本 <$0.01（B200），无需逐场景优化；支持最多 64 个输入视角作为“空间上下文窗口”，可持续扩展同一世界 · 角色生成：单张图片（允许裁切/遮挡）或文本生成 3D 角色，动力学直接从数据学出，跳过绑定（rigging）和蒙皮（skinning） · 运动生成：文本或视频驱动全身 3D 运动；视频模式下能重建可见部分、推断被遮挡的身体部位 · 场景重建：从稀疏真实观测重建完整 3D 环境，指向机器人仿真、自动驾驶、测绘场景
基准：盲测人类评估，且是对手擅长的战场 Viggle 公布的是盲测人类偏好对比（数字为 JST-2 胜率）： · 角色生成：胜 Meshy 7.1（58.4%）、Tripo H3.1（73.2%） · 动画就绪度：胜 Meshy 73.8%、Tripo 88.9%，优势集中在手部绑定与变形质量 · 文本生成运动：胜 Cartwheel Swing 74.8%、HY-Motion-1.0（应该是 Hyper3D）80.0% · 视频生成运动：胜 Cartwheel 58.1%、DeepMotion 89.1%，手部追踪胜率高达 95%
JST-3 的未来路线图：从“会动的 3D”到“学出来的物理” JST-2 中，角色的运动是学习到的动力学驱动的（这是它跳过绑定/蒙皮的原因），但物体之间的交互仍是规则模拟。JST-3 的目标是把学习动力学推广到物体交互，用学习到的物理替代基于规则的仿真。
最终愿景表述得很明确：为物理 AI 服务的“体验引擎”，智能体在模拟世界中通过行动和观察后果来学习。这本质上是对“机器人训练数据从哪来”这个问题的回答，与 NVIDIA Cosmos、Genesis、Google 的世界模型研究瞄准的是同一个终局，但入场角度是 3D 原生表示而非视频生成。