←新闻详情

腾讯云开发者社区更新于 10月24日 23:36

清华与 GigaAI 提出 State World Models:规则先结算再渲染,配对合规率从 32% 升至 92%

同一帧同一动作,结局必须不同:把规则从像素里拆出来,世界模型从 32% 走到 92%

AI 导读

清华大学自动化系与 GigaAI 的论文《State World Models: Execute the Rules, Generate the Pixels》提出把规则执行从像素生成中拆出,由有状态运行时先结算事件,再交给冻结的视频模型渲染,零训练零微调。在 50 对反事实孪生样本上,11 个现成后端最好的配对联合合规率是 32%,同一冻结的 MiniMax-H3 接上该 harness 后达到 PAIRFOLLOW 92%、PAIRSTRICT 90%、TWINCONTRAST 96%。论文还报告在 WBench 上设定遵循从 71.1 升到 87.2,画质与物理合理性和文本驱动类均值基本持平。

推荐理由

AI 评分 65

论文用反事实孪生把有状态与响应式的差别量化成 32% 对 92%,并给出不训练即可复用的运行时分工。

主题

标签

正文

导语:做交互式生成的人迟早会碰到这件事:你现在盯着的这一帧,根本没有足够信息决定下一步该发生什么。这篇论文把「规则执行」从像素里拆出来,先结算事件、再让冻结的视频模型渲染。 一分钟速览 只看相机不够:导航控制能探索,但不决定交互后果;后果依赖当前帧看不见的语义状态(Abstract / Sec. 1)。 拆开做:规则先结算出确定事件,冻结的视频模型只负责把事件画成像素,零训练零微调(Sec. 3)。 50 对孪生:两例共享首帧与动作,只差一个隐藏值,覆盖 49 个隐藏变量与 21 个主题(Sec. 4)。 基线天花板:Rule-only 下 11 个后端最好的配对联合合规率是 32%(Wan2.2、MiniMax-H3)。 写清结局只解决一半:MiniMax-H3 的 PAIRFOLLOW 从 32% 到 64%,PAIRSTRICT 仍只有 4%。 接上 harness:同一冻结权重 PAIRFOLLOW 92%、PAIRSTRICT 90%、TWINCONTRAST 96%(Table 1)。

同一个宝箱,同一帧画面,同一个「打开」动作——手上有钥匙时该开,手上没钥匙时该打不开。这两件事在像素上完全一样:起始帧相同,动作相同,画面里也看不出你背包里有没有钥匙。任何只看「当前帧 + 相机运动」的视频世界模型,在这一步都没有信息可以依据。

这正是 arXiv:2610.26811v1《State World Models: Execute the Rules, Generate the Pixels》要处理的问题。作者来自清华大学自动化系与 GigaAI,他们的判断很直接:导航控制让场景变得可探索,但不决定交互的后果;要让动作遵守持续有效的规则,就得让「世界怎么演化」和「画面怎么长出来」变成两件事。

他们的做法是给一个完全冻结的视频模型套一层有状态的运行时(harness):规则程序在生成之前就把动作结算成确定的事件,编译器把事件编译成指令与空间预览,视频模型只负责把已经定下来的结局画出来。代价是零训练,收益是数字上的强对比——11 个现成后端在同一批反事实孪生样本上,最好的配对联合合规率是 32%(图 1);换同一个冻结的 MiniMax-H3 接上这套 harness,是 92%。

图 1|同一帧、同一动作(举杖)在两套隐藏状态下走向两个结局:规则先结算事件,冻结的视频模型再把它画成画面 推镜头能探索,却不保证动作有后果

先把这个空缺说清楚。近两年的交互式视频世界模型基本沿着「条件化生成」这条路走:给定一张图、一段相机轨迹或玩家动作,模型续写出看起来连贯的下一段。它擅长的是空间上的连续性——往前推、往右转、绕一圈回来,场景大致还对得上。 可探索性不等于可交互性

但「动作要有后果」是另一件事。论文举的例子很小:同一把钥匙、同一个宝箱,只有当玩家真的持有钥匙时,「打开」才应该成功。这种差别依赖的是语义状态——库存、进度、角色态度、终局标志,这些量在当前帧里根本不可见。作者把要求拆成两条:既要有语义状态记录「背包里有什么」,又要有可寻址的空间状态保住「场景布局与相机路径」。 难点被压缩成一句话

我认为这个拆分很关键。前面的工作并非没有显式状态:可编程引擎、学习到的游戏变量、从生成帧里恢复的 NPC 状态都试过。但它们的评测集中在几个选定的机制上,没有回答一个更基本的问题——一个冻结的视频模型,能不能把新指定的、涉及隐藏状态的规则所规定的结局渲染出来。显式状态本身并不保证规则要求的后果会出现在画面里,所以论文把难点表述成一句话:让状态转移具有权威性,并忠实地渲染它的后果。 一对孪生样本,把隐藏状态摆到台面上

要测这件事,最干净的办法是造一对「除了隐藏状态以外全都一样」的样本。作者称之为反事实孪生(counterfactual twins):两例共享同一张首帧、同一段动作脚本、同一份规则程序,只在一个隐藏值上不同,而这个隐藏值要求两个不同的可见结局。 为什么必须成对评

这么设计的好处是:单独一段视频「结局正确」并不能说明模型对隐藏状态敏感,它可能只是碰巧。但如果一对孪生在两个不同的隐藏状态下给出了同一个结局,那么至少有一例违反了规则——这是逻辑上的必然,不需要裁判去猜(图 2)。论文给这种现象起了个名字:孪生坍缩(twin collapse)。图里那个上半部分是典型的未包装模型行为:两例都给「箱子打开」,其中 haskey = false 的那一例直接违规;下半部分是接上 harness 之后,同一份规则把两例分别结算成「锁死」与「打开」,再交给同一个冻结模型渲染。 50 对样本怎么造

评测集叫 WorldState-Bench:50 个孪生对,取自 49 个隐藏变量与 21 个场景主题(魔法学院、地牢、开放世界、恋爱、视觉小说、密室、航海、农场、卡牌、侦探、潜行、烹饪、钓鱼等)。首帧统一由 FLUX.2 以 1280×720 生成,然后逐帧做 8 轮、6 个维度的 VLM 审计——物体是否存在、颜色归属、文字、空间线索、数量线索、状态线索——一旦审计发现画面里有能暴露隐藏值的证据,就改提示词重新生成。隐藏值按响应类型分成三族:机制选择 42 例、角色响应 6 例、形态选择 2 例;按触发方式则分成施法、手势、机关、区域四类。 案例写成一份程序

案例本身写成一份声明式程序,字段是固定且会被校验的:主题与首帧提示词、隐藏变量声明(名字、A 值与 B 值、不应出现在画面里的证据清单)、动作(行动者、动词、目标、阶段)、以及两个互斥且互补的规则分支,每个分支给出规定终局、禁用项与判定用的问题短语。配套的检查器要求两例的输入只在隐藏值及其后果上不同,并且首帧提示词不得泄露隐藏值——后一条不靠作者自律,而是靠上面那套对渲染结果的审计来强制。

图 2|反事实孪生:两例只看画面完全一样,只差一个隐藏标志。未包装的模型两例都画「箱子打开」,harness 先结算再渲染 状态怎么存:一本语义账,加一座黏土模型

harness 维护的世界状态写成 st = (zt, ut),分属语义与空间两个槽。zt 是一本可序列化的类型化账本:资源、实体属性、进度计数、态度、终局状态,字段都有类型。这个设计的好处是它天生可以被规则读写、被校验、被回放——而不是一坨只有模型自己看得懂的隐向量(图 3)。 空间那半边:一座黏土模型

ut 是空间那半边。给定一张图,一次前馈几何模型的推理就给出深度、世界点与部件特征,聚类之后得到逐实例的有向框,尺度用 1.7 米的人体先验和恢复出的相机高度锚定;这些框实例化出一个无贴图的 Blender 场景,也就是论文反复提到的 clay model(黏土模型)。它记录框与相机,支持规则的编辑,也支持程序化相机(推近、环绕、头部推进)渲染出预览片段。部署配置里是单主体版本:用基于 SAM3 的 1.2B 检测器 WildDet3D 配 LingBot-Depth 定位主体,按针孔成像在真实高度先验下摆一个框,再在主体邻域拟合地面。

我最认可的是这套表示的极简性。黏土模型很粗糙——没有材质、没有关节、没有纹理——但它恰好提供了渲染器需要的两样东西:布局与相机。粗糙不是妥协,而是刻意的分工:外观交给视频模型,几何与相机交给可编辑的场景资产。 与同行相比的位置

把这条路线放到同行里看会更清楚。Programmable World Model 把引擎与三维有向框的条件耦合到像素级;Code World Model 把代码维护的状态编译成代理视频并微调自己的渲染器;WorldMind 从生成的帧里去恢复 NPC 状态,空间状态也是从像素里反推的;Unbounded 走的是角色生活变量加语言路由的叙事路线。本文的组合是:一个持久可编辑的场景资产、一本语义账本,加上冻结渲染器本来就有的标准参考输入。作者自己的说法是「这个组合是最小的」——一个新的规则世界只需一份小的类型化程序,不需要引擎,也不需要微调。

图 3|Stage 0 由编码 agent 写出可执行游戏定义;Stage 1 每回合先结算规则与状态,再编译成视觉脚本交给冻结的视频模型 规则怎么执行:先结算,再渲染

每回合用户选定动作 at,运行时做的第一件事不是生成,而是结算。规则程序 τR 拿当前状态与动作去评估守卫条件,输出三样东西:暂定语义状态 z̄t+1、空间编辑脚本 εt、规则事件 et;编辑脚本可以增删移动框,也可以改相机路径,作用在黏土模型上就得到暂定空间状态 ūt+1。 结算先于生成

这个顺序是整套方法最硬的一条约束。作者在附录里写得很直白:渲染失败不会反转规则程序已经定下的事件——失败处理可以是重试、可以复用上一轮的锚点、可以终止生成,但结局不由渲染决定。我觉得这句话是整篇论文的态度所在:它把「画面」降级成表达,把「事件」升级成事实。

语言模型仍然可以参与,但被关在笼子里。可选的神经核 ρ 能提出对白或自由的旁白,运行时会做语法解析、数值裁剪、有限次重试,最后退回规则程序指定的默认值;闸门之后的支撑集被约束在规则允许集内,也就是 Supp((G∘ρ)(·|s,a)) ⊆ Aτ(s,a)。换句话说,模型可以决定「这件事怎么说」,不能决定「发生的是哪件事」。

同样的谨慎也出现在校验顺序上:模式检查、数值裁剪、有限重试、回退默认,四级依次收紧;论文特意点明,光有一个有限的模式并不足以保证包含关系,每个被接受的提案都必须对照允许集检查,包括回退值本身。 九步回合生命周期

一回合的完整生命周期在附录里被拆成九步,读起来很像一份服务端设计:门检(终局状态、回合预算、动作空间为空就结束)→ 选动作(脚本、随机、真人、LLM 玩家都走同一层规则)→ 在状态的副本上结算(不改动输入)→ 由分域导演映射成视觉脚本 → 编译器校验并拒绝非法记录 → 渲染(瞬态错误有限重试,默认失败策略是复用上一轮锚点并把本回合记为已玩)→ 用末帧更新锚点 → VLM 观测并回写状态 → 落一行 JSON(前后状态、事件、中间表示、编译后的提示词、种子、时延、渲染错误)。这九步里只有第 6 步会碰到视频模型,其余全是确定性逻辑——这也是它能把整条链路复现出来的原因。 从事件到像素:编译指令、冻结渲染、再回读状态

事件定下来之后,才轮到像素。VisualScript 编译器把已结算的状态与事件翻译成一份类型化的视觉脚本:风格、首帧锚点、相机、行动者与外观、动作、目标与反应、对白、特效、稳定性约束、要求的终局状态、音景、分镜、时长。每个槽位都有机器可检查的校验规则,比如动作、行动者、终局状态不得为空,自由文本里不许夹带分镜标记,多段镜头必须在分镜槽里声明。 编译器与两条通道

编译器是确定性的:同样的记录、同样的后端适配器,产出同一个指令串,中间没有采样、没有模型调用。同一时刻,黏土模型按编辑后的空间状态程序化渲染出一段预览片段 rt,它携带布局与相机轨迹,但外观是黏土色的。两条通道一起送进冻结的视频模型:vt+1 = Vθ(pt, rt, ft),其中 ft 是视觉锚点,初始来自输入图,之后每一轮取上一段的末帧。 参考通道的副作用

这里有一个我认为很值得抄的工程细节:指令必须明确告诉渲染器「预览只是布局参考」。论文报告了三十段生成片段来说明这件事——如果指令不把参考指明为布局预览,渲染器会把黏土的灰色材质当外观复现出来。参考通道是有副作用的,得给它写清楚解释方式。生成之后,闭环才闭上:VLM 观测器 Oψ 看生成片段,提出对语义或空间字段的更新;运行时只在提案合法且与固定规则相容时才采纳。一个与已结算事件矛盾的视觉细节不会被记成「事件变了」,而是被记成一次渲染不一致。 复现边界

复现性上作者说得也很克制:规则结算与编译对固定的程序、输入状态、动作与已接受的神经提案是确定性的,渲染种子取 baseseed + t;但像素级复现还要求后端在相同指令、参考、种子与服务条件下本身是确定的,光有冻结权重并不建立这条性质。 怎么判合规:两种指令条件与孪生配对指标

评测协议叫 Change-to-Comply。Change 问这段动作有没有产生超过相机运动的可见事件;Comply 问这个事件是否满足给定隐藏状态下的规则。把两者分开,是为了区分「什么都没发生」和「发生了但违反规则」——后者往往更隐蔽。没有可辨事件或无法判读的片段记为 UNCLEAR,一分不给。 指标怎么分层

指标按层分。片段层:ENDFOLLOW 要求末帧出现规定结局;CNTABSENT 要求禁用结局(也就是另一例的规定结局)全程不出现;STRICT 两者兼具,即只呈现唯一被规定的结局,没有矛盾内容、没有双分支蒙太奇。配对层:PAIRFOLLOW 要求两例都 ENDFOLLOW 正确,PAIRSTRICT 要求两例都 STRICT 正确,TWINCONTRAST 记录两例被判出的结局是否不同——它衡量的是「这对样本对这个系统是否可分辨」,专门用来诊断复制粘贴行为。 裁判靠什么判

裁判是 Qwen3.8-27B-VL,按 3 fps 采帧加末帧,回答两个固定选项的问题:末帧出现的是哪个结局(规定/禁用/无法判读),以及禁用结局是否在片段任意位置出现(是/否)。裁判能看到该分支的规定结局,但看不到隐藏变量、规则文本,也看不到另一例的期望结果。为了不漏判,作者做了盲测人工核验:17 个案例、102 段片段,每段三人独立评分;另有 25 对案例做强制二选一的人工对战(图 4)。

规则文本本身写得很朴素,每个族用固定的句式框架,例如「若火焰为红色,结界破碎、门开启;若火焰为蓝色,结界维持、门保持封闭」。两个分支都写清自己的终局,这样规则程序才能直接推出期望结局,也才能把禁用项定义成「另一例的规定结局」。这一点对评测很关键:期望答案在生成之前就已固定,裁判不是事后解释画面。

实验用四种图生视频生成器和七个交互式世界模型,全部按各自的标准接口驱动,不额外训练也不微调。指令条件有两种:Rule-only 给原始案例指令、隐藏值、所选规则分支与动作;Rule+end 在此之上追加一句显式的终局状态要求。下表按 Rule-only 探针列三个指标,分别是单条结局(ENDFOLLOW)、配对联合(PAIRFOLLOW)与配对严格(PAIRSTRICT)。

| 后端(Rule-only 探针) | 单条结局↑ | 配对联合↑ | 配对严格↑ | | --- | --- | --- | --- | | Wan2.2 A14B | 65% | 32% | 14% | | LongCat-Video 13.6B | 47% | 8% | 0% | | HunyuanVideo 1.5 | 57% | 20% | 6% | | MiniMax-H3 | 66% | 32% | 0% | | LingBot-World v2 | 48% | 16% | 8% | | Echo-WM Flash | 57% | 26% | 8% | | FantasyWorld | 34% | 8% | 8% | | AlayaWorld | 37% | 12% | 10% | | InSpatio-World | 19% | 2% | 0% | | Astra | 11% | 0% | 0% | | HY-WorldPlay | 9% | 0% | 0% | | STATEFUL HARNESS(同一冻结 MiniMax-H3) | 96% | 92% | 90% | 落差落在哪一层

这张表最值得盯的不是最后一行,而是中间那段落差:MiniMax-H3 的 ENDFOLLOW 有 66%,可配对层面只剩 32%。也就是说,单看一段视频「结局对了」的比例,比「两例都对」高出一倍——模型经常在两个不同隐藏状态下画出同一个结局,这正是孪生坍缩的量化形态。 显式结局的收益上限

显式写出结局有帮助,但帮不到配对的严格合规。对 MiniMax-H3,PAIRFOLLOW 从 32% 抬到 64%,PAIRSTRICT 却只有 4%;Rule+end 下未包装后端的最高 PAIRSTRICT 是 Wan2.2 的 26%。而同一个冻结权重接上完整 harness,得到的是 PAIRFOLLOW 92%、PAIRSTRICT 90%、TWINCONTRAST 96%、UNCLEAR 2%。 增益从哪来

分量链拆解把增益分给了两段:显式结局规格贡献 +32 个点,执行状态加编译参考再贡献 +28 个点;两者在 50 对上的配对精确 McNemar 检验下都显著(p = 4.0×10⁻⁴ 与 2.6×10⁻³,配对 bootstrap 95% 区间分别是 [16,48] 与 [12,44])。再单独看每个后端在两种探针之间的 STRICT 变化(图 5):Wan2.2 涨 9 个点,LongCat-Video 涨 7,而 HunyuanVideo 1.5 跌 3 个点,十个后端的均值只有 +2.3。也就是说,光靠「把要求写得更清楚」这条路,收益既不稳定也不够大。

公平性上有一点值得记下来:每个后端每回合只生成一段数秒的片段(77 到 128 帧、15 到 24 fps、592×336 到 1280×720 不等),harness 侧固定 864×480、24 fps;并且 harness 的分数不是靠重复采样挑出来的——它先用规则结算动作,再渲染一次,不用合规判定在多个样本之间做选择。这让 92% 这个数字的含义比较干净。

图 5|把必须的结局写进指令后各后端的严格合规变化:Wan2.2 涨 9 个点,HunyuanVideo 1.5 反跌 3 个点,均值只有 +2.3 三种失败模式:复制粘贴、方向错误、泄漏

作者没有停在总分上,而是把失败拆成可指认的三类,这也是我最喜欢这篇论文的部分——它让「不够好」变成了可以定位的工程问题。 三类可指认的失败

第一类是复制粘贴:一对孪生给出同一个结局。Rule+end 下,HY-WorldPlay 有 82% 的配对是这种情况,InSpatio-World 72%,Astra 70%,它们的 TWINCONTRAST 只在 10%–22% 之间。第二类是方向错误:选错了规则分支——Rule-only 下 Astra 与 HY-WorldPlay 的方向错误率分别是 89% 与 91%,而它们的 CNTABSENT 高达 96% 与 95%,说明「没画出不该画的东西」并不能证明「画对了该画的东西」,很多时候只是状态变化太小。第三类是泄漏:在规定结局之外还把禁用内容画了进去,HunyuanVideo 1.5 在 Rule-only 下有 25% 的片段如此,Rule+end 反而升到 34%,是所有外部后端里最高的——这也解释了它的 STRICT 为什么变差。 泄漏与方向错误的取舍

关键的一点是泄漏与方向错误的取舍关系。对未包装的 MiniMax-H3,从 Rule-only 到 Rule+end,方向错误从 34% 降到 18%,泄漏却从 40% 升到 53%;两个数一起看,就能理解为什么 ENDFOLLOW 涨了而 PAIRSTRICT 仍停在 4%。harness 在部署的首帧参考配置下把这三类同时压下去:复制粘贴 2%、方向错误 4%、泄漏 1%,TWINCONTRAST 96%(图 6)。 空间参考的双刃

顺带一个我没想到的发现:空间参考通道本身是个双刃剑。harness 不用空间参考时复制粘贴是 0%,方向错误 6%、泄漏 5%;加了首帧参考之后复制粘贴升到 2%,但方向错误与泄漏降到 4% 与 1%。作者据此把首帧参考留作部署配置——用一点点复制粘贴风险,换更高的方向准确率。

图 6|横轴两例结局是否被判为不同,纵轴严格合规率:结局不同不等于合规,本方法(星标)两项同时最高 画质没掉,设定遵循反而从 71.1 涨到 87.2

只看自家基准容易让人怀疑「是不是拿画质换合规」。作者因此把方法接到外部基准 WBench 上,用官方评测流程跑冻结的 MiniMax-H3 两种配置:官方文本协议,以及带空间预览视频的完整 harness。结果是画质 78.0、物理合理性 68.8,与文本驱动类的均值(77.4 与 66.9)基本持平;设定遵循从 71.1 抬到 87.2,交互 77.7 是对比里的最高值。

| WBench 指标 | 官方文本协议 | 完整 harness | | --- | --- | --- | | 视频质量(满分 6 项均值) | 77.9 | 78.0 | | 设定遵循(2 项) | 71.1 | 87.2 | | 相机轨迹(导航分片) | 68.9 | 77.7 | | 一致性(8 项) | 83.8 | 77.8 | | 物理合理性(2 项) | 69.3 | 68.8 | | 总览(全量 / 导航) | 74.2 / 74.7 | 77.9 / 79.0 | 每一味料的贡献

通道消融能看清每一味料的贡献。只加首帧锚定,全量从 74.2 抬到 76.1,设定遵循从 71.1 跳到 89.6,相机轨迹几乎不动(68.9 到 69.0);再加上控制视频,导航分片的相机轨迹从 69.0 升到 77.7、导航总览到 79.0,一致性则从 83.8 掉到 75.3 再回到 77.8。有意思的是,把同一段控制视频喂给原始文本协议而不做任何解释,全量只有 67.1,设定遵循跌到 53.0——参考通道给谁用、怎么解释,比给不给更重要。 触发类型的难度谱

按触发类型再切一刀,可以看到难度分布:施法类 20 段全对(100%/100%),手势类 42 段 95.2%/90.5%,机关类 26 段 92.3%/84.6%,区域触发 12 段 91.7%/83.3%(11/12 段、5/6 对)。区域类最难——因为它额外要求渲染把「区域的状态」也画出来——但它同时是首帧参考带来最大提升的一族,纯文本时 STRICT 只有 66.7%。这也解释了为什么作者要保留空间通道。 多回合只用定性材料

多回合的部分只用定性材料:同一冻结权重下有三段真实剧集,分别跑了 15、29、11 个回合,覆盖城镇探索、恋爱叙事与回合制决斗三种题材,HUD 上的数值单调可查——体力从 28 掉到 0 再靠休息回到 60,好感度从 47 一回合加一点升到 75,决斗里仲裁者的血量从 128 打到 0。三种题材各自是一份新的可执行游戏定义,运行时与视频模型权重都不变。 我认为最有价值的发现

如果只能带走一条,我会带走这个:「响应式」和「有状态」不是一回事,而后者可以靠一层不训练的运行时补上。现在的交互式视频模型已经能做得很响应——你给动作,它就动。但响应不等于有状态:它不保证后果被记住、被累积、被规则约束。论文用孪生样本把这个区别变成了数字(32% 对 92%),这是我认为最难得的地方,因为它把一句本来很哲学的话落到了可测的量上。 权威性该放在哪

第二个收获是权威性的位置。整套设计里最反直觉的一点是:世界演化的权威在规则程序里,不在渲染器里。渲染失败不反转事件,与已结算事件矛盾的画面被记成渲染不一致而不是新事实。这种「谁说了算」的明确划分,恰恰是很多生成式系统里缺失的一环——一旦把决定权交给生成模型,你就无法保证同一动作在不同隐藏状态下走不同分支。 最小接口的取向

第三个是最小接口的取向。作者在对比相关工作时的自我定位很克制:他们不造引擎、不微调渲染器,只用冻结模型本来就有文本、图像、视频参考三个接口,把新世界压缩成一份小的类型化程序。这带来一个很实际的后果——换题材是写定义,不是训模型,三段剧集就是这么来的。 适用边界与作者自己指出的开放问题

第一条边界是规则的表达力。论文里的规则是守卫加效果的确定性程序,能表达资源门槛、分支选择、状态更新与目标判定,但没有时序条件、没有量化条件;作者在局限里明确把「更丰富的规则语言,含时序与量化条件」列为后续目标。也就是说,像「连续三回合不使用道具后触发某事件」这类规则,当前形态还写不出来。 空间表示的精度

第二条是空间表示的精度。基于框的黏土模型只是粗略的布局,实例恢复的误差会直接传到预览里;文本指令也不总能阻止渲染器复现黏土外观——作者自己承认这一点,并用「三十段片段」作为证据。关节姿态与精细外观依旧由视频模型决定,空间流水线还是离线运行的。要更好的几何,得换更细的场景表示。 评测本身的边界

第三条是评测本身的边界。主基准只有 50 对,正向的合规率虽然高,但每错一例就是 2 个百分点;裁判是 VLM,作者用盲测人工核验做了校准(Q1 与人类多数票吻合 91.2%、Q2 为 86.3%),但人工核验只覆盖 17 个案例。人工对战里基线一分未赢,论文也写明其余比较存在审计员分歧、按聚合判定规则没有任何一例判给基线。此外,harness 的对比只跑了 MiniMax-H3 一个冻结骨干,换骨干的效果论文未给出。 论文未给出的量

还有几项读者会关心、但论文未给出的量:每回合的端到端时延与单段成本(只说明评测用一台 8 卡 A800 80GB 节点、harness 逻辑跑在 CPU 上)、人工审计的具体人数、黏土模型的构建失败率、以及在 WBench 上的统计显著性检验。这些都需要自己压测或补做才能下结论。 我读完之后的几点提炼

第一,如果你的世界模型需要「后果」而不是「画面」,先看状态存在哪。状态若是隐式的,它就既不可审计也不可回放;换成一本文档式的账本加一座可编辑的粗几何,规则的结算与调试都会立刻变得可行。

第二,把「结算」放在「生成」前面,是一个很便宜的正确性保证。它不需要改模型,只需要在调用生成之前多写一步程序;而它带来的好处是失败可回退——渲染崩了,事实还在。

第三,参考通道要写说明书。同一段控制视频,明确告诉渲染器「这是布局参考」,设定遵循能到 89.6;不说清楚,参考会被当成要复现的外观,全量分数反而低于不给参考。这条经验在任何「用几何或草稿引导生成」的系统里都成立。 评测口径要成对

第四,评测要用配对,而不是单条。单条准确率会系统性地高估能力:MiniMax-H3 的 ENDFOLLOW 是 66%,配对只剩 32%。只要关注的是「同样的输入该不该有不同后果」,配对才是说得清的量。

结语:这篇论文没有提出更强、更漂亮的视频生成器。它提出的是一件更朴素的事——把「世界怎么演化」从像素里拿出来,交给一段可读、可测、可回放的规则,然后让冻结的模型专心把已定的事实画好。对做交互式生成的人来说,这种分工比再刷一个画质指标更值得借鉴。

论文信息与配图说明:本文解读的是 arXiv 预印本《State World Models: Execute the Rules, Generate the Pixels》(arXiv:2610.26811v1,2026 年 10 月 19 日公告,36 页),作者为 Chan Yan Ki、Yanran Zhang、Wenzhao Zheng、Xiaofeng Wang、Zheng Zhu、Lei Chen、Jie Zhou、Jiwen Lu(前两位为同等贡献),机构为清华大学自动化系与 GigaAI,原文见 https://arxiv.org/abs/2610.26811v1。该论文以 CC BY 4.0 许可发布,转载时须保留作者署名与许可标识。文中六张配图取自原文 Figure 1、Figure 2、Figure 3、Figure 4、Figure 11 与 Figure 12,由我渲染整页、按 alpha 通道合成白底、在位图内实测墨迹外接框紧裁,并裁去英文原图注;图注、表格重排与解读文字均为原创。 术语速查 反事实孪生:两例共享首帧、动作脚本与规则程序,只在一个隐藏值上不同,该隐藏值要求两个不同的可见结局;单段结局正确不说明模型对隐藏状态敏感(Sec. 4)。 孪生坍缩:一对孪生在两个不同隐藏状态下给出同一个结局,此时至少一例必然违反规则(Fig. 2)。 语义账本 zt:可序列化的类型化记录,存资源、实体属性、进度、态度与终局状态,是规则可读写、可校验、可回放的那一半世界状态(Sec. 3)。 黏土模型:由一次前馈几何推理得到的逐实例有向框加地面与相机,实例化成无贴图 Blender 场景,只给布局与相机(Sec. 3.1)。 VisualScript:把已结算事件写成类型化视觉脚本的记录格式,含风格、首帧锚点、相机、行动者、动作、目标与反应、稳定性、终局状态等槽位(Table 11)。 Change-to-Comply:评测协议:Change 判是否产生超过相机运动的可见事件,Comply 判事件是否满足该隐藏状态的规则;PAIRSTRICT 要求两例都合规且禁用结局全程不出现(Appendix B.1)。 工程落地清单 先确认状态存在哪。 隐式状态不可审计也不可回放;换成一本文档式账本加一座可编辑粗几何,结算与调试才可行。 把规则结算放在生成之前。 渲染失败只影响画面、不反转事实;失败策略可以是重试、复用上一轮锚点或终止(Appendix F.1)。 给参考通道写说明书。 标注为布局参考时设定遵循到 89.6;不作解释地喂给原始文本协议,全量只有 67.1、设定跌到 53.0(Table 8)。 用配对指标评测。 MiniMax-H3 单条 ENDFOLLOW 有 66%,配对只剩 32%;只报单条会系统性高估能力(Table 1)。 换世界就换定义,不换权重。 同一运行时与权重下,15、29、11 回合三段剧集对应三份定义(Sec. 5.3)。 常见问题(FAQ) Q1:这算不算又造了一个游戏引擎? 答:不算。论文没有写引擎,用的是「持久可编辑场景 + 语义账本 + 冻结渲染器自带的参考输入」这个最小组合;新世界压缩成一份小的类型化程序,不写引擎也不微调视频模型(Sec. 2)。 Q2:把必须的结局写清楚,为什么严格合规反而更差? 答:因为方向错误与泄漏可能反向变化。未包装的 MiniMax-H3 从 Rule-only 到 Rule+end,方向错误 34% 降到 18%,泄漏却从 40% 升到 53%,于是 PAIRFOLLOW 到 64% 而 PAIRSTRICT 仍停在 4%(Appendix D)。 Q3:换一个视频骨干还行吗? 答:完整 harness 只用冻结的 MiniMax-H3 做过对比,换骨干的成绩论文未给出;方法层面只依赖后端自带的文本、图像、视频参考三个接口,作者把「带到更多视频后端」列为后续工作(Appendix I)。

来源

腾讯云开发者社区