分支标签打开更多操作菜单

最新提交

 

历史

2 次提交2 次提交

文件夹和文件

名称名称最后提交信息最后提交日期
assetsassets  
docsdocs  
src/sglangsrc/sglang  
.gitignore.gitignore  
LEGAL.mdLEGAL.md  
LICENSELICENSE  
README.mdREADME.md  
README.zh-CN.mdREADME.zh-CN.md  
THIRD_PARTY_NOTICES.mdTHIRD_PARTY_NOTICES.md  
invoker_render.pyinvoker_render.py  

仓库文件导航

Code World Model 2.0 overview: diverse proxies, action-driven branching, adaptive granularity, orbit views, subject and camera control, and gameplay proxies rendered by Invoker-Render

代码世界模型 2.0:迈向无限可控视频生成

Invoker-Render:面向离线创作与实时流式传输的代理条件视频渲染

王若宇1,2,* · 钟浩2,3,* · 杨彦明1,2,* · 田家豪1,2,* · 刘林2,*,†
龚彪2 · 卢国山2 · 田一丁2 · 沈春华3,‡ · 蓝振忠1,2,‡ · 张驰1,‡

1西湖大学   2蚂蚁 inclusionAI AGI 研究中心   3浙江大学
*同等贡献   †项目负责人   ‡通讯作者

Homepage: inclusion-ai.org arXiv: coming soon Hugging Face: Invoker-Render 1.0 Docs: deployment guide

亮点 · 演示 · 快速开始 · 文档 · 引用 · 简体中文


代码世界模型 2.0 将世界状态保留在上游引擎中,并将渲染交给视频模型。两者通过 视觉代理连接:即普通的结构化视频,用于固定相机路径、场景布局和实体运动,而将外观留给渲染器。

Invoker-Render 就是该渲染器。它接收结构化代理、一张外观参考图和文本。本仓库是其 因果四步流式模型的推理代码库,构建于 MiniMax-H3, 、SGLang, 和 SGLang-Omni之上。方法、训练数据和完整评估详见技术报告。

亮点

  • 无界流式输出,无视觉跳变。 每个 chunk 读取固定的外观锚点和有限长度的近期历史窗口,因此只要代理帧持续到达,会话就能一直运行。下方的赛车演示是一次连续的 30 分钟生成。
  • 粗粒度或细粒度代理,运行时选择。 同一个模型可接受语义图、稀疏 3D 框、主体掩码、着色几何体以及带骨架的框,且支持任意细节层级。
  • 每个 chunk 四步。 该流式模型采用 Progressive Forcing 训练,这是一种分阶段课程,详见报告。
  • 领先于近期的流式渲染器。 在 140 条留出 rollout 上,它在全部四个评判维度上均排名第一,综合 Elo 为 1343.2,而 SolarRenderer (Causal) 为 1245.3、StreamRender-H3 为 1051.9、Streaming CWM 为 359.6。
  • 可直接部署。 提供八卡上的 WebSocket 会话服务、文件客户端和交互式浏览器客户端。

演示

每个片段都以画中画形式展示输入代理:画中画固定相机和物体的运动方式,模型则生成材质和光照。

长时程流式生成

Six excerpts from a 30-minute racing generation, with the wireframe proxy inset at the upper left and a timestamp at the lower right
从粗粒度赛车代理(画中画,左上)进行的一次连续 30 分钟生成,无剪切或重置。六个两秒片段;时间戳为在整段拍摄中的位置。完整视频链接即将发布。

交互式驾驶

A white race car rendered by Invoker-Render, with the low-poly proxy inset at the lower left and gamepad footage at the lower right
由游戏手柄驱动的会话:游戏手柄(画中画,右下)操控低多边形代理(画中画,左下),渲染出的汽车随之运动。汽车、前方两辆车以及黄昏赛道全程保持一致。

相机控制

相同场景、相同首帧、相同事件;仅相机路线改变。路线 A 在左,路线 B 在右,各自带有自己的代理画中画。

Coastal road and tunnel rendered along two camera routes, side by side
海岸隧道。A:无人机在隧道中始终跟在车后,并在出口后升起。B:当汽车进入时,相机越过岬角升起,在出口上方等待,并跟随汽车驶出。

Rocket launch rendered along two camera routes, side by side
火箭发射。A:固定地面相机向上倾斜并推近。B:无人机低空接近发射塔,随火箭爬升,最终停在发射塔上方朝向海岸。

Formula race hairpin overtake rendered along two camera routes, side by side
大奖赛发卡弯。A:位于赛事控制楼顶的转播相机平移并变焦,跟随两辆车并排进入弯道。B:FPV 无人机从楼顶俯冲到赛道,并在超车车辆的上方和后方跟随。

预览为降采样片段,以 6 FPS 播放; assets/demo/metadata.json 列出了源片段。播放 FPS 并非推理吞吐量。30 分钟赛车演示使用参考引导的质量策略生成,默认服务未启用该策略。

发布状态

  • 流式推理运行时、会话服务、文件客户端和浏览器客户端
  • 部署指南
  • Hugging Face 上的模型权重
  • 主页
  • arXiv 上的技术报告
  • 完整 30 分钟演示视频
  • 创作模型推理、训练代码和数据

未勾选的项目尚未发布,在报告发布前,上方的 arXiv 徽章为占位符。模型权重托管在 Hugging Face;它们及准备好的 bundle 不包含在本仓库中。

快速开始

要求: Linux、Python 3.11 或 3.12,以及 NVIDIA CUDA。默认 production profile 在单节点上使用八块 GPU。没有独立的 lockfile;请按照 环境指南配置环境,然后在仓库根目录下检查:

PY=/path/to/serving-env/bin/python
"$PY" invoker_render.py check-env

1. 准备 bundle。 模型权重发布在 Hugging Face上;请将下方的 /assets/... 路径指向你的本地副本。准备过程会对这些文件进行哈希和引用,而不会复制它们。输出目录必须尚不存在。各文件的说明见 Bundle 准备 。

ARTIFACT=/assets/invoker-render/artifact.json
BUNDLE=/assets/invoker-render/bundle

"$PY" invoker_render.py prepare \
  --artifact "$ARTIFACT" \
  --cwm-silence /assets/invoker-render/silence.safetensors \
  --decoder-config /assets/causal-decoder/config.json \
  --decoder-weights /assets/causal-decoder/decoder.safetensors \
  --state-reservation-gib 48 --output "$BUNDLE"

2. 启动流式服务。 它绑定回环地址,并在以下位置提供会话服务: /v1/session.

"$PY" invoker_render.py serve --model-path "$BUNDLE" --port 18860

3. 从文件渲染视频。 在第二个终端中运行此命令。

"$PY" invoker_render.py infer \
  --model-path "$BUNDLE" --artifact "$ARTIFACT" \
  --uri ws://127.0.0.1:18860/v1/session \
  --first-image /inputs/first.png \
  --proxy-video /inputs/proxy.mkv \
  --prompt-file /inputs/prompt.txt \
  --seed 42 --output-dir /outputs/invoker-render-001

第一张图像为 1344×768 RGB。代理视频为 24 FPS,包含 17*N+5 帧,至少 39 帧。输出目录必须是新建的;一次完整运行会写入 video.mp4 和 inference.json.

4. 打开浏览器客户端(可选)。 它会复用正在运行的服务。

"$PY" invoker_render.py web-adapter \
  --model-path "$BUNDLE" --artifact "$ARTIFACT" \
  --native-uri ws://127.0.0.1:18860/v1/session --port 18861

"$PY" invoker_render.py web \
  --backend http://127.0.0.1:18861 --port 18862 --incremental-proxy

打开 http://127.0.0.1:18862/ 并选择与场景匹配的第一张图像。

文档

任务 指南
配置依赖项和 CUDA 环境
准备检查点和模型资产 模型约定 · Bundle 准备
选择执行与编解码器放置 部署配置
运行流式 API 和文件客户端 服务与文件推理
使用浏览器客户端 浏览器部署 · 客户端指南
检查计时和完成记录 输出验证
invoker_render.py                           Command line: prepare, serve, infer, web-adapter, web, check-env
docs/                                       Deployment documentation
src/sglang/python/sglang/multimodal_gen/    Native inference runtime
src/sglang/projects/minimax_h3/             Model adapters, tools, configs, browser client, vendored frameworks

引用

技术报告即将在 arXiv 上发布。在此之前,请引用:

@techreport{wang2026cwm2,
  title       = {Code World Model 2.0: Towards Infinite Controllable Video Generation},
  author      = {Wang, Ruoyu and Zhong, Hao and Yang, Yanming and Tian, Jiahao and Liu, Lin and Gong, Biao and Lu, Guoshan and Tian, Yiding and Shen, Chunhua and Lan, Zhenzhong and Zhang, Chi},
  institution = {Westlake University; AGI Research Center, Inclusion AI; Zhejiang University},
  year        = {2026}
}

致谢与许可

Invoker-Render 基于 MiniMax-H3、 SGLang, SGLang-Omni, 以及 第三方声明中列出的其他内置开源组件构建。我们感谢这些组件的作者。

为本仓库编写的代码依据 Apache License 2.0发布。内置组件保留各自的许可证,其中包括 Apache-2.0 和 CC BY-NC 4.0(非商业)条款;每个组件目录内的许可证文件管辖该组件。模型权重及其他单独分发的资产有其各自的条款。使用或再分发前请阅读 法律声明 。

关于

未提供描述、网站或主题。

资源

自述文件Apache-2.0 许可证活动自定义属性

星标

0 个星标

关注者

0 人关注

复刻

0 个复刻报告仓库

发布

软件包

使用者

贡献者

语言