Kyutai 开源 CADRE 视频自编码器，世界模型动作延迟降至 230 ms 以内

在 Google 上添加为首选来源

Kyutai 发布了 CADRE，这是面向交互式世界模型的开放因果扩散表征自编码器。Kyutai CADRE 视频自编码器针对一个问题：动作延迟。许多世界模型借用文本到视频生成器的自编码器。这些自编码器将多帧打包进一个潜变量，因此每个动作都要等待。根据研究论文，CADRE 世界模型在 1 张 H100 上以 20 fps 运行，并在 230 ms 内做出反应。

TL;DR

规模：7 个自编码器，每个约 476M 训练参数，外加一个冻结的 86M DINOv3 ViT-B/16。世界模型为 1.2B 参数。视频以 288×512、20 fps 运行。

运行环境：1 张 H100（bf16，批大小 1）。量化变体：未披露。

性能：CADRE 构成了延迟-质量前沿的大部分。在与 MIRA、Wan 2.2、Cosmos 和 LTX-2 的 48 项比较中，有 42 项它既更快又更好。

最佳：驾驶 FVD 为 162.6（CADRE-2×16×16，1 步），而 Wan 2.2 为 599.7。

最差：机器人操作动作跟随（ARR）为 0.45（CADRE-2×32×32），而 Wan 2.2 为 0.85。

什么是 CADRE？

CADRE 是 Kyutai 推出的一系列视频自编码器，专为动作条件世界模型构建。世界模型在自编码器的潜空间中生成。因此，自编码器的压缩同时决定了每帧成本和动作延迟。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

压缩写作 τ×s×s。τ 是每个潜变量对应的帧数，s 是空间因子。研究给出的延迟为 τ/f 加上生成和解码时间。当 τ = 8 且为 20 fps 时，仅分块就增加 400 ms。人类会注意到自身动作延迟超过约 230 ms。

CADRE 如何工作？

编码器复用 MIRA 方案。冻结的 DINOv3 从每帧提取逐块特征。然后一个训练过的 3D 卷积将它们压缩为 64 通道潜变量。7 个成员之间只有这个瓶颈发生变化。

解码器是一个具有 24 个块的因果扩散 Transformer。它逐块流式处理。渐进式自蒸馏教会它在 1 或 2 步内解码。这在单个训练阶段完成，无需对抗损失。

这些自编码器在 23 个公开视频源上训练，约 76k 小时。混合内容涵盖网络、机器人、驾驶和游戏视频。

CADRE 是如何评估的？

Kyutai 在每个自编码器上训练了相同的 1.2B 因果扩散 Transformer。它使用了 4 个环境：机器人操作（ABC）、人类操作（EgoDex）、驾驶（PhysicalAI AV）和室内导航（RealEstate10K）。每个模型观看 2 秒真实视频，然后生成 4.8 秒。

评分涵盖图像质量（FID）、运动质量（FVD）和动作跟随（ARR）。ARR 使用冻结的逆动力学探针。ARR 为 1 表示与真实视频匹配。

基准测试显示了什么？

在 1 张 H100 上，CADRE-2×32×32 在 1 个解码步骤下于 185 ms 内做出反应，并维持 23.4 fps。Wan 2.2 自编码器需要 317 ms，LTX-2 需要 492 ms，Cosmos 需要 605 ms。DC-AE 更快，为 118 ms，但逐帧处理。

在摄像机移动时差距最大。在驾驶中，Wan 2.2 FVD 达到 599.7，LTX-2 为 913.3。在室内导航中，LTX-2 ARR 降至 0.04。与重新训练的 MIRA 解码器相比，1 步扩散解码器将 FVD 降低 1.4 至 2.5 倍。

4 项发现是什么？

通过扩散解码：在强压缩下，感知回归会模糊，而扩散采样出 1 个清晰视频。

在自编码器内压缩时间：在世界模型内部进行分块会丢失细节。在 8 帧时，ARR 从 0.72 降至 0.56。

摄像机运动决定压缩：静止摄像机可容忍时间压缩。移动摄像机更倾向于更少帧和更粗的空间 token。

粗 token 首先损害运动：在机器人操作中，32× 空间压缩使 FVD 比 16× 增加 2.4 倍。FID 几乎不变。

比较：CADRE 与其他视频自编码器

特性CADRE-2×32×32CADRE-2×16×16MIRA 方案Wan 2.2 VAECosmos CV8x8x8LTX-2 VAE

压缩（τ×s×s）2×32×322×16×162×32×324×16×168×8×88×32×32（论文）

每 16 帧 token 数11524608115223044608288

解码器因果扩散，1 至 2 步因果扩散，1 至 2 步感知回归因果因果非因果，加窗

动作延迟，1 张 H100185 ms216 ms175 ms317 ms605 ms492 ms

最大 fps，1 张 H10023.417.326.634.239.087.4

FVD，驾驶（越低越好）171.3162.6311.6599.7452.5913.3

FVD，机器人操作105.047.6267.152.939.569.6

ARR，机器人操作（越高越好）0.450.730.390.850.780.25

重建 PSNR（OpenVid-HD）22.8625.1224.4435.0231.3928.24

权重许可证CC BY-NC 4.0 + DINOv3 LicenseCC BY-NC 4.0 + DINOv3 License未披露Apache 2.0NVIDIA Open Model LicenseLTX-2 Community License

延迟、fps、A、FVD、ARR 和 PSNR：CADRE 论文，表 4、6 和 7。CADRE 使用 1 个解码步骤。所有数据均由 Kyutai 自行报告。

CADRE 在哪里不足？

CADRE 并非处处获胜。在机器人操作中，Cosmos 的 FVD 为 39.5，而最佳 1 步 CADRE 为 47.6。在快速端，DC-AE 在操作中击败 CADRE-1×48×48。Wan 2.2 对留出视频的重建也远好得多，PSNR 为 35.02 dB。

Kyutai 团队认为重建不能预测 rollout。Wan 2.2 在室内 rollout FVD 上排名最后。

长潜变量会在分块之间留下可见接缝。在 τ = 8 时，各环境中的边界超出量达到 1.6 至 1.8。CADRE-4×24×24 在导航任务中是异常值，在驾驶任务中 FVD 为 403。每个世界模型以 288×512 的分辨率覆盖一个环境。这些发现能否迁移到通用模型上，仍有待研究。

开发者如何使用 CADRE？

代码采用 MIT 许可。Hugging Face 上的权重为 CC BY-NC 4.0，因此不包含商业用途。本次发布涵盖 7 个自编码器、4 个训练更久的多分辨率版本，以及 4 个基于 CADRE-2×16×16 的世界模型。一个在线演示可让你用键盘驱动它们。

要点

7 个开源自编码器仅相差一个瓶颈，从而将压缩隔离为唯一变量。

基于 CADRE 的世界模型在 1 张 H100 上以 20 fps 运行，延迟低于 230 ms。

驾驶 FVD 降至 162.6，而 Wan 2.2 为 599.7。

静止相机偏好时间压缩；移动相机偏好空间压缩。

权重为非商业许可（CC BY-NC 4.0）；代码为 MIT。

Michal Sutter+ 发布简介 ⮌

Michal Sutter 是一名数据科学专业人士，拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础，Michal 擅长将复杂数据集转化为可执行的洞察。

Michal SutterExa 3.0 搜索 API 在 8 项基准测试中超越 Perplexity、Brave 和 Parallel

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

Kyutai 开源 CADRE 视频自编码器，世界模型动作延迟降至 230 ms 以内

推荐理由

主题

标签

正文 · AI 翻译