Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频

将我们添加为 Google 上的首选来源

Google DeepMind 已以研究预览形式向受信任的测试者发布 Genie 4。Genie 4 世界模型可根据文本和图像提示实时生成可探索的世界。它还会生成声景：环境噪声、音乐和角色对话。用户通过键盘控制移动，并用自然语言提示引导事件发展。更大的变化在于架构。现在有一个 Gemini 模型作为规划器运行在仿真循环内部。这一模式对任何为智能体或机器人构建训练环境的人都至关重要。

TL;DR

运行方式：仅在 Google 托管环境运行（Project Genie 网页应用、Gemini API 早期访问）。

性能：照片级真实感世界，原生音频和实时文本引导。

最佳：据 TechCrunch 的简报，场景一致性最长可达 2 分钟，是 Genie 3 的两倍。

最差：会话仅持续几分钟，且反复编辑提示后物体会发生漂移。

什么是 Genie 4？

Genie 4 是 Google DeepMind 的世界模型，逐帧模拟交互式环境。它不是视频片段生成器。每一帧都会在用户输入到达时作出响应。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

DeepMind 表示该模型原生多模态。音频、音乐和对话与视觉内容一同生成。这是 DeepMind 首个原生生成音频的实时世界模型。

它接替了 2025 年 8 月发布的 Genie 3。Genie 3 以 720p 和每秒 24 帧运行，视觉记忆可回溯 1 分钟。

Genie 4 如何使用 Gemini？

Genie 4 借鉴了 Gemini 家族的两个部分。Gemini Omni 锚定每个世界的外观和行为。其他 Gemini 模型负责保持仿真连贯性的推理。

运行时循环的工作方式如下：

解读：当你输入提示时，Gemini 会调整提示以适配正在运行的场景。

规划：Gemini 3.8 Flash 将目标拆解为一系列步骤。

验证：它检查传入的帧，以确认每一步都成功。

适应：如果世界发生变化或你进行干预，它会修订计划。

在用户输入之间，Gemini 还会引导场景，使世界持续演进。DeepMind 团队将此视为迈向混合世界模型的早期一步。在该设计中，语言模型负责结构和叙事，而 Genie 负责渲染像素和声音。

在 Genie 4 世界中你能做什么？

用文本引导：你可以在会话中途改变天气、移动摄像机或添加新的人物或物体。

模拟物理和人物：DeepMind 提到了空气动力学和碰撞。它称人体运动是最大的飞跃，角色会对周围环境作出反应。

聆听世界：每个世界都带有环境音频。角色还可以进行对话，实时响应你的输入。

测试机器人任务：在一个研究演示中，Gemini 4 Argon 将跳棋任务拆解为多个步骤。Genie 4 将每一步作为文本说明接收，并模拟 Apptronik 的 Apollo 人形机器人下棋。

Genie 4 与其他世界模型相比如何？

DeepMind 未发布 Genie 4 的基准测试表。下表中的比较仅使用各项目自身来源披露的规格。

特性Genie 4Genie 3Runway GWM Worlds 2Skywork Matrix-Game 3.0

发布日期2026 年 10 月 27 日2025 年 8 月 5 日2026 年 9 月 3 日2026 年 3 月 27 日

参数量未披露未披露未披露5B（另有 2x14B MoE 变体）

分辨率 / 帧率未披露720p / 24 fps720p / 24 fps720p / 最高 40 fps

原生音频是，含对话未报告是，48 kHz，含语音未报告

会话中文本控制是，由 Gemini 中介是，可提示的世界事件是，带时间戳的文本动作键盘和鼠标动作

循环中的 LLM 规划器Gemini 3.8 Flash无无（可选外部框架）无

一致性几分钟；据 TechCrunch 为 2 分钟几分钟；1 分钟视觉记忆无预设时长；记忆不完美分钟级记忆

硬件Google 托管，未披露Google 托管，未披露Runway 托管，未披露DiT 用 8 块 GPU，另加 1 块用于 VAE

访问 / 许可受信任测试者；AI Ultra 和 API 即将开放Project Genie（AI Ultra）研究预览，联系表单MIT，开放权重

谁可以使用 Genie 4，何时可用？

所有 Genie 4 视频和音频都将带有 SynthID 水印。DeepMind 表示在预览前已进行内部安全评估。

迄今为止的测试者涵盖创意产业、新闻业、教育、游戏和工程领域。

已报告的用途包括：

电影制作人为预可视化运行多个实时“镜头”。

摄影记者将单张档案照片转化为有依据的仿真。

游戏开发者在编写引擎代码前测试风格和机制。

企业合作伙伴生成从零到一的仿真场景。

Genie 4 有哪些局限？

DeepMind 在 Genie 4 模型页面上列出了若干未解决的问题：

在较长会话中、复杂提示编辑后或导航过程中，视觉细节和物体恒存性会发生漂移。

交互仅限于几分钟，而非长时间会话。

真实世界地点无法以完美精度模拟。

可读文本通常仅在输入描述中出现时才显示。

实时音频准确性和多智能体交互仍未解决。

关键要点

Genie 4 实时同时生成世界、环境音频和对话。

Gemini 3.8 Flash 在循环内进行规划、检查帧并重新规划。

未披露参数、分辨率、帧率或基准测试结果。

访问权限首先面向受信任测试者开放，随后开放给 AI Ultra 和 Gemini API 合作伙伴。

漂移和短时会话仍是主要的实际限制。

Michal Sutter+ 发布文章简介 ⮌

Michal Sutter 是一名数据科学专业人士，拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础，Michal 擅长将复杂数据集转化为可执行的洞察。

Michal SutterMirendil 发布 Fern 0.1，这是其首个模型，具备 1000 万 token 上下文

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频

推荐理由

主题

标签

正文 · AI 翻译