Google DeepMind releases the world model Genie 4, supporting real-time interaction and native audio

谷歌最新发布的 Genie 4，正在把这一设想推向现实。

当地时间 10 月 27 日，Google DeepMind 正式推出新一代世界模型 Genie 4，称其为「迄今为止最逼真、交互性最强的世界模型」。

相比此前主要突破实时场景生成与交互的 Genie 3，新模型进一步引入原生音频生成、自然语言实时操控、复杂物理与人物行为模拟，并借助 Gemini 系列模型实现多步骤事件推演。

在官方演示里，用户用键盘控制导航和镜头，用文本 prompt 改变场景：改天气、移动镜头、往场景里加人或物体。比如让一片草地上多出一条粉红色绸缎，或者把镜头放到南极冰原上空的热气球篮筐里。场景会实时响应，角色也会根据新设定继续行动。

这套能力背后由 Gemini系列模型接管。Gemini Omni负责让画面贴近现实世界的外观和行为，其他 Gemini 模型负责把请求翻译成动作、规划复杂事件、观察画面并跟踪进度。当用户改变指令时，Gemini 会现场调整方案。

在另一组演示中，Gemini 4 Argon 甚至开始指挥 Genie 4，一步步模拟人形机器人下跳棋的过程。

可以看到，这已经不只是传统意义上的 AI 视频生成，而是向可交互、可控制、可用于 AI 训练的世界模拟系统迈进。目前，Genie 4 已面向少量受信任的测试者开放研究预览，后续将逐步提供给 Google AI Ultra 订阅用户，以及 Gemini API、Google AI Studio 的早期合作伙伴。

参数方面，Genie 4单次生成的交互体验最长可达2分钟，上一代Genie 3的时长上限为1分钟。这个数字看着不起眼，对游戏开发者验证单段玩法、影视主创预览单组镜头来说，已经足够覆盖最基础的测试需求。

此次谷歌展示了四个方面的能力升级：实时改变世界、物理与人物行为模拟、原生声音生成，以及结合 Gemini 进行复杂事件推演。

其中一些演示，已经相当接近可交互游戏与真实影像的结合。

首先，用户不必提前设计好整个场景，就能在生成过程中随时改变世界。

在一组演示中，一名身穿棕色西装的萨克斯演奏者站在湖面中央的漂浮平台上。周围是雾气弥漫的森林、缓缓流动的湖水，以及一个散发暖光的球体。

人物持续演奏，手指、呼吸和身体摆动自然衔接，摄像机则能够独立移动，从不同位置观察整个环境。这里的关键并不是把画面做得像电影，而是摄像机可以自由探索场景，同时维持人物、物体与周边环境的空间关系。

用户还能通过键盘控制移动与视角，利用文字指令实时改变天气、引入新人物或物体。Gemini 会根据当前环境理解这些要求，并在用户没有继续输入时协助维持场景发展。

其次，物体不再只是画面中的装饰，人物和环境开始表现出更复杂的运动规律。

在谷歌展示的另一批案例中，完整的西瓜置于石台上，枫树种子旋转着落入草地；还有一座挤满乘客的日本乡村火车站，人们在站台上行走、候车，与周围环境共同构成一个动态场景。

谷歌强调，Genie 4 提升了对空气动力学、碰撞等物理现象的模拟能力，尤其在人物动作方面取得了明显进展。模型可以生成更自然的人体运动，让角色根据周围环境作出反应，并接受实时操控。

不过，这里的物理模拟仍然是模型根据学习到的世界规律生成结果，并不意味着所有物理过程都经过精确计算。

第三，Genie 4 让 AI 世界第一次具备了原生生成的声音。

演示视频里，你骑在龙背上，穿过山脉，周围是其他骑手。你仿佛坐在巨龙背上，以提示词设定的时速 140 公里穿越群山，左下角的 WASD 提示则是告诉你，你确实在“玩”这个生成的场景。

伴随飞行出现的，不只是快速掠过的山峰与城堡，还有巨龙振翅的轰鸣、高空呼啸的气流，以及远处火山活动的声音。这些声音并非演示后期额外添加，而是由 Genie 4 直接生成。

更进一步，模型还可以实时生成人物对话。场景里的角色能够根据用户输入或世界中发生的事件作出语言回应，而不是只重复预先准备好的台词。

对于虚拟角色、互动叙事乃至游戏开发而言，这个变化相当重要。开发者需要创建的，不再一定是写死每一句台词、每一次反应的角色，而可能是一个能够随着情境变化持续产生行为与对话的模拟人物。

在由开发者Justine Moore（同时也是a16z的合伙人）真实生成的视频，展示了一个更复杂的完全实时生成的游戏世界。整个场景从一条提示词生成，环境加角色，然后就能用提示词改变事件。

视频里，一个穿潜水服的角色在洞穴里探索，脚下散落着金币，旁边一只木桶。屏幕上方有提示文字，写着 Describe changes to your world...，旁边还有几个任务选项，比如 Ai Suggested、Giant Kraken Reach。右侧的帧率面板显示，当前 24.6 FPS，最低 17，平均 23.8。

Justine Moore表示，她提前拿到了Genie 4的访问权限，表示创建世界的速度通常不到 30 秒，有大约 2 分钟的实时交互窗口。用户可通过键盘鼠标移动，也可以用自然语言改变世界。比如修改天气、移动镜头、加一个人物。Gemini 系列模型会处理这些指令，保证场景的连贯性。

此外，Gemini4 Argon 将任务拆解为一系列步骤，随后通过文字指令引导 Genie 4 逐步呈现执行过程。随着模拟推进，系统可以继续调整后续步骤。这相当于让一个擅长推理和规划的模型，指挥另一个擅长实时生成环境的模型。

Genie4 技术揭秘

从技术角度看，谷歌正在尝试解决世界模型长期面临的两个难题：如何让模拟环境随着用户操作实时变化，以及如何让连续发生的事件保持逻辑一致，这背后是两个大脑发挥作用：Gemini 负责思考，Genie 负责生成物理世界。

理解这一变化，首先要弄清世界模型和普通视频模型的区别。

- 传统视频生成模型主要根据文本、图像等条件，生成一段时间范围相对确定的影像。

- 世界模型则需要进一步回答：如果用户向左走，视野会发生什么变化？如果有人推倒桌上的物体，接下来会怎样？如果角色离开房间又重新回来，之前的环境是否还存在？

这种能力涉及两个关键概念：动作条件生成（Action-conditioned Generation）和世界状态一致性（World Consistency）。

前者意味着，下一帧画面不能只根据上一帧预测，还必须考虑用户刚刚采取了什么行动；后者要求模型记住已经生成的环境，尽量避免人物、物体或空间关系随着时间推移发生无缘无故的变化。

事实上，谷歌在 2025 年发布 Genie 3 时，就已经实现每秒 24 帧、720p 分辨率的实时交互生成，并支持持续数分钟的环境模拟。Genie 3 采用逐帧自回归生成方式，不依赖预先建立完整的显式三维场景，而是根据此前的画面和用户操作持续生成后续内容。

但这也带来了新的技术挑战：生成时间越长，模型需要参考的历史信息越多，误差也可能不断积累。比如用户一分钟前经过某栋建筑，现在重新走回来，模型必须尽量保持建筑的外观和位置不变。

Genie 4 延续了实时世界生成方向，但这次最突出的变化，是把 Gemini 系列模型引入模拟过程。根据官方披露，整个系统至少涉及三个不同层面的能力。

第一层，由 Genie 4 负责实时生成视觉、声音和动态环境。它需要根据当前世界状态及输入，持续生成新的画面和声音，并表现人物运动、环境变化与交互结果。

第二层，由 Gemini Omni 强化模拟世界与现实规律之间的联系。谷歌表示，GeminiOmni 为模拟提供现实世界的外观和行为基础。

第三层，也是此次最重要的突破，由 Gemini 3.8 Flash 担任实时指导智能体。当Genie 4 持续生成环境时，Gemini 3.8 Flash 会不断观察场景，将复杂目标拆解为多个步骤，再通过检查新生成的画面，判断当前步骤是否已经完成。

一旦用户介入，或者世界状态发生变化，Gemini 就可以重新调整计划。这套机制的重要之处，在于将大模型的语言推理能力引入动态环境生成过程。过去，一个世界模型即使能够生成逼真的机器人动作，也不一定能保证多个动作之间具有正确的任务逻辑。如今，Gemini 可以持续提供规划、检查和调整，使系统更有机会维持复杂事件的连贯性。

值得注意的是，谷歌还在探索更进一步的组合。

在 Apollo 人形机器人下棋演示中，参与任务规划的是 Gemini 4 Argon。它把用户目标拆分成步骤，再将相应文字指令交给 Genie 4，驱动模拟过程。

谷歌将这一路线称为未来的“混合世界模型”（Hybrid World Models）。其基本思路，是结合代码与语言模型擅长的结构化逻辑推理，以及像素级生成模型擅长的丰富感官模拟能力。

换句话说，前者负责理解事件应该如何发展，后者负责呈现这一过程在现实世界中可能是什么样子。

本文来自微信公众号“AI前线”（ID：ai-front），作者：青和，编辑：四月，36氪经授权发布。