Google DeepMind 发布世界模型 Genie 4 研究预览版，新增实时音频与实时操控

Google DeepMind于周二以研究预览形式发布了其最新的世界模型Genie 4。这一最新模型能生成迄今最逼真、最具交互性的世界，允许用户在模拟过程中输入提示词来改变场景。该模型还能生成与模拟世界相匹配的实时音频，包括音乐、环境音和交互式对话。

Genie 4的发布距离AI视频初创公司Runway推出其第二款世界模型GWM Worlds 2仅过去几个月。GWM Worlds 2是一款可玩的世界模型，能对用户输入做出动态响应，并包含音频生成功能。与此同时，世界模型行业正开始整合。李飞飞的World Labs正被AMD收购，亚马逊正在洽谈收购Decart，而Rivian刚刚收购了Third Dimension，以将模拟能力引入内部用于自动驾驶测试。

Genie 4是谷歌在拥挤的赛道中保持领先的最新举措。

谷歌在大约一年多前以研究预览形式发布了其前代产品Genie 3。除了逼真度大幅提升并具备音频功能外，Genie 4还支持自由形式的编辑，例如实时改变天气或镜头角度，或添加新的人物或物体。它可以将场景一致性维持最长两分钟，是其前代上限的两倍，并提供更好的物理效果和更拟人的角色。

谷歌的AI模型Gemini也与Genie 4更紧密地集成，充当导演角色，负责规划步骤并检查帧，而Genie负责生成画面。在一项与Gemini Robotics相关的研究实验中，Gemini 4 Argon模型将任务分解为多个步骤，由Genie 4实时进行模拟。该实验展示了一种可能的途径：在真实世界发生之前，先在模拟中测试机器人场景。

谷歌研究总监Tejas Kulkarni在简报会上表示：“未来我们会越来越多地看到这些混合世界模型，即Gemini编写代码和文本，Genie实时接收这些内容，并在不同抽象层次上模拟现实。”

与其他世界模型一样，其宣传的商业用例包括游戏、互动学习和机器人技术。互动学习的一个推测性示例是：进入一幅描绘历史场景的画作，并与画中人物就该场景所描绘的事件进行交谈。

但“可信测试者”——即最先获得谷歌前沿产品访问权限的人——正指出一种可能的新用途：电影原型制作。

Google DeepMind工程师Diego Rivas在新闻简报会上表示：“实时性在那些保持创作领域心流状态极为有用的方面变得最有价值。例如，在构思阶段、在故事板阶段——任何时候你需要快速构思。”

谷歌还提供Veo，这是其AI视频生成模型，可根据文本、图像或视频提示生成带有内置同步音频的高清片段——这一工具在电影制作人中越来越受欢迎。

Rivas补充说，用户最终可能依赖Gemini Omni——一个能够从图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。不过他表示，这些能力仍有一段距离。

在整个简报会期间，Rivas强调Genie 4仍处于早期阶段，目前尚不清楚端到端的产品体验将会是什么样。团队也承认Genie 4仍存在不足：模拟运行时间越长，细节和物体可能发生漂移，而且他们仍未完全弄清楚如何确保音频准确以及场景内文字清晰可读。