Google 预览 Genie 4 世界模型，可生成带音频的 3D 环境

Google LLC 今日预览了 Genie 4，这是一款能够生成逼真三维环境的人工智能模型。

该算法是该公司于 2024 年推出的一系列世界模型中的最新成员。与其前代相比，Genie 4 更擅长渲染流体运动和其他复杂细节。此外，它还能生成配套音频，例如海浪拍击的声音。

“最显著的飞跃在于 Genie 4 如何模拟人物，创造出动作自然、能对环境做出有机反应、并可实时交互操控的角色，”Google DeepMind 员工 Raia Hadsell、Diego Rivas 和 Hang Qi 在博客文章中写道。

用户可以通过向 Genie 4 提供希望渲染内容的自然语言描述来创建虚拟世界。随后，他们可以浏览模拟场景，并通过输入后续提示词进行编辑。例如，用户可以要求 Genie 4 改变天气或添加更多物体。该模型进行此类编辑时，不会降低虚拟世界的照片级真实感或一致性。

Genie 4 的自然语言界面与键盘控制并存。键盘控制可用于改变摄像机的位置和角度。

在底层，Genie 4 使用 Google 的其他多个模型来提升其输出质量。它依赖这家搜索巨头于 5 月推出的视频生成器 Gemini Omni，以确保其生成的视觉素材逼真。Gemini 3.8 Flash 是一款针对成本效益优化的推理模型，它使模拟的各个帧之间保持一致。

“Gemini 持续观察场景，将目标分解为一系列步骤，并审查传入的帧以跟踪进度并验证每一步是否成功，”Hadsell、Rivas 和 Qi 写道。“当世界发生变化或用户介入时，Gemini 会即时调整其计划。”

DeepMind 目前正在研究如何将 Genie 4 应用于机器人用例。该项目将该算法与 Gemini 4 Argon 相结合，后者是 Google 旗舰级的推理优化大语言模型。

该项目的目标是让工程师使用高层指令模拟机器人。例如，用户可以要求 Argon 生成一段机械臂将两个汽车零件焊接在一起的合成视频。Argon 可以将这一简短请求转化为数十条高度详细、多句的 Genie 4 提示词，每条提示词描述焊接工作流程的不同步骤。

增加提供给 Genie 4 的提示词数量和精度可提升渲染质量。而这种质量提升反过来又使该模型的机器人模拟对 AI 训练目的更有用。开发者通过向 AI 模型提供如何完成预期任务的视觉示例，来训练它们控制机器人。

Google 目前正在与少量早期采用者测试 Genie 4。该公司计划通过面向消费者的 Google AI Ultra 订阅、Gemini API 和 Google AI Studio 提供该模型。

图片：Google