Google DeepMind Releases World Model Genie 4, Supporting Native Audio Generation
English text is being prepared.
Google DeepMind has officially released its new-generation world model Genie 4. Compared with Genie 3, it improves visual realism, physical simulation, and real-time interaction capabilities, and for the first time supports native audio generation, capable of synchronously generating ambient sound effects, music, and character dialogue. Users can control the camera or character movement with the keyboard, and can also use natural language instructions to adjust weather, switch viewpoints, and add characters or objects in real time, without needing to regenerate the entire scene. Genie 4 integrates capabilities from the Gemini series: Gemini Omni provides real-world visual and behavioral knowledge, while Gemini 3.8 Flash handles task planning and scene guidance. It is currently available as a research preview to some invited testers, with plans to later open it through Project Genie to Google AI Ultra subscribers and some developers.
Why read this
AI score 80
Genie 4 adds native audio generation on top of visual and physical simulation, and outlines an experimental path for training robots in collaboration with Gemini.
Topics
Body
编译/VR陀螺
10月27日，谷歌旗下Google DeepMind正式发布新一代世界模型Genie 4。相比前代Genie 3，新模型进一步提升了视觉真实感、物理模拟及实时交互能力，并首次支持原生音频生成，可在构建虚拟场景的同时，实时生成环境音效、音乐及人物互动对话。
据谷歌介绍，Genie 4能够持续生成可交互的动态环境，用户可通过键盘控制镜头或角色移动，也可输入自然语言指令，实时调整天气、切换视角、添加人物或物体，而无需重新生成整个场景。在物理模拟方面，模型强化了对空气动力学、碰撞及人物动作的模拟能力，使虚拟角色能够根据环境变化作出相应反应。
此外，音频生成也是此次升级的重点。Genie 4可根据场景内容同步生成风声、水声、音乐及人物对话，虚拟角色还能够根据用户输入和场景事件实时调整语言与行为，实现视觉、声音和交互的协同生成。
在技术架构上，Genie 4进一步融合了Gemini系列模型的能力。其中，Gemini Omni为虚拟环境提供现实世界的视觉与行为知识，Gemini 3.8 Flash则承担任务规划与场景引导，通过持续观察生成画面、拆解目标并调整后续步骤，提升复杂事件模拟的连贯性。
谷歌还展示了Genie 4与Gemini 4 Argon协同模拟机器人任务的实验。在演示中，Gemini负责分解任务，Genie 4根据实时指令生成相应环境，模拟Apptronik Apollo人形机器人执行国际跳棋任务的过程。谷歌认为，这种结合推理模型与世界模型的方式，有望为机器人及AI智能体提供更加灵活的虚拟训练和测试环境。
应用方面，Genie 4可用于游戏原型开发、影视预演、历史场景重建及工业仿真等领域。不过，谷歌表示，该模型目前仍处于早期研究阶段，在长期场景一致性、复杂物理交互、音频准确性及空间精度等方面仍存在局限。
目前，Genie 4已向部分受邀测试者开放研究预览，后续计划通过Project Genie向Google AI Ultra订阅用户及部分开发者开放。
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 林南（微信 19250561593）
加入行业交流群：林南（微信 19250561593）
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息