Google DeepMind releases the world model Genie 4, natively generating sound and dialogue for the first time

谷歌版「黑客帝国」，今夜彻底成真了！

就在刚刚，Google DeepMind甩出深夜王炸，正式发布新一代通用世界模型Genie 4。

一句提示词，就能直接造出一座能张嘴接戏、实时改命的「活体宇宙」！

谷歌CEO劈柴第一时间宣布：从「生成一段视频」到「实时运行一个世界」，言出法随的「绿洲」时代来了！

划重点，这次的Genie 4，直接把世界模型拉进了「有声、有人、有大脑」的全新纪元：

Genie系列首次原生生成声音与即兴对话。同步生成环境音与配乐，更能让角色根据突发状况张嘴即兴交谈。

2分钟连贯长记忆，24帧丝滑交互。单次连贯世界维持时间翻倍至约2分钟，实机画面稳定在约24帧/秒。

重塑逼真人类与刚体物理。借助Gemini Omni锚定现实常识，人物微表情、镜面反射与物理碰撞全面跃升。

三大Gemini联手组成「混合世界模型」。Gemini 3.8 Flash在后台盯画面当「导演」，Gemini 4 Argon拆解22步精细动作指挥机器人下跳棋。

你往前走一步，世界就实时长出一寸；你改一句话，物理法则和NPC台词当场跟着重写。

当视频模型还在比拼几秒钟的镜头美感时，谷歌已经为未来的通用Agent与机器人，造出了可以无限试错的平行宇宙。

现在，谷歌已经开始内测Genie 4， Google AI Ultra用户可以去申请waiting list了。

只要一句话，为你当场「生成一个宇宙」

为了展示 Genie 4 的统治力，谷歌放出了一系列极具震撼力的Demo，风格之跨越，细节之变态，让人叹为观止。

而且，在 Genie 4 面前，你不再是观众，你是「第一人称游戏玩家」，是这个世界的「上帝」。

你敢信，下面这段王家卫风满满的香港大桥飙车戏，根本不是原片？

后座的女孩刚喊出台词，玩家敲进两行字：「背景发生爆炸」「毁灭世界的巨型外星触手」。

紧接着，远处的维港天际线立马火光冲天，外星触手直接从天砸落！

连路灯的橘色拖影、女主的皮肤质感和细微的担忧表情，都在长镜头中被完美渲染。

去年的Genie 3虽然开创了实时交互视频的先河，但有一个致命短板——没有声音，生成真人时也漏洞百出。

谷歌直接放出了一段Genie 3与Genie 4的同屏对比。

左边Genie 3还是五官粘连、肢体僵硬的无声纸片人；右边Genie 4在Gemini Omni的现实常识锚定下，已经能拍出化妆镜暖光、演员微表情，甚至镜面的实时倒影，细腻得如同实拍长镜头。

拿到抢先测试资格的沃顿商学院教授Ethan Mollick，晒出第一手实测录屏。

他只喂了一句「由马和机器人共同居住的新哥特式粗野主义城市」，不到1分钟，这座城市就出现了。

单帧延迟稳定在23.4至25.3 FPS。随手点一下「巨龙掠空」按钮，一头巨龙几秒内便扇动双翼，呼啸掠过！

还不够过瘾，他又输入：「一只友好的水獭NPC走过来问问题」。

紧接着，街角当真跑出一只穿马甲的水獭，用伦敦腔搭话：「打扰一下，旅行者。」

紧接着，他又晒出一段神级实测：在Genie 4里跑《毁灭战士（DOOM）》！

他先设定「走进一间每台电脑和墙壁都在跑DOOM的办公室」，接着连敲三道指令：「恶魔同事出现」「手里拎着加特林机枪」「给我发了一笔奖金」。

话音刚落，真的走出一位恶魔同事，双手转着重型加特林，当场发起奖金！

a16z 合伙人Justine Moore也晒出了水下潜行实测，表示这是巨大的飞跃。

在海底洞穴中点下「受诅咒的紫钻发光」与「电鳗群袭来」，洞穴深处瞬间紫光爆闪、出现巨大电鳗群。

再点一下「幽灵海盗现身」，立马出现海盗船长亡灵，太逼真了。

前谷歌AR/3D产品经理Bilawal Sidhu，则把Genie 4当成了科幻大片的实时虚拟片场：

他召唤出UFO，打出一句「它把我吸了进去」——UFO瞬间轰开牵引光束，准备把人吸进去。

我们可以使用自然语言实时修改模拟场景——例如改变天气、移动镜头或引入新的人物或物体——Gemini 会根据周围场景调整我们的指令。输入指令的间隙，Gemini 还会监控、引导场景，确保整个世界流畅发展。

听起来，简直是盗梦空间成真了？

一个男人在岛上吹着萨克斯，敲下「鲸尾出现」，他身后的水中立刻出现鲸鱼。

随后，我们让这个世界开始下雪，鹅毛大雪立刻飘落。

要是把镜头拉到第一人称视角，这种实时改写世界的冲击感还会进一步放大。

这个画面中，我们以140公里的时速骑着巨龙俯冲，掠过古堡，如果下令「城堡发射火球」，塔楼当场喷出烈焰，火球擦身而过，刺激感拉满。

下面这个场景中，Genie 4先根据用户提示生成了南极冰封大地，然后生成了第一人称视角的乘热气球场景。

拓展物理学和人类行为的现实边界

这次，Genie 4为交互模拟引入了全新的真实感标准。

基于对世界物理的超强理解，Genie 4对于真实世界的物理场景模拟得十分逼真，比如空气动力学、碰撞等等。

而Genie 4 最显著的进步就在于模拟人物，它能创造出自然移动、对环境做出反应、可实时交互式操控的角色。

80年代的日本乡村车站，给一个prompt，乘务员就会喊出发车提示。

再给一个提示，立马让一位老妇人提着行李箱出现。

接下来的画面，让我们感叹Genie 4物理交互的极度逼真。

户外庭院的台子上，让大理石半身像砸向西瓜。

砰的一声闷响，瓜瓤与汁水四处飞溅——从重力冲击到碎片轨迹，Genie 4在实时交互中还原得恰到好处。

对柔体力学与空气动力学，Genie 4同样手拿把掐。

草甸上的粉色丝绸，只要吹起一阵风，立刻迎风翻涌出层层丝滑波浪，十分真实。

一只枫树种子掉落到地上的特写镜头，都逼真不已。

把镜头推到毫厘之间的微距视角，枫树翅果像直升机螺旋桨一样自旋滑落，轻轻停驻草叶之间。

告别「无声蜡像馆」，Genie 4能模拟声音了！

Genie 4 是谷歌的首款原生生成音频的实时世界模型。

每个世界都拥有自身环境的声音，比如树叶沙沙作响，海浪拍打沙滩。

然而，真正的挑战还是人类语言！Genie 4 引入了实时互动对话功能。角色会根据你的输入或事件进行实时对话和反应。

这个半透明的3D彩绘玻璃世界中，用提示词召唤出一只鹿。最吸引人的是，它的脚步声都自动变成清脆的琉璃碰撞声。

硬核架构拆解：三大Gemini轮番上阵，搭起「混合世界模型」回路

如果仅仅把Genie 4当成画质更好、能发声的「大号视频生成器」，那就低估了Google DeepMind的野心。

过去的实时世界模型之所以玩不过几十秒就容易崩盘，是因为纯像素预测缺乏长程逻辑规划，往往做完第一步，就把后面的目标忘得一干二净。

为了治愈这个顽疾，谷歌这次端出了极具颠覆性的「混合世界模型」架构，派出三款Gemini模型与Genie 4组团打配合。

这样，世界模拟就增添了一个全新的推理层面，让Genis 4能模拟复杂的多步骤事件，并在将AI引入现实世界之前，测试它们如何在不同环境中运行。

第一重配合，是让Gemini 3.8 Flash在循环回路里充当实时控场的「总导演」。

当Genie 4在前面逐帧生成画面时，Gemini 3.8 Flash就在后台实时盯着画面拆解多步推理序列，一边验证当前步骤是否完成，一边下达下一步指令。

随着用户干预，Gemini会立刻调整，生成具有可靠因果、程序员行为和多步骤推理的世界。

看看下面这场近景魔术：玩家每次关上箱门挥动魔术棒，右上角的Gemini 3.8 Flash就会确认步骤完成，指挥Genie 4先把孔雀变成橘猫，再把橘猫变成复古收音机！

哪怕半途突然改戏，这位「总导演」也能当场重排剧本。

比如在冰天雪地里让一颗流星划过，再指挥灰冠鹤走到电子琴前啄出旋律，最后让它一飞冲天。

如果说Gemini 3.8 Flash解决了「世界怎么按逻辑演进」，那么Gemini 4 Argon与Gemini Robotics的加入，则捅破了具身智能与机器人训练的天花板。

当人类下达一句「跟对面的男孩下跳棋，走一步红棋」，左侧的Gemini 4 Argon会瞬间将任务拆解为22步毫米级动作剧本。

这些高密度指令实时注入Genie 4的生成流中，驱动右侧的Apollo机器人行云流水地完成捏棋、走子与对弈。

甚至，Genie 4还能进实验室做精密科研。

哪怕是工业级的UR5六轴机械臂，也能在Genie 4里精准夹持移液管，插入微孔板滴注液体。

即便中途把目标挪走，模型也能实时重算策略，按新位置完成抓取。

通往ASI的必经之路，是先造出一个世界

什么是真正的「世界模型」？

是你推开一扇门，转身离开30秒，再走回来，那扇门依然开着。

能记住物理规律，能维持空间记忆——这，就是视频模型与世界模型的分水岭！

现在，Google Genie 4 做到了。

靠着「海量无标签视频预训练+少量动作轨迹微调」，再加上Gemini的符号逻辑与长程记忆，Genie 4一举将单次连贯世界的维持时间推到了约2分钟。

从此，构建交互环境彻底告别了繁琐的手工3D建模。

现在，Genie 4已向Google AI Ultra用户开放，更将作为史上首款进入Gemini API与Google AI Studio的世界模型向开发者敞开大门。

我们能看出谷歌的野心：真正的 AGI，绝不可能只活在对话框里！

参考资料：

本文来自微信公众号“新智元”（ID：AI_era），作者：摩西 Aeneas，36氪经授权发布。