Raia Hadsell、Diego Rivas 和 Hang Qi
加入 Genie 4 等候名单 分享
今天，我们发布 Genie 4，这是我们全新的世界模型，它带来了前所未有的真实感，并改进了实时交互式模拟。Genie 4 原生支持多模态，能够与世界同步生成类音乐的音频、环境噪声和交互式对话。
Genie 4 模型融合并拓展了 Gemini 系列的能力：Gemini Omni 让模拟在真实世界的外观与行为上有据可依，而其他 Gemini 模型则提供维持模拟连贯性与连续性所需的复杂推理能力。
有了这一基础，你可以启动一个事件，Genie 4 会模拟接下来发生的一切：世界如何响应、听起来如何，以及其中的人如何移动、反应和说话。
理解和模拟世界是构建 AGI 的关键一环。Genie 4 提升了我们创建安全、可无限变化的模拟的能力，这些模拟可助力从为机器人和智能体开发训练环境，到开启全新交互体验创作的一切工作。
我们已开始将 Genie 4 作为研究预览版向可信测试者逐步开放——在向消费者和开发者发布之前收集反馈，首批对象包括 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。加入 Project Genie 中 Genie 4 的等候名单 此处.
Genie 4 带来更强的照片级真实感、流畅的运动和原生音频。上方展示的所有伴随声音均由 Genie 4 直接生成。
Genie 4 提升了四项关键能力
以下是 Genie 4 实时交互的录屏，用户使用标准键盘控制进行导航和镜头控制，并通过文本提示在场景演变过程中引导场景。
实时塑造世界模拟
借助 Genie 4，你可以用自然语言实时修改模拟——比如改变天气、移动镜头，或引入新的人物或物体——Gemini 会结合上下文调整你的提示，使其与周围场景相匹配。在你的输入之间，Gemini 还会监控并引导场景，使世界保持连贯地推进。
开启音频以聆听 Genie 4 的世界。第 1 张幻灯片，共 3 张提示词：以参考图像作为场景的精确首帧和视觉基础。保留相同的悬浮矩形平台、风化的混凝土边缘、野草、蕨类植物、扭曲的小树、温暖发光的琥珀色球体，以及同一位身穿宽松棕色西装、吹奏黄铜萨克斯管的中年男子。
电影感、高度自然主义的纪录片场景，以16毫米胶片拍摄，带有微妙的颗粒感、柔和的摄影细节、极低的对比度、柔和的自然色彩、提亮的阴影、柔和的高光，以及柔和的漫射阴天光线。绝对没有HDR，没有戏剧性对比，没有光泽的数字渲染，没有人工电影灯光。
平台漂浮在一片广阔而宁静的湖中央，四周是远处雾气缭绕的森林。薄薄的雾气在水面上飘荡。天空是淡蓝灰色、阴沉的，带有柔和、近乎单色的氛围。温暖的琥珀色球体提供了一种微妙的对比光晕，柔和地照亮周围的植被，并在湖中映出倒影。
以比参考图像稍近的视角开始拍摄萨克斯管演奏者，同时保持平台、发光的球体、树木和周围的湖泊可见。男子继续自然地吹奏萨克斯管，伴有微妙的呼吸、手指动作和轻柔的身体摇摆。
摄像机独立移动，可以自由探索整个环境，以轻柔、受控的运动在水面上平滑滑行。摄像机不附着在男子或平台上。保持真实的空间连续性和自然的摄像机运动。
在整个体验过程中，一切都必须保持摄影感、物理可信、纪录片风格、极低对比度和柔和低饱和度。
一个连续镜头。自然的湖泊环境声、远处的风声、轻柔的水声和逼真的萨克斯管声音。除了场景中实际存在的乐器外，没有背景音乐。
环境提示词：一片宽阔、阳光充沛的山顶草甸，长满高高的绿草，散落着紫色、白色和黄色的野花，在温暖的微风中摇曳。低矮的绿色灌木点缀在田野右侧，而远处蓝绿色的起伏山丘沿着左侧地平线延伸，上方是明亮、局部多云的天空。
角色：一条长长的、连续的亮粉色缎面布料，从紧邻的前景开始，以起伏的S形曲线蜿蜒穿过草甸中央，一直延伸到远方。这闪亮的粉色布料在野花上方轻柔地翻卷、泛起波纹并飘起，宛如一条流动的丝绸之河，风在其褶皱下穿行。
环境提示词：俯瞰南极洲广袤冰封景观的壮阔航拍视角，无尽的覆雪冰川、嶙峋的冰封山峰，以及雕琢般的蓝色冰山沐浴在清冽的极地阳光中，天空晴朗而呈淡蓝色。众多热气球以不同高度点缀在地平线上，一个巨大的奶油色、红色和蓝色条纹气球醒目地漂浮在冰原上方中景处。
角色提示词：以第一人称视角拍摄，站在飞行热气球的编织藤篮内，从画面右侧饰有皮革边缘的篮筐边缘向外望去，黑色软垫支撑杆、金属索具链条以及头顶气球伞盖的深色底部构成了漂移的极地景象的画框。
在物理与人类动作方面推进真实感的前沿
Genie 4 为实时交互式模拟引入了新的真实感标准。Genie 4 基于对世界的高级物理理解构建，可模拟空气动力学、碰撞等真实世界的物理场景。
最引人注目的飞跃在于 Genie 4 如何模拟人物，创造出动作自然、能对环境做出有机反应、并可在实时中被交互操控的角色。
第 1 张幻灯片，共 3 张环境提示词：一个阳光明媚的户外庭院，一座风化的石制基座置于柔和虚化的背景前，背景是茂密的绿色花园枝叶和清澈的蓝天，沐浴在明亮温暖的午后阳光中，阳光逆光映照出清晰慢动作中的空中水滴。
角色提示词：一个完整、有光泽的绿色条纹西瓜放置在石制基座中央。
提示词：一颗枫树种子从树上落入草丛的微距特写
提示词：20世纪80年代一个拥挤的日本乡村火车站，站台上挤满了候车的乘客。唯一一名身穿深藏青色制服的铁路稽查员站在靠近镜头处，观察着这一场景。一列长长的深红色本地列车载着许多车厢，停在最靠近镜头视角的铁轨上，横贯画面并一直延伸到远方。这列火车清晰地出现在紧邻的前景中，而不是在远处的轨道上。人们自然地挤满站台，有的站立，有的行走，有的上车，有的带着行李等候。郁郁葱葱的绿色群山、雪松林和潮湿的夏日薄雾环绕着车站。地道的20世纪80年代日本氛围，电影感35毫米纪实摄影，真实的透视，非对称构图，自然光照，微妙的胶片颗粒，照片级真实质感。 车站必须看起来真正繁忙，整个站台上要有密集可见的人群。红色列车必须位于最近的轨道上，占据画面主导地位。不要空荡的站台，不要远处的列车，不要稀疏的人群，不要居中的对称构图。
为世界的声音建模
Genie 4 是我们首个原生生成音频的实时世界模型。每个世界都带有其自身环境的氛围音效，从林间风声到海滩拍岸的浪涛声。
然而，真正的疆界是人类语音。Genie 4 引入了可即时自适应的交互式对话。角色会进行交谈，并对你的输入或世界中的事件做出反应，一切都在实时中进行。
第 1 张幻灯片，共 3 张提示词：创建一个完全三维的沉浸式彩色玻璃景观，感觉就像一扇手工打造的水晶窗被赋予了生命。这个世界应当可以探索，仿佛摄像机可以在一个巨大的3D彩色玻璃环境中自由移动。整个场景必须具有彩色玻璃／水晶窗的外观：半透明的彩色玻璃、深色铅条轮廓、发光的分层嵌板、体积深度，以及手工玻璃质感。
展现一幅美丽的风景：一条流动的河流穿过绿色田野，前景中有花朵，还有树木、远处的群山、云朵，以及天空中一轮光芒四射的太阳。河流应感觉像流动的半透明蓝色玻璃，花朵像直立的彩色玻璃雕塑，草地和树木像层叠的彩色玻璃形态，群山像堆叠的玻璃嵌板，太阳则像一个发光的圆形彩色玻璃元素。一切都必须具有空间感、整体感、明亮感和手工感，并带有深度以及观者可以在三维中穿行其中的感觉。
摄像机应当能够穿行于场景之中，就像在这个3D彩色玻璃世界里行走或滑翔一样。让这个世界保持美丽、神奇，并在风格上完全一致。
绝对一切事物在任何时候都必须由彩色玻璃或水晶制成，包括草地、水、天空、云朵、花朵、树木、群山、太阳以及所有可见表面。不要引入任何自然真实世界的纹理。没有真实的草，没有真实的水，没有普通的天空，也没有彩色玻璃宇宙之外的任何写实元素。
不要文字，不要现代物品，不要彩色玻璃宇宙之外的任何写实元素
提示词：沉浸式第一人称视角，我们只能看到骑士骑手强壮的大手紧握缰绳，以及龙和翅膀。照片级真实、超写实的运动相机画面，完全通过骑手自己的眼睛观看，骑手正以140公里的时速骑着一条巨大的黑龙，穿过一个有许多龙和骑手的山地龙竞速赛道。其他龙由其他骑士骑乘。
摄像机就是骑手的眼睛。摄像机固定在骑手头部，朝向前方，并随骑手头部自然移动。骑手就是观者。骑手的脸、头部、躯干、身体和完整轮廓永远不可见。没有第三人称镜头，没有外部摄像机角度，没有切出镜头，没有从背后或侧面拍摄骑手的视角。
只展示骑手自然会看到的内容：龙的脖子以及偶尔出现在画面底边附近的其上背部局部、飞驰而过的景观、另外两条龙及其骑手在侧方和前方并驾齐驱，以及一座城墙上有投石机的巨大城堡。一面旗帜由骑手自然地携带着，可能偶尔出现在画面边缘，但绝不遮挡视野或占满画面。
在整个飞行过程中，摄像机始终保持这一确切的第一人称视角。激烈的高速竞速、强劲而逼真的振翅、符合空气动力学的重量感、猛烈的风、自然的头部运动、细微的摄像机震动、广角运动相机的畸变、逼真的运动模糊、电影般的自然光照、在物理上可信的运动。
严格的视觉约束：真正的第一人称骑手视角，看不到骑手，没有第三人称视角，没有外部跟踪镜头，没有无人机镜头，没有过肩镜头，没有电影式切出镜头，摄像机不漂浮在骑手身体之外，没有CGI外观，没有电子游戏感，没有3D渲染美学。
音频：低沉如雷的振翅声、呼啸的高空阵风、远处火山的隆隆声，以及噼啪作响的火焰余烬。
提示词：一部1995年香港独立爱情剧情片的电影感微距特写，以35毫米胶片拍摄。两名二十多岁、外貌非传统的韩国恋人骑着摩托车，在黎明时分穿过香港郊外的一座桥。
男骑手不戴头盔，神情不安地环顾四周，而肤色苍白的女乘客戴着开放式头盔。他们的面孔占据前景，巨大且相互重叠，带有自然的皮肤质感和细微的忧虑与温柔神情。
低角度全景构图，上下由实心黑边框住。浅景深，模糊的道路在他们身后延伸，橙色路灯掠过成线，深绿色的黄昏天空。亲密、不完美、忧郁的35毫米胶片美学。
一个连续镜头。
使用Gemini模型模拟复杂事件
将 Gemini 与 Genie 4 结合在一起，为世界模拟增添了新的推理层，使我们能够对复杂的多步骤事件进行建模，并在把 AI 系统带入现实世界之前，测试它们如何在不同的环境中行动。
为了实现实时运行，Gemini 3.8 Flash 在循环中充当引导代理：当 Genie 4 实时生成世界时，Gemini 持续观察场景，将目标拆解为一系列步骤，并审查传入的画面帧以跟踪进度、验证每一步是否成功。当世界发生变化或用户介入时，Gemini 会即时调整其计划，从而解锁具备可靠因果性、程序化行为和逐步推理能力的世界。
第 1 张幻灯片，共 3 张提示词：Universal Robots UR5 机械臂握着一支移液管，将液体滴入实验室培养板，并激起微小的电火花。
提示词：一段真实、超写实、高端 35mm 电影级第一人称视角（POV）体验，场景设在一间华丽而令人窒息的古董沙龙内，严格避免任何电子游戏、CGI 或数字渲染的美学。真实场所，电影质感，而非渲染。
POV 与前景魔杖：真实的第一人称视角，沿玩家右手的实体方向向下看，那只手紧紧握着一根华丽的手工雕刻硬木与抛光黄铜巫师魔杖，杖尖指向房间内。玩家的皮肤在环境光下呈现出真实的毛孔、皮肤褶皱、角质层纹理和自然的肌肉张力。魔杖展现出细腻的木纹、清漆上的微小裂纹、冰冷的金属黄铜镶嵌，以及因握持而产生的触感表面磨损。
瓷器动物群与房间建筑：一间令人窒息的巴洛克风格画廊，从地板到天花板密密麻麻地堆放着成千上万件脆弱、真人大小的和微缩的釉面瓷器动物。闪闪发光的陶瓷孔雀拥有繁复的羽毛图案和鲜艳的钴蓝与祖母绿珐琅，威严的瓷狗和蜷曲的瓷猫栖息在大理石壁炉架、桃花心木展示架和天鹅绒垂坠的基座上。表面呈现出真实的高光泽陶瓷釉面、珐琅上的微小龟裂纹、精致骨瓷的透光感，以及缝隙中自然积聚的灰尘。
电影级光学与灯光：使用高端变形 35mm 电影镜头拍摄。自然的的光学特性，包括浅景深、微妙的桶形畸变、真实的光学镜头光晕、细腻的有机胶片颗粒，以及背景中柔滑的焦外虚化。自然日光透过高大、布满污渍的维多利亚式蕾丝窗帘照射进来，投射出柔和、体积感十足的尘埃微粒，并在光滑弯曲的瓷器釉面上形成锐利、物理精确的镜面高光。
动态运动与物理交互：连续、流畅的手持第一人称视角穿行。玩家微妙地挥动魔杖并指向陶瓷人偶，随着脚步踏过吱呀作响的硬木地板，画面中产生逼真的微小振动。人偶保持着完美而脆弱的静止状态，随着魔杖移动而捕捉到不断变化的高光。
声学氛围：原始、沉浸式的纪录片级音频。脚下隐约的地板吱呀声、远处的房间底噪、轻微的呼吸声、手指调整握持木杖时细微的干涩摩擦声，以及精致瓷器在寂静空气中微微振动所发出的清脆水晶般叮当共鸣。
一位真正的魔术师站在一张高大的木桌旁。桌上放着一个大型长方形木箱，顶部完全敞开，没有盖子。
一只真实的孔雀平静地站在箱子内。
卓越的制作设计、精致的艺术指导、电影级灯光、自然但精心控制的光线、逼真的肤色、优美的对比、微妙的阴影、丰富的质感、优雅的构图、浅景深、高端电影摄影机、真实的人类演员、极其逼真。
它看起来应该像一部享有盛誉、拍摄精美的现代电视剧中的一帧画面：低调、昂贵、具有电影感且完全可信。
没有戏剧，没有舞台，没有奇幻，没有卡通，没有塑料感的人物，没有CGI感。
提示词：冠鹤在清澈的暮色渐变天空下走过雪地。纪录片风格的自然色彩。
在探索这一能力的过程中，我们还一直在试验 Gemini 4 Argon 和 Genie 4，以将我们的前沿研究与 Gemini Robotics.
在下面的示例中，Argon 将用户指令的任务分解为多个步骤，供 Genie 渲染。在模拟渲染过程中，这些步骤会作为文本字幕交错输入给 Genie 4。由于 Genie 4 可以通过 Gemini 使用文本字幕进行实时引导，这如今开辟了一条路径：在模拟朝着该任务完成推进的过程中对其进行调整。这一能力成为一条路径，可借助 Gemini 4 Argon 和 Genie 4 在想象世界中模拟各种场景。
Gemini 4 Argon 和 Genie 4 协同工作，模拟 Apptronik 的 Apollo 人形机器人下跳棋，并将任务分解为实时步骤。
来自可信测试者的经验
尽管 Genie 4 是一项重大的研究里程碑，但它仍是一个早期的实验性模型。为了解交互式世界模型如何支持现实世界的工作流程——以及它们仍需在哪些方面成长——我们一直在与来自创意产业、新闻业、教育、游戏和工程领域的多组可信测试者合作。
测试者强调了照片级真实感、原生音频和实时引导方面的飞跃如何让想法和概念转化为逼真的模拟，从而在各学科中解锁新能力：
- 创意指导：创意工作者和技术专家正在将 Genie 4 作为快速“草稿模式”用于预可视化和构思。例如，电影制作人可以步入一个场景的实时模拟，并实时运行多个“镜头”，随时调整摄像机角度、灯光、对话和动作。
- 历史场景与沉浸式照片：摄影记者正在探索如何让一张 2D 档案照片在几秒钟内变成该环境的接地模拟。团队正在测试充满动态元素的世界如何帮助体验历史空间，或可视化短期环境事件（如突发洪水或野火）的展开过程。
- 交互式体验概念设计：游戏开发者和创意技术专家正在测试 Genie 4，以在几秒钟内从初始想法变成可探索的原型，在编写任何一行引擎代码之前，通过自然语言提示测试视觉风格、材质美学和交互机制。
- 模拟：除了我们的机器人研究之外，各行业的企业合作伙伴正在评估 Genie 4 作为快速“从零到一”场景生成工具的能力，并找出差距，以进一步改进 Genie，使其最好地满足这一模拟需求。
未来工作：迈向混合世界模型
未来进展的一条有前景的路径在于混合世界模型，它将代码和语言模型的逻辑化、结构化推理与像素级模拟的丰富感官表征相结合。
让 Genie 和 Gemini 模型更紧密地结合，是朝这一方向迈出的早期一步。Gemini 在幕后工作，梳理结构并规划叙事时间线，而 Genie 则生成即时的物理现实——逐像素渲染世界的视觉、声音和响应方式。二者互补的优势相结合，有望解锁一类全新的世界模型，其连贯性、可控性和扎根现实的程度远超任一方法单独所能达到的水平。
负责任地构建世界模型
Genie 4 标志着一个前沿研究的新领域，它融合了实时生成与照片级真实感，带来了一系列我们希望以负责任的方式逐步推出和探索的新能力与新维度。Genie 4 包含严格的安全防护措施，与我们其他模型的安全政策保持一致。在发布此预览版之前，我们通过内部严格的安全评估对 Genie 4 进行了评测，以防止生成有害或恶意内容。此外，我们有意先将其部署给可信测试合作伙伴以获取早期反馈，然后再更广泛地发布该模型。
为保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID——我们不可感知的数字水印技术，可帮助在视觉和音频模态中识别 AI 生成内容。
了解当前的局限性
Genie 4 仍是一个处于早期、不断演进的研究领域。
虽然它能在短时会话中维持连贯的环境，但视觉细节和物体恒常性仍可能随时间发生偏移或漂移——尤其是当模拟运行时间较长、经过多次复杂的提示词编辑之后，或在场景中穿行时。复杂的物理交互、实时音频准确性、渲染清晰可读的文字、空间准确性以及长期一致性，都是正在进行中的研究领域。我们以预览形式分享 Genie 4，旨在与社区共同学习，并安全地推进交互式模拟的前沿。
Genie 4 的后续步骤
Genie 4 已作为研究预览版向可信测试者发布，并将很快通过 Project Genie 向 Google AI Ultra 订阅者开放，同时通过 Gemini API 和 Google AI Studio 向早期访问合作伙伴开放。加入 Project Genie 中 Genie 4 的等候名单 此处.
我们期待用户很快就能步入其中、进行实验，并构建自己的交互式世界。
致谢
Genie 4 的诞生离不开以下人员的核心贡献：Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。
Genie 4 还需要各合作团队的紧密协作，我们感谢所有促成此次发布的跨职能合作伙伴：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、 Inês Ayer、Luke Talbot、曹涵云、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。
感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中给予的富有洞见的指导与支持。
最后，我们感谢我们的可信测试者和早期访问用户，他们提供了反馈，帮助推动我们的研究向前发展。