Google 向 Gemini API 开发者开放 Genie 4 世界生成能力
Google Opens Genie 4 World Generation to Gemini API Developers
Google 于 11 月 19 日通过 Gemini API 和 Google AI Studio 开放 Genie 4,可生成支持键盘控制与实时文本提示的连续 720p、24 fps 交互视频及原生同步音频。该模型仅面向付费层,视频输出约为 $0.10 per second,单次会话最长 120 秒,并可通过 WebRTC 或 WebSocket 接入。其场景稳定性可能在 60 至 90 秒后下降,已结束的交互无法恢复。
推荐理由
精选AI 评分 83
文章汇总了接入方式、计费、延迟与连续性限制,可帮助开发者评估短时交互世界是否适合现有应用。
主题
正文 · AI 翻译
Google 于 2026 年 11 月 19 日通过 Gemini API 和 Google AI Studio 开放 Genie 4,让开发者能够使用可响应键盘控制和实时文本提示的交互式世界。该模型能以每秒 24 帧生成连续的 720p 视频,并配有同步原生音频。
此次开发者版本通过 v1beta Interactions API 使用 models/genie-4。创建世界时,可以使用文本、单张参考图像或两者共同作为初始条件;WASD 键和方向键用于控制移动和摄像机朝向,而文本事件可修改场景或提供角色对白。API 文档指出,这种响应式帧渲染不同于离线生成固定视频片段。
Google 列出的潜在用途包括制作交互体验原型、可视化空间概念,以及训练机器人和 AI 智能体,并表示每项输出都带有不可感知的 SynthID 水印。
付费会话与计费
Genie 4 需要付费层级的 Gemini API 密钥,免费层级不提供该模型。其标准定价为:文本或参考图像输入每百万 token $1.50,文本输出每百万 token $9,视频输出每百万 token $17.50,其中包含立体声音频。按照每帧 240 个视频输出 token,即每秒 5,760 个 token 计算,列出的实际费率约为每秒 $0.10、每分钟 $6.05。不支持 Batch API、Flex inference 和 Priority inference。
要建立会话,开发者需创建一次交互,通过 WebRTC 或 WebSocket 连接,并先发送一个 world_setup 事件,然后再通过 user_action 或文本输入事件进行操控。浏览器应用可以使用仅限一次交互的临时令牌,将长期有效的 API 密钥保留在后端。交互式浏览器应用建议使用 WebRTC,而 WebSocket 则支持 Python 和 Node.js 工作流、帧捕获及自定义管线。
关闭浏览器标签页或断开本地传输连接,并不会立即停止服务器端生成。调用 complete() 会结束生成和计费,而 cancel() 会中止服务器端生成,因此明确关闭会话是成本控制的一部分。
会话限制与延迟
Google 在模型文档和实施指南中将会话时长上限设为 120 秒,并指出最初 45 至 90 秒是视觉连贯性和物体恒存性表现最好的阶段,同时警告视觉稳定性可能在 60 至 90 秒后下降。
指南称,生成过程基于滚动时间窗口,并不存在永久性的 3D 场景。若视线离开某个物体达到八秒或更久,或原地转动 360 度,地标、门和按钮可能会移动或重置。因此,在机器人或智能体实验中,不能假定生成的环境能够提供稳定的长期地图。
输出固定为 16:9 宽高比,不支持竖屏模式或可配置帧率,并且会话仅由美国数据中心提供服务。Google 的实施指南称,在网络延迟较低时,原生键盘操作的视觉响应时间约为 0.2 至 0.5 秒,而在会话中途通过文本进行更改的响应时间约为一至两秒。网络往返延迟超过 150 毫秒时,键盘操控会出现明显延迟。
Genie 4 不接受实时麦克风或摄像头流。它也不支持函数调用、Google 搜索接地、结构化输出,以及恢复已完成交互的功能。
使用配额
Genie 4 的速率限制因付费项目的使用层级而异:
使用层级 并发活跃会话数 每日请求数
会话内的实时控制消息不会单独消耗每分钟或每日请求配额。
该 API 使 Genie 4 成为适用于短时、受控模拟的可编程环境,而非托管式持久世界。其核心限制在于连续性:应用可以按需生成响应式场景,但当前设计无法提供一个可在已完成会话之间保留并重新访问的世界。
AI 热点