自动化生成长篇连贯视频
2026年9月24日
Yale Song 和 Yiwen Song，Google 研究科学家
我们提出一个统一的多智能体框架，能够自主生成时间上连贯的长篇视频叙事，克服了当前线性 AI 流水线中的身份漂移和级联失败问题。
快速链接
视频扩散模型的最新进展 展示了卓越的高保真生成能力，其模型能够在数秒内渲染出逼真的场景。然而，尽管扩散模型能够生成高保真的视频片段，但将其转化为连贯的长篇叙事引擎仍然充满挑战。
大多数现有的智能体流水线通过链式模块来自动化这一过程，但由于独立、手工设计的提示词，它们会遭受 语义漂移 （角色服装或场景在镜头之间的细微变化）和 级联失败 （例如，上游素材的瑕疵破坏下游视频合成）的困扰。由于早期错误会传播并破坏长时程一致性，该过程往往需要大量的人工干预。从结构上看，这反映了经典的信用分配问题，因为终端失败难以追溯到具体的提示词。此外，现有方法还遭受 特征漂移（实体和环境在无意中逐渐变化）或 内容崩塌（叙事无法有意义地推进）的困扰。
今天，我们介绍关于 AI 视频联合导演的研究，这是一个统一的多智能体框架，能够在多镜头叙事中显式地规划视觉连续性。作为构建在 Gemini 和 Veo之上的编排层，该框架原生继承了 SynthID 水印等安全机制。通过将长视频生成视为全局优化和世界状态跟踪问题，我们开发了一套框架—— Co-Director （将发表于 COLM 2026), CANVAS （将发表于 EMNLP 2026), A²RD和 VQQA ——它们将高层次的人类创意规范转化为执行，通过自动化重复性的编排任务，从多模型提示和镜头链接到闭环视觉精修。
我们将这些框架设计为响应式的创意伙伴，抽象掉维护视觉连续性的负担，让用户能够专注于叙事艺术。该架构通过将质量建模为测试时目标，将创意合成与一致性解耦。在全面的评估中，我们的框架在多镜头叙事一致性和角色持久性方面展现出显著提升，成功生成长达数分钟的视频，同时缓解了视觉漂移和流水线错误传播。
工作原理
为了解决长时程视频的多方面问题，我们将研究分解为四个基础支柱，每个支柱针对生成流水线中的特定瓶颈。
1. 用 AI 视频联合导演编排创意意图
为确保整个视频的语义连贯性，我们提出 AI 视频联合导演，这是一个分层多智能体框架，将视频叙事形式化为全局优化问题。我们不再依赖僵化的线性提示链，而是引入分层参数化：一个 多臂老虎机 （MAB）全局性地识别有前景的创意方向。
这将创意过程形式化为在探索新颖叙事策略与利用有效创意配置之间寻找最优平衡的搜索。系统采样抽象的创意轨迹——例如将信息型策略与小品式叙事模式和特定美学原型相结合——并将这些动态注入子智能体的系统提示中。这种自上而下的引导确保整个流水线在统一愿景下运作。由于我们的 AI 视频联合导演框架作为编排层运作，它通过将这些结构化提示直接输入基础 Gemini 和 Veo 模型来实现这一愿景（尽管其模型无关的架构允许它构建在任何基础生成模型之上）。该架构确保所有生成的图像、视频和音频天然带有原生安全保护，包括 SynthID 水印。在生产环境中，还可以对最终视频应用额外的安全分类器，以防止单独安全的片段之间产生意外的上下文交互。
该流水线通过两个相互连接的循环执行全局优化：战略引导和多阶段制作。首先，编排智能体使用 MAB 算法评估输入，以在三个维度上选择创意配置：（1）创意策略（意图），（2）叙事模式（故事结构），以及（3）美学原型（视觉基调和摄影）。该配置驱动制作层级。前期制作智能体将简短的逐场景故事线和视觉素材综合为统一的故事板。随后，制作智能体使用专门的子智能体将该故事板转化为具体的视听媒体：关键帧智能体锚定角色和场景视觉，视频智能体添加运动，音频智能体叠加匹配的旁白和配乐。
最后，一个 多模态 LLM （MLLM）评审员在三个指定维度上对汇编的剪辑进行评判，将因子化奖励信号反馈给 MAB，以在连续的生成循环中迭代优化和精炼选择。
AI 视频联合导演多智能体流水线。顶部： 编排智能体利用 MAB 在因子化创意动作空间中导航。 底部： 前期制作智能体综合创意简报、故事线和视觉素材，以建立一致的故事板，随后由制作智能体将其转化为同步的关键帧、视频片段和音频。MLLM评审器对最终视频进行评估，生成因子化奖励信号，该信号被回传至MAB，在优化循环中迭代完善创意配置。
2. 使用CANVAS进行视觉故事板制作
即便拥有统一的脚本，生成长序列镜头仍常常导致角色漂移和环境不稳定。为解决这一问题，我们引入了 连续性感知的视觉智能体故事板叙事 （CANVAS），这是一个在多镜头叙事中显式规划视觉连续性的多智能体框架。
CANVAS通过随着叙事推进维护角色、地点和物体状态的结构化表示来强制保持连贯性。它作为构建在Gemini之上的编排层，依赖持久化的视觉记忆。通过从记忆中检索视觉锚点或在需要时初始化新的锚点，CANVAS确保同一场景内的平滑过渡。这种显式的世界状态建模确保角色在再次出现时保持其身份，环境在再次访问时保留其空间结构。
为直观展示这些效果，下图展示了一个多镜头博物馆盗窃序列，将CANVAS与代表性基线进行对比：使用底层基础模型（Gemini-3.1-Pro）直接生成，以及另一种多智能体框架（AutoStudio）。图底部的提示词突出了反复出现的元素——例如小偷、展厅和宝石——这些元素必须保持完全相同的视觉特征。请注意每种方法如何处理连续过渡（例如角色的服装）与非连续过渡（例如摄像机绕行后返回主厅时）。仅使用 Gemini-3.1-Pro 生成时表现出道具不一致（文物发生变化）和背景漂移（房间布局发生偏移），显示出无引导生成的局限性。 AutoStudio 在镜头切换时同样出现退化，导致角色漂移（小偷的帽子消失）和背景不一致。相比之下，CANVAS的持久视觉记忆确保角色、空间几何和物体状态在整个叙事中保持完全连贯。
在HardContinuityBench的博物馆盗窃序列上的视觉故事板对比，将CANVAS与 AutoStudio 和Gemini-3.1-Pro基线进行对照。
3. 使用A²RD扩展时间动态
为将故事板转化为实际长达数分钟的视频，我们开发了 A²RD，一种智能体式自回归视频生成架构。A²RD采用逐段生成方式，并辅以多模态视频记忆来追踪各段落的上下文和动态。
对于每个段落，它运行在检索—合成—精炼—更新的循环中。该循环的关键部分在于智能体如何自适应地确定段落生成模式。它在推断——以允许自然的叙事推进——与插值之间平滑切换，后者将段落锚定到已有的实体和环境。这有效地平衡了故事向前推进的需求与维持场景物理现实性的必要性。
为测试该系统，下方这部十分钟影片展示了一次长视频生成，这要求在长达数分钟的时间跨度内保持一致的叙事推进。该视频突出了系统如何在两种运行模式之间动态切换：使用推断将情节推向新的叙事节拍，使用插值将回归的角色和环境锚定到其原始设计。标准视频生成器会出现严重的视觉衰减——角色发生变异、地点发生变形——而A²RD持续查询其多模态视频记忆，从开场镜头到最后一帧始终保持角色身份、服装细节和结构几何。
观看影片
长视频展示了A²RD在连续十分钟时长内保持严格视觉一致性和叙事推进的能力。
4. 使用VQQA进行闭环精炼
最后，我们需要一种让系统自主识别并修复视觉伪影的方法。现有的测试时优化方法通常要么 计算开销大 ，要么 需要白盒访问模型内部。为解决这一问题，我们开发了 视频质量问答 （VQQA），这是一个统一的、多智能体框架，可泛化到多种输入模态和视频生成任务。
VQQA动态生成针对特定提示词定制的视觉问题，并将由此产生的 视觉语言模型 （VLM）评判作为语义梯度（提供自然语言方向性反馈以指导迭代精炼，类似于反向传播中的数值梯度）。这用人类可解释、可操作的反馈取代了传统的被动评估指标。随后，系统可以通过自然语言界面执行高效的迭代反馈循环（模型生成视频，通过视觉问题对其进行评估，并根据评判精炼文本提示词）。为防止精炼过程中的语义漂移，VQQA采用了一种 全局选择 机制：不是盲目采用最终迭代的输出，而是由全局VLM评分器将优化轨迹中生成的每个视频与原始未编辑的提示词进行对照评估。系统随后选择得分最高的候选，确保局部修正不会损害更广泛的上下文。
在实践中，VQQA 作为黑盒提示词优化器运行，而非像素级编辑器。它不直接修改像素，而是迭代地精炼文本提示词，以纠正属性绑定错误或角色属性不一致等高层组合缺陷。更新后的提示词引导生成器在其潜空间中采样一条新路径。在以下示例中，VQQA 并未对原始帧进行遮罩或覆盖绘制；相反，它通过将逼真的迈拉气球纹理渲染到严格的立方体几何形状上，解决了模型的材质绑定难题，并通过在剪辑切换中让小提琴手和钢琴手始终锚定在各自的乐器上，修复了混乱的演出中途乐器更换问题。
播放静音循环视频 暂停静音循环视频 取消视频静音 将视频静音解决属性绑定错误。 提示词：“一个立方体气球飘过圆形窗户，阳光透过玻璃窗格照射进来。”原始生成（左）通过渲染一个僵硬、无纹理的立方体，未能捕捉气球的属性，而 VQQA（右）成功强制实现了预期的立方体形状，同时保持了充气气球的纹理和材质属性。通过利用迭代视觉反馈，优化后的提示词引导生成器渲染出一个轮廓分明、带有清晰边缘和接缝的箱形迈拉气球，平滑地飘过阳光照射的窗户。
播放静音循环视频 暂停静音循环视频 取消视频静音 将视频静音解决时间不一致性。 提示词：“小提琴手和钢琴手以和谐的二重奏表演吸引观众。”原始生成（左）在镜头切换时出现严重的连续性断裂，最初显示一位女钢琴手和一位男小提琴手，但切换后突然描绘该女性在拉小提琴。VQQA（右）在整个表演过程中保持严格的语义一致性，使女钢琴手和男小提琴手始终锚定在各自的乐器上。
关键结果与基准
为了严格评估我们的框架，我们开发了三个专门的基准，旨在模拟专业视频制作的挑战。
- GenAD-Bench: 采用人在回路流水线，将 Gemini 3 Pro 与专门的图像模型配对，构建 50 个虚构品牌，每个品牌包含四种不同的产品。在 400 个独特场景中，它测试精确的营销约束，而不依赖版权冲突或训练先验。
- HardContinuityBench: 旨在评估空间和环境连续性。该基准使用复杂的 GPT-5.2 多镜头叙事故事板生成，以场景重现之间的巨大间隔、演员服装和配饰的频繁变化以及交互道具的复杂状态变化来挑战模型。
- LVBench-C: 针对长时程时间动态。该数据集包含 120 个纯文本场景，分为不断演变的角色状态、变化的物体属性和渐进的环境揭示，并保持严格的间隔规则，即关键视觉资产必须消失至少 10 个片段，然后才能以逼真的、叙事驱动的变化回归。
我们的评估表明，相较于现有视频生成架构，性能有可测量的提升。通过探索创意策略搜索空间，AI 视频联合导演在 GenAD-Bench 上达到 81.4 的峰值质量分，并在 ViStoryBench上增强了故事一致性。CANVAS 利用结构化视觉记忆来缓解场景漂移，在 ST-Bench 和 HardContinuityBench 上的场景重现中产生了显著的连续性提升。对于长时程时间动态，A²RD 最小化布局漂移，以在 VBench-Long 和 LVBench-C 上的连续数分钟运行中改善角色和环境一致性。最后，VQQA 的闭环提示词优化解决了物理和组合不一致问题，在 T2V-CompBench, VBench2和 VBench-I2V 上带来了显著的绝对质量提升。有关我们的模型架构、训练配置和基线评估的全面细节，请参阅各篇论文。
未来方向
这些框架代表着朝着为创作者解锁连贯的长时程视觉叙事迈出的基础性一步。随着我们继续完善这些智能体架构，我们正在探索如何整合人在回路工作流。我们的最终目标不是取代人类叙事，而是通过抽象掉时间一致性和世界状态跟踪的繁琐复杂性来赋能创作者，确保他们始终掌控创意方向和叙事设计。
致谢
这项工作得益于我们在 Google 各研究团队的辛勤付出。我们感谢 Andrew Pan、Brett Slatkin、Burak Gokturk、Carina Claassen、Daniel Vlasic、Do Xuan Long、Ishani Mondal、Jasmine Leon、Jingyun Liu、Joe Timmons、Jordan Boyd-Graber、Khanh G. LeViet、Kuang Su、Long T Le、Mihir Parmar、Min-Yen Kan、Nathan Hodson、Nick Losier、Palash Goyal、Rhyard Zhu、Sebastian Ko、Scott Penberthy、Yan Xu、Yang Li、Ye Jin、Zack Chomyn 和 Tomas Pfister 对这一系列研究做出的宝贵贡献。