←News detail

TMTPost · AGIUpdated Oct 24 22:40

ByteDance Builds an AI Video Tool Matrix: Jimeng, Xiaoyunque, Comic Drama Creation Tool, and Jianying Hub

English text is being prepared.

AI summary

ByteDance has formed an AI video tool matrix within its ecosystem covering Jimeng, Xiaoyunque, the Comic Drama Creation Tool, Dramagic, and Jianying Hub, segmented by scenarios such as premium film and television, short drama mass production, comic drama, and mass-market UGC. The Comic Drama Creation Tool, in beta since August, supports scripts of up to 200,000 characters and collaboration by up to 30 people, and can run 100 episodes at a time; on September 21, BytePlus launched the overseas short drama Agent Dramagic, while Jianying launched Jianying Hub, which connects AI generation and editing, at the Douyin Creator Conference. The article argues that this divergence stems from differences among content ecosystems such as Douyin, Hongguo, and PineDrama, and also aligns with the trend of AI tools evolving from general-purpose to vertical Agents.

Why read this

AI score 60

The article reviews ByteDance's AI video tool matrix from Jimeng to Jianying Hub, and explains why each product diverges by content scenario, helping readers understand the path by which video generation tools are evolving toward vertical Agents.

Topics

Tags

Body

文 | 新声Pro,作者 | 冯 勇(上海),监制 | 张一童(上海)

8月中旬,字节内测针对漫剧行业的Agent「漫剧创作工具」;9月21日,海外品牌BytePlus又上线了面向海外的短剧制作Agent「Dramagic」;抖音创作者大会期间,剪映发布AI视频创作入口剪映Hub,打通AI生成和剪辑。

从应用层的产品来看,目前字节生态内已经构建起包含即梦、小云雀、漫剧创作工具、Dramagic以及剪映Hub在内的AI视频工具矩阵,针对不同内容领域与生产场景实现系统性细分。

2024年5月上线的即梦AI是字节旗下最早推出的AI视频生成平台。目前即梦AI的核心功能为生成和画布,生成包括图片、视频、音频、音乐、数字人、动作模仿多方面,画布则作为专业创作者的导演工作台,提供极高的手动调整空间,能够对角色服饰、空间站位、镜头运动等细节进行精准控制。

可以看出,即梦追求与展示的是AI技术能够实现的上限,对标的是「影视级创作」。在即梦AI内,展示在较前面的skill也是电影级长镜头运镜、创作分镜、微表情控制等一系列在精品AI内容创作中必备的功能。

自推出以来, 即梦AI一直也是字节连接头部精品创作者的核心平台。2025年起,通过未来影像计划、青年导演合作计划等系列活动,即梦AI发掘一批AI超创,并将AI超创作品送至戛纳、上影、釜山等国际影展。

今年以来,即梦对优质创作者和作品的孵化、扶持从技术、算力升级到更系统的综合生态构建。

最具代表性的是今年8月推出的影视内容厂牌即梦片场。延续了即梦AI一直以来对影视级创作的支持,即梦片场面向电影、剧集项目征集作品。技术和算力之外,在发行和商业化环节,即梦片场还将协助入选项目对接院线,提供票房分账、联合发行或保底分成等收益机制,同时支持品牌招商、IP衍生开发与跨媒介合作,并协助投递戛纳、柏林、FIRST等国内外重要影展,策划线下首映、主题展映及定制化宣发方案。即梦片场首批合作伙伴包括上海美术电影制片厂、艺画开天、陈廖宇工作室、欢娱影视、万众合星影视等动画、影视领域的传统头部公司。

2月,Seedance2.0的推出提升AI视频生成质量的同时,也进一步降低了对普通用户的创作门槛。即梦AI移动端即梦APP开始展现出更强的独立产品属性,构建面向大众的UGC AI内容社区,简单来说,即梦APP试图打造一个AI版的抖音。

通过AI分身功能,没有任何AI创作经验的普通用户也能获得一段属于自己的创意视频。春节期间,即梦AI与《爱乐之城》合作,发起十周年重映AI创意挑战赛,上线官方授权素材。同时还邀请李诞、李小璐、黄奕等多位名人入驻社区。

在即梦APP应用界面内,除了「关注」和「推荐」栏,比较特别的是「灵感」栏,用户能够在其中直接提取其他创作者的提示词和内容拍出同款,十分方便普通用户上手。目前打开即梦APP,主流内容也都是强趣味和娱乐性的AI UGC:AI变装、AI旅拍、AI歌舞,或是成为霸总闯荡枪林弹雨、修仙御剑飞行傲游四方。

7月举办的即梦AI广告爆改大赛的招募细节能够展现出Web端和移动端的方向差异。Web大赛面向创意手搓类作品,招募>12秒的精品创意大片,剧情反转、创意脑洞、炫酷视效;APP大赛面向演绎爆改类作品,时长<12秒,借助分身演绎生成创意短视频,一键跟拍、洗脑演绎、创意二创。

同样由剪映团队孵化,小云雀的产品转折也和Seedance2.0的上线息息相关。2月,因可体验最新Seedance2.0模型,小云雀用户量激增。

3月,小云雀上线短剧Agent,是业内首个搭载Seedance2.0模型的短剧Agent。当时正值AI短剧全方位爆发节点,小云雀以实用的批量交付能力吸引了全行业的关注:不需要参考人物、分镜表和剪辑,上传剧本、故事设定就可以自动完成解析,批量生成,最多可支持10万字剧本一键成片。

过去一段时间,针对「真人+AI」和互动等新兴影视产品,小云雀也有诸多技术探索。6月,小云雀与欢娱影视合作,联合出品《美人》,探索「真人实拍+AI」,其中,服化道、环境以及真人与环境的融合都由小云雀制作完成;8月,小云雀与Seedance 2.0交互模型被应用于交互短剧《全球冰封:我打造了末日安全屋》。

短剧Agent之外,小云雀的另一大核心功能是营销Agent。小云雀营销Agent支持上传角色和商品参考图,选取合适的创意、Hook(视频钩子)和风格然后进行生成;爆款创意风格和抖音端的数据是打通的。

在短剧和营销两个方向,小云雀面向的客群大多是有批量内容生产需求的机构,Agent核心功能的设置指向工作环节的简化和整体效率的提升。

小云雀的定位正在发生新的变化。8月31日,小云雀AI宣布品牌升级,「一起创作好故事」成为新定位;小云雀AI相关负责人表示:「小云雀AI希望不只是帮创作者生成一个片段,而是陪创作者一起完成一个有角色、有剧情、有世界观的故事。」这个变化并非一蹴而就,事实上,4月开始,小云雀就已经面向故事型优质OPC发起过多轮激励计划。

目前,小云雀已经签约《归墟》创作者@泫九、《丧尸清道夫》创作者@Mx-shell、《余烬之后》创作者@编导厉岑、《被裁掉的女孩》创作者@菲菲飞 等多名以世界观和人物著称的超创。

另一方面,8月,字节内测了一款更垂直的短剧Agent「漫剧创作工具」,据悉搭载的是豆包的多个底层模型,slogan为「让创作更纯粹」。

该Agent是字节面向漫剧赛道,针对创作者与内容公司,特别是批量化、项目级的漫剧生成打造的工具。界面非常简洁,打开首页只有一个剧本上传的功能;上传剧本后,经过项目规划、剧本大纲、资产设计、剧集规划四步一键式选择,就可以最终生成剧集。原本内置的不同大模型选项也被替换为更明确、更针对具体剧情的生成要求。

漫剧创作工具最大的创新展现在量产能力上:剧本最大支持20万字,团队协同最多支持30人。同时生态上与字节的短剧生态互通绑定,一登录系统就会提示创作者绑定短剧创作者中心账号。

有资深漫剧从业者和《叁拾代》分享了她的使用体验:「漫剧创作工具主要面向红果短剧制作方;支持一键成片,能批量制作角色资产,解析剧本后连提示词都会帮你写好,一次可直接跑100集。」她还透露,今年Q3业内已有朋友借助漫剧创作工具实现单月分账数百万元。

另一个同步推进的AI视频工具,是面向海外漫剧市场的Dramagic,由字节旗下海外业务品牌BytePlus今年9月21日推出。

定位、打法与漫剧创作工具类似:从剧本、资产、分镜到视频生成的四阶段,就能「从剧本走向预览」,强调其工业流水线能力,更加适合团队、企业使用;属于是字节分别布局海内外两个漫剧市场的Agent。

此外,在9月的抖音创作者大会上,字节还将AI能力带到了旗下剪辑工具剪映里,推出了「剪映Hub」「剪映助手」多项AI新功能。

剪映Hub界面

剪映和抖音生态强绑定,作为剪辑工具在大众维度的渗透率、使用率是很高的,是链接、赋能个人创作者在抖音产出UGC内容的核心工具之一。

本次产品更新最大的突破是连通AI生成和AI剪辑。剪映Hub结合了无限画布和Agent,把文字、图片、音频、视频的生成和剪辑流程都内置其中,流程类似在Agent中创作,拆分剧本、规划分镜、保存资产、生成预览。方便的地方在于,点击「更多剪辑」,就能直接进入剪映平时的多轨道剪辑时间线,不用再次导入导出。

剪映助手的提效作用更为突出,能够大幅替代掉人工粗剪,自动处理口误、重复语句、过长空白等问题。粗剪完成之后,智能包装功能则提供了能套用的视频模板,可直接应用到剪辑时间线上。此外还有剪口播、解说、AI文字成片等许多内置功能。

小红书相关讨论帖里,有网友评价「积分烧得不快」「我等小白已经觉得很强大了」。对大多数用户而言,「AI+剪映」已能很大程度上一站式解决视频生成与剪辑难题,未来有望吸引更多用户参与到UGC内容的创作里,拓宽社区的内容盘子。

整体来看,在AI视频赛道,字节的产品布局是十分密集的。AI视频内容整体向精品化发展,AIGC创作者也在不同内容题材中流动,客观的说,目前字节各AI视频工具之间难免存在功能和生态的重合,近期就有消息称,即梦和小云雀部分业务即将合并。

但我们认为字节当下在AI视频工具领域的布局并不完全是内部赛马的结果,底层是字节的内容生态足够大、差异度足够高。抖音、红果、PineDrama等不同平台,涉及短视频、短剧、中长视频、海外短剧等不同内容,涵盖从OPC、工作室到影视公司的各类型创作团队,截然不同的生产场景和内容需求都对AI工具提出着不同维度的要求。

以不同产品满足不同创作场景下的创作需求,为字节目前在多领域不断增长的AI内容打好地基。这本身也符合AI工具的发展规律,从单个通用型工具,进一步向不同生产场景、不同服务对象的垂直Agent演进。

值得关注的是,尽管当下最能被普通用户感受的是影视、动画等文娱内容领域的工具升级,但大模型在能力上的持续提升,正在进一步渗透更多实体产业。7月底,Seedance 2.5 正式发布 ,发布当日,徐工集团、小鹏汽车、灵初智能、微分智飞、穹彻智能等多家企业确认合作,将率先引入该模型能力。

目前,这些企业已经基于 Seedance 系列模型展开场景落地探索。比如,徐工集团将其应用于工业操作培训和工序SOP视频生成,穹彻智能借助视频生成扩充具身智能大模型的训练数据,无需依赖实体机器人逐一采集,就能生成适配不同机型的操作数据,提升模型在多种机器人上的适配能力与通用性。从内容产业向制造、零售、机器人、自动驾驶等场景延伸,视频生成模型开始成为业务流程中的标准化生产工具。

香港科技大学计算机科学与工程系副教授王帅认为,视频生成模型正在从生成内容走向理解世界,从辅助创意走向提升生产力。

这意味,技术的发展不仅指向内容生产方式和供给源头的重塑,也正在成为更多实体产业发展的新技术底座。

Source

TMTPost · AGI