AI Trends

Zeng Yan's New Paper Reveals ByteDance Seed's Concentrated Bet Strategy: Win One Modality First, Then Expand

36Kr · AIUpdated Nov 18 20:36

English text is being prepared.

AI summary

36Kr reports that Zeng Yan, head of ByteDance Seed, publishing the Cola2 paper and her promotion reflect Zhang Yiming's "concentrated bet" strategy. This approach advocates establishing an advantage in a single modality such as video first, then expanding to other modalities, rather than exploring multiple lines in parallel. This aligns with ByteDance's long-term goals of merging departments and pursuing Omni multimodal capabilities and trillion-parameter large models.

Why read this

SelectedAI score 80

The article analyzes the Cola2 paper and internal personnel changes at ByteDance, revealing its long-term strategy of concentrating computing power on a single modality before expanding.

Topics

Tags

Body

95后的曾妍,正在快速晋升。

曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。

如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾妍从原Seed核心负责人周畅手中,接过了越来越多的工作。

在人才密度极高的字节Seed团队,这样的速度并不多见。

究其原因,或许是因为曾妍的路线更贴合张一鸣的想法。曾妍作为项目负责人,带队发表的论文就是最好的例证。

这篇论文名为《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,其权重于11月上半旬开放在Hugging Face上。

论文提出了一种方法,让模型通过生成视频的方法来处理文字。根据论文披露,这种方法不仅更节省算力,而且还让生成的效果更好。

这篇论文同时也是一份路线图。

曾妍从扩散模型出发,相信规模效应的路线,与外媒爆料中,张一鸣亲自带队的超大参数模型理念一致,也契合张一鸣在字节内部会上提出的长期主义。

在算力饥渴的当下,字节很难支撑多线并行的策略。于是字节将部门合并,多线赛马转向了集中押注。先在一个模态上打赢,再让赢的人带着方法走向其他模态。

当下主流的大语言模型,比如DeepSeek、Qwen、豆包,它们用的都是同一种办法,叫“自回归”。如同成语接龙一样,根据前面已经写出来的内容,猜下一个 token是什么,猜完一个再猜下一个,从左到右,一个一个往外蹦。

这套办法很成功,但它有个天生的毛病,就是没法像我们写文章一样,提前写个提纲出来。

人写文章的时候,往往是先想好这段要讲什么,再去组织语言。自回归模型是边写边想,写到哪算哪,而且必须排队,只要前一个字没写,那这辈子也别想写后一个字。

Cola2的思路,是把写字这件事拆成两层。

第一层,先在一个叫“连续隐空间”的地方,把“要说什么”想清楚;第二层,再把想好的意思,落成一个个具体的字。

相当于第一层是列提纲,第二层是照着提纲把正文写出来。

一段视频的原始数据是很大的,如果直接拿来训练,那会导致算力不够。所以视频生成模型的通行做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里干活,最后再解压成一帧一帧的画面。

在压缩包里干的活叫做“扩散”。这跟过去冲洗照片一样,一开始是一张全是雪花点的底片,模型一步步把噪点擦掉,画面就慢慢浮现出来。

Cola2的逻辑,就是把“生成文字”当成“生成视频”来处理。

这个逻辑早在第一代的Cola DLM上就已经有了,但Cola DLM有短板。Cola2的论文表示,Cola DLM在生成类任务上偏弱,问题出在负责“写正文”的那个解码器上。于是Cola2的主要作用,就是来弥补这个短板,它比上一代多做了三件事。

第一件,是学会按意思切。

想要像压缩视频一样压缩文字,就先要决定好到底去怎么切块。

老办法是死板地按长度切,比如每两个token一块,结果“北京烤鸭”就有可能被切成“北京”和“烤鸭”,也可能被切成“京烤”这种不知所云的东西。

Cola2改成按意思动态切,平均每两个token压成一个“提纲点”,具体哪几个放在一起,由内容来决定。

压缩多少,靠的是一个类似空调恒温器的负反馈机制。压得太狠,比如“北”、“京”、“烤”、“鸭”就自动松一点。压得太松,比如“北京烤鸭好吃”,就自动紧一点,始终稳在目标附近。

实验里,按意思切比按固定长度切,准确率高8.2%。更有意思的是,在合适的设置下,压缩之后的成绩(29.4%)比完全不压缩(28.7%)还略好一点。说明压掉的主要是“水分”。

第二件,是让写正文的人既能照着念,也能自己编。

如果解码器只会照着提纲念,那提纲一出错,整篇文章自然就全错了。所以Cola2训练解码器时,故意给它三种提纲:一种清清楚楚,一种被加了噪点、看不太清,还有一种干脆不给提纲。

就像训练一个演员,提词器有时候清楚,有时候花屏,有时候直接黑了,他都得能往下演。

最后选定的比例是,只有两成情况给清楚的提纲,剩下八成都是模糊的或者没有的。即便这样,解码器照着清楚提纲还原原文的准确率,仍然保持在99.5%以上。

到了真正写东西的时候,再用 CFG 这个旋钮,调节“听提纲的”和“自己发挥的”各占多少。

第三件,是让提纲和正文一起训练。这也是副标题里Co-Adaptive(协同适应)所指的事情。

以前的做法往往是先把“压缩器”训练好、冻住,再去练写正文的。

如果提纲模板定死了,那在写文章的时候,即便发现提纲有问题,提纲那边也是全然不管。Cola2干脆让两边一起练,写正文的觉得哪里不够用,信号就会传回去,逼着提纲那边调整。

实验结果里,如果把压缩器完全定死不允许修改,成绩是47.6%。两边一起练,涨到53.5%。再加上一个允许压缩器学会“预判后文”的训练目标,成绩就会提升到58.2%。

这里还有个反直觉的设计。负责列提纲的 DiT,只准学,不准反过来改压缩器。

Cola2在训练上用了约3460亿个token,模型还没收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过了Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。

而在算力方面,按照论文的说法,因为平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上,它主要的计算量会降到原来的一半,注意力部分降到四分之一。

论文最后一部分写到:模型“远未收敛”,尤其是 DiT。训练规模“受限于可用资源”。要摸到这条路的上限,需要更大的模型、更长的训练、更多的数据和算力。

此外,论文还表示,连续隐空间可能成为文字和图像、视频之间的共享接口,通向“理解与生成的统一”。

“理解与生成的统一”,正是周畅在字节讲了一年多,但没讲通的故事。

曾妍的路线更符合张一鸣

11月12日,澎湃新闻报道,张一鸣最近在一次面向AI团队的全员会上说,字节有能力和OpenAI、Anthropic竞争,但真正追平前沿,“最早也要到2029年或2030年”。

张一鸣表示,和海外顶尖公司比,Seed模型的预训练数据规模“仍然少了”,这是眼下最需要关注的问题。同一时间,外媒报道称,Seed正在预训练一款参数最高可达10万亿的模型。

数据不够、模型要往大做、要坚持长期主义。这显然更偏向于曾妍的路线。周畅的路线,则和这个方向不太一样。

2025年7月,原本负责视觉生成的杨建朝离开,图像生成、视频生成这条线划给了周畅。从那以后,他在字节内部开始推一套新的说法,叫“多模态理解与生成统一”。

周畅的想法,是从理解这一头出发,把生成也收进来,让一个模型既能看又能画。

但这个故事没讲成。

周畅接手后,最能体现这套统一思路的成果,是今年2月和Seedance 2.0同期发布的图像模型Seedream 5.0 Lite。

字节内部对5.0 Lite的评价是“a relatively small model”(一个相对较小的模型),在结构稳定性、写实度、审美上“仍有改进空间”。社区的普遍看法是,周畅懂理解,但对生成没那么熟。

一位阿里Qwen的研究员表示,“理解、生成统一”基本没有已知很有效的方案,目前没谁能做到。这种时候往里堆参数,未必能堆出结果。

今年8月,Seed做了一轮组织调整,周畅起家的VLM被并进了大语言模型体系,从一个独立部门,变成了一个数据子部门。一位Seed内部人士说:“他(周畅)丢了龙兴之地,基本就没有核心地盘了。”

其实曾妍也是做理解出身的。2021年入职才两个月,她就以第一作者身份发了X-VLM,研究的是怎么让AI把图片里的东西和文字对上号。

比如你说“穿红衣服的小女孩在骑自行车”,模型得在图里准确找到那个小女孩。

2023年转入Seed之后,她开始往生成这条道上走。2024年曾妍参与的PixelDance,解决的就是视频里人物一动就变形的问题,它是现在字节视频生成的核心技术底座,也是后面Seedance这个名字的由来。

Seedance 2.0的成功,和“理解生成统一”并没有直接关系。它是把视频和音频放进同一个DiT里一起生成,画面和声音天生对得上。Seedance 2.0的能力,主要来自于曾妍所擅长的“连续”。

因此有Seed人士表示,曾妍才是Seedance的实际leader,技术和决策都在她这一层。

理解和生成的训练目标不一样,数据的样子不一样,计算方式也不一样。如果硬塞进一个模型里,两边容易互相拖后腿。

就跟《射雕》里面周伯通的左右互搏术一样,左手画圆很简单,右手画方也很简单,可是两边一起就是难上加难。

2025年底,Seedance团队曾经有过一次聚餐,讨论下一代模型的训练方案。曾妍提出要训一个更大的模型,参数至少200B,也就是2000亿。团队里有人觉得太冒进,先训100B更稳妥,曾妍坚持一步到位。后来在Seed的正式评审会上,吴永辉和周畅都支持了她的方案。

此前,外网曾有爆料,称张一鸣正在领导字节做一个10万亿参数的大模型,并且身为中国首富的他亲自参与项目。显然,曾妍的路线,和张一鸣想要做的事情更贴合一些。

最后还有一层,是出身。

周畅是字节用八位数年薪挖来的,来的时候带了十几个阿里旧部,还因此引出了阿里的竞业仲裁。他在字节两年,至少两次传出离职。

一位Seed内部人士说:“周畅总是玩乌龙,他每次想走,过两周又留下来。”

曾妍则是字节自己的校招生,五年做到4-2,一路都在Seedance这条线上。对于字节来说,周畅和曾妍是亲疏有别。

字节正从多线赛马变成集中押注

每当字节踏进一个新领域,通常会不止成立一个团队,张一鸣更愿意同时铺好几支队伍并行探索,谁跑出来就押谁。抖音就是这么跑出来的。

做大模型也是一样。

过去两年,Seed招了国内最多的一批顶尖研究员,分散在文本、代码、视觉、语音、推理等各个方向。据晚点报道,曾有人向他们许诺,在这里可以靠自己的创新引领“潮头”。

一位曾在Seed的研究员说:“每个人都想成就一番事业。”

算力是最大的问题。

大参数模型最吃的就是算力,而算力也是最稀缺、最珍贵的资源。

家里孩子多,再加上以前家底厚,每个孩子都能报好几个兴趣班。现在想让一个孩子去上顶尖名校,然后考出好成绩出人头地,那其他表现一般的孩子就得少上点兴趣班了。

前面提到的字节8月组织调整,就是这个逻辑。

Seed的基础模型团队新设了四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人都直接向吴永辉汇报。

公告里写到:“合并相似工作、减少overlap(重合),内聚在一起。”

以前Seed是按模态分团队的,文本、代码、视觉、推理各自有自己的数据团队、后训练团队。

这在早期有利于快速补齐各项能力,但方向一多,团队的业务就开始重合,有的方向重复投入,跨团队沟通的成本也越来越高。

模型变大不是简单地加参数,它是一个系统工程。

参数多了,需要更多、更好的数据同步跟上,否则多出来的参数只是在重复学已经学过的东西。这也就导致,即便再往里砸钱,也很难有什么收益。

5万亿、10万亿参数的规模,容不下每个模态各养一套数据团队、各搞一套后训练。

另外,字节希望下一代模型直接走向Omni(全模态),也就是语言、代码、视觉、语音都进同一个底座。

正因如此,各类数据放多少、什么阶段放、怎么保持平衡,都会影响最终能力。

一位从业者对晚点说:“Omni是行业的趋势。”

腾讯今年7月把多模态模型部门并给了姚顺雨负责的大语言模型部门,阿里从Qwen3.5开始,把视觉能力直接融进主线模型,没有再单独发通用的视觉理解模型,DeepSeek V4.1 Flash也原生集成了视觉理解。

Seedance已经证明,领先的模型能力可以迅速换来用户增长和API收入。

当然,字节也不是只看眼前收入。

张一鸣在Seed的一次内部会上说过,可以接受模型在一段时间内落后,希望团队把追求智能上限当作更重要的目标。

他还表示,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。

11月初的报道显示,Seedance的海外收入占比已经达到50%,过去半年海外收入涨了近5倍。

但在最重要的基础模型战场上,Seed仍处于追赶状态。尤其是编程和Agent能力,明显落后于月之暗面、智谱这些创业公司。

张一鸣认为,字节追上前沿模型的时间,“最早也要到2029年或2030年”。

所以字节选择曾妍,本质上是在押注一条路径:先在一个模态上打赢,再让打赢的人,带着赢下来的方法,往别的模态扩。

当年字节也是这么起家的。先在今日头条上把推荐算法跑通,再把这套打法搬到抖音上。

本文来自微信公众号“字母AI”,作者:苗正,36氪经授权发布。

Source

36Kr · AI