LeCun and Balestriero Publish JEPA Paper: 109-Million-Parameter Model Surpasses… in Cross-Modal Representation Alignment

66 岁的 Yann LeCun，又带着一篇论文回到了 AI 研究前线。

10 月 29 日，LeCun 与布朗大学计算机科学助理教授 Randall Balestriero 共同发布了一篇长达 37 页的新论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。论文提出，在特定条件下，不同模态的 AI 模型即便独立训练，也能学到可相互对齐的世界表征。

更引人注目的是一组数字。研究团队训练的一个仅有 1.09 亿参数的文本 JEPA，在跨模态表征对齐测试中，超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

参数规模相差约 660 倍。

在另一项实验中，采用新方法的模型只需要 2160 万个训练样本，就达到了下一 Token 预测模型使用 9 亿个样本才能获得的表征对齐水平。样本数量相差约 42 倍。

但这并不是论文真正想表达的结论。

LeCun 新论文挑战“唯规模论”： 1.09 亿参数为什么能够挑战 720 亿？

在这篇论文中，作者 LeCun 和 Balestriero 要回答的，是一个比模型大小更基础的问题：当 AI 通过文字、图像等不同方式观察世界时，究竟是什么决定了它们能否形成相似的内部理解？

对于长期主张世界模型路线的 LeCun 来说，这也是一次重要的理论探索。

这项研究的起点，来自两年前麻省理工学院研究团队提出的一个颇具哲学意味的假说。

2024 年，Minyoung Huh、Brian Cheung、Tongzhou Wang 和 Phillip Isola 在 ICML 上发表《The Platonic Representation Hypothesis》，中文可以译为《柏拉图表征假说》。

研究者观察到一个有意思的现象：随着不同模型能力增强，图像模型和语言模型内部的表征结构似乎正在变得越来越相似。

比如，人们可以用一张照片描述猫趴在沙发上的场景，也可以用一句文字表达同样的意思。图片由像素构成，文字由 Token 构成，两者看起来完全不同，但指向的现实对象却是同一个。如果 AI 真正学到了这些内容背后的某种共享结构，那么不同模型内部对事物之间关系的表示，就有可能逐渐趋同。

2024 年的研究观察到，模型规模增大往往伴随着跨模态表征趋同，但没有证明这种现象一定发生，也没有解释什么训练方法能够更高效地实现它。

LeCun 和 Balestriero 试图向前推进一步。他们在论文中建立了一个数学框架，将不同模态视为对同一个潜在世界状态的观察，并研究模型在什么条件下可以学习到相互对齐的表示。

答案与训练过程中构造的正样本对有关。

研究者将一种数据关系称为 Good Views，可以理解为对同一个场景的有效观察。

例如，同一个场景的两张照片，或者两段分别描述同一场景的文字，虽然具体内容不完全相同，却共同指向现实世界中的某个状态。与之相对，论文使用 Bad Views 描述另一类训练样本构造方式：例如，同一段文本中的前缀和后续内容，或对同一输入进行遮挡得到的不同片段。

两者的区别在于，前者更有利于模型提取不同观察背后共享的信息；后者可能让模型花费更多表征容量去处理单一模态中特有的细节。

论文提出，当不同 JEPA 模型通过符合特定条件的正样本关系进行训练时，即使它们处理的是不同模态，也能够学到只相差一个旋转变换的表征空间。

所谓“旋转”，并不是改变图像方向，而是对模型内部的高维向量进行数学变换，使不同模型的表示能够对应起来。这是一项有明确前提条件的数学结论，而不是证明所有现有 AI 模型已经拥有完全相同的世界理解。

研究团队随后通过实验检验这一理论。论文将采用不同训练策略的文本模型与视觉模型进行比较，重点观察它们内部的表征结构有多接近。结果显示，采用 Good Views 训练的文本 JEPA，在跨模态表征对齐方面表现突出。

论文所报告的特定跨模态表征对齐指标，分数越高表示模型表征结构越接近，并非语言模型综合能力分数。

其中，1.09 亿参数的文本 JEPA 得分达到 0.184，高于 Qwen2.5-72B 的 0.154。这意味着，在这一测试中，一个参数量只有大型语言模型约六百分之一的小模型，反而学到了与视觉模型更接近的表征结构。

但需要注意，这里的“超过”有严格边界。它不意味着 JEPA 的数学推理、代码生成或知识问答能力超过了 Qwen2.5-72B。 论文比较的是跨模态表征对齐，而不是开发者熟悉的通用大模型能力。

另一个重要实验则涉及训练效率。

研究者发现，在同一语料和比较设置下，Good Views 训练方案用约 2160 万个样本，就能达到下一 Token 预测使用 9 亿个样本时的表征对齐水平。

如果按照样本数量计算，效率提升约 42 倍；但如果按实际读取的文本 Token 数量计算，差距约为 14 倍。

这说明，训练时让模型学习什么样的信息关系，可能比单纯让它处理更多文本更重要。更有意思的是，研究团队还尝试将这种表征对齐能力转化为实际应用。

他们通过一个线性变换，将分别训练的视觉编码器和文本模型连接起来，构建图像描述系统。在 COCO 数据集上，该系统取得了 0.838 的 CIDEr 分数。在另一项无需成对图文数据来拟合对齐变换的实验中，模型在 ImageNet-100 的 Top-5 分类指标上获得 64%，超过论文所比较的部分语言模型方案。这让研究结果不再停留在数学证明上，也展示了跨模态表征对齐可能带来的实际应用空间。

66 岁离开 Meta 创业， LeCun 为什么还在坚持 JEPA？

这篇论文背后，其实是 LeCun 本人的研究经历的延续。

LeCun 于 1960 年 7 月 8 日出生在法国，今年已经 66 岁。曾担任 Meta 首席 AI 科学家，也是卷积神经网络研究的先驱之一，与 Geoffrey Hinton、Yoshua Bengio 共同获得 2018 年 ACM 图灵奖。

在今天的大模型行业，LeCun 是一个有些特别的人物。他既是深度学习浪潮的重要奠基者之一，也是对当前主流大语言模型路线长期持保留意见的研究者。

早在上世纪 80 年代，LeCun 就开始探索神经网络在计算机视觉中的应用。他推动卷积神经网络发展，使机器能够更有效地识别手写字符和图像内容。后来，这些研究成为现代计算机视觉与深度学习的重要基础。

2013 年，LeCun 加入 Facebook，参与创立 FAIR（Facebook AI Research）。此后，他在 Meta 工作了约 12 年，先后担任 FAIR 创始负责人和首席 AI 科学家。但随着 ChatGPT 引发大语言模型热潮，LeCun 与行业主流技术路线之间的分歧也越来越明显。

他并不否认 LLM 的实用价值，却反复强调：仅依靠预测下一个 Token，并不足以构建能够理解物理世界、记住环境状态、推理和规划复杂行动的智能系统。在他的设想中，未来的 AI 不应只是通过海量文本学习语言与知识，还应该像人类和动物一样，通过观察环境来学习世界的抽象结构。

这也是他多年来推动 JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）的原因。与要求模型重建输入细节的训练方式不同，JEPA 更关注学习抽象表征，并在表征空间中进行预测。

2025 年 11 月，LeCun 公开宣布准备离开 Meta，成立新的 AI 研究公司，继续推进 Advanced Machine Intelligence（AMI）研究计划。他当时明确表示，新公司的目标是推动下一轮 AI 突破：构建能够理解物理世界、拥有持续记忆、具备推理与复杂行动规划能力的系统。

2026 年 3 月，AMI Labs 完成约 10 亿美元融资。与大量围绕现有 LLM 展开产品开发的创业公司不同，AMI Labs 将世界模型作为核心研究方向。

这一背景让此次论文多了一层意义。

在拿到图灵奖、经历大型科技公司十多年的研究生涯之后，他没有选择退居幕后，而是离开熟悉的研究平台，参与创办新公司，继续推动一条尚未被证明能够取代主流 LLM 的技术路线。

这其中有一种值得关注的科研坚持：在一个越来越重视模型规模、资本投入和产品发布速度的行业里，LeCun 仍试图从学习机制本身寻找下一次突破。

这篇论文虽然因 Yann LeCun 的名字获得关注，但另一位作者 Randall Balestriero 同样值得介绍。

Balestriero 是布朗大学计算机科学助理教授，研究方向包括自监督学习、深度神经网络理论及表征学习。他的研究经历横跨信号处理、深度网络理论和自监督学习。

2021 年在 Rice University 获得博士学位，之后曾在 Meta FAIR 与 LeCun 合作开展博士后研究。

2023 年，Balestriero 进入 Citadel，从事金融时间序列预测和表征学习相关工作。随后，他又回到学术界，在布朗大学开展研究。

业内评价：有人惊叹， 也有人质疑

论文发布后，最具传播力的说法，无疑是“1.09 亿参数打败 720 亿参数”。

在 Hugging Face 上，论文进入了当日热门论文榜单。共同作者 Balestriero 也亲自出现在评论区，介绍了研究成果。

他特别强调，研究团队利用 Good Views 训练的 1.09 亿参数文本 JEPA，在跨模态表征对齐指标上取得了 0.184 的得分，超过 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。

Yann LeCun 在 x 上回复该论文相关的评论时称，今天的大语言模型之所以能够回答大量问题，很大程度上是因为它们在训练过程中积累了海量的陈述性知识。他写道：

“大语言模型积累了大量陈述性知识。这就是为什么它们能够回答如此多的问题，也是为什么它们需要如此多的参数，进而占用大量内存。”

LeCun 的观点也引发了网友讨论。有人对这条技术路线持观望态度。网友 Sage Williams 评论道：“如果你的观点是对的，那么你的模型最终应该会胜出。我们拭目以待。”

也有人关注到这种训练方式可能带来的实际价值。Peter Ebasone 认为，这对小型实验室和个人研究者来说是个好消息，并表示该技术在基因组学领域可能具有应用潜力。

另一位网友 Gordon Lawton 则提出了一个更具体的技术问题：如果模型能够通过文本中的词语共现、图像中的物体共现来学习世界的结构，那么视频中同时出现的画面与声音是否也适用？毕竟，人类正是通过视觉和听觉的共同作用来感知世界的。

这些评论也反映出外界对 JEPA 路线的不同期待：一方面，人们希望看到这种理论优势最终转化为实际模型能力；另一方面，更高的数据效率，以及跨视觉、听觉等多模态信息学习的可能性，也让部分开发者看到了新的研究方向。

参考链接：

本文来自微信公众号“AI前线”（ID：ai-front），作者：冬梅，36氪经授权发布。