东锡推荐生成式表征学习论文
推荐阅读！
Dongxi 东锡 NLP 推荐阅读论文《Generative Representation Learning for Scalable Latent Tokenization》。被引帖介绍，该工作提出一种可扩散的表征学习方法，在 DINO/LeJEPA 失效时仍可扩展，并给出 tokenizer 与扩散模型的联合 scaling law，相比原始扩散更算力最优。
主题
查看原帖1/ 分词器是一个新的扩展轴！ 我们提出了一种用于可扩散表征学习的方法，它既有原则性、又可扩展，并且在 DINO/LeJEPA 崩溃时仍然有效。 我们得到了分词器+扩散的联合缩放定律，并且与原始扩散相比它是算力最优的 与 @drfeifei @GordonWetzstein @jcjohnss @ericryanchan @vincesitzmann @KyleSargentAI 合作 下方是推文串、论文和博客文章
查看原文
1/ The tokenizer is a new scaling axis! We introduce an approach for diffusable representation learning that's principled, scalable, and works when DINO/LeJEPA collapse. We get joint tokenizer+diffusion scaling laws and it's compute-optimal vs raw diffusion w/ @drfeifei @GordonWetzstein @jcjohnss @ericryanchan @vincesitzmann @KyleSargentAI Thread, Paper, and Blogpost below
正文
推荐阅读！