先了解这件事
AI 综述
2026年10月28日,Cartesia发布系列文章第二篇,用compute-to-loss和loss-to-loss两类缩放律比较字节级Transformer、BPE、去掉预分词的BPE-NP、BLT-like与H-Net。Cartesia称,BPE分词在预训练算力效率上比字节级模型高近5倍,但同等验证bpb下OLMES下游损失明显更差,相当于约1.9倍算力差距;H-Net同时获得压缩带来的算力效率与字节级模型的迁移能力,直接拟合compute-to-OLMES约为2.06倍。文章还指出预分词这一手工正则步骤对两项指标都有明显影响,并讨论了BPE的prompt boundary问题。
AI 根据公开报道生成
最新进展 · 正式报道
Cartesia 研究：从 token 到字节，分词先验如何影响语言模型的下游迁移事件进展
1 个已确认进展
- 来源：Cartesia 产品与研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月28日
Cartesia 产品与研究一手
Cartesia 研究：从 token 到字节，分词先验如何影响语言模型的下游迁移
Cartesia 发布系列文章第二篇，用 compute-to-loss 和 loss-to-loss 两类缩放律比较字节级 Transformer、BPE、去掉预分词的 BPE-NP、BLT-like 与 H-Net。结论是 BPE 分词在预训练算力效率上比字节级模型高近 5 倍，但同等验证 bpb 下 OLMES 下游损失明显更差，相当于约 1.9 倍算力差距；H-Net 同时获得压缩带来的算力效率与字节级模型的迁移能力，直接拟合 compute-to-OLMES 约为 2.06 倍。文章还指出预分词这一手工正则步骤对两项指标都有明显影响，并讨论了 BPE 的 prompt boundary 问题。