Ai2 的 Bolmo 字节级语言模型研究登上 Nature，并发布新 checkpoint

2026年10月7日

Ai2

去年12月，我们推出了Bolmo，这是我们完全开放的字节级语言模型系列。如今，Bolmo背后的研究已在Nature上发表，我们还在Hugging Face上发布了新的checkpoint，将这一基础方法从作为Bolmo起点的Olmo模型扩展到其他模型系列。

我们还发布了Stage 1 checkpoint，它在训练Bolmo新增的字节级组件时保持原始全局模型冻结，为研究人员提供了一个更快的起点，以便实验和扩展该架构。

大多数语言模型并不直接处理文本。相反，它们首先将文本拆分为子词：从固定词表中抽取的词块。这种方法效果非常好，但在处理拼写、异常字符串、罕见词或无法干净地映射到这些预定义词块的文本时，也可能使模型变得不够灵活。

字节级模型采用不同的方法，将文本作为计算机用来表示字符的底层字节来处理。因此，像Bolmo这样的模型从文本的更低层表示入手——即对应字母、标点、符号和其他字符的字节序列。

在这一层级上工作可以提升模型对细粒度文本结构的理解，从空白字符到不同的书写系统，而不必将其绑定到固定词表。而且，由于字节是数字数据的基本表示，字节级建模最终可能为处理包括图像和音频在内的其他类型信息提供共同基础。

然而，从历史上看，要让字节级模型达到子词模型的性能，需要从头训练——这是一项昂贵的工作，使得字节级方法难以在子词模型快速改进的同时保持同步。

借助Bolmo，我们展示了另一种方法。我们创建了一个称为byteifying的过程，它取一个已经具备能力的子词模型，通过相对较短的额外训练将其转换为字节级模型。我们使用该方法从开放的Olmo模型开发出Bolmo 1B和Bolmo 7B，我们认为这产生了首批完全开放、在广泛任务上与强子词模型具有竞争力的字节级语言模型。

在Nature论文中，我们展示了byteifying可以推广到Olmo之外。我们将同样的过程应用于Qwen 3 8B和Llama 3 8B，创建了两个新的字节级模型：Bwen 8B和BlamaLlama-B 8B。两者都接近匹配其派生自的模型，而Bwen 8B是我们迄今最强的byteified模型——在我们的综合评测套件上超过了Bolmo 7B。

开发者和研究人员已经开始将Bolmo适配于特定应用，包括一个用于俄语到英语诗歌和歌词翻译的Bolmo 7B微调版本。

Bolmo的发表紧随Ai2近期在Nature上的其他研究。今年2月，我们的论文《Synthesizing scientific literature with retrieval-augmented language models》展示了专门的检索、排序和引用处理如何帮助语言模型以更可靠的依据综合科学文献。

Bolmo、那项工作以及我们更广泛的研究反映了一个共同信念：当研究社区能够检查、复现并轻松地在此基础上构建时，AI的基础性进展才更具影响力。

对Bolmo而言，这意味着开辟一条通往不再被锁定于单一信息表示方式的模型的道路。未来的系统可以跨语言、领域和任务调整其表示，同时研究人员可以测试新架构，而无需重复完整的训练成本。由于字节也延伸到文本之外，同样的想法最终可能适用于其他类型的数据。

研究人员也开始将Bolmo作为新工作的基础，包括在字节级模型之间迁移能力的实验，以及探究像Bolmo这样的分层字节架构的效率与细粒度字符理解之间权衡的研究。

通过完全开放Bolmo及其训练配方，我们希望帮助研究人员挑战当今语言模型中内置的假设——并发现当这些假设改变时，哪些事情将成为可能。

加入我们

在Ai2，我们正在构建透明、开源AI的未来——以开放方式构建，以赋能科学进步和对这一改变世界的技术的基本理解。我们不是为了盈利，我们是为了确保AI的益处被广泛共享并造福人类。如果这吸引你，请看看我们的开放职位。