Aleph Alpha 发布 Kolibri-1：78B 参数、德语推理的开放权重模型

我们等了很久，才等到一个也能很好地处理德语文本的模型。其间，随着Soofi模型的发布预告，人们一度燃起希望。但这份希望很快又破灭了，因为该模型至今仍未公开可用，而且该联盟在训练时很可能还很有“创意”地混入了基准测试数据。因此，人们对Aleph Alpha如今发布的Kolibri-1模型更加期待。

广告之后继续阅读

iX-plore是iX杂志的在线系列，面向所有希望探索新工具和新技术的人。我们会在短文中介绍它们能做什么、适用于什么场景，以及为什么值得仔细一看。

规模与架构

首先引人注目的是模型的规模：780亿参数相对不太常规。许多模型在此期间已经形成了标准规模，而这个模型并不符合这一模式。相对于这样的参数量，384个专家的数量相当大；在6个路由专家和1个固定专家的情况下，推理时只有34.6亿活跃参数。常规公开发布的权重主要以FP8量化形式提供；个别模型组件仍保留为bfloat16。此外，Aleph Alpha还提供BF16版本。

该架构可以说相当传统：Kolibri-1虽然采用了混合注意力架构，包含四个滑动窗口注意力层（SWA），并与一个全注意力层交替出现。但对于后者，模型使用的是分组查询注意力，而DeepSeek或Qwen等提供商已经淘汰这种机制好几代了。这可能也导致了上下文略小，仅为256K Token，不过在推理时可以外推到约100万Token。

Kolibri-1的架构。

（图片：Aleph Alpha）

Kolibri-1还具备推理能力；也就是说，它可以通过某种“思考过程”来论证自己的回答。这一过程的长度可分为三档控制。这样就可以避免模型在简单问题上不必要地长时间思考。至此，该模型并没有太大惊喜。

训练数据

广告之后继续阅读

不过，训练数据方面确实有不同之处，其处理方式与竞争对手不同。这从模型“最前端”就开始了，也就是分词器。

分词器负责将文本切分为词或其组成部分，即Token。许多多语言模型，尤其是中国提供商的多语言模型，必须在这里做出妥协，以便尽可能高效地表示不同语言中的尽可能多的词（或词组成部分）。由于Aleph Alpha专注于德语和英语，这里不存在这个问题。因此，Kolibri可以用更少的Token表示英语单词，尤其是德语单词。这不仅在按Token付费时值得关注，在内部处理中也是如此。如果节省10%的Token，处理速度几乎可以同样幅度地提升。

Kolibri-1还特别适合法律和政治内容。可以出于趣味试一试，德国联邦议院的整个术语表需要多少Token。Kolibri-1需要1137个Token，而作为对比引入的非常创新的DeepSeek-V4.1-Flash需要1910个Token——差别真大！因此，这里可以节省大量Token，并使用更短的上下文。此外，处理速度也可以因此加快，因为许多词不再需要由其组成部分拼合而成。这同时提高了预测的精确度。

借助这个分词器，Aleph Alpha用20万亿Token对模型进行了预训练，并使用截至2026年6月18日的内容。这非常新，因为基础训练通常需要数周或数月。与许多其他提供商一样，Aleph Alpha也使用Common Crawl数据，但为此非常详细地描述了一个去重流程；除了静态测试外，开发者还使用了Gemma-4-26B-A4B等其他LLM。不过，仅靠其中包含的数据还不足以达到技术报告中提到的21.3%占比。为此，开发者还使用了另一个模型（Mistral-NeMo-12B），让英语内容用德语重新表述。此外还使用了翻译数据，其中部分经过人工整理，以避免翻译过于逐字直译。

Aleph Alpha在质量保障上投入了大量精力，其中使用其他模型作为“评判者”。借此以及由此计算出的相关性，可以识别出特别“好”的文档，随后将其纳入“数据混合”。不同来源会获得不同的权重，这与其文档质量相关。

这条自有的数据流水线使提供商日后能够更轻松地通过训练流程，将更新的数据整合到未来的模型版本中。

预训练数据的分布。

（图片：Aleph Alpha）

在随后所谓的中期训练中，Aleph Alpha使用了3.4万亿Token的“更高质量”内容，其中包括逻辑推理、数学文档和程序代码。在中期训练中，上下文从16K扩展到64K，以便在最后的预训练阶段最终达到256K。这在耗时的最初训练阶段节省了大量算力。在中期训练中，Kolibri-1同样使用来自流水线的数据，这些数据会根据质量进行混合。开发者在此分别采用DeepSeek的Auxiliary Free Load Balancing的一种变体，他们称之为Exact Quantile Balancing，以便对所有专家进行“均衡”训练。此外，Aleph Alpha还使用所谓的Load-Error Injection，以便在微批次中也能兼顾所有专家。这些“均衡”方法的不同后续发展如今已在几乎所有提供商中成为主流，尤其是在他们使用大量专家时。

在后训练阶段，模型必须学会正确回答问题。为此，开发者同样使用了来自不同领域的德语和英语数据，例如工具使用、指令遵循和代码。这些数据部分也由其他模型生成，即GLM-5.2、GLM-5.3和Qwen3.8-27B。后者令人惊讶，因为该模型直到8月底才面世。Aleph Alpha教会模型控制其思考深度，并用德语表述其思路。在最后这一点上，它因此有别于几乎所有其他可用模型，后者始终用英语思考。另一个特别之处是Merlin-Arthur协议。借助它，人们试图训练模型摆脱幻觉。它的运作方式像一场游戏：遮住答案中相关和不相关的部分。模型必须在没有这些知识的情况下判断哪个答案更合适，并因正确选择而获得奖励。显然这种方法有效，因为在基准测试中可以看出，该模型的幻觉明显更少。

在所有训练数据方面，Aleph Alpha都注意遵守欧盟《人工智能法案》和《通用数据保护条例》。此外，该提供商还使模型契合欧洲的“民主共识”。人们可以这样理解这一表述：即有些回答是中国模型出于政治原因不被允许给出的。

当然，训练过程极其耗费资源。为此，它使用Muon优化器来调整模型权重，而嵌入的缩放因子和权重仍由无处不在的AdamW优化器负责。

所需的基础设施规模巨大：预训练在96个节点上的768块Nvidia B200 GPU上进行，根据模型卡，这大约耗费了392,000 GPU小时（约合45 GPU年）。对于后训练中的强化学习，Aleph Alpha使用了一个由256块Nvidia B300 GPU组成的集群。其中特别有趣的是，有144块GPU仅负责推理。这很可能是因为GRPO方法需要不同的答案，然后对其进行相互评估。在6月中旬知识截止之后到9月底之前完成这一切，是一项了不起的成就。当然，此前已有前期工作：Aleph Alpha之前训练了Kolibri Origin模型。

为了使训练可复现，Aleph Alpha使用所谓的ModelFactory。可以把它想象成一种（以代码形式呈现的）配方，精确描述了模型的训练过程。这些配方受版本控制，因此整个训练过程都可以复现。前提是拥有必要的基础设施，并愿意投入相应的大量计算时间。能源成本也不可忽视，Aleph Alpha估计为950 MWh，按每千瓦时0.30欧元的价格（对于这类大客户肯定更低）计算，相当于285,000欧元。

试用

由于该模型以开放权重形式提供，因此可以毫无问题地试用。vLLM通过一个插件支持该模型，llama.cpp也已通过一个小补丁提供支持。

不出所料，该模型运行得非常快。这归因于其仅略高于40亿的激活参数。它因此几乎与Qwen3.5-35B-A3B处于同一速度级别。该模型的回答全部正确。尤其引人注目的是（训练出的）德语推理过程。关于洗车设备的回答虽然有些繁琐，但许多其他模型如果回答得非常简短，并且部分还带有表情符号的讽刺表述，就很让人怀疑这个问题已经包含在训练数据中。

总的来说，该模型运行得非常好。它是否真的比其他模型更能避免幻觉，还有待实际使用检验。即便是像“总部位于汉诺威、大量报道计算机内容的Heise出版社是否也组织过计算机展会CeBIT？”这样的问题，也没能让模型混乱，而是正确回答：德国展览公司（Deutsche Messe AG）直到2018年一直组织CeBIT。如果反过来问“汉诺威的Heise出版社组织哪些展会？”，得到的回答是模型不知道答案，建议去网站查看——不错！

结论

Kolibri-1是一个真正扎实的模型，德语说得非常好，也能用德语进行论证。因此，它非常适合企业和政府机构中的预期应用场景。从技术上看，它为此做好了充分准备，因为可以在自有基础设施上自主、主权地运行它。

这份技术报告读起来非常有趣，它在细节上也毫不吝啬，而其他报告往往乐于省略这些细节。因此，人们不仅能了解到分词器的设计，还能知道训练数据量是如何产生的、其中哪些其他模型发挥了作用，以及这一切是如何汇聚到一起的。可以清楚地看出，其中投入了多少工程工作。这在一定程度上弥补了“老派”架构带来的遗憾。

同样令人兴奋的是 ModelFactory，它由简单、可读的代码模块构建出模型。这是可追溯性的典范，正是一个符合 DSGVO 和 EU-AI-Act 要求的模型所应具备的特征。

(fo)