瑞士 Swiss AI 发布 Apertus 1.5 多模态模型，上下文扩至 262k tokens

主要增强

原生多模态理解：Apertus 1.5 可同时接受图像、音频与文本，将文档、图表和照片带入对话。模型也能处理口语，不过这一功能仍处于实验阶段。

思考模式：模型可切换至思考模式，在作答前对输入进行推理，从而提升在推理问题上的表现。

长上下文：上下文窗口扩展至 262,144 tokens，较 Apertus 1.0 提升 4 倍。

指令遵循能力提升：相比 Apertus 1.0，指令遵循能力更强，响应更可预测、更准确。

工具使用能力提升：模型针对更好的工具集成进行了训练，能够更有效地使用外部工具和 API。

开放价值观：更严格地遵循《Apertus 宪章》，使模型的价值观和原则更加透明。

训练过程

完整的 Apertus 1.5 训练流程

通过分词器实现多模态

我们在 v1.5 模型中采用早期融合的方式引入多模态：图像和音频以离散 token 的形式与文本 token 进入同一序列，而非使用独立的视觉编码器。图像使用 Emu3.5 分词器进行分词（一张 512×512 的图像变为 1,024 个 token），音频使用 WavTokenizer（每秒 40 个 token）。我们仅扩展了词表，因此架构保持不变，训练速度与纯文本相当。模型能够理解图像和音频，但只生成文本。

预训练

在 Apertus 1.0 的基础上，我们分四个阶段继续预训练：

非配对：文本加上独立的图像和音频，使模型学习新的模态。

配对：图像—说明文字和音频—转写文本配对，使模型将其与语言对齐。

冷却：使用质量更高的数据，包含更多数学和代码内容。

长上下文：窗口从 8k 逐步扩展至 262k tokens。

总体而言，超过一半的训练 token 为纯文本，从而保留了 Apertus 1.0 的语言能力。文本数据使用 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源进行了更新。所有新数据（包括多模态数据）都满足与以往相同的标准：公开可用、采用宽松许可，并追溯遵守 robots.txt 的退出选择。每个来源都列在 apertus-data-transparency 中。

后训练

后训练分五个阶段进行：SFT → 长上下文 SFT → RL → DPO → 宪章对齐（SDPO）。

SFT 使用 370 万个文本样本以及图像和语音数据。推理轨迹仅添加到模型在没有这些轨迹时无法解决的提示中。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了所使用的文本 SFT 混合数据。

在完整的 262k 窗口上进行长上下文 SFT，可恢复短上下文 SFT 所侵蚀的长上下文能力。

RL 采用可验证奖励（RLVR），使用约 35 万个数学、代码、指令遵循、多语言和视觉提示，并混合开启和关闭思考模式。

DPO 使用经评判模型打分的偏好对，提升对话质量、工具使用和安全性。我们发布了偏好池和训练对。

SDPO 通过评判反馈和自我蒸馏，使模型与《Apertus 宪章》对齐。

评估结果

在扩展模型能力的同时，我们也大幅扩展了评估范围。除 Apertus 1.0 所使用的现有文本评估外，我们还新增了多模态评估（图像和音频）以及思考模式评估。

多模态评估通过 MLLM-eval-suite 流程完成，该流程合并了两个主要的多模态评估框架 lmms-eval 和 VLMEvalKit。我们还新增了一系列基于文本的基准测试，并扩展了翻译和多语言能力、安全性以及工具使用的基准测试。这些内容可在我们的后训练评估仓库中找到，该仓库基于 lm-evaluation-harness 的分支。

尽管仍落后于前沿开放权重模型，新版本在编码和指令遵循能力上也有显著提升，Apertus 1.5 8B 在 IF 和多语言任务上优于同等规模的开放权重模型。思考模式进一步提升了在 AIME 等推理密集型挑战性基准上的表现。模型的多模态表现更接近 Gemma 4 12B 及其他当前开放权重模型。Apertus 1.5 的多模态表现在开放权重模型中的空间理解方面，以及在开源模型中的文档/图表理解方面具有竞争力。

我们也感谢合作伙伴和外部评估者在高效基准测试 Apertus 能力方面提供的帮助。特别是，Apertus 1.5 在瑞士法律任务上表现出色，与领先的开放权重模型不相上下（博客、代码）。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 展现出的机器翻译能力与 GPT-OSS-20B 相当，并优于 Claude Haiku 4.5 或 Google Translate 等模型（排行榜、论文）。

评估卡片：Apertus ❤️ EvalEval

Apertus 与 EvalEval 联盟合作，确保基准测试完全透明且可复现。我们以 Every Eval Ever（EEE）schema 发布 Apertus 1.5 的结果，这一共享格式不仅记录分数，还记录由谁运行评估、如何访问模型、生成设置，以及每个指标应如何解读：这些细节在排行榜上通常缺失，却往往能解释为何看似相近的分数会存在差异。

结果展示在下方评估卡片中，该卡片将运行数据与基准测试和模型元数据整合为一条可解读的记录，同时也可通过 Hugging Face Community Evals 获取。英国 AI 安全研究所正是使用同一套基础设施公开其评估结果。由于我们的文本评估运行在我们公开的 lm-evaluation-harness 分支上，而 EEE 通过专用转换器支持该分支，任何人都可以重新运行这些评估，并在相同设置下将自己的数值与我们的数值进行比较。

结构化评估报告的意义不止于研究。EvalEval 已将评估卡片映射到 AI 治理要求，包括《欧盟人工智能法案》第 55 条和 GPAI 行为准则，并发现 EEE schema 能够表示这些框架所要求的 60 项评估报告要素中的 56 项。这与我们发布 Apertus 的方式一致：在发布模型的同时，我们发布训练内容公开摘要，并自愿发布行为准则文件。机器可读的评估记录是顺理成章的下一步：让监管机构、部署者和研究人员更容易找到、解读和比较模型背后的证据。

我们致力于通过评估卡片和 EEE schema 推动可复现且透明的评估，并鼓励其他模型开发者以相同方式报告结果，以便分数能够在不同模型和组织之间进行比较。

Apertus 1.5 可复现性

所有配方、消融实验和数据混合均在技术报告中记录。我们旨在通过公开且易于获取 v1.5 训练过程，推动开放模型开发的普及。中间检查点托管在我们的 Apertus 1.5 Hugging Face 集合中，包括基础权重、SFT、RLVR 和 DPO，以及我们精选的训练数据混合/自定义数据集，位于 Apertus 1.5 数据集集合中。共享这些内容使研究人员能够探究每个阶段如何改变模型行为。

报告涵盖了关于不同阶段后训练数据影响的众多消融实验，我们观察到，在 SFT 期间与文本数据混合的多模态数据有助于提升所有模态的表现。我们还发现，多模态推理轨迹的收益在随后的纯文本强化学习中依然保留：从使用多模态轨迹训练的 SFT 检查点出发，RL 对数学能力的提升大于从纯文本检查点出发，并且推理任务上的优势在整个训练过程中持续存在。

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款广泛使用的应用，它们最近集成了 Apertus 1.5。这些部署已连同其他部署一起链接在社区展示中——请参阅此讨论帖以了解预览。

包括 Swisscom、Infomaniak、Phoeniqs 以及我们通用可用性指南中列出的其他公司在内的多家提供商已宣布，以面向开发者的 API 形式提供 Apertus 1.5 的访问。报告还详细说明了我们如何与外部评估者合作来测试和准备模型。

运行模型的技术说明见 Hugging Face 上 Apertus 各版本的模型卡片以及我们的快速入门指南。

如何参与

感谢阅读这篇博客文章并成为我们社区的一员！我们刚刚在 Hugging Face 分析中庆祝了五百万次下载 🤗，并且不会放慢脚步。在最近于苏黎世举行的 AI+X 峰会上，我们的团队宣布了 Apertus 2.0 的路线图：稀疏/MoE 架构、总参数约 600B、延长训练计划，并将智能体、数学和编码作为优先事项。

总之：我们邀请您阅读我们的报告、下载模型、探索中间检查点、微调权重并复现我们的评估。我们的出版物或网站 FAQ 中尚未涵盖的问题随时欢迎提出，我们也希望了解哪些主题对社区未来的深入探讨最有用。

如果您使用或基于 Apertus 进行构建，请填写展示表单，并通过我们联系页面上的选项与我们联系。我们期待展示更多工作、了解您正在构建的内容，并听取如何改进 Apertus 的意见！

引用

Project Apertus 等。“Apertus 1.5：从开放文本模型到开放多模态推理器。”arXiv:2610.15542。预印本，arXiv，2026 年 10 月 11 日。https://doi.org/10.48550/arXiv.2610.15542 。

本文提及的模型 9

swiss-ai/Apertus-v1.5-70B

swiss-ai/Apertus-v1.5-70B-RL

swiss-ai/Apertus-v1.5-70B-SFT

swiss-ai/Apertus-v1.5-70B-base

swiss-ai/Apertus-v1.5-8B

swiss-ai/Apertus-v1.5-8B-DPO

swiss-ai/Apertus-v1.5-8B-RL

swiss-ai/Apertus-v1.5-8B-SFT

swiss-ai/Apertus-v1.5-8B-base

本文提及的数据集 9

epfml/FineWeb2-HQ-Plus

gretelai/gretel-safety-alignment-en-v1

swiss-ai/Apertus-v1.5-Preference-Data

swiss-ai/Apertus-v1.5-Preference-Pool

swiss-ai/Apertus-v1.5-SFT-mix

本文提及的论文 2

Last Translation Benchmark

Apertus 1.5：从开放文本模型到开放多模态推理器

本文提及的集合 2