OlmoEarth v1.1：更高效的模型家族

2026年5月19日

Gabriel Tseng - Ai2

更新于6/29：OlmoEarth v1.2 现已发布

今天我们发布 OlmoEarth v1.2，它实现了旋转位置嵌入（RoPE）——减少了嵌入中的伪影，并带来小幅性能提升。这一更新直接源于合作伙伴对更干净嵌入的需求。

OlmoEarth 将卫星图像处理为瓦片（图块），并将每个图块转换为嵌入，即一种数值表示。旧版本用固定信号（绝对位置嵌入，APE）标记图块的位置，而该信号会作为多余的伪影出现在嵌入中。RoPE 解决了这个问题：与 APE 不同，RoPE 会根据距离旋转模型所比较的向量。这样既能编码图块位置，又不会在嵌入中引入伪影。

在所有模型规模上，我们的 kNN/线性概率评估都显示出一致的提升。

OlmoEarth v1.2 提供 Nano、Tiny、Small 和 Base 四个版本——全部开源并现已可用。如果你已经在使用 Base，我们建议继续使用；但如果你使用的是 Tiny 或 Nano，我们建议改用 Small。更多信息请阅读我们的技术报告。

以下是原始文章。

我们于 2025 年 11 月发布了 OlmoEarth（v1）。此后，合作伙伴已将其应用于广泛的任务，从追踪红树林变化到对森林丧失的驱动因素进行分类，再到在数天内生成国家级作物类型地图，将部署扩展到国家、大陆和全球范围。每一次发布都让我们更接近使命：将最先进的 AI 带给致力于保护人类和地球的组织与社区。

当 OlmoEarth 处理卫星影像以在数万到数十万平方公里的范围内进行预测时，效率决定了哪些事情可行。在运行 OlmoEarth 的整个生命周期中——数据导出、预处理、推理和后处理——计算是迄今为止最高的成本。更高效的模型意味着我们能在 OlmoEarth 平台上支持更多合作伙伴，也意味着任何自行运行 OlmoEarth 的人都能以更快的速度和更低的成本利用这项技术。

这就是我们构建 OlmoEarth v1.1 的原因：这是一个新的模型系列，在保持 OlmoEarth v1 于一系列研究基准和我们与合作伙伴共同构建的任务上的性能的同时，将计算成本最多降低 3 倍。

OlmoEarth 模型是基于 Transformer 的模型，Transformer 是当今机器学习中的主流架构之一。为了处理遥感数据，我们首先将其转换为模型可以摄入的 token 序列。

在基于 Transformer 的模型中，有两个重要的杠杆控制效率：模型规模（这就是我们发布一系列模型的原因，以便用户选择适合其计算预算的规模）和 token 序列长度。计算成本随 token 序列长度呈二次方增长，因此即使小幅减少也能显著降低运行模型的成本。

MACs，即乘加运算，用于估算一次模型前向传播所需的计算量；MACs 越低通常意味着推理越便宜、越快。y 轴是倒置的，因为平均排名越低越好。标签显示模型系列和规模。所有绘制的点均使用粘贴的 MAC/排名值。设计 token 这为基于 Transformer 的遥感模型提出了一个重要问题：一个 token 应该代表什么？

以 Sentinel-2 影像为例，这是我们处理的一种常见模态。一个 Sentinel-2 输入将是一个张量，具有高度和宽度（H、W 分别代表纬度和经度方向的像素）、一个时间维度 T，以及 12 个 Sentinel-2 通道（[H, W, T, D=12]）。

目前，我们将数据分割为基于分辨率的图块。具体来说，这意味着我们会选择某个空间图块大小 p，并将整个 Sentinel-2 图像分割为大小为 p x p 的图块：

对于每个图块，我们为每个时间步、每个分辨率创建一个 token。因此，一个具有 2 个时间步的 Sentinel-2 输入会为每个图块生成 6 个 token（2 个时间步 x 3 个分辨率：10m、20m 和 60m）。

总的来说，一个 [H, W, T, D=12] 的 Sentinel-2 输入将生成 H/p x W/p x T x 3 个 token。

在处理 Sentinel-2 数据时，为每个分辨率使用唯一的 token 是一种常见技术——Galileo 和 SatMAE 都采用这种方法，而 SatMAE 在这样做时显示出显著更好的结果。然而，这并非普遍做法：CROMA 是一个对所有波段只使用单一 token 的模型，无论分辨率如何。由于 token 数量以乘法方式复合，将各分辨率合并为单一 token 可产生三倍少的 token，并在预训练、微调和推理中带来可观的节省。

以这种朴素方式合并 token 会导致显著的性能下降，包括在 m-eurosat kNN（遥感模型的一个常见基准任务）上下降 10 个百分点。我们假设，将 Sentinel-2 波段分离到不同的 token 中会使 OlmoEarth 更容易建模重要的跨波段关系。

要在不影响性能的情况下合并 token，需要我们修改预训练方案。我们在论文中详细描述了这些更改。

结果是一个“以更少资源做更多事”的模型家族。在每一种规模下，OlmoEarth v1.1 的运行成本都比 OlmoEarth v1 低至多三倍，使每个运行 OlmoEarth 的团队都能更负担得起频繁的、行星尺度的地图刷新。如果你正在使用原始 OlmoEarth 家族中的模型，请尝试 OlmoEarth v1.1。它提供与 OlmoEarth v1 相似的性能，同时只需三分之一的算力，不过我们也观察到了一些性能回退（更多细节请参阅我们的技术报告）。如果它适用于你的任务，你应该会在微调和推理期间看到显著的加速。

预训练的遥感模型具有许多自由度，这使它们难以研究。当性能发生变化时，究竟是架构、数据集，还是预训练算法造成的？

我们在与 OlmoEarth v1 相同的数据集上训练 OlmoEarth v1.1，因此两者之间的任何差异都隔离了方法学变化的影响。我们希望这能增进对遥感模型预训练时科学原理的理解。

查看 OlmoEarth v1.1 的权重和训练代码，包括我们的 Base、Tiny 和 Nano 模型的权重。