OlmoEarth v1.3:面向全球的 SOTA 嵌入向量
OlmoEarth v1.3: State-of-the-art embeddings for the whole planet
OlmoEarth v1.3 为全球每 10 米像素生成 128 维嵌入向量,前 64 维可单独使用,并已在 Source Cooperative 上向社区开放全球嵌入。在覆盖六大洲、27 项评测中,128 维版本在 20 项上得分最高,64 维版本在 18 项上领先,同时训练算力仅为 v1.2 的 53%、v1 的 18%。模型权重、预训练数据和代码全部开源,预训练 Base 版最终运行约需 2,720 美元的 H100 租用成本。
正文 · AI 翻译
一次计算,处处复用
嵌入向量代表了模型从数百万张图像中学到的内容。OlmoEarth v1.3 读取一年的雷达(Sentinel-1)和多光谱(Sentinel-2 与 Landsat)卫星时间序列,为地球上每个 10 米像素生成一个 128 维向量;前 64 维也可以单独作为一个更小的嵌入向量使用。
基础模型和全球嵌入向量的生成成本高昂,为了确保每个人都能获得其带来的益处,我们已为整个地球计算了这些嵌入向量,并通过 Source Cooperative 与社区共享。在此基础上,作物制图、土地覆盖制图或变化分析就变成了轻量级的建模问题:在其上训练一个小型分类器,然后在本地运行即可。
OlmoEarth v1.3 生成嵌入向量的方式:视觉 Transformer 读取卫星数据,注意力池化器(Attention Pooler)将其池化为每块土地一个向量,再由一个线性层将其降维为 128 个数字。
最先进的嵌入向量
我们在 27 项评测中,将 OlmoEarth v1.3 的嵌入向量与 AlphaEarth Foundations(AEF)和 Tessera v2 进行了对比,覆盖六大洲和许多不同任务。OlmoEarth 的 128 维嵌入向量在 27 项评测中的 20 项上得分最高,总体排名第一。64 维版本体积减半,仍在 27 项评测中的 18 项上领先。作为此次评测的一部分,我们推出了 PLANTEUR——一个面向热带农业的新作物类型基准,这些嵌入向量对分类器从未见过的地方泛化效果最好(PLANTEUR 技术报告可在此处获取)。其背后的一切完全开放:模型权重、预训练数据和预训练代码。
在实践中,这意味着在 OlmoEarth 嵌入向量上训练一个小型分类器,就足以绘制地面上的情况:比如对肯尼亚的小农户作物进行分类、检测达卡以西的砖窑、评估印度尼西亚的火灾损失,以及追踪秘鲁亚马孙地区的金矿开采。
与之前几代 OlmoEarth 模型相比,OlmoEarth v1.3 也是我们训练成本最低的模型。它消耗的计算时间是我们上一版本(v1.2)的 53%、第一版(v1)的 18%,碳排放分别为 50% 和 22%。它同时也仍然是一个强大的微调模型,在研究和合作伙伴标签上的表现与 v1.2 相当。我们的最新模型建立在与早期 OlmoEarth 版本相同的基础之上,经过调优,使嵌入向量保持轻量,同时不牺牲跨任务的准确性,而这种效率优化也将延续到未来的版本中。
完整结果和方法论见我们的技术报告。
如果你想复现它,预训练 OlmoEarth v1.3 Base 的最终运行大约需要花费 2,720 美元的 H100 租用时间。权重、数据和代码全部开放。
一个地方,九年
2017 年至 2020 年(左)和 2020 年至 2025 年(右)之间每个像素嵌入向量的变化程度。品红色表示变化最大。左图:采矿向东南方向蔓延,即右下方的大片区域。右图:那个角落已经沉寂;变化现在位于西侧较老的采矿区,部分是植被恢复,部分是重新开挖。你可以在 OlmoEarth Embeddings Explorer 中自行探索。
在秘鲁的马德雷德迪奥斯地区,拉潘帕周边的非法金矿开采在 2017 年和 2018 年达到顶峰,据 Amazon Conservation 的 MAAP 监测项目称,在坦博帕塔国家保护区缓冲区内清除了超过 1,200 公顷的森林。2019 年 2 月,秘鲁的“水星行动”取缔了其中大部分。自那以后,问题一直是:它是否被彻底遏制了?
嵌入向量有助于回答这个问题。比较每个像素向量在不同年份间的变化,无需任何模型训练,2017 年至 2020 年的对比就会在采矿向东南蔓延的地方亮起。对 2020 年至 2025 年进行同样的比较,信号发生了转移。执法行动在嵌入向量中清晰可见。
更有趣的是第二张图仍然显示的内容。它并不暗淡。据 MAAP 称,西北部的若干区域仍在运营,而随着土地恢复,老采矿区也在不断变化。嵌入向量也记录到了这一点。喘息是短暂的,压力正在再次积聚。2026 年 8 月,据美联社报道,在检察官发现采矿已越界进入坦博帕塔保护区本身之后,秘鲁重新向该保护区派遣了海军巡逻队。
我们的互动报道从马德雷德迪奥斯的这一地带开始,并由此展开其他几个例子。
OlmoEarth Embeddings Explorer
OlmoEarth Embeddings Explorer 是一个基于嵌入向量本身构建的交互式分析工具,以地球的假彩色地图形式呈现。你可以任意平移,在不同年份之间切换以查看景观如何变化,并调出底层的 Sentinel-2 影像来对照真实情况核验地图。然后开始提问:点击一个地点以找到其他相似的地方,或者放置几个带标签的点,就地训练一个小型分类器,再将结果导出为 GeoTIFF。无需账户,无需任何设置。
对许多团队来说,用 OlmoEarth 验证一个想法意味着要进行一次微调运行,耗时约数小时。而在 Explorer 中,第一轮分析只需几秒钟。你只需少量标签就能分析整个区域,无需 GPU。当任务需要微调时,嵌入向量可以帮助你判断它是否值得投入算力,以及模型在哪些方面存在不足。
Explorer 背后的存档保存着 10 米分辨率的嵌入向量,每年约 150 TB,覆盖陆地和邻近沿海水域。发布之初,2025 年、2024 年和 2023 年为全球覆盖,2017 年至 2022 年覆盖部分国家,更多覆盖范围正在陆续推出。你可以获取完整的 128 维版本或更轻量的 64 维版本嵌入向量。每个嵌入向量还附带其来源记录。对于每个 20 公里瓦片和年份,开放溯源表列出了模型读取的 Sentinel-1、Sentinel-2 和 Landsat 场景,并附有托管这些场景的公共目录链接,因此你可以将任何像素追溯到其背后的影像。
本次发布包括 OlmoEarth v1.3 Base 模型、预计算的全球嵌入向量、OlmoEarth Embeddings Explorer 以及技术报告。如果你的工作需要特定的时间窗口,OlmoEarth Studio 可以在你选择的日期、模态和分辨率上运行同一模型,并且有一份教程展示如何在你自己的算力上生成嵌入向量。这些工具协同工作:在 Embeddings Explorer 中探索,在任务需要时于 Studio 中微调,然后从那里继续制作你的地图。所有内容均在 OlmoEarth Artifact License 下发布,与 v1 和 v1.2 采用相同的开放许可证。
为你关心的地方拉取嵌入向量,向它们提出你的问题,并向我们展示你的发现。
本文提及的模型 1
allenai/OlmoEarth-v1_3-Base
更多来自该作者的内容
FairStress:对 LLM 决策中公平性的更深入评估
HiRO-ACEv2:以极低成本模拟 3 公里分辨率的极端天气
本文提及的模型 1
allenai/OlmoEarth-v1_3-Base