Article · AI translation
🤗 模型 | 📄 技术报告 | 📊 数据 | 💻 代码 | 🌎 嵌入向量探索器 | 🗺️ 互动故事
今天,我们发布了先进的卫星影像嵌入模型 OlmoEarth v1.3。与此同时,我们还分享了覆盖全球的预计算年度嵌入向量(10 米分辨率、64 维和 128 维),以及一款可根据这些嵌入向量探索和定制地图的新浏览器工具——OlmoEarth Embeddings Explorer。这意味着任何人都能立即使用 OlmoEarth v1.3,从追踪随时间发生的变化到寻找相似地点;无需登录,也无需具备高深的技术知识。
此前,使用 OlmoEarth 的主要方式是在 OlmoEarth Studio 中进行微调:为每项任务训练一个模型,再用它处理卫星影像以制作地图。这需要能够使用 GPU,并能够下载和存储影像。嵌入模型将卫星数据压缩成可直接使用的特征,让这些特征能够以较低成本重复用于多种任务。
借助 OlmoEarth v1.3,我们很高兴为用户提供更多方式,让他们以最适合自己的方式探索和利用地球尺度的数据成果。
计算一次,处处复用
嵌入向量代表模型从数百万张图像中学到的内容。OlmoEarth v1.3 读取一年的雷达(Sentinel-1)和多光谱(Sentinel-2 与 Landsat)卫星时间序列数据,为地球上每个 10 米像素生成一个 128 维向量;前 64 维也可以单独作为较小的嵌入向量使用。
基础模型和全球嵌入向量的生成成本高昂。为确保每个人都能从中受益,我们已计算出覆盖整个地球的嵌入向量,并通过 Source Cooperative 与社区共享。有了这些数据,制作农作物地图、土地覆盖地图或开展变化分析就成了轻量级建模问题:只需在嵌入向量之上训练一个小型分类器,并在本地运行。
OlmoEarth v1.3 如何生成嵌入向量:视觉 Transformer 读取卫星数据,Attention Pooler 将数据汇聚为每块地表区域的一个向量,然后由线性层将其缩减为 128 个数值。
先进的嵌入向量
我们在涵盖 6 大洲和多种不同任务的 27 项评测中,将 OlmoEarth v1.3 的嵌入向量与 AlphaEarth Foundations(AEF)和 Tessera v2 进行了比较。OlmoEarth 的 128 维嵌入向量在 27 项评测中的 20 项得分最高,综合排名第一。大小减半的 64 维版本仍在 27 项评测中的 18 项领先。在这次评测中,我们推出了 PLANTEUR,这是一项针对热带农业的新农作物类型基准测试;这些嵌入向量对分类器从未见过的地区具有最佳泛化能力(PLANTEUR 技术报告可在此处获取)。支撑这些嵌入向量的所有内容均完全开放:模型权重、预训练数据和预训练代码。
在实际应用中,这意味着只需用 OlmoEarth 嵌入向量训练一个小型分类器,就足以绘制地表事物的地图,例如识别肯尼亚小农种植的作物、探测达卡以西的砖窑、评估印度尼西亚的火灾损失,以及追踪秘鲁亚马孙地区的金矿开采活动。
与前几代 OlmoEarth 模型相比,OlmoEarth v1.3 也是我们训练成本最低的模型。它所需的计算时间分别是上一版本(v1.2)的 53% 和首个版本(v1)的 18%,碳排放量则分别为两者的 50% 和 22%。同时,它仍是一款表现出色的微调模型,在研究和合作伙伴提供的标签数据上的表现与 v1.2 相当。我们的最新模型沿用了早期 OlmoEarth 版本的基础,并经过调整,使嵌入向量在各项任务中保持准确性的同时也保持轻量;这方面的效率改进也将延续到未来版本。
完整结果和研究方法见我们的技术报告。
如果你想复现这一结果,OlmoEarth v1.3 Base 最终一次预训练所需的 H100 租用算力费用约为 2,720 美元。模型权重、数据和代码均已开放。
一个地方,九年
2017 年至 2020 年(左)以及 2020 年至 2025 年(右)期间,每个像素的嵌入变化幅度。洋红色表示变化最大。左图:采矿活动向东南扩展,对应右下方的大片区域。右图:那个角落已趋于平静;变化如今集中在西侧较早的采矿区,部分来自植被恢复,部分来自再次开挖。你可以在 OlmoEarth Embeddings Explorer 中自行探索。
据 Amazon Conservation 的 MAAP 监测项目称,在秘鲁马德雷德迪奥斯地区,拉潘帕周边的非法金矿开采于 2017 年和 2018 年达到高峰,清除了坦博帕塔国家保护区缓冲区内超过 1,200 公顷的森林。2019 年 2 月,秘鲁的“水星行动”叫停了其中大部分采矿活动。此后一直存在的问题是:这些活动是否一直没有恢复?
这些嵌入有助于回答这个问题。无需训练模型,只要比较不同年份每个像素的向量,2017 年至 2020 年的对比就会凸显采矿活动向东南扩展的区域。将同样的比较用于 2020 年至 2025 年,信号便转移了。在嵌入中可以看到打击行动的效果。
更值得关注的是第二张地图仍然显示出的情况。它并非一片暗色。据 MAAP 称,西北部的一些地点仍在开采,而随着土地恢复,旧采矿区也在持续变化。嵌入同样记录了这些变化。短暂的喘息期已经过去,压力正再次加剧。据美联社 2026 年 8 月报道,检察官发现采矿活动已越过边界进入坦博帕塔保护区后,秘鲁再次派出海军巡逻队进入保护区。
我们的互动报道从马德雷德迪奥斯的这片地区展开,并由此介绍另外几个例子。
OlmoEarth Embeddings Explorer
OlmoEarth Embeddings Explorer 是一款基于嵌入构建的交互式分析工具,以伪彩色地图呈现整个地球。你可以平移到任意地点,切换年份查看地貌如何变化,并调出底层的 Sentinel-2 影像,将地图与实际影像对照。接着可以开始提出问题:点击一个地点,寻找其他外观相似的地方;或者标注几个点,当场训练一个小型分类器,再将结果导出为 GeoTIFF。无需账户,也无需设置。
对许多团队来说,用 OlmoEarth 检验一个想法意味着进行一次微调,通常需要数小时。在 Explorer 中,初步分析只需几秒。只用少量标签就能分析整个区域,无需 GPU。当任务需要微调时,嵌入可以帮助你判断是否值得投入算力,以及模型有哪些不足。
Explorer 背后的档案库以 10 米分辨率存储嵌入数据,每年约 150 TB,覆盖陆地及邻近的沿海水域。发布时,2025 年、2024 年和 2023 年的数据覆盖全球,2017 年至 2022 年的数据覆盖部分国家,后续还将扩大覆盖范围。你可以获取完整的 128 维嵌入版本,也可以获取更轻量的 64 维版本。每个嵌入还附有来源记录。对于每个 20 公里大小的瓦片和每一年,公开的溯源表列出了模型读取的 Sentinel-1、Sentinel-2 和 Landsat 影像,并提供收录这些影像的公共目录链接,让你能追溯任意像素所依据的影像。
开始使用
此次发布包括 OlmoEarth v1.3 Base 模型、预先计算的全球嵌入数据、OlmoEarth Embeddings Explorer 和技术报告。如果你的工作需要特定的时间范围,OlmoEarth Studio 可以按你选择的日期、数据模态和分辨率运行同一模型;另有教程介绍如何用自己的计算资源生成嵌入。这些工具可以配合使用:在 Embeddings Explorer 中探索,在任务需要时于 Studio 中微调,然后以此为基础制作地图。所有内容均依据 OlmoEarth Artifact License 发布,与 v1 和 v1.2 使用相同的开放许可。
获取你关心的地点的嵌入数据,用它们研究你的问题,并向我们展示你的发现。