人工智能深度学习遥感卫星图像特征工程机器学习地球观测计算机视觉

卫星数据的表征学习与手工特征工程的比较

卫星数据表征学习利用神经网络从原始图像中自动发现有用的模式，而手工特征工程则依赖于人工设计的描述符，例如光谱指数和纹理特征。两种方法都用于地球观测任务，但在可扩展性、适应性和有效部署所需的专业知识方面存在显著差异。

亮点

表征学习能够随着数据量的增加而扩展，而手工特征提取一旦捕获到最具信息量的指标，其效果就会趋于平缓。
手工打造的特征仍然具有可解释性和物理基础，而学习到的表征通常需要事后解释工具。
Prithvi 和 SatMAE 等基础模型现在提供可跨传感器和地理位置迁移的预训练表示。
手工构建的流程可以在配置一般的硬件上几秒钟内完成训练，而深度模型可能需要数周的 GPU 时间。

卫星数据的表征学习是什么？

一种深度学习方法，其中神经网络直接从原始或经过最少处理的卫星图像中自动学习有意义的特征。

深度卷积网络于2012年左右首次应用于遥感土地覆盖分类，并在2014年取得了重大进展。
无需手动指定，即可从光谱波段、空间模式和时间序列中学习分层特征。
对比学习等自监督方法现在利用来自 Sentinel-2 和 Landsat 等任务的数百万张未标记卫星图像。
Prithvi、SatMAE 和 SatVision 等基础模型已使用 PB 级地球观测档案进行预训练。
在 EuroSAT、BigEarthNet 和 SEN12MS 多传感器数据集等基准测试中，达到了最先进的精度。

手工打造的特征工程是什么？

传统方法是指领域专家手动设计数学描述符，从卫星图像中提取有意义的信息。

依赖于自 20 世纪 70 年代以来一直用于遥感领域的光谱指数，例如 NDVI、NDWI 和 EVI。
纹理测量方法，例如灰度共生矩阵 (GLCM) 和 Gabor 滤波器，可以量化像素中的空间结构。
通常与随机森林和支持向量机等经典机器学习分类器结合使用
由于其可解释性，它在NASA、ESA和USGS等机构的运行系统中仍然被广泛使用。
需要大量的领域专业知识，但能生成科学家可以直接理解和验证的特征。

比较表

功能	卫星数据的表征学习	手工打造的特征工程
功能设计	通过神经网络训练实现自动化	领域专家编写的手册
数据要求	大型标记或未标记数据集	规模较小、精心整理的数据集
可解释性	通常不透明，需要可解释性工具	透明且具有物理意义
计算成本	训练时高，推理时低	总体性能低下，对硬件要求不高
适应性	适用于不同传感器和地理位置	需要重新设计以适应新的任务或区域
需要专业技能	机器学习和编程	遥感科学与信号处理
大数据性能	随数据集大小而变化	地势平坦或退化，特征过多
部署成熟度	快速成熟，用于研究和试点	数十年来在全球范围内的运营使用

详细对比

功能是如何创建的

表征学习通过优化构建特征。神经网络在处理图像的过程中会调整数百万个内部权重，逐步编码边缘、纹理、形状，最终形成场景级概念。手工特征工程则相反：科学家预先确定哪些特征重要，然后编写公式。NDVI 能够反映植被健康状况，因为叶绿素强烈反射近红外光，而这种物理特性在数据采集之前就已经融入到指数中。

数据和计算需求

深度模型对数据量的需求很高。仅 Sentinel-2 每天就产生约 1.6 TB 的图像，表征学习可以处理如此庞大的数据量，从而提高精度。相比之下，手工构建的特征提取流程通常只需几千个标注样本就能很好地工作，因为这些特征本身就具有物理意义。但这种方式的缺点在于硬件要求：训练一个现代卫星基础模型可能需要数十个 GPU 耗时数周，而基于手工构建的特征提取流程的随机森林模型只需在笔记本电脑上几秒钟即可完成训练。

可解释性和信任

当人工构建的特征触发时，科学家通常能够准确理解其原因。例如，NDVI 下降表明植被处于胁迫状态，而这种与叶片光学特性的关联已被充分证实。尽管 Grad-CAM、注意力机制展开和特征可视化等工具能够提供模型所感知内容的局部信息，但神经网络表征仍然难以解读。在灾害响应或气候报告等受监管领域，这种可解释性的差距依然存在，也使得人工构建的方法得以继续被广泛应用。

跨传感器和任务的泛化

由于网络已经学习了通用的视觉先验知识，因此在Sentinel-2上预训练的模型通常只需少量新数据即可微调以适应Landsat-8或PlanetScope。手工设计的特征有时迁移性较差：针对某个传感器的波段配置调整的指标在另一个传感器上的表现可能不同。另一方面，手工设计的特征能够快速适应矿物测绘等特定任务，在这些任务中，基于物理的光谱比值优于在自然图像上训练的通用学习嵌入。

实际操作情况

许多生产系统仍然融合了这两种方法。例如，欧洲航天局的Sentinel卫星应用、美国农业部的耕地数据层以及各种国家森林资源清查都使用手工构建的指数作为传统分类器的输入，因为这种方法便于审计和维护。与此同时，初创公司和研究团队越来越多地采用学习型表示法来处理那些精度提升足以抵消复杂性的任务，例如地震后的建筑物损坏评估或精细的作物类型测绘。

优点与缺点

卫星数据的表征学习

优点

+ 随数据量变化
+ 最先进的精度
+ 跨传感器传输
+ 端到端管道

继续

− 高昂的计算成本
− 需要大型数据集
− 更难解释
− 复杂部署

手工打造的特征工程

优点

+ 物理上可解释的
+ 计算需求低
+ 适用于小数据
+ 数十年的验证

继续

− 手动设计工作
− 受限于专业知识
− 在复杂场景下表现较弱
− 更难扩展

常见误解

神话

在辅助任务上，表征学习总是优于手工特征提取。

现实

并非总是如此。在小型数据集或具有强物理先验的任务中，使用手工设计的索引训练随机森林模型可以达到甚至超越深度模型的性能。当训练数据丰富且任务涉及微妙的高维模式时，学习到的表征才能发挥最大优势。

神话

在现代遥感技术中，手工打造的功能已经过时了。

现实

事实并非如此。像NASA Harvest、ESA World Cover和美国农业部这样的机构的运行系统仍然严重依赖光谱指数和纹理测量，因为它们可审计、稳定，并且易于与地面实况进行验证。

神话

用于卫星数据的深度学习模型能够理解物理意义。

现实

它们学习的是统计模式，而非物理原理。神经网络可能将某种光谱特征与水联系起来，但它并不知道水为什么会吸收近红外光。而人工设计的指数则直接编码了这种物理知识。

神话

特征越多，分类准确率通常越高。

现实

特征数量过多会导致冗余或噪声特征过多，从而降低性能，这种现象被称为维度诅咒。手工设计的管道必须精心选择特征，而表征学习则通过只学习有用的特征来规避这个问题。

神话

预训练的卫星基础模型开箱即用，适用于任何任务。

现实

它们仍然需要基于特定任务的标注数据进行微调才能达到最佳性能。零样本结果正在改进，但通常比经过微调的基线模型落后几个准确率点。

常见问题解答

卫星图像中的表征学习是什么？

表征学习是深度学习的一个分支，它利用神经网络学习将卫星图像编码成紧凑且信息丰富的向量，而无需人工设计特征。诸如卷积神经网络、视觉Transformer以及SimCLR或MAE等自监督框架等模型直接从像素中发现模式，通常使用来自Sentinel-2、Landsat或商业卫星星座的大型数据集。

遥感中常用的手工特征有哪些？

最常用的地形特征包括光谱指数，例如植被的 NDVI、水体的 NDWI 和建成区的 NDBI。纹理特征，例如灰度共生矩阵对比度和 Gabor 滤波器响应，用于捕捉空间结构，而形态特征则描述物体形状。这些特征通常被输入到随机森林、支持向量机或梯度提升树等分类器中。

对于小型卫星数据集，哪种方法更好？

当标注数据稀缺时，手工特征工程通常更胜一筹，因为这些特征本身就编码了物理意义，从而减少了对大型训练集的需求。表征学习仍然可以通过迁移学习发挥作用，即将预训练于大型数据集上的模型在小型目标数据集上进行微调。

表征学习和手工特征提取能否结合起来？

是的，这种混合方法越来越受欢迎。研究人员通常会将学习到的嵌入向量与经典的指标（例如 NDVI 或纹理描述符）连接起来，然后再输入到分类器中。这既结合了深度网络的模式发现能力，又结合了专家设计的特征的物理基础。

卫星深度学习模型需要多少数据？

这取决于具体任务，但监督式模型通常需要数千到数百万个带标签的图像块才能达到良好的性能。自监督方法通过对未标记图像进行预训练，显著降低了这一需求，有时甚至会使用来自 Sentinel-2 等任务的数亿个图像块。

卫星基础模型是否公开可用？

其中一些模型已经公开权重。例如，NASA 的 Prithvi 模型、IBM 和 NASA 联合开发的 SatMAE 模型，以及来自不同研究团队的 SatVision 系列模型。Hugging Face 网站收录了其中许多模型，以及用于洪水测绘和作物分类等任务的预训练代码和微调示例。

既然深度学习已经存在，为什么科学家还要使用 NDVI？

NDVI 简单、快速、具有物理意义，并且可以跨越数十年的历史数据进行比较。对于监测植被趋势、干旱评估或农业生产报告而言，可解释的指数通常优于黑箱模型。在许多工作流程中，深度学习是对这些指数的补充，而不是替代。

训练卫星表征学习模型需要哪些硬件？

从零开始训练一个现代卫星基础模型通常需要多块高端GPU，例如NVIDIA A100或H100，而且往往需要运行数天甚至数周。相比之下，微调预训练模型成本要低得多，有时甚至可以在单块消费级GPU或云端笔记本电脑上完成。

如何评价哪种方法效果更好？

诸如 EuroSAT、BigEarthNet、SEN12MS 和 IEEE 数据融合竞赛等标准基准测试提供了带标签的数据集和一致的指标，例如总体准确率、F1 分数和平均交并比 (IMU)。交叉验证、消融研究以及与诸如哥白尼全球陆地服务 (Copernicus Global Land Service) 等运行基线进行比较也是常见的做法。

未来十年，手工制品会消失吗？

不太可能。虽然表征学习会持续发展，但手工设计的特征具有深度模型难以匹敌的可解释性和物理基础。预计在未来几年内，结合学习到的表征和专家设计的指标的混合流程将主导生产级遥感领域。

裁决

当您拥有充足的数据、GPU 资源，并且任务的准确率至关重要时（例如大规模土地覆盖或灾害测绘），请选择表征学习。当可解释性、训练数据有限或计算简便性是优先考虑因素，或者当必须保留物理意义以用于科学报告时，请选择手工特征工程。