【遥感】关于遥感深度学习的思考,我认为现在来看,噱头远大于实际价值。

184 阅读6分钟

有一说一,遥感的深度学习理想很美好,因为普通图像识别与语义分割,都是停留在了空间形态层面,而遥感则可以利用地物特性,一想想高光谱几百个波段,各种特性曲线特征,感觉无敌了对吧,事实上:如果真的想靠波段特性与空间特性相结合,前提是光谱分辨率与空间分辨率都要极高,没错是极高,不是简单的10m就行,而考虑到信噪比的客观存在,分辨率的制约关系,能到到10m的高光谱对我们来说都是无从获取的,因此必须通过图像融合,再结合亚米级的雷达数据获取一些极化特性,但是上述一顿操作之后,你会发现,这玩意儿还不如用普通的“照片”,即shift+win+s,对准谷歌底图的底图截个图,然后就在上面进行制作训练集样本集,由于超高的分辨率,效果比上面强多了。 看看亚米级切片和10m的Sentinel2的对比吧{023A4B7E-1F55-4B40-98B9-0E0DB46CDB70}.png

这里是几个常见的高光谱卫星和传感器的关键参数:

卫星/传感器空间分辨率光谱分辨率波段数光谱范围
Hyperion (EO-1)30m10nm220400-2500nm
GaoFen-5 (高分五号)30m5-10nm330400-2500nm
ZY-1 02D(资源一号)30m5-10nm166400-2500nm
CHRIS (Proba-1)17-34m1.3-11nm63400-1050nm
Landsat 8-9(多光谱)30m100-200nm9430-2290nm

1. 遥感与普通图像识别的差异

普通图像识别和语义分割主要停留在空间形态层面,而遥感图像则可以利用地物特性(光谱特性)。。普通的RGB图像(如照片)通常有3个波段(红、绿、蓝),这些波段主要提供的是空间形态上的信息,如形状、纹理、边缘等。而遥感图像特别是高光谱遥感图像,提供了地物在多个波段下的光谱反射特性,这反映了物体的物理化学性质,能够帮助区分许多在RGB图像中无法区分的地物。

例如:

  • 植被在近红外波段反射率很高,这使得我们可以利用NDVI等指数来区分植被与非植被区域。
  • 水体在短波红外波段会吸收大量的电磁波,利用这些特性可以更精准地识别水体。

2. 高光谱遥感的理想与现实

确实,高光谱遥感能提供几十甚至几百个波段的信息,理论上可以极大地增强分类和识别的精度,因为每个物体在不同波段下的反射特性是独一无二的。然而,实际应用中面临的问题主要包括以下几方面:

  • 光谱分辨率与空间分辨率的权衡:高光谱影像的空间分辨率通常较低,这是由于传感器技术的限制。以NASA的Hyperion传感器为例,它提供242个波段,但空间分辨率仅为30米。高光谱影像需要在每个像素中记录大量的光谱信息,这会影响空间分辨率的提升。

  • 信噪比:高光谱图像中的每个波段记录的能量较少,这导致信噪比下降。为了提高信噪比,传感器需要更长的曝光时间或更大的光学孔径,但这又会影响空间分辨率。

  • 数据获取的难度:能够提供高空间分辨率(如亚米级)的高光谱数据非常难以获取。大多数商业化的遥感卫星并不具备这种能力,数据源的稀缺性也限制了高光谱遥感的广泛应用。

因此,虽然高光谱遥感能提供丰富的光谱信息,但受限于技术的瓶颈,高分辨率和高光谱分辨率同时兼顾目前仍然是极大的挑战。

3. 图像融合与雷达数据的引入

通过图像融合和引入雷达数据来弥补分辨率不足的问题,这也是目前遥感领域中的一个常见做法:

  • 图像融合:通过融合多源数据,如高光谱与全色影像,可以在一定程度上提高空间分辨率。全色影像通常具有较高的空间分辨率,但只有一个波段,通过与低分辨率的多光谱或高光谱数据结合,可以在保持光谱特性的同时提高空间分辨率。然而,图像融合也会引入一些新的问题,如色彩失真和信息损失。

  • 雷达数据:雷达(如SAR,合成孔径雷达)传感器可以穿透云层,并能在任何天气条件下工作。它提供的极化特性回波强度信息可以帮助识别地表特征,特别是在植被覆盖、地形起伏等场景中。然而,雷达数据和光学数据之间的融合仍然存在一定的技术难点,尤其是如何在深度学习模型中有效结合这两类数据。

尽管这些技术手段能够在一定程度上缓解单一传感器的局限性,但在实际操作中,数据融合的效果往往不如预期,且需要大量的计算资源和预处理步骤。

4. 超高分辨率“普通照片”的优势

用普通的照片截个图”在某些情况下效果甚至比上述复杂操作更好,这是一个非常现实的问题。谷歌地图等平台提供的超高分辨率影像(亚米级)从视觉上来说已经非常接近人眼所能感知的细节,这使得我们可以通过简单的视觉特征(如形状、纹理、边缘)来进行地物分类,而不需要依赖复杂的光谱信息。对于许多应用,如城市建筑物识别道路提取、甚至是水体识别,超高分辨率的RGB影像已经足够。结合深度学习中的语义分割技术,可以取得非常不错的效果,远远超过低分辨率的多光谱或高光谱数据。 语义分割模型(如U-Net等)在处理这些超高分辨率影像时表现出色,尤其是当我们可以提供足够的标注数据时。这也是为什么在一些实际应用中,简单的高分辨率影像(如你提到的从谷歌地图截取的图片)往往能带来比复杂的遥感数据更好的结果。

因此,尽管遥感的理想很美好,但在实际应用中,数据的可获取性、分辨率的限制、信噪比等因素使得我们在一些场景下仍然倾向于使用高分辨率的“普通照片”进行分析,尤其是在需要精细的空间细节时。