土地覆盖信息在诸如气象变化等众多地学研究和应用中有具有重要的意义。随着深度学习技术的飞速发展,越来越多的研究使用卷积神经网络等深度学习模型从遥感影像中提取土地覆盖分类信息。然而,在进行面向大范围的土地覆盖制图时,由于遥感影像在空间、时间、光谱上存在异质性,深度学习模型在应用阶段经常会出现预测数据与训练数据分布不一致的情况,上述情况也被称为“域偏移”。当域偏移发生时,模型生产的土地覆盖产品中往往会出现大量的错误预测,这些错误预测结果将会在土地覆盖产品的应用过程中引入额外的误差和风险。在进行土地覆盖制图时对其进行不确定性估计是缓解上述问题的有效手段,然而目前相关问题缺乏充分的讨论和深入的研究。
为了推动不确定性估计方法在土地覆盖制图中的研究和应用,北京师范大学地理科学学部唐宏教授课题组在Earth-Science Reviews发表了题为“Towards reliable land cover mapping under domain shift: An overview and comprehensive comparative study on uncertainty estimation”的综述和评述文章。文章主要内容包含文献综述和实验对比两个部分:综述不确定性估计的概念、方法、评价、及其在土地覆盖制图中的应用;在实验对比部分,对10种不确定性估计方法在4种制图中常见的域偏移条件下的表现从多个角度进行了分析和评价。
图1 文章封面
在文献综述部分,首先界定了随机不确定性、认知不确定性和预测不确定性的相关概念(图2)。接着,文章对分割任务中常见的不确定性估计方法进行了系统地梳理,这些方法可以分为三个大类(图3):基于概率分布的方法、基于学习的方法和基于预测一致性的方法。然后,文章对不确定性估计的评价方法和评估指标进行了描述。最后,文章详细介绍了不确定性估计在土地覆盖制图中的应用现状和研究价值。在该部分,将不确定性估计在土地覆盖制图中的应用分为面向人工分析的应用和面向下游任务的应用两大类(图4)。通过对相关的研究和产品进行系统地总结,文章揭示了不确定性估计在该领域缺乏广泛应用和充分研究的现状。然后,分析了大范围土地覆盖制图中域偏移产生的原因以及该条件下制图结果难以精确使用和高效评估的挑战,并进一步讨论了不确定性估计在应对上述挑战中的应用价值。最后,通过无监督域适应和分割失效图像检索两种下游任务展示了如何借助不确定性估计实现域偏移条件下的可靠制图。
图2 不确定性分类
图3 三大类不确定性估计方法
图4 两类不确定性估计的应用
在实验对比部分,在同一框架下,基于相同的分割模型、数据集和评价方法,定量对比和评估了多种不确定性估计方法,解决了不确定性估计方法的适用性难以评估的问题。该研究的主要特色和贡献体现在其涉及的不确定性估计方法、数据集和评价方法的广泛性。具体来说,文章对比评估了10种不确定性估计方法在域偏移条件下土地覆盖分类任务中的性能(图5)。这10种不确定性估计方法包括3种基于概率分布的方法,1种基于学习的方法和6种基于预测一致性的方法。数据集方面,该研究考虑了制图中常见的4种域偏移类型,包括场景偏移、位置偏移、季节偏移和光谱偏移(图6)。一方面,该研究从有效检测、失效检测和总体性能三个方面对不确定性估计方法进行直接评价。另一方面,该研究通过比较下游任务在应用不同不确定性估计方法时的性能差异实现对不确定性估计方法的间接评价。研究发现:(1)许多不确定性估计方法对于有效检测或失效检测具有偏向性,例如Test Time Augmentation方法在有效检测任务上表现较好,在失效检测任务上表现一般,而Auxiliary Model方法则具有相反的表现。因此,在实际应用中需要结合下游任务的特点选择适当的不确定性估计方法。(2)基于概率分布的方法在大多数数据集和指标上具有较好的性能,同时具有较高的效率。但由于其overconfidence问题的存在,其在部分数据集的有效检测任务上表现相对较差,同时导致其在无监督域适应任务上性能较差。(3)基于学习的方法尽管尚未在遥感领域得到广泛的应用,但是其在绝大多数数据集的各项直接评价指标和间接评价中都展现出了较强的性能,值得进一步深入研究,充分发挥其应用潜力。
图5 对比实验与性能评估的总体框架
图6 四种域偏移数据示意图
图7 定量和定性对比
最后,文章对土地覆盖遥感制图中不确定性估计研究的若干挑战和潜在研究方向进行了展望。通过该综述研究,作者希望进一步推动域偏移条件下土地覆盖遥感制图中不确定性估计和可靠制图方法的研究和应用。
文章第一作者为北京师范大学地理科学学部博士生纪超,通讯作者为唐宏教授。
原文链接:https://www.sciencedirect.com/science/article/pii/S0012825225000315