科技发展
您当前的位置 > 首页 > 科技发展
名称 光学遥感影像道路提取的方法综述
发布机构 科技外事处 索引号 2189234/2021-00122
主题分类 科技发展 文号
发布日期 2021-02-03 主题词

光学遥感影像道路提取的方法综述

发布日期:2021-02-03 15:35 信息来源:科技外事处 访问量:? 字体 :[ 大 ][ 中 ][ 小 ]

光学遥感影像道路提取的方法综述

 

1引言

道路信息在应急响应、智慧城市、城市可持续扩展、车辆管理、城市规划、交通导航、公共健康(Frizzelle等,2009),无人机导航、灾害管理、农业发展(TundeAdeniyi2012),以及无人驾驶车路径规划和交通管理(Wang等,2016)等多个领域扮演着基础性的角色。光学遥感数据(包含航空与卫星影像,下同)不仅具有宏观性、多源性、真实性、实时性、海量性等一系列优点,而且能够以较高的空间分辨率对目标地物进行精细化解译,其提取的目标信息具有严格的地理坐标转换关系,可为不同行业用户提供了统一的表达模式。同时现代计算机视觉及航天技术等软硬件技术的快速发展,为统一描述和表达复杂的道路提取问题提供了可靠的理论与技术支撑(TothJozkow2016)。因此近年来国内外学者利用光学遥感数据提取道路的方法研究日趋活跃(吴亮和胡云安,2010)

道路提取属于遥感数据地物分类解译范畴,其解译精度一方面取决于实际地物场景复杂程度以及成像过程,而另一方面则与道路提取方法的设计有直接关系。在物方空间,道路为包括丰富色彩信息的3维立体模型。同一类型道路具有相似色彩和几何特征,其差异传播是线性可控的。但在像方空间,由于地物遮挡(视觉、绿化、阴影、地物覆盖等)、路面辐射差异(路面老化、结构差异)、成像模糊等问题,路面影像呈现出边缘信息的非一致性、特征变形分布的不规律性以及光谱信息刻画的复杂性,这一系列问题增大了道路特征表达的不确定性以及道路提取模型构建的难度。因此虽然目前国内外多个商业软件如ErdaseasytraceeCognitionFeature AnalystTITAN

ImageEasy Feature等提供了道路提取的处理模块,但仍然面临从海量数据中难以精确挖掘道路信息的技术瓶颈问题,尚有大量技术难题有待攻关(Miao等,20142015Poullis等,2014Wegner等,2015Cardim等,2018)。

近年来,虽然已有文献开展了遥感影像道路提取综述分析(Auclair-Fortier等,1999;史文中等,2001Mena2003;吴亮和胡云安,2010Babaali等,2014;Wang等,2016),但系统性地开展光学遥感影像道路提取的综述研究相对匮乏。因此,本文依据近几十年国内外相关文献,总结归纳道路提取方法与模型,介绍了道路提取的评估准则和方法,并举例对各类方法进行定量对比分析,以期对该领域的发展方向给出建议与展望。

2分类体系与依据

20世纪70年代开始,国际学术界和相关应用部门从不同的侧面,对道路提取的模型构建展开了深入研究(BajcsyTavakoli1976)。但面对迄今为止海量的道路提取模型,试图将其进行清晰分类是不现实的(Mena2003)。而目前已有文献所提出的分类体系也存在一定的不足。例如按照是否存在人工参与,道路提取模型可分为半自动和全自动两类(史文中等,2001),但目前全自动化的道路提取方法尚未出现,即使是利用深度学习进行道路提取也需预先建立大量的样本标签集(Alshehhi等,2017);按照道路提取结果,可分为道路区域提取与道路中心线提取两种模型(AlshehhiMarpu2017)。道路区域提取方法通常以分割或者分类为主(UnsalanSirmacek2012),道路中心线提取方法侧重于道路骨架的检测,通常采取细化和跟踪两种不同的方式,而细化操作又是在已提取道路区域上展开的(Liu等,2015);按照道路影像特征,道路提取方法可分为辐射特征、几何特征、拓扑特征和背景特征4大类(吴亮和胡云安,2010)。但研究表明,单一特征无法独立构建道路模型,因而仅依据特征难以对道路方法进行详细分类(戴激光等,2018)。鉴于此,参考ChengHan(2016)对光学遥感影像地物识别的分类体系,将道路提取方法分为模板匹配、知识驱动、面向对象和深度学习4类。

考虑到方法模型是地物目标特征的抽象表达(吴亮和胡云安,2010)。因此需要对道路特征进行归纳总结,本文在VosselmandeKnecht(1995)提出特征的基础上进行了扩充:

(1)几何特征:道路通常表现为长线条状,在局部范围内道路宽度和曲率的变化概率较小,道路交叉口常呈现TY、十字形等几何形态;

(2)辐射特征:道路两侧具有较明显的边缘信息,路面影像灰度分布呈现规律性,与相邻地物间存在较强的辐射差异;

(3)拓扑特征:道路具有明显的网状结构,不同交叉路口将多种类型道路连贯起来;

(4)上下文特征:侧重于条件、规则、证据等语义信息对道路的先验或后验判断,即道路和周边地物间存在一定的空间语义关系,可作为道路提取的间接推理标志,例如行树、建筑物、车辆、道路指示牌、分车带等地物与道路间存在非常强烈的伴生关系;

(5)辅助特征。道路作为人造地物,存在较多的相关信息资料,可用于辅助道路判读与提取。例如矢量数据、DSM、轨迹数据、众源数据等。

依据上述分类体系,以2012年深度学习方法在Image Net挑战赛上大获成功为分水岭(Krizhevsky等,2012),道路提取方法可分为两个阶段:

(1)传统方法阶段。该阶段道路提取主要是采用模板匹配、知识驱动、面向对象等3种传统方法,时间跨度可从1973年延展至2012年。其中尤以模板匹配方法应用最为广泛,商业软件如ErdaseasytraceFeature Analyst均是采用这类方法,而面向对象方法可见于eCognition软件。知识驱动方法由于需要设定不同先验条件,因而商业化程度不高。

(2)深度学习方法阶段。受到深度学习方法在图像分类、物体识别等领域取得突破的启发,从2012年开始,一些学者将深度学习引入到道路提取中来(Brust等,2015Li等,2016bAlshehhi等,2017;Cheng等,2017;Zhang等,2018;刘如意等,2017)。相对于传统方法,深度学习方法提取的道路其精度得到大幅提高,但该类方法目前仍处于实验室阶段,大规模普及实用化尚有待进一步研究。

3道路提取方法分类

3.1模板匹配方法

模板匹配方法是道路影像几何、辐射和拓扑特征的综合运用。主要包括以下3个步骤:(1)模板设计。通常模板可以人工或者依据一定规则设定;(2)测度分析。给定目标模板,在限定区域内通过测度函数寻找区域极值;(3)位置更新,即动态更新道路位置。常用的模板包括规则模板和可变模板,两者之间的区别在于规则模板可用圆形、T型、矩形等规则图形刻画。而可变模板是根据初始设定轮廓,通过能量函数迭代而确定最终道路边界,其模板大小形状取决于影像成像过程及目标地物特征。

3.1.1规则模板匹配

可以看到,该流程主要包括模板设计、测度分析、位置更新3个步骤。

(1)模板设计。模板是表达局部道路几何与辐射特征相似性的载体。McKeownDenlinger(1988)提出一种基于剖面模板的道路提取方法,该模板大小与道路宽度相关,可提取灰度均值及对比度等参数。Hu(2000)基于道路与其边缘暗一亮一暗的局部特征,提出二值剖面模板。LeninishaVani(2015)将道路影像视为具有固定宽度的虚拟沟渠,而路面辐射特征则为具有规律性的水体反演值,以此通过剖面迭代分析完成不同类型道路的提取。

由于道路横断面极易受到路面机动车、阴影、路面指示等亮斑或暗斑影响,因此在道路几何特征(局部道路宽度、方向变化概率小)的辅助下,矩形模板(孙晨阳等,2015)由此构建。例如Zhang(2011)在道路两侧边缘人工输入3点,构建矩形模板及相应的宽度、方向信息。Havekamp(2002)利用多个矩形模板的对比分析,从水平的方向开始,以一定的角度间隔旋转,形成一组离散的矩形模板,用模板内灰度方差、熵值来描述角度纹理特征ATS(Angular Texture Signature)

矩形模板设计的思想决定了其难以适应曲率较大的弯道,因此Fu(2013)提出圆形模板,以道路中心点为模板中心,道路宽度为模板直径。其优势在于具有旋转不变性,为本文运用该方法在弯曲道路上的提取道路中心线效果(红色),可以看到当出现连续弯道时,圆形模板可以取得较好地实验结果。针对需要人工设定模板尺寸的问题,连仁包等(2018)提出一种改进的局部形态学梯度图,对人工输入点进行自适应校准,由此构建圆形模板。

为解决车辆遮蔽和两侧行树阴影干扰问题,依据障碍物不能完全覆盖道路中轴线思想,林祥国等(2009)提出了T型模板。该模板是由剖面模板和矩形模板构成,两者在匹配跟踪过程中互为补充。T型模板可以有效地解决上述因素导致的测度分析困难问题。但该模板不足之处在于对路面辐射值变化敏感,需要大量的人工种子点,自动化程度并不尽如人意。

(2)测度分析。从物理意义上来说,测度分析主要是依据道路几何辐射特征,由不同侧面来刻画参考模板与待匹配模板间的最优相似性。最小二乘匹配(林祥国等,2009)、欧氏距离(Zhang等,2011)、互信息(Li等,2011)等是比较常用的相似性测度模型。例如Kim(2004)直接利用矩形模板的灰度信息,采用最小二乘匹配作为测度模型。而Li(2011)依据道路辐射分布具有规律性的特点,以互信息方法作为相似性测度,结合边缘点提取结果,完成对模板的匹配。

当路面上出现树荫、车辆时,上述相似性测度会产生较大的匹配误差(曹帆之等,2016)。Meanshift方法通过估计给定的中心点附近概率密度,利用自适应步长的方式移动至密度分布局部极值点,可以弥补传统相似性测度对遮挡敏感的缺点。而Meanshift方法作为一种相似性测度函数(张剑清等,2010;曹帆之等,2016:Lv等,2017),也难以避免受到种子点初始位置、模板大小、路面影像明晰程度等因素的影响。

(3)位置更新。位置更新是由已知参考模板到未知最优模板的递归跟踪过程早期的跟踪方式以迭代内插方法最为常用(胡翔云等,2002Miao等,2014)。例如ERDAS软件中的Easytrace模块,可通过起始点与终止点的方向约束跟踪完成对道路的提取。两侧设定端点可以约束道路跟踪方向,防止误跟踪问题的发生,但该方式也存在自动化程度低的问题:鉴于此,一些学者尝试直接输入道路点,在道路点双向进行迭代跟踪,完成道路中心线的提取,以此降低人工参与度(YangZhu2010;余洁等,2013)。但双向迭代跟踪的缺点在于难以有效控制跟踪方向,易引发道路误提取的问题。

动态规划跟踪是搜索最佳路径的有效递推方法,可依据预先设定的种子点,直接构造道路种子点之间的代价函数,然后利用动态规划找出那些种子点间的最优路径,从而提取出完整道路网(GruenLi1997)。例如曹帆之等(2015)将动态规划应用于道路跟踪。Movaghati(2010)将扩展卡尔曼滤波与粒子滤波方法结合起来追踪道路,以此降低障碍物的影响。虽然优化方法能够提高道路追踪的稳健性和精度,但当存在路面遮挡问题时,依然难免出现误跟踪问题。

目前规则模板匹配仍是实际工作中道路提取的一种有效方法。该方法通过设定种子点的方式实现人机交互,具有较强的纠错能力,充分地结合了道路几何、光谱及拓扑特征,但近年来具有突出创新性的模板匹配方法不多。

3.1.2可变模板

FischlerElschlager(1973)首次提出了可变模板的概念。可变模板通常需要人工给出种子点或者初始轮廓,利用迭代求解的方式完成对道路轮廓的提取,其中较为经典的方法包括动态轮廓模型和水平集模型。

(1)动态轮廓模型。动态轮廓模型ACM(Active Contour Model),又被称为Snake模型(Kass等,1988)。该模型将道路影像辐射和几何特征用能量函数表达,通过求解能量函数最小值达到提取道路轮廓的目的。Li(2008)为了克服影像中道路强度不均匀性,提出了一种基于区域的Snake模型该模型构建了一个局部强度拟合能量表达式,引入一个非负核函数K来描述道路局部邻域的强度信息。

3.2.2上下文知识

由于地物场景的复杂性和影像拍摄质量的不稳定性,研究学者发现很难完全依靠道路自身知识准确而完备地提取道路。因此一些学者转而考虑利用与道路相关的上下文知识,补充道路机器判读的证据。例如道路邻域的建筑物、树木和植被、路上的车辆和指示线、道路交叉口处的斑马线等均可作为道路提取的重要上下文知识(Maye,等,1997;Baumgartner等,1999)

目前城区大部分主干道两侧均有行道树,行道树与道路几何形态有相似之处,均表现出狭长特征。因此,分析树木的规律性分布,这将有助于进行道路提取(Shackelford等,2003;李成范等,2009)。例如Karaman(2012)提出一种融合多种模型的多波段高分辨率遥感影像道路提取方法,利用影像分割、边缘检测、结构分析、K-mean聚类、植被分析(归一化植被指数和土壤调节植被指数)分别建立道路图,通过不同图的累计权重区分道路与非道路区域。而Grinias(2016)针对路面植被少的特点,将归一化植被指数引入道路种子点检测的过程中,并与面向对象道路提取方法的结合。斑马线是道路交叉口的重要标志,因此Herumurti(2013)基于斑马线检测结果,利用区域生长方法从高分辨率航空影像中自动提取道路。

上下文知识的运用可辅助解决道路提取过程中存在的难题,例如遮挡造成的道路断裂问题可通过车辆检测结果予以解决。但该方法存在先天性的不足,例如车辆、斑马线、行树等信息的提取属于地物识别问题,一方面增大了算法的复杂度,另一方面也受到上下文地物检测精度的影响,这些均是限制该类方法进一步发展的桎梏。

3.2.3辅助知识

作为社会经济发展关注的焦点,道路在多个领域中均发挥非常重要的作用,因而针对道路的辅助知识必然广泛存在,例如以往获取的多源遥感数据、矢量数据、GPS数据、导航数据等。基于此思路,一些学者尝试利用辅助知识进行道路提取。

(1)多源遥感数据融合。单一遥感数据受到卫星类型、影像分辨率、成像时相、飞行高度等因素的制约,难以完备刻画道路目标,因而研究人员提出了多源遥感数据融合技术,以实现从不同尺度、角度、高度上对目标地物进行分析,实现数据优势的互补,从而为道路信息的提取提供帮助(Hu等,2004;Kumar等,2014;Rahimi等,2015;ChengWeng,2017;Coulibaly等,2018)。例如基于多光谱遥感影像和全色遥感影像,傅罡(2014)提出了联合保持投影JPM(Joint Preserved Mapping)融合算法。该方法充分考虑了高维遥感影像道路的非线性特征,通过建立统一的模型,将多源、多尺度的道路几何特征和光谱特征进行有机的融合。

(2)矢量数据。地理信息系统(GIS)、地形图等矢量数据具有精度高、可靠性强等优点,但由于需要投入较多的人力物力,在时态上往往落后于遥感影像,一些发生变化的地物信息未得到及时更新。利用已有的矢量数据辅助进行道路提取,可以获取一定的道路初始信息,替代或部分替代人工干预,获得相对稳定的提取结果(Sui等,2003)。例如Willrich(2002)对遥感影像和GIS矢量数据进行匹配预处理,结合道路影像的几何特征确定初步候选道路段,利用模板匹配方法对道路进行判别与连接。Chen(2014)将已有道路矢量与提取的断裂道路线进行拟合,得到道路中心线。丁磊等(2017)从矢量数据中获取初始道路种子点,再依次利用朴素贝叶斯分类、形态学处理及邻域质心投票算法提取完整的道路中心线。

(3)道路GPS数据。随着GPS技术和无线通信技术的日益成熟和普适化,浮动车技术已被用于交通监控和管理,浮动车的动态定位数据成为更新路线图一种新数据源。例如Li(2012)综合运用道路空间和上下文关系从GPS数据中提取道路网络。

道路GPS几何坐标与道路具有相似的分布排列规律,但存在5-10m间的坐标误差,CaoSun(2014)通过对GPS点位的分析,确定候选道路种子点,利用滤波、差分确定垂直于道路区域的分割峰值,通过灰度均值、分割大小等确定道路中心点,并将道路中心点连接起来构成道路中心线。而针对GPS数据采样间隔较长、数据量大、数据分布不均匀等特点,王振华等(2015)提出了一种栅格化分级提取道路中心线的方法。

(4)DSM数据。DSM数据是表征地表起伏的有效模型。为此,Uemura(2011)利用边缘检测结果对影像进行分割,结合DSM数据提取的道路结果,完成对道路的提取:而Herumurti(2013)在斑马线检测结果的基础上,利用DSM数据的高程信息,提取影像中的道路。

(5)众源地理信息。众源地理数据CSGD(Crowd Sourcing Geographic Data)是由大量非专业人员志愿获取,并通过互联网向大众或相关机构提供的一种开放地理空间数据,最具代表性的众源地理数据是Open Street Map网站提供的交通路网。与传统地理信息采集和更新方式相比,来自非专业大众的众源地理数据具有现势性高、传播快、信息丰富、成本低、数据量大等优点,但同时该类数据也存在质量各异、冗余而不完整、覆盖不均匀、缺少统一规范等不足(单杰等,2014)

针对OSM数据中存在的位置精度问题,Li(2014)提出了一种从OSM数据中提取高速公路网方法。该方法将整个道路矢量数据视为一组闭合的平面多边形,而多车道道路由多个长而薄的多边形组成。计算道路网中每个多边形形状描述符(面积,周长,紧凑度,平行度和宽度),使用支持向量机(SVM)方法对多车道路面候选多边形进行分类,利用邻近度和相似度将多边形连接起来,如果多边形被其他多边形包围,则视为空洞,将其填充。最后将多边形进行细化,从而得到道路网。

依据辅助知识的道路提取方法是近年来研究的热点,该类方法充分利用现有的道路知识,将道路提取的问题不再局限于影像本身,提高道路不同角度刻画完备性,这符合网络时代信息公开海量化的特点,是提高道路提取自动化程度的有效途径。尤其随着第一次地理国情普查的结束,大量积累的道路知识为自动化道路提取模型的构建提供了丰富的数据支撑。但不足之处在于需要考虑知识的准确性,以及知识与现有影像数据的匹配度(时间与空间),这些均是运用该类方法的瓶颈问题。基于上述3种方法。

3.3面向对象方法

随着光学遥感影像空间分辨率的快速提高,面向对象(Blaschke等,20112014)逐渐成为地物识别中一个关键的方法。该方法将道路视为具有一定几何纹理规律性的区域,通过影像处理得到分割区域结果,利用分类及后处理方法完成对道路的提取。

(1)影像分割。分割是面向对象方法中的初始步骤,也是决定道路提取精度的关键环节。目前最为简单易行的方法是阈值分割。阈值分割考虑影像道路与非道路区域间的整体纹理差异,选取合理阈值,确定影像中各像素点的区域归属,这是阈值分割法提取道路的基本思想(Raziq等,2016)。但传统的阈值分割无法顾及空间关系,需要与其他方法结合运用。MeanShift方法是一种非参数概率密度估计算法,在维空间指定区域内寻找一系列离散点对应的概率分布函数局部极值(Yang等,2003)。而在遥感影像中,道路呈现暗一亮一暗”或“亮一暗一亮”的局部特征,即道路中心点是道路剖面方向灰度峰值或低谷。从统计学角度看,该峰值类似于概率分布极值,因此李华胜等(2015)提出一种将阈值分割和Mean Shift相结合的方法,该方法首先利用Mean Shift对遥感影像进行平滑和分割处理,将具有相同或相似灰度值的区域用灰度均值显示;其次,利用直方图来统计确定分割阈值,从而得到初始道路信息。

考虑到仅依靠几个阈值对影像进行分割,难以避免会出现过分割及欠分割问题,因此很多学者转向多尺度分割方法(BaatzSchape2000;Hu等,2016)。多尺度分割具有自下而上(bottom-up)的特点,在确保同一分割单元内像元的匀质度最大,不同分割单元间异质性最大的前提条件下,采用区域合并方式完成影像分割。目前,该方法已广泛应用于道路提取领域(Li等,2016a;Saba等,2016;Maboudi等,2017)。例如Maboudi(2016)利用引导式滤波消除路面影像纹理的不一致性,然后采用结合颜色与形状信息的多尺度模型对影像进行分割。

其他经典分割方法还包括模糊C均值(AmeriValadanZoej2015)、图分割(AlshehhiMarpu2017)、边缘分割(苗则朗等,2013)、ISODATA算法(Miao等,2015)。

(2)影像分类。当实际场景中存在几何辐射特征与道路接近的河流、建筑物等目标地物时,分割方法难以将道路与非道路区域区分,此时需要采用分类方法对分割单元进一步处理。

道路具有突出的几何信息,因而面积滤波(AmeriValadan Zoej2015)、长宽比一线性特征指数LFI(韩洁等,2017)等几何参数可用于分割单元分类。例如Maboudi(2016)首先采用一种改进的线性与面积比值方法剔除不满足道路几何阈值要求的分割单元,在此基础上利用结构、光谱、纹理特征提取道路。

影像分辨率的提高不仅提供了更多的颜色、形状、纹理信息,同时也给区分道路与其他地物带来了不确定性。模糊决策方法是采用模糊数学对目标模糊的对象系统做出定量决策的一种方法,很多学者尝试将这一理论方法应用于道路分类(Amini等,2002;ZhangCouloigner,2006;Nikfar等,2015)。例如,Maboudi(2018)基于分割区域线性指数(keletonbased Object Linearity Index)、道路均一性指数(Spectralhomogeneity)、曲率权重(Weighted Curvature)、曲率方差(Std Curvature)、光谱指数(NDVINDWI)等描述模型,构建不同指数隶属度函数,通过建立模糊规则对分割单元进行分类。

支持向量机SVM(Support Vector Machine)是解决分类问题的有效手段之一(CortesVapnik1995),已大量应用于道路提取工作(SongCivco,2004;Inglada,2007;HuangZhang20092013)。其核心思想是通过核函数把数据非线性映射到高维特征空间,在高维特征空间中构造具有低维的最优分类超平面,然后通过综合考虑经验风险和置信范围,根据结构风险最小化原则SRM(Structural Risk Minimization)。寻求期望风险最小的函数作为判别函数(朱恩泽等,2016)

(3)后处理。分类仅能将不同分割单元赋予类别,而初始分割单元所导致的道路边界不清晰、黏连、断裂等问题依然存在。数学形态学能够进行图像形状和结构的分析及处理,有助于解决边界不清晰、空洞问题(AlshehhiMarpu2017)。例如李华胜等(2015)对分类后道路提取结果展开面积阈值滤波、形态学开运算、孔洞填充、影像差与和等工作,以获取更加精确的道路提取结果。

而针对遮挡、路面结构变化导致的分类后道路断裂问题,很多学者采用模板匹配方法对断裂区域进行连接(AmeriValadan Zoej2015Yin等,2015Maboudi等,20172018)。

当道路断裂区域难以通过模板匹配方法进行跟踪时,张量投票(Tensor Voting)是一种有效的手段(韩洁等,2017;Maboudi等,2016)。张量投票是机器视觉和机器学习中感知重组方法,具有推断和重组视觉基本结构能力。张量投票包括数据输入、张量编码、张量投票、张量分解及特征提取等步骤,其优点在于可对有一定规律的断裂曲线进行连接,但不足之处在于计算量过大,并且容易把道路破损带连接起来(Maggiori等,2015)

总体来看,面向对象道路提取方法虽然近些年来受到广泛的关注,并取得了大量突出的成果。但该类方法中也面临很多挑战,尤其是分割结果的准确性。

3.4深度学习方法

道路提取属于遥感影像解译问题,而物体的特性及其相互关系,尤其语义信息是遥感影像解译的关键环节,但传统方法受技术上的限制导致研究进展缓慢,而深度学习方法则为遥感影像解译在语义方向的拓展提供了新契机(龚健雅和季顺平,2018)。深度学习是由多层神经网络构成.即多个简单非线性函数的组合(万杰和Yilmaz2018)。卷积神经网络是深度学习中应用于影像处理的一种典型模型,当面对遥感影像中海量复杂的信息时,也促进了卷积神经网络从浅层结构到深层结构的发展。

依据深度学习理论,一些学者开展了道路提取工作,并取得了突出的成果。MnihHinton(2010)首次利用深度学习技术,提出一种基于受限玻尔兹曼机(RBM)的航空影像道路提取方法,从道路提取精度和自动化程度来看,其实验结果均远超过传统模板匹配、知识驱动及面向对象方法。Alshehhi(2017)以经典的LeNet(Lecun等,1998)网络结构为框架,利用全局平均池化层代替全连接层,解决了使用全连接层存在的参数冗余以及训练效率低等问题,提高了影像道路识别速度与精度。Xu(2018)提出DenseNet网络结构,该网络结构构建了由局部识别到全局感知的道路提取模块。该网络提高无遮挡道路的识别精度,但针对复杂背景下的道路区域识别能力较差。Zhang(2018)提出了残差U型网络,该网络以U型网络为基础,通过增加残差模块,在保证影像分辨率不变的情况下,增加网络深度;利用跳跃结构实现端对端的道路提取目标。该网络结构可以有效解决道路被树木小范围遮挡的问题。

深度学习方法常受到样本集的数量、网络结构的深度和宽度影响,使得网络模型性能受限,未能充分体现神经网络的优势。由于前向传播使得特征分辨率不断下降,导致道路的提取结果出现大量断裂、误提取问题,从局部放大图中也可以发现道路区域边界还存在模糊现象。Wei(2017)提出了一种基于道路的改进卷积神经网络结构。该方法联合反卷积与融合层,同时提出一种道路结构约束2009-2013年间仅有少量论文。随着2012年深度学习地物识别取得突破后,相关论文大幅增加。

4结语

光学遥感影像道路提取方法在过去20年内取得了显著成绩,随着国家十三五高分专项的进一步深入实施以及国家空间基础设施建设的推进,将有更多的国产卫星发射(陈仲新等,2016)。伴随着现代计算机视觉、大数据、深度学习等技术的发展,以及各行业领域发展的需求,将对光学遥感影像道路提取的研究与应用提出更高的要求。虽然近年来道路提取方法取得了长足的进步,但普适性仍存在一定的问题,因此本文期待从以下几方面得到进一步研究与发展:

(1)多角度道路提取体系的构建。道路属于人造地物,在影像中呈现复杂性和多变性的特点,而人类对地物识别往往是一个组合推理的过程,这需要足够的道路冗余信息。现有道路提取方法对道路性质的刻画并不完备,难以避免存在信息提取机理的局限性。而光学遥感影像也仅能表达道路一定空间与尺度上的性质,因此本文认为多角度道路提取体系的构建刻不容缓:

1)多方法互补的道路提取体系。在方法研究上,强化多种方法的协同。由于当前道路提取方法在机理上存在局限性,例如模板匹配方法对道路点特征(道路中心点、轮廓点等)的设定要求严格,而面向对象方法更加侧重于区域分割的稳定性,以此类推各类方法均有各自的优点与适用范围。充分利用各类道路信息提取方法的优势,形成不同道路提取模型间的有效互补,由此发展方法互补体系可能提高道路提取的精度与稳定性。

2)多数据协同处理体系。在数据的处理上,应注重多数据的同化与融合。目前中国光学、干涉雷达、激光测高等多类型卫星应用体系正在逐步形成,而开放式的众包数据(Openstreet MapData Mine、中国出租车轨迹、滴滴轨迹数据等)种类日趋完善,利用不同类型数据的优势,构建多数据协同处理体系必将是未来道路提取的研究方向。

(2)多层次道路提取体系构建。道路提取是一个复杂的技术过程,试图一次性完整解决该问题目前看来是不现实的。虽然目前已有方法采用多层次方式(Maboudi等,20162018),但完整性地结合各种方法机理,构建多层次道路提取体系研究尚未开展,而这也是本文认为今后需要深入钻研的方向。

1)基于传统方法的样本集制作模型。充分利用传统方法,一方面可以发挥该类方法效率高的优势,另一方面也可大幅降低样本集的制作时间。而在影像中直接提取标签集,已有相关工作开展。例如Brust(2015)人工选取检测影像道路样本区域:

2)构建符合道路提取的深度学习网络模型。深度学习可弥补传统方法对语义关系分析的不足,利用正样本与负样本,通过学习提高道路提取的精度,解决遮挡、模糊等传统方法难以处理的瓶颈问题;

3)建立基于传统方法的后处理模型。经过大量实验证明,通过深度学习模型提取的道路结果依然存在断裂、误提取、边缘模糊等问题。

摘自《遥感学报》2020年第7

 

扫一扫在手机打开当前页

光学遥感影像道路提取的方法综述

科技外事处 2021-02-03

光学遥感影像道路提取的方法综述

 

1引言

道路信息在应急响应、智慧城市、城市可持续扩展、车辆管理、城市规划、交通导航、公共健康(Frizzelle等,2009),无人机导航、灾害管理、农业发展(TundeAdeniyi2012),以及无人驾驶车路径规划和交通管理(Wang等,2016)等多个领域扮演着基础性的角色。光学遥感数据(包含航空与卫星影像,下同)不仅具有宏观性、多源性、真实性、实时性、海量性等一系列优点,而且能够以较高的空间分辨率对目标地物进行精细化解译,其提取的目标信息具有严格的地理坐标转换关系,可为不同行业用户提供了统一的表达模式。同时现代计算机视觉及航天技术等软硬件技术的快速发展,为统一描述和表达复杂的道路提取问题提供了可靠的理论与技术支撑(TothJozkow2016)。因此近年来国内外学者利用光学遥感数据提取道路的方法研究日趋活跃(吴亮和胡云安,2010)

道路提取属于遥感数据地物分类解译范畴,其解译精度一方面取决于实际地物场景复杂程度以及成像过程,而另一方面则与道路提取方法的设计有直接关系。在物方空间,道路为包括丰富色彩信息的3维立体模型。同一类型道路具有相似色彩和几何特征,其差异传播是线性可控的。但在像方空间,由于地物遮挡(视觉、绿化、阴影、地物覆盖等)、路面辐射差异(路面老化、结构差异)、成像模糊等问题,路面影像呈现出边缘信息的非一致性、特征变形分布的不规律性以及光谱信息刻画的复杂性,这一系列问题增大了道路特征表达的不确定性以及道路提取模型构建的难度。因此虽然目前国内外多个商业软件如ErdaseasytraceeCognitionFeature AnalystTITAN

ImageEasy Feature等提供了道路提取的处理模块,但仍然面临从海量数据中难以精确挖掘道路信息的技术瓶颈问题,尚有大量技术难题有待攻关(Miao等,20142015Poullis等,2014Wegner等,2015Cardim等,2018)。

近年来,虽然已有文献开展了遥感影像道路提取综述分析(Auclair-Fortier等,1999;史文中等,2001Mena2003;吴亮和胡云安,2010Babaali等,2014;Wang等,2016),但系统性地开展光学遥感影像道路提取的综述研究相对匮乏。因此,本文依据近几十年国内外相关文献,总结归纳道路提取方法与模型,介绍了道路提取的评估准则和方法,并举例对各类方法进行定量对比分析,以期对该领域的发展方向给出建议与展望。

2分类体系与依据

20世纪70年代开始,国际学术界和相关应用部门从不同的侧面,对道路提取的模型构建展开了深入研究(BajcsyTavakoli1976)。但面对迄今为止海量的道路提取模型,试图将其进行清晰分类是不现实的(Mena2003)。而目前已有文献所提出的分类体系也存在一定的不足。例如按照是否存在人工参与,道路提取模型可分为半自动和全自动两类(史文中等,2001),但目前全自动化的道路提取方法尚未出现,即使是利用深度学习进行道路提取也需预先建立大量的样本标签集(Alshehhi等,2017);按照道路提取结果,可分为道路区域提取与道路中心线提取两种模型(AlshehhiMarpu2017)。道路区域提取方法通常以分割或者分类为主(UnsalanSirmacek2012),道路中心线提取方法侧重于道路骨架的检测,通常采取细化和跟踪两种不同的方式,而细化操作又是在已提取道路区域上展开的(Liu等,2015);按照道路影像特征,道路提取方法可分为辐射特征、几何特征、拓扑特征和背景特征4大类(吴亮和胡云安,2010)。但研究表明,单一特征无法独立构建道路模型,因而仅依据特征难以对道路方法进行详细分类(戴激光等,2018)。鉴于此,参考ChengHan(2016)对光学遥感影像地物识别的分类体系,将道路提取方法分为模板匹配、知识驱动、面向对象和深度学习4类。

考虑到方法模型是地物目标特征的抽象表达(吴亮和胡云安,2010)。因此需要对道路特征进行归纳总结,本文在VosselmandeKnecht(1995)提出特征的基础上进行了扩充:

(1)几何特征:道路通常表现为长线条状,在局部范围内道路宽度和曲率的变化概率较小,道路交叉口常呈现TY、十字形等几何形态;

(2)辐射特征:道路两侧具有较明显的边缘信息,路面影像灰度分布呈现规律性,与相邻地物间存在较强的辐射差异;

(3)拓扑特征:道路具有明显的网状结构,不同交叉路口将多种类型道路连贯起来;

(4)上下文特征:侧重于条件、规则、证据等语义信息对道路的先验或后验判断,即道路和周边地物间存在一定的空间语义关系,可作为道路提取的间接推理标志,例如行树、建筑物、车辆、道路指示牌、分车带等地物与道路间存在非常强烈的伴生关系;

(5)辅助特征。道路作为人造地物,存在较多的相关信息资料,可用于辅助道路判读与提取。例如矢量数据、DSM、轨迹数据、众源数据等。

依据上述分类体系,以2012年深度学习方法在Image Net挑战赛上大获成功为分水岭(Krizhevsky等,2012),道路提取方法可分为两个阶段:

(1)传统方法阶段。该阶段道路提取主要是采用模板匹配、知识驱动、面向对象等3种传统方法,时间跨度可从1973年延展至2012年。其中尤以模板匹配方法应用最为广泛,商业软件如ErdaseasytraceFeature Analyst均是采用这类方法,而面向对象方法可见于eCognition软件。知识驱动方法由于需要设定不同先验条件,因而商业化程度不高。

(2)深度学习方法阶段。受到深度学习方法在图像分类、物体识别等领域取得突破的启发,从2012年开始,一些学者将深度学习引入到道路提取中来(Brust等,2015Li等,2016bAlshehhi等,2017;Cheng等,2017;Zhang等,2018;刘如意等,2017)。相对于传统方法,深度学习方法提取的道路其精度得到大幅提高,但该类方法目前仍处于实验室阶段,大规模普及实用化尚有待进一步研究。

3道路提取方法分类

3.1模板匹配方法

模板匹配方法是道路影像几何、辐射和拓扑特征的综合运用。主要包括以下3个步骤:(1)模板设计。通常模板可以人工或者依据一定规则设定;(2)测度分析。给定目标模板,在限定区域内通过测度函数寻找区域极值;(3)位置更新,即动态更新道路位置。常用的模板包括规则模板和可变模板,两者之间的区别在于规则模板可用圆形、T型、矩形等规则图形刻画。而可变模板是根据初始设定轮廓,通过能量函数迭代而确定最终道路边界,其模板大小形状取决于影像成像过程及目标地物特征。

3.1.1规则模板匹配

可以看到,该流程主要包括模板设计、测度分析、位置更新3个步骤。

(1)模板设计。模板是表达局部道路几何与辐射特征相似性的载体。McKeownDenlinger(1988)提出一种基于剖面模板的道路提取方法,该模板大小与道路宽度相关,可提取灰度均值及对比度等参数。Hu(2000)基于道路与其边缘暗一亮一暗的局部特征,提出二值剖面模板。LeninishaVani(2015)将道路影像视为具有固定宽度的虚拟沟渠,而路面辐射特征则为具有规律性的水体反演值,以此通过剖面迭代分析完成不同类型道路的提取。

由于道路横断面极易受到路面机动车、阴影、路面指示等亮斑或暗斑影响,因此在道路几何特征(局部道路宽度、方向变化概率小)的辅助下,矩形模板(孙晨阳等,2015)由此构建。例如Zhang(2011)在道路两侧边缘人工输入3点,构建矩形模板及相应的宽度、方向信息。Havekamp(2002)利用多个矩形模板的对比分析,从水平的方向开始,以一定的角度间隔旋转,形成一组离散的矩形模板,用模板内灰度方差、熵值来描述角度纹理特征ATS(Angular Texture Signature)

矩形模板设计的思想决定了其难以适应曲率较大的弯道,因此Fu(2013)提出圆形模板,以道路中心点为模板中心,道路宽度为模板直径。其优势在于具有旋转不变性,为本文运用该方法在弯曲道路上的提取道路中心线效果(红色),可以看到当出现连续弯道时,圆形模板可以取得较好地实验结果。针对需要人工设定模板尺寸的问题,连仁包等(2018)提出一种改进的局部形态学梯度图,对人工输入点进行自适应校准,由此构建圆形模板。

为解决车辆遮蔽和两侧行树阴影干扰问题,依据障碍物不能完全覆盖道路中轴线思想,林祥国等(2009)提出了T型模板。该模板是由剖面模板和矩形模板构成,两者在匹配跟踪过程中互为补充。T型模板可以有效地解决上述因素导致的测度分析困难问题。但该模板不足之处在于对路面辐射值变化敏感,需要大量的人工种子点,自动化程度并不尽如人意。

(2)测度分析。从物理意义上来说,测度分析主要是依据道路几何辐射特征,由不同侧面来刻画参考模板与待匹配模板间的最优相似性。最小二乘匹配(林祥国等,2009)、欧氏距离(Zhang等,2011)、互信息(Li等,2011)等是比较常用的相似性测度模型。例如Kim(2004)直接利用矩形模板的灰度信息,采用最小二乘匹配作为测度模型。而Li(2011)依据道路辐射分布具有规律性的特点,以互信息方法作为相似性测度,结合边缘点提取结果,完成对模板的匹配。

当路面上出现树荫、车辆时,上述相似性测度会产生较大的匹配误差(曹帆之等,2016)。Meanshift方法通过估计给定的中心点附近概率密度,利用自适应步长的方式移动至密度分布局部极值点,可以弥补传统相似性测度对遮挡敏感的缺点。而Meanshift方法作为一种相似性测度函数(张剑清等,2010;曹帆之等,2016:Lv等,2017),也难以避免受到种子点初始位置、模板大小、路面影像明晰程度等因素的影响。

(3)位置更新。位置更新是由已知参考模板到未知最优模板的递归跟踪过程早期的跟踪方式以迭代内插方法最为常用(胡翔云等,2002Miao等,2014)。例如ERDAS软件中的Easytrace模块,可通过起始点与终止点的方向约束跟踪完成对道路的提取。两侧设定端点可以约束道路跟踪方向,防止误跟踪问题的发生,但该方式也存在自动化程度低的问题:鉴于此,一些学者尝试直接输入道路点,在道路点双向进行迭代跟踪,完成道路中心线的提取,以此降低人工参与度(YangZhu2010;余洁等,2013)。但双向迭代跟踪的缺点在于难以有效控制跟踪方向,易引发道路误提取的问题。

动态规划跟踪是搜索最佳路径的有效递推方法,可依据预先设定的种子点,直接构造道路种子点之间的代价函数,然后利用动态规划找出那些种子点间的最优路径,从而提取出完整道路网(GruenLi1997)。例如曹帆之等(2015)将动态规划应用于道路跟踪。Movaghati(2010)将扩展卡尔曼滤波与粒子滤波方法结合起来追踪道路,以此降低障碍物的影响。虽然优化方法能够提高道路追踪的稳健性和精度,但当存在路面遮挡问题时,依然难免出现误跟踪问题。

目前规则模板匹配仍是实际工作中道路提取的一种有效方法。该方法通过设定种子点的方式实现人机交互,具有较强的纠错能力,充分地结合了道路几何、光谱及拓扑特征,但近年来具有突出创新性的模板匹配方法不多。

3.1.2可变模板

FischlerElschlager(1973)首次提出了可变模板的概念。可变模板通常需要人工给出种子点或者初始轮廓,利用迭代求解的方式完成对道路轮廓的提取,其中较为经典的方法包括动态轮廓模型和水平集模型。

(1)动态轮廓模型。动态轮廓模型ACM(Active Contour Model),又被称为Snake模型(Kass等,1988)。该模型将道路影像辐射和几何特征用能量函数表达,通过求解能量函数最小值达到提取道路轮廓的目的。Li(2008)为了克服影像中道路强度不均匀性,提出了一种基于区域的Snake模型该模型构建了一个局部强度拟合能量表达式,引入一个非负核函数K来描述道路局部邻域的强度信息。

3.2.2上下文知识

由于地物场景的复杂性和影像拍摄质量的不稳定性,研究学者发现很难完全依靠道路自身知识准确而完备地提取道路。因此一些学者转而考虑利用与道路相关的上下文知识,补充道路机器判读的证据。例如道路邻域的建筑物、树木和植被、路上的车辆和指示线、道路交叉口处的斑马线等均可作为道路提取的重要上下文知识(Maye,等,1997;Baumgartner等,1999)

目前城区大部分主干道两侧均有行道树,行道树与道路几何形态有相似之处,均表现出狭长特征。因此,分析树木的规律性分布,这将有助于进行道路提取(Shackelford等,2003;李成范等,2009)。例如Karaman(2012)提出一种融合多种模型的多波段高分辨率遥感影像道路提取方法,利用影像分割、边缘检测、结构分析、K-mean聚类、植被分析(归一化植被指数和土壤调节植被指数)分别建立道路图,通过不同图的累计权重区分道路与非道路区域。而Grinias(2016)针对路面植被少的特点,将归一化植被指数引入道路种子点检测的过程中,并与面向对象道路提取方法的结合。斑马线是道路交叉口的重要标志,因此Herumurti(2013)基于斑马线检测结果,利用区域生长方法从高分辨率航空影像中自动提取道路。

上下文知识的运用可辅助解决道路提取过程中存在的难题,例如遮挡造成的道路断裂问题可通过车辆检测结果予以解决。但该方法存在先天性的不足,例如车辆、斑马线、行树等信息的提取属于地物识别问题,一方面增大了算法的复杂度,另一方面也受到上下文地物检测精度的影响,这些均是限制该类方法进一步发展的桎梏。

3.2.3辅助知识

作为社会经济发展关注的焦点,道路在多个领域中均发挥非常重要的作用,因而针对道路的辅助知识必然广泛存在,例如以往获取的多源遥感数据、矢量数据、GPS数据、导航数据等。基于此思路,一些学者尝试利用辅助知识进行道路提取。

(1)多源遥感数据融合。单一遥感数据受到卫星类型、影像分辨率、成像时相、飞行高度等因素的制约,难以完备刻画道路目标,因而研究人员提出了多源遥感数据融合技术,以实现从不同尺度、角度、高度上对目标地物进行分析,实现数据优势的互补,从而为道路信息的提取提供帮助(Hu等,2004;Kumar等,2014;Rahimi等,2015;ChengWeng,2017;Coulibaly等,2018)。例如基于多光谱遥感影像和全色遥感影像,傅罡(2014)提出了联合保持投影JPM(Joint Preserved Mapping)融合算法。该方法充分考虑了高维遥感影像道路的非线性特征,通过建立统一的模型,将多源、多尺度的道路几何特征和光谱特征进行有机的融合。

(2)矢量数据。地理信息系统(GIS)、地形图等矢量数据具有精度高、可靠性强等优点,但由于需要投入较多的人力物力,在时态上往往落后于遥感影像,一些发生变化的地物信息未得到及时更新。利用已有的矢量数据辅助进行道路提取,可以获取一定的道路初始信息,替代或部分替代人工干预,获得相对稳定的提取结果(Sui等,2003)。例如Willrich(2002)对遥感影像和GIS矢量数据进行匹配预处理,结合道路影像的几何特征确定初步候选道路段,利用模板匹配方法对道路进行判别与连接。Chen(2014)将已有道路矢量与提取的断裂道路线进行拟合,得到道路中心线。丁磊等(2017)从矢量数据中获取初始道路种子点,再依次利用朴素贝叶斯分类、形态学处理及邻域质心投票算法提取完整的道路中心线。

(3)道路GPS数据。随着GPS技术和无线通信技术的日益成熟和普适化,浮动车技术已被用于交通监控和管理,浮动车的动态定位数据成为更新路线图一种新数据源。例如Li(2012)综合运用道路空间和上下文关系从GPS数据中提取道路网络。

道路GPS几何坐标与道路具有相似的分布排列规律,但存在5-10m间的坐标误差,CaoSun(2014)通过对GPS点位的分析,确定候选道路种子点,利用滤波、差分确定垂直于道路区域的分割峰值,通过灰度均值、分割大小等确定道路中心点,并将道路中心点连接起来构成道路中心线。而针对GPS数据采样间隔较长、数据量大、数据分布不均匀等特点,王振华等(2015)提出了一种栅格化分级提取道路中心线的方法。

(4)DSM数据。DSM数据是表征地表起伏的有效模型。为此,Uemura(2011)利用边缘检测结果对影像进行分割,结合DSM数据提取的道路结果,完成对道路的提取:而Herumurti(2013)在斑马线检测结果的基础上,利用DSM数据的高程信息,提取影像中的道路。

(5)众源地理信息。众源地理数据CSGD(Crowd Sourcing Geographic Data)是由大量非专业人员志愿获取,并通过互联网向大众或相关机构提供的一种开放地理空间数据,最具代表性的众源地理数据是Open Street Map网站提供的交通路网。与传统地理信息采集和更新方式相比,来自非专业大众的众源地理数据具有现势性高、传播快、信息丰富、成本低、数据量大等优点,但同时该类数据也存在质量各异、冗余而不完整、覆盖不均匀、缺少统一规范等不足(单杰等,2014)

针对OSM数据中存在的位置精度问题,Li(2014)提出了一种从OSM数据中提取高速公路网方法。该方法将整个道路矢量数据视为一组闭合的平面多边形,而多车道道路由多个长而薄的多边形组成。计算道路网中每个多边形形状描述符(面积,周长,紧凑度,平行度和宽度),使用支持向量机(SVM)方法对多车道路面候选多边形进行分类,利用邻近度和相似度将多边形连接起来,如果多边形被其他多边形包围,则视为空洞,将其填充。最后将多边形进行细化,从而得到道路网。

依据辅助知识的道路提取方法是近年来研究的热点,该类方法充分利用现有的道路知识,将道路提取的问题不再局限于影像本身,提高道路不同角度刻画完备性,这符合网络时代信息公开海量化的特点,是提高道路提取自动化程度的有效途径。尤其随着第一次地理国情普查的结束,大量积累的道路知识为自动化道路提取模型的构建提供了丰富的数据支撑。但不足之处在于需要考虑知识的准确性,以及知识与现有影像数据的匹配度(时间与空间),这些均是运用该类方法的瓶颈问题。基于上述3种方法。

3.3面向对象方法

随着光学遥感影像空间分辨率的快速提高,面向对象(Blaschke等,20112014)逐渐成为地物识别中一个关键的方法。该方法将道路视为具有一定几何纹理规律性的区域,通过影像处理得到分割区域结果,利用分类及后处理方法完成对道路的提取。

(1)影像分割。分割是面向对象方法中的初始步骤,也是决定道路提取精度的关键环节。目前最为简单易行的方法是阈值分割。阈值分割考虑影像道路与非道路区域间的整体纹理差异,选取合理阈值,确定影像中各像素点的区域归属,这是阈值分割法提取道路的基本思想(Raziq等,2016)。但传统的阈值分割无法顾及空间关系,需要与其他方法结合运用。MeanShift方法是一种非参数概率密度估计算法,在维空间指定区域内寻找一系列离散点对应的概率分布函数局部极值(Yang等,2003)。而在遥感影像中,道路呈现暗一亮一暗”或“亮一暗一亮”的局部特征,即道路中心点是道路剖面方向灰度峰值或低谷。从统计学角度看,该峰值类似于概率分布极值,因此李华胜等(2015)提出一种将阈值分割和Mean Shift相结合的方法,该方法首先利用Mean Shift对遥感影像进行平滑和分割处理,将具有相同或相似灰度值的区域用灰度均值显示;其次,利用直方图来统计确定分割阈值,从而得到初始道路信息。

考虑到仅依靠几个阈值对影像进行分割,难以避免会出现过分割及欠分割问题,因此很多学者转向多尺度分割方法(BaatzSchape2000;Hu等,2016)。多尺度分割具有自下而上(bottom-up)的特点,在确保同一分割单元内像元的匀质度最大,不同分割单元间异质性最大的前提条件下,采用区域合并方式完成影像分割。目前,该方法已广泛应用于道路提取领域(Li等,2016a;Saba等,2016;Maboudi等,2017)。例如Maboudi(2016)利用引导式滤波消除路面影像纹理的不一致性,然后采用结合颜色与形状信息的多尺度模型对影像进行分割。

其他经典分割方法还包括模糊C均值(AmeriValadanZoej2015)、图分割(AlshehhiMarpu2017)、边缘分割(苗则朗等,2013)、ISODATA算法(Miao等,2015)。

(2)影像分类。当实际场景中存在几何辐射特征与道路接近的河流、建筑物等目标地物时,分割方法难以将道路与非道路区域区分,此时需要采用分类方法对分割单元进一步处理。

道路具有突出的几何信息,因而面积滤波(AmeriValadan Zoej2015)、长宽比一线性特征指数LFI(韩洁等,2017)等几何参数可用于分割单元分类。例如Maboudi(2016)首先采用一种改进的线性与面积比值方法剔除不满足道路几何阈值要求的分割单元,在此基础上利用结构、光谱、纹理特征提取道路。

影像分辨率的提高不仅提供了更多的颜色、形状、纹理信息,同时也给区分道路与其他地物带来了不确定性。模糊决策方法是采用模糊数学对目标模糊的对象系统做出定量决策的一种方法,很多学者尝试将这一理论方法应用于道路分类(Amini等,2002;ZhangCouloigner,2006;Nikfar等,2015)。例如,Maboudi(2018)基于分割区域线性指数(keletonbased Object Linearity Index)、道路均一性指数(Spectralhomogeneity)、曲率权重(Weighted Curvature)、曲率方差(Std Curvature)、光谱指数(NDVINDWI)等描述模型,构建不同指数隶属度函数,通过建立模糊规则对分割单元进行分类。

支持向量机SVM(Support Vector Machine)是解决分类问题的有效手段之一(CortesVapnik1995),已大量应用于道路提取工作(SongCivco,2004;Inglada,2007;HuangZhang20092013)。其核心思想是通过核函数把数据非线性映射到高维特征空间,在高维特征空间中构造具有低维的最优分类超平面,然后通过综合考虑经验风险和置信范围,根据结构风险最小化原则SRM(Structural Risk Minimization)。寻求期望风险最小的函数作为判别函数(朱恩泽等,2016)

(3)后处理。分类仅能将不同分割单元赋予类别,而初始分割单元所导致的道路边界不清晰、黏连、断裂等问题依然存在。数学形态学能够进行图像形状和结构的分析及处理,有助于解决边界不清晰、空洞问题(AlshehhiMarpu2017)。例如李华胜等(2015)对分类后道路提取结果展开面积阈值滤波、形态学开运算、孔洞填充、影像差与和等工作,以获取更加精确的道路提取结果。

而针对遮挡、路面结构变化导致的分类后道路断裂问题,很多学者采用模板匹配方法对断裂区域进行连接(AmeriValadan Zoej2015Yin等,2015Maboudi等,20172018)。

当道路断裂区域难以通过模板匹配方法进行跟踪时,张量投票(Tensor Voting)是一种有效的手段(韩洁等,2017;Maboudi等,2016)。张量投票是机器视觉和机器学习中感知重组方法,具有推断和重组视觉基本结构能力。张量投票包括数据输入、张量编码、张量投票、张量分解及特征提取等步骤,其优点在于可对有一定规律的断裂曲线进行连接,但不足之处在于计算量过大,并且容易把道路破损带连接起来(Maggiori等,2015)

总体来看,面向对象道路提取方法虽然近些年来受到广泛的关注,并取得了大量突出的成果。但该类方法中也面临很多挑战,尤其是分割结果的准确性。

3.4深度学习方法

道路提取属于遥感影像解译问题,而物体的特性及其相互关系,尤其语义信息是遥感影像解译的关键环节,但传统方法受技术上的限制导致研究进展缓慢,而深度学习方法则为遥感影像解译在语义方向的拓展提供了新契机(龚健雅和季顺平,2018)。深度学习是由多层神经网络构成.即多个简单非线性函数的组合(万杰和Yilmaz2018)。卷积神经网络是深度学习中应用于影像处理的一种典型模型,当面对遥感影像中海量复杂的信息时,也促进了卷积神经网络从浅层结构到深层结构的发展。

依据深度学习理论,一些学者开展了道路提取工作,并取得了突出的成果。MnihHinton(2010)首次利用深度学习技术,提出一种基于受限玻尔兹曼机(RBM)的航空影像道路提取方法,从道路提取精度和自动化程度来看,其实验结果均远超过传统模板匹配、知识驱动及面向对象方法。Alshehhi(2017)以经典的LeNet(Lecun等,1998)网络结构为框架,利用全局平均池化层代替全连接层,解决了使用全连接层存在的参数冗余以及训练效率低等问题,提高了影像道路识别速度与精度。Xu(2018)提出DenseNet网络结构,该网络结构构建了由局部识别到全局感知的道路提取模块。该网络提高无遮挡道路的识别精度,但针对复杂背景下的道路区域识别能力较差。Zhang(2018)提出了残差U型网络,该网络以U型网络为基础,通过增加残差模块,在保证影像分辨率不变的情况下,增加网络深度;利用跳跃结构实现端对端的道路提取目标。该网络结构可以有效解决道路被树木小范围遮挡的问题。

深度学习方法常受到样本集的数量、网络结构的深度和宽度影响,使得网络模型性能受限,未能充分体现神经网络的优势。由于前向传播使得特征分辨率不断下降,导致道路的提取结果出现大量断裂、误提取问题,从局部放大图中也可以发现道路区域边界还存在模糊现象。Wei(2017)提出了一种基于道路的改进卷积神经网络结构。该方法联合反卷积与融合层,同时提出一种道路结构约束2009-2013年间仅有少量论文。随着2012年深度学习地物识别取得突破后,相关论文大幅增加。

4结语

光学遥感影像道路提取方法在过去20年内取得了显著成绩,随着国家十三五高分专项的进一步深入实施以及国家空间基础设施建设的推进,将有更多的国产卫星发射(陈仲新等,2016)。伴随着现代计算机视觉、大数据、深度学习等技术的发展,以及各行业领域发展的需求,将对光学遥感影像道路提取的研究与应用提出更高的要求。虽然近年来道路提取方法取得了长足的进步,但普适性仍存在一定的问题,因此本文期待从以下几方面得到进一步研究与发展:

(1)多角度道路提取体系的构建。道路属于人造地物,在影像中呈现复杂性和多变性的特点,而人类对地物识别往往是一个组合推理的过程,这需要足够的道路冗余信息。现有道路提取方法对道路性质的刻画并不完备,难以避免存在信息提取机理的局限性。而光学遥感影像也仅能表达道路一定空间与尺度上的性质,因此本文认为多角度道路提取体系的构建刻不容缓:

1)多方法互补的道路提取体系。在方法研究上,强化多种方法的协同。由于当前道路提取方法在机理上存在局限性,例如模板匹配方法对道路点特征(道路中心点、轮廓点等)的设定要求严格,而面向对象方法更加侧重于区域分割的稳定性,以此类推各类方法均有各自的优点与适用范围。充分利用各类道路信息提取方法的优势,形成不同道路提取模型间的有效互补,由此发展方法互补体系可能提高道路提取的精度与稳定性。

2)多数据协同处理体系。在数据的处理上,应注重多数据的同化与融合。目前中国光学、干涉雷达、激光测高等多类型卫星应用体系正在逐步形成,而开放式的众包数据(Openstreet MapData Mine、中国出租车轨迹、滴滴轨迹数据等)种类日趋完善,利用不同类型数据的优势,构建多数据协同处理体系必将是未来道路提取的研究方向。

(2)多层次道路提取体系构建。道路提取是一个复杂的技术过程,试图一次性完整解决该问题目前看来是不现实的。虽然目前已有方法采用多层次方式(Maboudi等,20162018),但完整性地结合各种方法机理,构建多层次道路提取体系研究尚未开展,而这也是本文认为今后需要深入钻研的方向。

1)基于传统方法的样本集制作模型。充分利用传统方法,一方面可以发挥该类方法效率高的优势,另一方面也可大幅降低样本集的制作时间。而在影像中直接提取标签集,已有相关工作开展。例如Brust(2015)人工选取检测影像道路样本区域:

2)构建符合道路提取的深度学习网络模型。深度学习可弥补传统方法对语义关系分析的不足,利用正样本与负样本,通过学习提高道路提取的精度,解决遮挡、模糊等传统方法难以处理的瓶颈问题;

3)建立基于传统方法的后处理模型。经过大量实验证明,通过深度学习模型提取的道路结果依然存在断裂、误提取、边缘模糊等问题。

摘自《遥感学报》2020年第7