镜头表面附着雨滴的检测和去除方法综述

李 忠,欧阳斌,邱少华,崔小鹏,徐兴华

(海军工程大学 电磁能技术全国重点实验室, 湖北 武汉 430033)

近年来,基于人工智能技术的自主无人系统得到了强有力的发展。以智能监控系统、高级驾驶辅助系统(advanced driver assistance system, ADAS)、自动驾驶系统以及无人潜航器(underwater unmanned vehicle, UUV)为代表的各类无人系统平台已经成功应用落地。自主无人系统使用多种不同类型的传感器来感知环境,其中视觉感知手段应用更为广泛,其不仅能完成环境探测、目标检测、目标识别、目标跟踪和自主避障等任务,还能实时监测设备的工作情况和健康状态。

然而在复杂多变的外界环境中,视觉系统成像容易受到雨、雪、雾、附着雨滴、污垢等噪声的影响,严重阻碍背景场景的可见性,造成图像质量退化,进而显著影响视觉系统的性能。因此有必要对退化图像中的伪影噪声进行检测和去除,通过这一预处理步骤,可以提高图像数据的可用性。

关于图像去雨[1-6]、去雪[7-9]和去雾[10-13]的研究已经非常深入,这些方法通常依赖雨、雪、雾的物理特征来进行检测和去除。例如:文献[1]利用高频先验知识来去除雨纹。文献[13]提出一种新颖的双目图像去雾框架,利用左右图像之间的相关性对双目图像进行去雾。然而这些方法不能直接应用于雨滴、污垢等附着噪声的去除,因为它们在镜头表面的成像和约束不同于场景中的雨、雪或雾。其中附着污垢的形状、大小、颜色、透明度各异,问题异常复杂,故本文只讨论附着雨滴的检测和去除。

对镜头表面附着雨滴去除问题的早期研究始于2005年[14],其中最典型的方法是基于模型的方法(非深度学习方法)。这类方法更多依赖对附着雨滴进行建模或对背景场景进行统计分析,将先验注入雨滴层和背景层,以此来检测和去除雨滴。近十年来深度学习领域发展迅猛,随着文献[15]首次提出通过训练卷积神经网络来解决单幅图像附着雨滴的去除问题,基于数据驱动的深度学习方法开始在文献中占据主导地位。这类方法利用深度网络自动提取深层次特征,能够模拟从雨滴退化图像到干净背景图像的复杂映射。本文从基于模型、数据驱动、摄像系统三个方向详细梳理了不同附着雨滴检测和去除方法,讨论了该任务中存在的主要问题,并点明了未来可能的研究方向。

1.1 附着雨滴成像模型

附着在相机镜头表面的雨滴对环境光有一定的散射、反射和折射作用,从而在传感器成像图像中形成伪影,遮挡部分背景信息,其成像过程如图1所示。

图1 附着雨滴成像模型Fig.1 Imaging model of attached raindrops

图2 雨滴模型Fig.2 Raindrop model

(1)

考虑到辐射取决于反射或折射光线方向上的环境辐射Le,式(1)可进一步表示为:

(2)

其中,R、V和P分别表示入射光在经过折射、反射和内反射后到达相机的比例,称为辐射传递函数。根据文献[16]的统计分析,雨滴的辐射主要取决于折射,因此其外观也主要由折射决定,其对场景辐射通常起增强作用。

由此可以将图1的附着雨滴成像模型表示为背景图像和附着雨滴退化效果的组合[17]:

I=(1-M)⊙B+N

(3)

其中,I表示退化图像,M表示二进制掩膜,B表示干净的背景图像,N表示附着雨滴带来的噪声效果,⊙表示逐元素相乘。在二进制掩膜中,M(x,y)=1表示该像素点为雨滴区域的一部分;M(x,y)=0则表示该像素点为背景区域的一部分。

检测和去除附着雨滴的目标就是从输入的退化图像I中恢复干净的背景图像B。通过物理建模可以得到二进制掩膜M,以区分背景图像B和噪声N,实现雨滴区域的检测;随后可以利用图像序列的帧间冗余信息,通过替换雨滴区域等物理手段或者基于深度网络模型的复杂映射来去除噪声N,并修复背景图像B。从本质上来看,去除退化图像中的附着雨滴伪影并修复背景图像是一个不适定问题,特别是对于单幅图像重建,由于没有可利用的时序信息,原则上不可能从单张图像中重建出高保真的背景图像,不同方法修复的图像仅能做到视觉感官上生动,其保真度和合理性无法得到验证。而对于一段视频或图像序列,可以利用帧间冗余信息,通过替换检测到的雨滴区域实现高保真的背景修复,但是这种方法无法应对动态背景变化以及大规模附着雨滴的情况。

1.2 其他成像模型

通过对上述附着雨滴成像模型进行一定的简化和扩展,现有方法提出了一些不同形式的成像模型,如加性复合模型[18-19]、雨滴薄雾混合模型[20]、中间层模型[21]、降级模型[22-24]等。其中加性复合模型对式(3)进行了简化;雨滴薄雾混合模型对式(3)进行了扩展,能够同时去除附着的雨滴和薄雾;中间层模型和降级模型对式(3)进行了改进,能够同时表征附着雨滴和附着污垢引起的图像退化。

1)加性复合模型。现有研究中应用最广泛的雨成像模型之一就是加性复合模型[18-19],其遵循的公式可以表示为:

O=B+S

(4)

其中,S表示雨线层,O表示最终的成像图像。该模型假设雨线只是简单地叠加到背景上,在退化图像中没有雨滴的积聚。

2)雨滴薄雾混合模型。此前很少有文献对附着薄雾开展过研究,文献[20]首次对同时附着在玻璃上的雨滴和薄雾进行检测和去除。通过改进文献[17]中提出的雨滴成像模型,将相机拍摄的退化图像在数学上描述为附着雨滴R、薄雾的散射A和干净背景图像B的组合,即:

I=[(1-M)⊙B+R]⊙t+A⊙(1-t)

(5)

其中,t表示通过附着薄雾的信息通过率的传输图,I、M、B、R、t和A都是和位置相关的映射。

3)中间层模型。文献[21]将相机镜头表面附着的噪声(雨滴或污垢)看作中间层,由此提出一种成像模型,称为“中间层模型”。相机最终捕获的图像I(x,y)包含两个分量:第一种是衰减,从目标场景发出的辐射被中间层衰减;第二种是增强,中间层通过散射环境中其他方向的光或反射其表面的光,为相机传感器提供额外的辐射。假设I0(x,y)是目标场景的辐射;α(x,y)∈[0,1]是中间层的衰减模式,0表示完全遮挡;Iα(x,y)是增强项(即中间层带来的额外辐射),则有:

I=I0·(α*k)+Iα*k

(6)

其中,k表示中间层的离散模糊核,*表示图像卷积。

4)降级模型。附着在相机镜头表面的干扰噪声通常会散焦,并在传感器成像的图像上呈现模糊或黯淡的效果。文献[22]将这种现象建模为降级算子D应用于原始图像y的结果,可以表示为:

z=D[y]

(7)

其中,方括号用于指示算子的参数,根据广泛使用的加性模型[23],降级算子D考虑了模糊和噪声,即:

z(x)=D[y](x)=F[y](x)+η(x),x∈χ

(8)

其中,x表示像素坐标,χ表示离散图像网格,F表示模糊算子,η表示噪声项。通常假设模糊算子F是线性的[24],进而可以得到最终模型为:

(9)

其中,h(x,·)表示x处的点扩散函数(point spread function, PSF),由于它对y进行局部平滑,因此假定为非负函数。该降级模型非常通用,适用于附着雨滴和污垢引起的图像退化。

近十年来各类雨滴的检测和去除方法的应用和发展情况如表1所示。

表1 附着雨滴的检测和去除算法

2.1 基于模型的方法

基于模型的方法主要通过雨滴的几何外观或其物理成像过程来对雨滴分布进行建模,其检测和去除过程通常可以分为三步:第一步通过物理建模得到掩膜,进而区分雨滴区域和背景区域,实现雨滴检测;第二步充分利用图像或视频序列的时序信息,寻找雨滴区域的帧间冗余信息;第三步通过匹配替换雨滴区域来实现雨滴去除和背景重建,如图3所示。根据处理对象的不同,可将基于模型的方法细分为基于图像序列的方法、基于视频序列的方法和基于单幅图像的方法。

图3 基于模型方法的一般流程Fig.3 General process of model-based methods

2.1.1 基于图像序列的方法

文献[25]对雨滴的几何外观进行分析,提出了一个精细的光度雨滴模型来检测附着在挡风玻璃上的雨滴。通过比较模型渲染和实际感知的雨滴来检测雨滴位置,最后通过匹配替换相邻帧图像的冗余信息来修复雨滴遮挡区域的背景信息,此法计算复杂度高。此外,由于提出雨滴模型的球形截面假设并不能覆盖所有的雨滴形状,因此无法处理所有雨滴。在之后的研究中通过进一步考虑倾斜面上的附着雨滴形状,使用Bézier曲线代替球形截面模型[26],建模精度提高了三个数量级,一定程度上放宽了对雨滴形状的限制,但是计算量仍然很大。类似地,文献[27]提出了一种基于雨滴颜色、纹理和形状特征生成雨滴显著图的方法来检测雨滴。此法在小、中雨场景下效果较好,但是无法应对大雨场景,因为附着雨滴的形状复杂多变。此外,该方法要求雨滴不能出现散焦模糊,因为这会使其失去显著性。针对镜头聚焦近景时附着雨滴出现散焦模糊的问题,文献[28]提出使用强度变化的先验知识将图像划分为雨滴和非雨滴区域,采用时空相关性来验证并检测出散焦雨滴。此法的局限性在于不能检测明亮背景下的散焦雨滴,因为它们之间的强度变化很小。文献[29]使用远程轨迹来分析雨滴沿轨迹的局部运动和形态特征,并将其转换为标记问题方便优化损失函数,最后通过轨迹指示的补丁来实现雨滴的去除,保持运动的一致性。据称该方法适用于任意大小、形状、模糊和眩光程度的雨滴检测。

2.1.2 基于视频序列的方法

除了利用图像序列对附着雨滴进行检测外,也有一些直接对视频序列进行处理的方法。文献[30]采用直方图均衡化、帧相交、二值化以及形状检测等步骤对运动车辆视频中的附着雨滴进行检测;根据雨滴区域位置采用包括模板匹配、形态学处理和图像修复等方法去除雨滴并修复背景图像。然而此法无法应对大而稠密的雨滴,也无法适用于背景变化大的时机场合(如车辆转弯时)。文献[31-32]分析了来自图像流的图像之间的变化,发现被雨滴遮挡的区域随着时间的推移,其强度变化要比未遮挡区域慢得多。因为雨滴相当于充当了一个附加镜头,以20～30的缩放因子创建周围的紧凑图像。若雨滴未聚焦,透过雨滴看到的图像将变得模糊,从而进一步降低强度随时间的变化。根据这些观察结果,推导出一种利用时间强度差进行雨滴检测的算法。

2.1.3 基于单幅图像的方法

以上基于图像序列和视频序列的方法均建立在分析图像流或一段视频序列的基础上,利用先验知识和帧间冗余信息实现雨滴检测和去除,这类方法无法应用于单幅图像的雨滴检测和去除。文献[33]提出了一种不需要图像、视频序列以及专用设备的单幅图像附着雨滴检测方法,利用最大稳定极值区域(maximally stable extremal regions, MSER)进行图像分割,采用定性指标从分割结果中检测出附着雨滴。此法能够从单幅图像中检测出几乎所有的雨滴,漏检率较低。文献[34]基于雨滴的边缘和形状特征,结合图像分割、形态学处理、模式识别和椭圆拟合等不同算法,对单幅图像中的附着雨滴进行检测。但此法约束雨滴的面积在10～160像素之间,且采用单一的椭圆拟合,对于其他形状、大小各异的雨滴泛化能力较差。此外,其在复杂背景下的漏检率较高。

基于模型的方法的显著优势在于无须采集大量的图像训练样本并制作标签,可直接对小段图像或视频序列,甚至对单幅图像进行雨滴检测。然而此类方法也存在以下不足:

1)计算效率不高。对附着雨滴的外观或成像过程进行精确建模,包括模型匹配以检测和去除雨滴的过程整体复杂度高,计算效率通常较差。

2)泛化性不强。精确建模的优势在于对特定对象的效果出色,然而迁移到不同大小、形状和规模的其他附着雨滴场景下,检测效果往往不尽如人意。

2.2 基于数据驱动的方法

基于数据驱动的方法通过搭建深度网络模型,利用精细标注的图像对(同一场景下的雨滴图像和对应的干净背景图像)和设计的损失函数训练并优化模型,利用模型强大的特征学习能力和表达能力,去除雨滴区域并生成生动逼真的背景纹理。其中卷积神经网络(convolutional neural networks, CNN)和生成对抗网络(generative adversarial networks, GAN)分别凭借出色的特征提取能力和精妙的博弈过程,广泛用于图像修复。首先利用雨滴的物理模型和先验知识区分雨滴区域和背景区域,然后通过CNN、GAN等模型去除雨滴,并生成干净的背景图像。然而CNN和GAN都需要精细标注的图像对来训练模型,阻碍了其在实际工程中的应用。于是出现了半监督和弱监督学习的方法,这类方法不需要图像对训练,仅使用退化图像就能实现雨滴去除和图像修复。考虑到实际应用对实时性的要求,网络模型轻量化成为新的研究热点。

2.2.1 卷积神经网络方法

文献[15]率先通过训练卷积神经网络来解决单幅图像附着雨滴和灰尘的去除问题。提出的CNN模型由3层组成,每层有512个神经元,使用雨滴图像和同一场景下对应的无雨滴图像组成的图像对来训练网络。此法对于小而稀疏的雨滴和灰尘是有效的,但是无法处理大而密集的雨滴。此外,最后生成的图像存在一定程度的模糊,考虑应为网络规模有限所致。文献[35]为高级辅助驾驶系统提出了一种基于细胞神经网络和支持向量机(support vector machine, SVM)的附着雨滴实时检测方法。其核心思想是使用径向基函数(radial basis function, RBF)对SVM训练后得到的支持向量进行综合修正,并将其转化为CNN控制模板,通过显著减少像素级的分类时间来提高SVM的性能。然而此法在检测小雨滴时存在一定的局限性,因为需要提供大量的模板。文献[36]提出一种使用光场相机和图像修复技术来去除附着雨滴的方法。光场相机拍摄雨滴图像可以同时得到其深度图,可用于检测雨滴区域,将其转换为二值掩膜,随后采用基于Edge Connect模型[43]和DFNet模型[44]的图像修复方法对二值掩膜图像和原始图像进行处理,以去除雨滴并修复图像背景。

2.2.2 生成对抗网络方法

文献[17]巧妙地将视觉注意力机制引入生成对抗网络中,提出了一种用于单幅图像去雨滴的注意力生成对抗网络(attentive generative adversarial networks, ATT-GAN)模型。该注意力机制有助于引导生成网络更加关注雨滴区域,判别网络更好地评价恢复区域的局部一致性,最终生成高质量的去雨滴图像。相比文献[15]提出的网络模型,该模型可以有效去除大而稠密的雨滴,并且生成的背景图像质量更胜一筹。然而该模型包含大量的参数且存在复杂的循环操作,一定程度上限制了其在计算资源有限的实际工程中的应用。类似地,文献[45]提出了一种基于差分学习的生成对抗网络,用于去除图像中的附着雨滴。该方法使用生成网络来学习雨滴图像和干净背景图像之间的差异,而非直接输出干净的图像;判别网络采用矩阵输出而非单值输出,在一定程度上解决了生成图像模糊的问题。此后,有不少学者继续对ATT-GAN模型的网络结构进行调整和优化,不断提高模型的性能[46-49]。

2.2.3 半监督和弱监督学习方法

CNN和GAN方法需要大量精细标注的图像对进行训练, 为减轻对费时费力的人工标注的依赖,弱监督学习开始广泛应用于计算机视觉领域。文献[37]提出一种双重注意力机制,该机制同时使用形状驱动和通道再校准来指导CNN。其中,形状驱动的注意力利用雨滴的物理形状先验来精确定位雨滴;通道再校准细化了背景层和雨滴层的特征,可以提高模型的鲁棒性。类似地,文献[38]提出一种基于弱监督学习的雨滴去除对抗网络,通过建立雨滴检测器来产生雨滴注意力图,引入通道和空间注意力机制,隐式地生成修补内容。此法的鲁棒性强,容易适应新的领域。与文献[17]提出的方法相比,此类方法不需要图像对来构建高质量掩膜,最后生成的图像质量更高,然而由于模型的结构复杂,其计算效率并不高。为了进一步提高计算效率,文献[50]提出了一种具有轻量级结构的相邻聚合网络来去除单幅图像中的雨滴。带有相邻聚合操作的编码器-解码器结构可以有效提取图像信息特征。为了简化网络学习过程,将图像从RGB通道转换为YUV通道,使网络聚焦于YUV通道中的亮度通道,而不是所有的RGB通道,最终通过轻量级网络取得了非常出色的去雨滴效果。

相较于基于模型的方法,基于数据驱动的方法不需要对雨滴构建精细复杂的模型。利用深度网络模型强大的特征学习和表达能力,可以自动地提取图像中不同层次的特征,学习输入与输出间的映射关系,生成高质量的去雨滴图像。此类方法的泛化能力强,计算效率相对较高,但仍存在以下不足:

1)网络模型的效果很大程度上依赖训练样本的质量和规模。

2)生成图像的保真度和合理性无法得到验证。

2.3 基于摄像系统的方法

基于摄像系统的方法通过搭建不同的摄像平台,比如多相机摄像系统、云台摄像系统和立体摄像系统等,通过拍摄同一场景下的不同图像序列,基于一定的约束来检测雨滴区域,然后利用图像序列的帧间冗余信息,通过替换雨滴区域来去除雨滴并修复被遮挡的背景图像。此类方法需要基于一定的约束假设,且需布置复杂的摄像系统,不太适合实际工程应用。此外,此类方法基于图像序列,无法应用于单幅图像去雨滴。值得一提的是,此类方法的原理同样适用于附着污垢的检测和去除。

文献[39-42,51]对相机镜头表面附着雨滴的去除进行了长期、大量的研究。起初通过多台相机对同一场景拍摄图像,利用雨滴区域的特征和集合运算对雨滴进行检测和去除[39]。然而此法基于相机间距离足够小,在没有雨滴时不同相机拍摄的图像几乎没有立体差异的假设。但是在拍摄近景时,不同相机拍摄的图像间立体差异不能忽略;此外,需要布置多台相机也使得应用场景受限,于是提出采用可改变视线方向的云台摄像系统来替换多相机摄像系统[40]。首先拍摄一幅远景图像,改变视线方向后再重新拍摄一幅图像,经过投影变换后比较两幅图像,检测可能存在雨滴的区域;最后通过合并两幅图像来去除雨滴。此法假设相机在旋转过程中附着雨滴的位置不会发生改变。其局限性在于需要对相机旋转角度进行精确的测量,并且只能应用于静态场景。对此,通过进一步研究,同样使用云台摄像系统,文献[41]提出了一种适用于动态场景下附着雨滴的去除方法。

为了进一步消除拍摄场景远近和雨滴位置移动的约束,文献[51]使用立体摄像系统来检测和去除附着雨滴。通过比较立体摄像头测量的视差以及立体摄像头与玻璃表面之间的距离来检测附着雨滴,然后利用相应图像区域的纹理替换雨滴区域达到去除雨滴的目的。该方法不受拍摄场景远近和噪声位置移动的约束,但是需假设两幅图像上的雨滴位置没有重叠。在另一项研究中,文献[42]采用光流和优化方法来估计摄像机的运动,通过检测附着雨滴与其他物体在横截面图像中轨迹斜率的差异,制作一幅时空图像来提取雨滴区域,最后用目标区域对应的图像数据进行替换,以此来去除雨滴。

基于摄像系统的方法基于不同的约束假设,能够较好地检测出雨滴区域,采用帧间冗余信息替换的方式去除雨滴,可以高保真地修复被遮挡的背景区域。然而此类方法无法很好地应对动态变化的场景,此外,复杂的摄像系统一定程度上限制了其实际工程应用。

在镜头表面附着雨滴的检测和去除任务中,基于数据驱动的深度学习方法总体展现了更加出色的效果和更强的鲁棒性。深度网络模型的网络架构、损失函数显著影响着模型的学习能力,从而决定其最终的去雨滴性能。

3.1 网络架构

深度网络模型发展的趋势之一就是堆叠更为复杂的网络架构,不断尝试提高网络模型的学习能力。在去除附着雨滴,图像去雨、去雾等任务中,现有深度学习方法常用的网络架构包括残差网络、密集网络、多路径网络和递归网络等,如图4所示。

(a) 残差块[52](a) Residual block[52] (b) 级联卷积神经网络[2](b) Cascaded CNN[2]

3.1.1 残差网络

引入残差网络架构有助于解决深度去雨滴网络模型在训练中容易出现的梯度消失和梯度爆炸问题,同时保证良好的性能。DetailNet[52, 2]引入了一个残差网络和一个级联的CNN来去除雨滴(见图4(a)和图4(b))。ATT-GAN[22]使用U-Net 作为生成器的基本架构,可以有效地融合来自不同尺度的信息以获取全局特征,同时还能保持局部细节(见图4(d))。递归压缩激励上下文聚合网络(recurrent squeeze-and-excitation context aggregation network, RESCAN)[53]引入通道注意力机制,以调整各通道之间的相对权重,更好地将雨水和背景层分开(见图4(h))。

3.1.2 密集网络

密集网络的连接方式使得特征和梯度的传递更加有效,网络更容易训练。多流密集网络[54]结合了密集块和卷积网络(见图4(g));残差密集网络[55]将密集块集成到残差网络中(见图4(i));在文献[56]中,基本块以递归的方式连接(见图4(k)和图4(e));在文献[57]中,残差块也以递归方式聚合,并且选择长短时记忆网络(long short term memory network, LSTM)来连接不同递归(见图4(f))。

3.1.3 多路径网络

退化图像中往往包含不同尺度和形状的雨滴伪影,其中小雨滴可由较小的感受野捕获小尺度特征;大雨滴可由较大的感受野捕获大尺度特征。多路径网络架构中的不同路径具有不同的性质,即不同的核大小、膨胀因子和滤波器方向等,可以通过获取不同尺度的特征更有效地捕捉不同附着雨滴成分。在图4(c)中,不同的路径具有不同的感受野,可以在获取全局信息的同时保持局部结构细节。在图4(g)中,空间冗余从不同方向聚集以形成视觉注意。

3.1.4 递归网络

通过引入递归架构,可以充分利用不同阶段深层特征的依赖性,帮助更好地消除雨滴伪影。在文献[53,56-58]中,递归块以递归的方式嵌套和聚合,如图4(f)、图4(k)、图4(e)、图4(i)所示。网络执行阶段性操作,以处理输入和中间结果,逐步生成清晰图像。有时也采用不同块的级间递归计算来跨块传递信息。

图4(j)所示的非局部增强型编码器-解码器网络[59]将非局部操作引入用于去雨的端到端网络设计中。非局部操作将空间位置处的特征计算为特定位置范围内特征的加权和。

3.2 损失函数

一个好的损失函数可以更好地衡量模型预测输出与实际数据的差距,在现有的深度学习方法中,已经提出了几种出色的损失函数来规范网络模型的训练,如表2所示。

表2 现有深度学习方法中常用的损失函数

3.2.1 保真度指标

大多数研究使用信号保真度指标作为损失函数,如均方误差(mean squared error, MSE)、平均绝对误差(mean absolute error, MAE)以及结构相似性衡量指标(structural similarity index measurement, SSIM)等。它们的定义如下:

(10)

(11)

(12)

3.2.2 多尺度损失

从网络的不同层提取特征,形成不同大小的输出,多尺度损失[17]可以从不同的尺度捕获更多的上下文信息,其定义如下:

(13)

3.2.3 感知损失

感知损失[17]用于度量自编码器的输出特征与对应的干净背景图像特征之间的全局差异,这些特征可以通过一个预训练的CNN模型(如在ImageNet数据集上预训练的VGG16模型)进行提取。感知损失可定义为:

(14)

其中,F(·)是一个预训练的CNN变换。

3.2.4 对抗损失

应用对抗损失[17]可以提高生成图像的质量,其公式定义为:

(15)

对于相机镜头表面附着雨滴的检测和去除任务而言,无论是基于模型还是基于数据驱动的方法都需要使用真实场景下的图像数据进行训练和评估[60]。现有公开的附着雨滴数据集较少,总结如下:

1)文献[17]使用两台相机(Sony A6000和Canon EOS60)采集了1 168对真实场景下的附着雨滴图像,每一对图像拥有完全相同的背景场景,其中一幅透过附着雨滴的玻璃成像,另一幅透过干净的玻璃成像。该数据集包含多种背景场景以及不同的雨滴规模。可从以下网址下载该数据集:https://drive.google.com/open?id=1e7R76s6 vwUJxILOcAsthgDLPSnOrQ49K。

2)文献[61]将计算机生成的雨滴图像合成到Oxford RobotCar Dataset[62]、CamVid Dataset[63]和Cityscapes Dataset[64]得到三个合成雨滴数据集;此外还采集了一个真实雨滴数据集Stereo Dataset,该数据集包含50 000个图像对。可从以下网址下载这三个合成雨滴数据集和真实雨滴数据集:https://drive.google.com/uc?id=1j_5ho1 atUIXrufzCwwmPhpkKn440AN0d&export=download。

3)文献[36]通过第一代Lytro相机采集了一个光场雨滴数据集。该数据集共包含90张不同相机角度和背景场景下拍摄的雨滴图像。对于每幅图像,还提供了由Lytro软件生成的光场源文件、参考图像和参考深度图。可从以下网址下载该数据集:https://github.com/cavayangtao/light-field-raindrop-dataset。

4)文献[65]采集了一个不同光照条件、多种场景下的雨滴数据集RainDS。该数据集共包含1 200对合成图像和250对真实图像,其中每对包含四个图像:一个雨条纹图像、一个雨滴图像和一个同时包含雨纹和雨滴的图像以及对应的干净背景图像。其中合成图像基于公开的自动驾驶数据集PIE[66]和KITTI[67],真实图像则由Cannon EOS D60采集得到。可从以下网址下载该数据集:https://github.com/QUANRJ/RainDS(注:该数据集暂未完全上传完毕)。

鉴于深度学习方法出色的泛化能力和鲁棒性,对去除附着雨滴任务中七种先进的深度学习方法进行定量、定性以及计算效率的比较。这七种模型包括:WSRR-GAN[38]、Pix2Pix[68]、UA-GAN[69]、ATT-GAN[17]、AG-GAN[70]、SA-GAN[71]和DuRN-S-P[72]。值得注意的是:Pix2Pix、UA-GAN以及AG-GAN是三种典型的图像到图像的转换模型,并非专门用于去除雨滴,但是仍在去除附着雨滴的任务中展现了一定的效果。

本文在文献[17]公开的雨滴数据集上开展实验,该数据集包含一个训练子集train和两个测试子集Test_a和Test_b,其中train包含861对训练样本图像,Test_a和Test_b分别包含58对和249对测试样本图像。

5.1 定量比较

本文实验采用图像修复任务中常用的两种图像质量评价指标:峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性来进行定量评价。表3展示了七种深度学习模型分别在Test_a和Test_b测试集上的定量评价结果,为了观察各模型性能随提出时间的变化趋势,表3中各模型是按照提出时间先后(2017—2020年)由上至下罗列的。从结果来看,模型性能大体上符合逐年变强的趋势,其中WSRR-GAN模型表现最为出色,PSNR比DuRN-S-P模型平均高出0.86 dB;强监督学习模型ATT-GAN在两个测试集中都取得了较高的SSIM,然而PSNR不够出色。三种图像到图像的转换模型Pix2Pix、UA-GAN和AG-GAN整体表现较差,毕竟它们不是专门设计为去除附着雨滴的网络。

表3 七种模型的定量比较

5.2 定性比较

图5展示了七种不同模型去除雨滴之后的视觉效果,其中六对测试图像均选自Test_a子集,由此可以对不同模型的性能进行主观的定性比较。从图中可以看出,Pix2Pix、UA-GAN和AG-GAN这三种图像转换模型的去雨滴效果较差,残留部分雨滴未能去除,其中Pix2Pix出现了明显的色偏现象。ATT-GAN模型处理后的图像整体画面很生动,但是会在原来的雨滴区域生成少量伪影。DuRN-S-P和WSRR-GAN这两种模型表现最出色,能够去除几乎所有的雨滴,并生成高质量的背景图像。以上定性比较的结果与定量比较的结果相一致。

5.3 计算效率比较

为了公平比较不同模型的计算效率,本文统一在配备Core i5 9400F CPU和一块RTX 2060 Super GPU的Ubuntu16.04系统上进行所有实验,结果如图6所示。其中效率评价指标为模型每秒能够处理的图像帧数(frames per second, FPS),从实验结果可以看出,全监督学习方法的计算效率普遍比弱监督学习方法更高,其中DuRN-S-P最优,ATT-GAN次之,UA-GAN的计算效率最低。然而,当前所有的方法都还无法达到实时处理的性能(30帧/s以上),将来可以通过改进网络结构,升级硬件设施来实现实时处理。

图6 七种模型的计算效率比较Fig.6 Comparison of computational efficiency of seven models

6.1 存在的问题

1)缺少大规模带标注的图像对数据集。不管是CNN、GAN等监督式学习方法还是半监督、弱监督学习方法都依赖大体量的数据集进行训练。已有公开的附着雨滴数据集偏少,且规模不够大,一定程度上限制了网络模型性能的进一步提高。

2)实时性问题。实时性(30帧/s以上)是视觉系统的一项关键指标,需重点关注图像去雨滴这一预处理方法的实时性能。相较于基于模型的方法,基于数据驱动的方法在计算效率方面有一定提升,然而随着网络模型的加深,很难适应硬件资源不足的实际应用场景对实时性的要求。

3)缺少更合理的评价指标。从退化的图像中估计并修复背景场景本身是一个不适定问题,因为附着在相机镜头表面的雨滴遮挡了部分背景信息,通过网络模型生成的背景纹理只能做到在视觉感官上生动,其保真度和合理性无法得到验证。此外,常用的两种图像质量评价指标(PSNR和SSIM)都依赖匹配的图像对样本数据进行计算,然而在真实应用场景中往往缺少退化图像对应的干净背景图像,无法实际评估方法的有效性。

6.2 发展展望

针对镜头表面附着雨滴检测和去除任务中存在的上述问题,可重点从以下方面进行突破:

1)样本不足的问题。人工采集并精细标注大规模图像样本是一项费时费力的浩大工程,还可以考虑以下三个思路:第一,采用传统图像处理方法对现有图像数据进行扩增,如使用旋转、平移、镜像、扭曲、对比度调整等图像处理方法来获取更多训练样本。第二,使用自监督学习的方法训练样本数据,模型通过数据本身的结构和特性,自动构造监督信息进行训练,不需要人工干预。典型的就是生成对抗网络模型,可以生成与初始训练样本数据分布相似的新数据,达到数据扩增的目的。第三,利用Photoshop等软件人工合成图像样本,能够很方便地采集精细标注的图像对样本。

2)实时性问题。除了不断提高硬件水平,使用硬件加速外,还可以从以下三个方面展开研究:第一,从网络模型轻量化设计的角度出发,通过设计轻量化网络模型,在保证模型去雨滴性能的同时,大幅减少参数量,有效提升模型的计算效率,达到实时性能。文献[50]在这一方向做了有益尝试,提出的相邻聚合网络在大幅减少参数量的同时,取得了出色的去雨滴性能,但是该方法仍未达到实时性能。第二,采用模型压缩的方法(如模型剪枝、低秩分解等),在减少网络参数的同时,能够有效降低模型的计算复杂度。第三,从量化编码的角度出发,将浮点型运算转换为低比特运算,以降低模型的计算复杂度。

3)评价指标问题。现有的图像质量评价方法存在一定的缺陷,可以考虑从定性和定量方面设计新的评价指标。主要有以下两个思路:第一,从人类视觉角度出发,设计度量来模拟雨滴和去雨滴方法引起的典型畸变,并描述人类对不同去雨滴方法结果的偏好[73]。第二,从机器视觉的角度出发,评估高水平视觉任务或竞赛在雨天条件下的表现,以此来评定各方法的去雨滴性能。MPID数据集通过构建任务驱动的交通检测评估集进行了初步尝试,希望有更多大规模任务驱动的评估集应用于多样化的附着雨滴场景。

本文对相机镜头表面附着雨滴的检测和去除方法做了全面的归纳和总结。凝练了问题的本质并简要介绍了不同的成像模型。从基于模型、基于数据驱动和基于摄像系统三个部分全面阐述了现有检测和去除附着雨滴的技术方法以及它们的优缺点。从网络架构和损失函数两个方面对深度网络模型的发展进行归纳性总结,以期对网络模型的应用提供借鉴。归纳总结了现有文献中公开的附着雨滴数据集,通过实验对比分析了七种深度网络模型的去雨滴性能。最后阐明了检测和去除附着雨滴任务中存在的困难及其未来可能的研究方向。

致谢

海军工程大学舰船综合电力技术国防科技重点实验室梁英杰教授、平作为博士在文章结构优化方面提供了帮助和指导,谨致谢意!

猜你喜欢雨滴背景文献“新四化”背景下汽车NVH的发展趋势汽车工程师(2021年12期)2022-01-17Hostile takeovers in China and Japan速读·下旬(2021年11期)2021-10-12《论持久战》的写作背景当代陕西(2020年14期)2021-01-08小雨滴草原歌声(2020年3期)2020-12-08可爱的小雨滴学生天地(2020年24期)2020-06-09Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph大东方(2019年12期)2019-10-20小雨滴小学生导刊(2018年19期)2018-08-21The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges科学与财富(2017年22期)2017-09-10The Role and Significant of Professional Ethics in Accounting and Auditing商情(2017年1期)2017-03-22晚清外语翻译人才培养的背景贵州师范学院学报(2016年4期)2016-12-01