基于暗通道先验的多尺度融合去雾算法∗

贺文靖 张俊生 景 宁 王明泉 成向北

（1.中北大学信息与通信工程学院 太原 030051）（2.太原工业学院电子工程系 太原 030008）

由于大气中存在着水滴和灰尘等悬浮颗粒物，致使图像在经过气溶胶的射散衰减后变得模糊，在被视觉系统采集处理时难以分辨目标物体［1～2］。因此，图像去雾的研究对计算机图像识别检测领域有着十分重要的意义。

当前，雾天图像去雾的方法研究众多，一部分是基于图像增强的去雾算法，利用图像本身的相关物理信息进行处理，调整图像对比度和颜色使图像清晰，最大化地提高原始图像的可见度。常见的图像增强算法有直方图均衡化算法［3］、Retinex算法［4］、同态滤波［5］和小波变换［6］等，虽然这类方法适用性广，但在处理过程中容易出现色彩偏移现象，导致获得的去雾图像细节丢失。

另外一部分是基于先验知识的去雾方法，该算法通过对雾天图像进行研究获得先验信息，将此信息通过大气散射模型（ASM）恢复为无雾的图像。此方向的代表包括：He［7］等通过对大量无雾图像与有无图像对比研究，发现有雾图像的暗通道是灰色，而无雾图像的暗通道是黑色，基于此结合大气射散模型提出暗通道去雾算法，但是由于这一算法速度太慢，并且当场景物体环境光［8］与大气光相似时造成先验理论失效，复原图像存在亮度低色彩扭曲现象；
Tarel［9］等提出使用滤波方法对有雾图像进行大气光估计，该方法不适用于所有的模糊图像；
Fattal［10］等假设前提为表面阴影和传输函数是无关的，通过对大气散射模型进行运算求得传输函数，该方法只在局部去雾有效，在处理密集的浓雾时效果较差。Berman 等［11］提出雾线模型使用数百种颜色对无雾图像进行近似模拟，并利用KD-tree 聚类算法将每个像素替换为其所属聚类的中心像素，且每种颜色簇形成一个雾殖线，以雾霾线模型估计传输函数并复原雾天图像。Wang等［12］为了解决天空等类似大气光区域出现的曝光缺点，采用形态学算法等操作将雾天图像的天空区域进行分离，对天空区域的传输函数优化，解决天空区域处理效果不佳的问题。

本文首先将有雾图像进行AINDAN［13］算法增强暗部，之后通过迭代获得最佳阈值后将其分割为两部分，大面积留白区域使用最亮通道取反去雾处理，另一部分使用DCP 导向去雾，然后将两部分区域进行融合得到初始融合图像，对初始融合图像使用非锐化掩蔽来增强图像的纹理细节；
为使最终融合图像保留原始颜色，本文增强图像的同时对有雾图像做DCP导向去雾处理，最后将经去雾处理的三幅图像与初始融合图像做输入，通过对多尺度图像进行像素级别的权重融合后使用laplace 金字塔进行分解重构得到平滑处理后的图像，即为最终去雾图像。

2.1 大气散射模型

大气中存在的悬浮颗粒使通过大气的光会衰减和散射，导致映射在计算机视觉的图像变得模糊，广泛用于描述带雾图像的大气散射模型可以表示为

式中I（x）表示拍摄到的原始雾状图像，J（x）表示恢复的无雾清晰图像，A 为相机或观察者在观测无穷远处时的大气光强度，t（x）为光线透射率，其表示在成像过程中从物体反射出来的光在未被雾粒子散射光量的比值；
在均匀分布的大气中，t（x）可以进一步表示为

其中，β表示大气散射系数，d（x）表示从场景物体到拍摄器的深度。图1 说明大气光与目标场景在传输过程中散射衰减引起的成像现象。

2.2 暗通道先验理论

He等［7］通过对大量户外无雾图像进行研究，发现清晰无雾的图像里总是有一个颜色通道的灰度值很低，所以指出在暗通道先验理论中其值往往趋于0，对于清晰无雾的暗通道图像Jdark如下：

其中，Ω（x）表示以像素点x 为中心的一个方形窗口，上标c表示R/G/B三个通道中的一个通道，将式（1）稍作处理表示为下式：

上述推导已知暗通道趋于0，所以得到传输函数为

图像恢复公式为式（7），当透射率t的值很小时会导致J 的值过大，从而出现图像大幅泛白的现象，因此本文设置阈值t0为0.1，如下：

本文中所有的测试结果依赖于ω=0.95。

3.1 算法总流程

本文算法总流程如图2 所示，大雾天气会使图像颜色失真，并且在DCP去雾处理后的图像会比原始的暗。因此，本文首先对有雾图像使用AINDAN算法对其暗部进行增强；
之后将增强的图像进行最佳阈值分割为两部分后分别进行处理，分割的大面积留白区域使用最亮通道取反去雾算法，从最亮通道取反去雾图中可以看出，虚线框区域由于过暗导致细节丢失，在实线框区域可以看出去雾效果较佳，而其他背景区域使用DCP 导向去雾，在图中可以看出经DCP 导向去雾的图像在虚线框区域曝光了，实线框部分的去雾细节保持完整；
然后，将两部分区域进行融合后得到阈值融合图像，并使用非锐化掩蔽来增强图像纹理细节；
同时，为使最后的多尺度融合图像保留原始图像的色彩，对原始图像进行DCP 导向去雾处理后的图像作为多尺度融合中的一个输入；
最后将三幅去雾后的图像与阈值融合图像做输入，通过图像的对比度、亮度、饱和度三个通道进行权重融合后使用laplace 金字塔进行比重分解融合得到平滑最终的去雾图像。

图2 算法总流程

3.2 图像增强

本文采用的图像增强算法AINDAN［13］实现简单、速度快且适应性广，能够在不破坏图像本身就光照好的位置基础上增强图像的暗部细节。算法步骤分为以下三步。

步骤1根据图像亮度分布建立一个自适应的全局映射函数，这极大地提高了图像中暗部像素的像素值，同时也压缩了图像的动态范围。首先，计算出彩色图像的亮度值：

其中参数z 的值根据图像自身得出，对原始图像的累计直方图达到0.1 的色阶值L 统计后将其分为暗部增强处理、中和处理、亮部无需处理三部分。

如下所示：

步骤2对图像做自适应对比度增强，根据像素领域内的平均值和像素值本身的比例做映射，从而提高图像的整体对比度。

通过局部对比度进行增强，即不同位置具有相同像素值的像素在增强后会得到不同结果。当前像素值大于周边像素的平均值时，当前像素值会增加，反之成立。通常，一种较好的计算方式是高斯模糊，公式如下：

式中，S（x，y）表示对比度增强结果，指数E（x，y）如下所示：

式中的下标conv 表示卷积，P 值是通过求原始亮度图的全局均方差来决定的：

为了得到更好的对比度增强效果，一般会使用多尺度卷积增强，因为各个尺度的卷积会带来不同的细节信息。本文分别设置为5，20，120。

步骤3颜色复原

λ设置为1 能保证图像不会出现色彩偏移现象。

基于图像增强在部分处理中过于激烈而造成暗部出现色斑，使其在视觉上变得突兀，因此，本文对放大幅度进行限制，根据图像内容自适应设置，确保在增强过程中避免出现这样的问题。

3.3 不同区域分割

为使融合图像大幅度解决传统DCP 去雾处理在背景类似大气光值时导致的曝光问题，本文采用最佳阈值方式对灰度图像进行分割。通过构建一个扇形模型，最小灰度值Imin（x，y）和最大灰度值Imax（x，y），初始阈值可表示为：

利用几何不等关系式（17）逼近拟合：

其中T0与T1分别表示灰度值大于阈值的均值和小于阈值的均值，扇形模型如图3所示。

图3 扇形模型几何表示

图4 不同曝光图像融合

3.4 RGB亮通道取反去雾

通过对有雾图像中大面积留白区域的特征统计分析得知RGB 三通道数值均值偏高，所以根据暗原色先验方法对RGB 中的最亮通道进行取反计算，可以解决在近似大气光区域曝光失效导致丢失细节的问题。

通道取反公式为

新的透射率公式为

经过实验得出结论，亮通道取反去雾处理对非天空区域的去雾也有一定效果，但容易导致图像过暗丢失细节，所以在本文将大面积留白区域保留，与传统DCP去雾图像进行融合得到初始去雾图像。

3.5 曝光图像融合

由于传统DCP 去雾算法存在大尺度高亮度区域失真的缺陷，本文结合曝光融合［15］处理去雾图像可以获得优化效果。由于曝光不足和曝光过度，叠层中的许多图像都包含平坦、无色的区域。这样的区域应该得到较少的权重，而包含明亮颜色和细节的有趣区域应该被保留，所以通过像素级别融合，加上多尺度平滑处理得到多尺度融合图像。

1）对比度：在过曝图像或严重低曝光的区域，图像基本是255或0，因此这些区域是很平滑的，梯度信息几乎为0，这些也是曝光融合中要舍弃的区域——过曝部分缺乏细节，低曝光区域缺乏细节和亮度。因此用laplace算子提取图像的梯度信息，梯度信息越小的像素在融合时占据的比重就越小，相反梯度信息越大的像素的比重就越大。对输入的第k张图像Ik进行对比度C的计算：

2）同样针对过曝或严重低曝光的饱和度是接近于0 的，而那些饱和度高的区域常常是需要保留的区域，因此论文通过RGB 三通道标准差来衡量饱和度S 的大小，标准差越大说明饱和度越高，以此得到不同的比重：

3）亮度E 越接近0 或255，则很可能处在过曝或严重低曝光区域，而在128 附近的常常可以认为是曝光良好的区域，这些区域的信息在融合过程中要尽量保留，比重尽量大，如下：

σ是方差，本论文中取0.2。判断这个点的灰度值和0.5的接近程度，如果灰度值和0.5距离越远说明这个点的曝光水平不够好，E 这一项的权重就会低，反之接近0.5说明该点是一个良好曝光的像素，E的值会相对变高。

上面根据对比度、饱和度、亮度三方面可以得到每个像素点在融合时的比重，三者合在一起：

其中分别C、S和E“加权”指数ωC、ωS和ωE，下标i，j 和k 是指第k 个图像中的像素（i，j）。如果指数ω等于0，则不考虑相应的度量，最终像素权重Wij，k将用于融合过程。

为了防止多张图像融合，出现过高或者过低的值，对W 归一化；
将k 张图像｛I1，I2，…，Ik｝各自对应一张归一化的比重图｛W1，W2，…，Wk｝进行融合得到R：

使用laplace金字塔，对每张图像分解出laplace金字塔，对应的比重图分解出高斯金字塔，然后根据比重对laplace金字塔做融合，从低分辨率开始上采样叠加同尺度的融合后laplace细节，即可得到结果。

本文从高斯金字塔的低分辨率上采样，对应尺度的高斯金字塔结果减去这个上采样结果，然后，下一次的上采样结果是通过高斯金字塔的结果上采样得到。

为了验证本文提出方法的实际性，将文献［9］、文献［11］、文献［7］、文献［16］与本文的仿真结果进行对比分析，选取同样的雾天图像数据从主观评价、客观评价两个方面对仿真结果进行评价。实验测试环境：CPU 为Inter Corei5-12500，显卡为NVIDIA GeForce GTX1050 Ti，操作系统为WIN11，仿真软件为Matlab2021b。

4.1 主观分析

针对不同场景和不同程度的雾浓情况，将本文与文献［9］、文献［11］、文献［7］、文献［16］进行对比，结果如图5所示。

图5 不同方法复原结果比较

从图5 可以看出，文献［9］去雾使图像清晰，但会使图像在大面积留白区域出现严重色偏，或出现黑色斑状，并在物体边缘处理中不够完善从而导致图像丢失细节；
文献［11］在去雾效果上增强了图像的清晰度和对比度，在薄雾图像的处理中出现明显黑色块状，视觉上较为突兀，而浓雾场景下的细节处理较为完整，但在与大气光相似区域出现曝光现象；
文献［7］去雾使图像清晰，在薄雾图像处理后的细节保留较好，但在浓雾场景下的图像去雾处理曝光严重使细节丢失；
文献［15］在去雾的基础上增强了图像颜色复原导致出现轻微色偏，在薄雾图像中的处理结果较好，但在浓雾图像下曝光严重使细节丢失；
本文提出的图像增强方法在处理图像时不会破坏本身就光照好的位置，对暗部进行增强，使更多细节和纹理较清晰地表现出来，在图像融合方法时将过曝或严重低曝光部分舍弃，保留饱和度高的区域和曝光良好区域使图像细节保留下来，得到的去雾图像细节完整并且提升了图像对比度，亮度也更加均匀，具有较好的主观效果。

4.2 客观评价

本文使用图像评价指标里常用的均方误差（Mean Square Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structure Similarity Index Measure、SSIM）作为客观评价指标。MSE 就是线性回归的损失函数，数值越小越好，PSNR 数值表示去雾图像与原始图像之间的失真程度，数值越大图像复原质量越高，失真程度越小，SSIM 衡量两张相似图像的结构相似性指标，数值越大代表输入图像结构损失越小。

图像评价指标如表1～表3所示，表1为MSE评价指标，表2为PSNR评价指标，表3为SSIM评价指标。从表1～表3中数据可以看出，本文算法处理后的图像评价指标有明显提高，根据表中数据可以判断出本文算法引入的噪声少，在图像保留方面存有信息更为完整，在结构相似性中的效果相比其他算法较好。

表1 均方误差指标

表2 峰值信噪比指标

表3 结构相似度指标

根据传统去雾处理导致图像曝光和色调偏暗的问题，本文提出基于暗通道先验的多尺度融合去雾算法，其通过AINDAN 算法增强暗部后进行阈值分割，将留白区域通过最亮通道取反能够得到保留，另一部分使用DCP 导向去雾，经去雾处理的两部分进行初始融合的去雾图像改善了色调偏暗和过度曝光的现象，同时对原始有雾图像进行DCP导向去雾可以保留一定原色，最后将三幅去雾图像与初始融合图像作为多尺度融合的输入，通过像素级别融合，使用laplace金字塔进行分解重构得到多尺度平滑处理后的最终去雾图像。实验结果表明，本算法在原始去雾保留细节的基础上能够较好保留天空或其他留白区域，同时避免了色彩失真问题，但是，本文算法仍然是对暗通道先验去雾算法的补充，应提升创新性提出独立的去雾思路增强图像。

猜你喜欢 尺度大气像素 赵运哲作品艺术家(2023年8期)2023-11-02大气的呵护军事文摘(2023年10期)2023-06-09像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25财产的五大尺度和五重应对内蒙古民族大学学报（社会科学版）(2020年2期)2020-11-06“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27大气古朴挥洒自如河北书画研究(2016年2期)2016-08-24大气、水之后,土十条来了新农业(2016年18期)2016-08-16宇宙的尺度太空探索(2016年5期)2016-07-12高像素不是全部CHIP新电脑(2016年3期)2016-03-109时代英语·高三(2014年5期)2014-08-26