融合显著性特征的自适应主动轮廓模型

刘国奇，蒋 优，常宝方，茹琳媛，宋一帆，李旭升

河南师范大学 计算机与信息工程学院，河南 新乡 453007

图像分割是图像处理中重要的步骤之一，是模式识别和图像分析的重要工具[1]。传统的图像分割不能得到自然的分割效果，但是主动轮廓模型（active contour model，ACM）可以综合考虑与图形内容有关的约束条件，通过定义能量函数，获得更加自然的分割结果，因此它在图像分割领域应用范围较广。根据模型的构造形式可以将模型分为两类：基于边缘的主动轮廓模型[2-4]和基于区域的主动轮廓模型[5-8]。基于边缘的主动轮廓模型依靠图像边缘信息控制曲线演化，在目标边界处，曲线停留在目标边界。由于这些模型依赖图像梯度，因此对噪声敏感。基于区域的主动轮廓模型利用曲线内外的统计信息来构造能量函数并驱使轮廓演化[8-9]。基于区域的主动轮廓模型通常分为基于全局信息的主动轮廓模型和基于局部信息的主动轮廓模型。

CV（Chan-Vese）模型是基于全局的主动轮廓模型，该方法基于Mumford-Shah（M-S）模型，将分割问题转化为能量函数最小化问题[10-11]。由于CV模型中假设每个区域的灰度是均匀分布，导致目标边缘较弱时该模型容易出现边界泄漏[12]。为改进此问题，Zhi等[13]提出基于显著性驱动的区域边缘水平集模型（saliency driven region-edge-based level，SDREL）。SDREL模型在CV模型的基础上加入边缘检测函数，同时引入显著性映射提高模型提取目标的能力。由于SDREL模型依赖显著项，因此SDREL模型对灰度不均匀图像分割结果不理想。基于局部信息的ACM利用了更多图像细节，能够改善灰度不均匀图像的分割。Li等[14]利用局部强度聚类的方法来分割强度不均匀图像（local intensity clustering，LIC）。LIC模型利用图像强度不均匀的特性定义能量函数，能同时分割图像域和估计偏置场，估计偏置场用于强度不均性的校正。由于每次水平集迭代都需要进行估计偏置场，因此轮廓演化速度较慢。Huang等[15]利用自适应尺度参数快速（fast level set with adaptive scale，FLSAS）分割不均匀图像。FLSAS模型结合LIC模型和Zhang[16]模型，推导出最优分割平面，并引入了新的自适应尺度参数用来精确估计偏置场。该模型提高了LIC模型的轮廓演化速度，但FLSAS模型在复杂图像背景下的分割不够精确。此外，ACM在提取目标的过程中，普遍存在目标过分割现象。因此Liu等[17]通过设置目标个数K在曲线演化时消除分割冗余区域，减少目标过分割现象，但是该模型的目标个数K为先验信息。

基于全局信息的ACM不能利用图像细节信息，容易忽略目标弱边缘信息，因此轮廓在演化过程中易陷入局部最优产生过分割。基于局部信息的ACM通过原始图像与高斯核函数的卷积来计算局部信息可以提升模型在噪声、灰度不均匀和弱边缘图像上的分割精度，但是该类模型对参数和初始轮廓位置敏感，且在演化过程中每一次迭代都需要进行卷积运算，影响轮廓的演化速度。

针对主动轮廓模型存在的对初始轮廓位置、弱边缘和噪声敏感以及目标过分割问题，本文提出了融合显著性特征的自适应主动轮廓模型（ASF）。ASF方法的框架图，如图1所示，总结如下：

图1 ASF方法框架图Fig.1 Framework diagram of ASF method

（1）提出基于去雾算法的显著性映射，来提高目标和背景的特征对比度，防止轮廓演化过程中陷入局部最优。

（2）利用最大面积稀疏约束，解决了正交匹配追踪算法（orthogonal matching pursuit，OMP）对先验信息K的依赖，消除轮廓演化后产生的过分割区域，实现自适应目标提取。

（3）在CV模型上融入了图像显著信息作为能量模型的增强项，减弱噪声对目标提取的影响。同时为了防止轮廓过收敛，使用边缘检测因子作为模型能量项的权重。

（4）在包含传统图像和灰度不均匀图像的MSRA500数据集上进行实验，验证了ASF模型分割效果的较稳健。

本文中定义图像区域为Ω，图像区域水平集泛函为φ，Ω0(φ=0)为零水平集区域，Ωin(φ<0)，Ωout(φ>0)分别为零水平集Ω0的内部和外部区域。

1.1 CV模型

CV采用Mumford-Shah函数的主动轮廓模型来分割目标[11]，该模型中的能量函数E(φ)表示为：

其中，u0为原始图像，Length(C)和Area(C)分别为曲线C的长度和内部面积，μ、ν是曲线C的长度和面积权重，λi是图像拟合项的权重，C1和C2分别代表曲线C内部和外部的平均像素灰度值。

在保持C1和C2不变的情况下，对公式（1）进行梯度下降法求导可得到水平集公式（2）：

其中，δε(x)是Heaviside函数[11]的导数Dirac函数，其近似表达式为：

上述公式中ε是常量。

CV模型利用公式（2）作为目标函数对图像全局强度信息进行拟合，在处理过程中能够分割目标梯度无定义的图像。但CV模型受图像灰度方差信息影响较大，难以分割物体与背景强度相似的图像。

1.2 SDREL模型

文献[13]提出的SDREL模型利用显著性映射并结合图像区域及边缘信息提出新的能量模型，加快了曲线的演化速度。该模型的能量函数E表示为：

其中，α、β、μ、ν是为能量项的权重，g代表边缘检测函数，C1和C2分别代表原始图曲线C内部和外部的平均像素灰度值，s1和s2分别代表显著图曲线C内部和外部的平均像素灰度值。Dis(C)表示C与符号距离之间的差异。公式（4）中I0为显著图，定义为：

其中，Iu是原始图像的平均灰度值，IG是被高斯卷积的模糊图。

SDREL模型加快了轮廓的演化速度，但该模型依赖显著信息受图像灰度方差影响较大，当图像背景复杂或背景与目标灰度值接近时，该模型会把背景区域信息作为显著信息导致轮廓演化时陷入局部最优。

SDREL模型虽然加快了轮廓模型的演化速度，但该模型对初始轮廓位置敏感。而且多种模型普遍存在目标过分割现象，如图2（b）所示目标过分割现象是曲线会把非目标区域作为目标影响分割精度。本文提出新的能量函数克服上述问题，并进一步提升了轮廓模型演化速度，而且利用面积稀疏约束消除目标过分割。

图2 目标过分割现象Fig.2 Target over-segmentation

2.1 能量模型

提高图像目标和背景特征的差异，能够使活动轮廓更好的提取目标。在经典的CV能量函数基础上，本文提出的图像增强能量项Est可以增强目标特征、减弱背景和噪声特征，能量函数E(φ)表示为：

其中，Est为图像增强能量项，Ecv为CV保真能量项主要用于保护目标弱边界，Ereg为正则能量项，用于约束水平集演化曲线，U为稀疏约束。

2.1.1 图像增强能量项Est

图像增强可以提升目标特征和背景特征的对比度，突出目标特征；
显著性映射可以消除灰度不均匀区域对分割影响，使曲线快速定位到目标区域，加快轮廓演化。因此，本文提出基于图像增强的显著性映射检测，提出了公式（6）中的图像增强能量项Est：

其中，β1和β2分别是水平集函数φ内部和外部的权重，S是增强图像，Hε(φ)是Heaviside函数[11]，g为边缘检测函数，表达式为：

其中，I为输入图像，∇为梯度算子，Gσ是标准偏差为σ的高斯核。

公式（7）中s1和s2分别代表增强图像S水平集φ内部区域Ωin和外部区域Ωout的灰度平均值，其表达式分别为：

其中，H1=Hε，H2=1-Hε，Hε是Heaviside[11]函数。

在公式（7）中，增强图像S是经过显著性映射检测得到，显著性映射检测是计算机视觉中一项重要研究内容[18]，显著图中的目标具有更高信噪比更易于被检测出来[19]。显著性映射公式可表示为：

其中，S即为公式（7）的增强图像，x是图像中的像素点，JG是图像J的平均像素灰度值，IG是图像J高斯滤波模糊后的图像，表达式为：

其中，Gτ是一个标准差为τ的高斯核。图像J是利用去雾算法[20]得到的无雾图像。

文献[20]是基于暗通道先验的图像去雾算法，它认为在无雾图像中每一个局部区域都有可能会有阴影和单色调的东西。因此每个区域很有可能有至少一个颜色通道会有很低的值。暗通道先验就是取每个像素点对应的三个通道中最小值作为像素点x的暗通道的值（如图3所示）。

图3 原始图像I经过暗通道先验处理得到图像JFig.3 I image becoming J by dark channel prior

为了说明暗通道先验和显著性结合的必要性，本文进行模拟实验如图4所示。

图4 暗通道先验和显著性的结合Fig.4 Combination of dark channel prior and saliency

I1是图像I的R通道的灰度值，假设红色是目标区域，I1通过显著性映射得到目标区域为黑色部分；
对I2（G通道）和I3（B通道）进行相同处理，从图4看出无论哪个通道通过显著性检测得到的目标区域不完整。如果对I1、I2和I3进行暗通道先验处理得到重组图像J，然后对图像J进行显著性检测得到的目标区域与假设的区域相同。

在实际生活中由于物体成像受光照强度的影响，导致物体成像的过程中变成灰度不均匀图像，因此在计算机视觉中无雾图像的模型与大气光成分有关：

其中，I为原始图像，J是待恢复的无雾图像，A是大气光成分，t是透射率：

其中，ι为常数，zmax是图像I的最大灰度值，I(x)为图像I像素点低通道值。公式（14）中κ在本文所有实验中的值为0.95。通过公式（11）~（14）可以得到增强图像S，如图5（c）所示。

图5 增强图S的可视化Fig.5 Enhancing visualization of Figure S

2.1.2 CV能量增强能量项Ecv

Ecv作为公式（6）的保真能量项，它通过统计原始图像的灰度信息，防止曲线演化过程中目标弱边缘被忽略。Ecv定义如下：

其中，ε是常数，Hε(φ)是Heaviside函数，φ是水平集泛函，I是原始图像，g为边缘检测函数，C1和C2分别代表原始图像I水平集φ内部区域Ωin和外部区域Ωout的平均灰度值，表达式为：

2.1.3 正则项Ereg

公式（6）中Ereg是水平集演化的正则项是为了保证水平集演化的稳定性，正则项包含长度正则项和梯度正则项，在本文中定义为：

公式（17）中L(φ)是轮廓的长度正则项，P(φ)是水平集φ与符号距离之间的差异，表达式为：

2.2 自适应目标提取

基于区域的主动轮廓模型进行图像分割普遍存在目标过分割现象，目标过分割区域可以当成分割冗余，为了消除冗余区域，保留目标区域常用正交匹配追踪算法（OMP），OMP算法对图像进行K稀疏逼近，但是稀疏度K（即图像中的目标个数）为先验信息。

本文提出自适应目标提取方法。该方法可以解决OMP算法对稀疏度K的依赖。本文定义经过轮廓演化得到图像U是一个线性组合，表达式为：

其中，D为连通区域，K为n维矩阵，因此公式（20）被重写为：

公式（21）中ki=1，i∈[1,n]，ui表示图像U中第i个连通区域。自适应目标提取通过面积约束S=max(S(ui))/χ（其中χ为常数）来消除分割冗余区域，保留目标区域。通过自适应目标提取得到的图像Y表示：

其中，kN=1 or 0，如果Sun否则kn=1。< p>

3.1 能量函数数值求解

使用水平集解来表示C，即C是水平集泛函φ的零水平集，因此利用Euler-Lagrange方程[11]和梯度下降方法将关于φ的能量公式（6）最小化：

3.2 算法步骤说明

由于基于全局信息的ACM利用曲线C内外的平均灰度值来驱使轮廓演化，因此该类ACM存在对初始轮廓位置敏感、弱边缘泄露问题。基于局部信息的ACM能够提升模型对弱边缘分割能力，但是该类ACM对噪声和初始轮廓位置敏感。混合ACM继承了基于全局信息和基于局部信息ACM的优点，但是模型的分割效率较低。

针对上述问题的研究。提出了ASF模型，该模型的算法流程图如图6所示。

图6 ASF算法流程图Fig.6 Algorithm flow image of ASF

通过与其他模型对比来验证ASF模型分割的稳健性，对比方法为：基于全局信息的主动轮廓模型CV[10]和SDREL[13]；
基于局部信息的主动轮廓模型LIC[14]和FLSAS[15]，以及混合主动轮廓模型GLSEPF[21]，其中CV和LIF分别是基于全局信息ACM和基于局部信息ACM的经典模型，据本文所知，它们经常作为对比模型出现在文献中。ASF模型是受结合图像显著信息的SDERL模型启发提出的，且SDERL模型，FLSAS模型和GLSEP模型都是近三年提出的模型，尤其是GLSEP是2020年提出的模型。实验编程环境为MATLAB2019a，机器配置为：处理器Intel Core i5-3470 CPU@3.20 GHz、内存4.00 GB。其中，CV使用的实验参数，μ=0.1。在GLSEPF中，ν=10。在SDREL中，λ1=λ2=0.01，α1=α2=0.05。在LIC中，μ=0.001×2552，μ=1，σ=4。在FLSAS中，μ=0.001×2552，σ=0.9。提出模型α1=α2=1，β1=β2=1，τ=3和σ=3。

4.1 方法对比

基于全局信息的主动轮廓模型CV[10]和SDREL[13]、基于局部信息的活动轮廓模型LIC[14]和FLSAS[15]、混合主动轮廓模型GLSEPF[21]，以及ASF模型对自然图像的分割结果如图7所示，对灰度不均匀图像分割的结果如图8所示。并通过在MRASA500[22]数据集上进行实验，验证了模型的稳健性。

图7 自然图像的分割结果Fig.7 Segmentation results of natural image

图8 灰度不均匀图像的分割结果Fig.8 Segmentation results of intensity inhomogeneity image

CV利用原始图像的全局信息来驱使轮廓演化，它假设每个区域的图像强度在统计上是均匀分布的。由于图像目标边缘较弱时，它该区域的灰度值较低，因此在曲线演化的过程中，会忽略目标边缘较弱的区域，如图7第三列和图8第五列所示。而且当目标和背景的灰度相似时，CV模型会误把背景当做目标保留下来，如图8第四列所示，严重影响模型的分割精度。GLSEPF模型通过自适应参数来平衡全局符号压力函数（GSEPF）和局部符号距离压力函数（LSEPF）的权重以驱使轮廓的演化。由于GLSEPF模型自适应权重不够精确而易陷入局部最优解，当全局信息的权重过大时，对灰度不均匀图像分割效果较差，如图8第一列和第二列。SDREL模型在CV能量函数上加入显著性映射，虽提高了分割速度但是该显著性检测方法较为局限，对严重灰度不均匀图像分割效果不够理想，如图8第三列到第五列。LIF是通过水平集演化和估计偏置场交错提出的能量模型，该模型提高了对灰度不均图像的分割效果，如图8第五列所示，由于模型利用过多的图像细节信息，因此该模型对噪声的鲁棒性较差，如图8第七列。FLSAS结合LIC模型和Zhang模型[16]提出基于估计偏置场构造的符号压力函数模型，该模型对弱边界图像和简单目标图像具有较佳分割效果，如图7第三列，当目标和背景灰度值相似时也能达到很好的效果，如图8第五列。但该模型利用图像局部信息来驱使曲线演化，因此在分割图像背景较为复杂的情况下效果不理想，如图7第四列。

通过改进显著性检测，并结合CV模型和最大面积约束提出了ASF模型，该模型具有以下优点：

（1）ASF模型不仅继承了CV模型的优点，而且利用显著性映射，进一步提升了模型对噪声的鲁棒性，如图9所示。

图9 噪声图像的分割结果Fig.9 Segmentation results of noise image

（2）ASF模型通过基于去雾算法的显著性映射，提升了目标特征和背景特征的对比度，因此该模型可以提高灰度不均图像目标特征和背景特征的差异，从而达到更好的分割效果，如图8所示。而且基于去雾算法的显著性映射，还能更好地突出目标弱边缘的特征，因此ASF模型对目标较弱边缘的提取能力较佳，如图7第三列和图8第五列所示。

（3）ASF模型利用最大面积稀疏约束来消除目标过分割现象，提高了模型的分割精度，如图7第六列和图8第四列。

4.2 噪声鲁棒性和初始轮廓鲁棒性分析

为验证提出模型对噪声的鲁棒性，图9是六种模型在椒盐环境下的分割结果。

从图9第一行和图9第三行中可以看出CV模型和LIC模型把噪声点当成目标；
从图9第一行和图9第四行中可以看出SDREL模型把噪声点当成显著信息；
从图9第一行可以看出，由于GLSEPF模型和FLSAS模型利用符号压力函数，因此这两个模型在处理复杂背景图像时受噪声影响较大。

初始轮廓位置设置是轮廓演化的第一步。为验证提出模型对初始轮廓的鲁棒性，本节对自然图像、雾化图像、椒盐噪声图像分别设置不同的初始轮廓。由于ASF模型能够更好地突出目标特征的显著信息，能够使曲线快速定位到目标周围，对于不同类型的图片，ASF模型在不同的初始轮廓下都提取到了完整的目标，如图10所示。

图10 提出模型在不同初始轮廓下的分割结果Fig.10 Segmentation results under different initial contours

4.3 量化评估

为充分对比提出模型和其他模型的分割效果，本节使用Dice相似系数[17]和Jaccard相似系数来测量和评估实验的分割精度。Dice相似系数是度量两个集合的相似性，被定义为：

Jaccard相关系数被定义为：

其中，A和B分别是模型的分割结果和图像的真值图，Dice和Jaccard的值越接近1，则表示分割效果越好。

本节分别对图7、图8的分割结果进行Dice和Jaccard度量，如图11所示，并对所有测试图像做均值处理得到表1。如表1所示ASF模型的平均Dice值达到0.99，平均Jaccard值达到0.92。

表1 分割结果的精度对比Table 1 Accuracy comparison of segmentation results

图11 分割结果的精度测量Fig.11 Accuracy measurement of segmentation results

为验证ASF模型的分割效率，本节进行演化时间对比实验。表2是图7和图8测试图像的分割时间，由表2可以看出，在对比方法中SDREL模型的分割效率较高，因为该模型利用图像的显著信息，在轮廓演化过程中让曲线较快定位到目标周围，缩短了初始轮廓向目标周围移动的时间，因此提升了模型的分割效率。在原始的显著性映射上加入去雾算法，提出基于去雾算法和显著性映射，提高目标特征和背景特征的差异，更好地突出目标特征的显著信息，能够使曲线快速定位到目标周围，且曲线离目标的距离比SDREL模型的曲线与目标的距离较精确，因此进一步提升模型的分割效率，缩短轮廓的演化时间。表3是噪声图像分割的时间。表4表示CV、GLSEPF、SDREL、LIC、FLSAS和提出模型的对所有测试图像分割的平均时间。本文模型演化时间比CV模型提升约6.0倍，比SDREL模型提升约2.2倍。

表2 6种图像分割方法的轮廓演化时间Table 2 Contour evolution time of six image segmentation methods 单位：s

表3 分割噪声图像的轮廓演化时间Table 3 Contour evolution time of noise image单位：s

表4 轮廓演化时间对比Table 4 Contour evolution time comparison

注：1~5对应图9中的第一行到第五行。

为了验证ASF模型的有效性，本文通过对CV、GLSEPF、SDREL、LIC、FLSAS和提出的模型设置相同的初始轮廓，在数据集MSRA500[23]上进行实验对比。如表5所示，第一行表示每个模型分割500张图像的平均Dice值，第二行表示每个模型分割500张图像的平均Jaccard值，第三行表示每个模型分割500张图像的总时间。从表5可以计算出在数据集MSRA500上ASF模型比对比模型的平均Dice值提高了约21%，平均Jaccard值提高了约22%，而且平均分割效率提升了约5.6倍。

表5 通过在数据集MSRA500上的实验对比Table 5 Experimental comparison on data set MSRA500

4.4 参数分析

考虑到模型参数对分割结果的影响，本节进行了参数分析实验。在第2章公式（13）中可知是A大气光成分，ι是控制A的大小。图12（a）是初始轮廓位置，（b）、（d）、（f）是ι取值为800、500和200的图像增强结果，（c）、（e）、（g）是ι不同取值的分割结果。图12（a）第一行图像的背景比较单一，当ι取值为较小时，即ι取值为200时会出现目标欠分割现象，如图12（g）第一行所示。图12（a）中第二行图像的背景比较复杂，当ι取值为较大时，即ι取值为800时会出现目标欠分割现象，如图12（c）第二行所示；
当ι取值为较小时，即ι取值为200时会出现过分割现象，如图12（g）第二行所示。图12（a）中第三行是合成图像，当ι取值为较大时，即ι取值为800和500时会出现过分割现象，如图12（c）第三行和12（e）第三行所示。

图12 分析不同图像ι的取值Fig.12 Analyzing value of ι in different images

4.5 消融实验

本节增加消融实验以进一步展示图像增强能量项对分割效果的影响，如图13所示。图13（a）是CV模型的分割结果，图13（b）是输入图像通过去雾算法得到增强图，图13（e）是输入图像经过显著性映射得到增强图。在目标提取的过程中，由于增强图的局部特征会影响轮廓的演化方向，使能量函数陷入局部最优。因此得到不精确的分割结果图13（f）和图13（i）。

图13 消融实验Fig.13 Ablation experiment

由于显著性映射能够更加突出目标特征，因此可以通过显著性映射忽略图13（b）增强图中的背景特征，最终得到增强图（f）。通过消融实验的分析，可以证实结合去雾算法和显著映射可以提高ASF模型对图像的分割精度。

本文在CV基础上提出融合显著性特征的自适应主动轮廓模型用于图像分割。该模型结合了去雾算法和显著性检测，加快了轮廓演化速度，防止轮廓过早陷入局部最优；
使用边缘检测函数做CV保真能量项和增强能量项的权重，构造一个新的能量函数；
为了防止目标过分割，提出自适应目标提取方法。最后通过实验对比，验证了该模型相较于对比模型具有更快的演化速度，对初始轮廓位置、弱边缘和噪声具有更强的鲁棒性。

猜你喜欢轮廓灰度显著性采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02OPENCV轮廓识别研究与实践装备制造技术(2020年1期)2020-12-25基于实时轮廓误差估算的数控系统轮廓控制制造技术与机床(2019年11期)2019-12-04基于显著性权重融合的图像拼接算法电子制作(2019年24期)2019-02-23基于视觉显著性的视频差错掩盖算法西南交通大学学报(2018年5期)2018-11-08高速公路主动发光轮廓标应用方案设计探讨中国交通信息化(2017年4期)2017-06-06基于最大加权投影求解的彩色图像灰度化对比度保留算法自动化学报(2017年5期)2017-05-14一种基于显著性边缘的运动模糊图像复原方法苏州科技大学学报(自然科学版)(2017年1期)2017-03-20论商标固有显著性的认定知识产权(2016年8期)2016-12-01基于灰度线性建模的亚像素图像抖动量计算光学精密工程(2016年1期)2016-11-07