多尺度轮廓波分解的群稀疏壁画修复算法

陈 永，赵梦雪，陶美风

(1.兰州交通大学 电子与信息工程学院，甘肃 兰州 730070；
2.甘肃省人工智能与图形图像处理工程研究中心，甘肃 兰州 730070)

敦煌莫高窟壁画是享誉世界的文化瑰宝，具有极高的研究价值。然而，由于自然气候腐蚀、人为破坏等因素导致大量壁画出现空鼓、起甲、酥碱等亟待解决的病害问题。数字化修复可以克服人工物理修复风险大且不可逆的问题，是目前的研究热点[1]。

目前，传统图像修复方法可以分为：基于序列修复[2]和基于稀疏表示修复[3]。其中，基于序列修复方法又包括扩散法[4-5]和样本合成法[6-7]。扩散法将完好信息向破损区域动力学扩散，适用于细小区域的修复。样本合成法则是根据块匹配原则，在完好区域选择相似样本块对破损区域进行复制填充，但易出现样本块填充错误等问题。基于稀疏表示修复方法则是在过完备字典上计算破损块的稀疏编码，从而将稠密样本转化为模型复杂度较低的稀疏表达形式，借助稀疏编码和过完备字典对受损区域进行重构[8-9]。ZHANG等[10]提出了组稀疏图像修复方法，通过局部自相似性选择匹配块来构建字典，但该方法未考虑全局图像特征，易出现结构断裂问题。CHEN等[11]将自适应分组稀疏表示引入到图像修复中，但该方法采用欧式距离计算样本块之间的分组差异，未考虑图像纹理和结构信息的差异性。ZHA等[12]提出样本块联合组稀疏重构破损图像的方法，但该方法建立联合字典的过程也仅在局部区域进行字典学习，导致修复结果存在纹理模糊的问题。冯象初等[13]利用博弈理论和稀疏先验性提出了一种图像修复模型，但该方法在完好区域与破损区域修复博弈时，未考虑样本块局部自相似性特点。

综上所述，现有稀疏表示在壁画图像修复时，未考虑壁画结构信息与纹理信息的差异性，导致修复结果易出现纹理模糊和结构线条断裂等问题。针对上述问题，笔者提出了一种基于多尺度轮廓波分解的群稀疏壁画修复算法。主要工作有：① 通过非下采样轮廓波变换对待修复壁画图像进行多尺度分解，将其分解为纹理重复低频分量和结构轮廓高频分量，克服了现有稀疏表示壁画修复时，未考虑壁画结构和纹理信息差异性的不足；
② 对低频分量采用提出的改进群稀疏算法，完成对壁画纹理分量的修复；
③ 采用三次立方卷积插值算法对高频分量壁画结构信息进行插值修复，完成壁画结构信息的修复；
④ 采用非下采样轮廓波逆变换实现对修复后各尺度分量的融合重构，从而完成壁画修复。通过对敦煌壁画修复实验，结果证明所提方法与对比方法相比，在主观及客观定量指标评价中均获得了更好的修复效果。

敦煌壁画中不仅包含灰度值过渡平缓、较规则的纹理信息，还包含丰富的线条轮廓等像素值变化剧烈的结构信息[14]。为了充分利用壁画纹理和结构信息，笔者提出了一种基于多尺度轮廓波分解的群稀疏壁画修复算法，将壁画分解为纹理重复变化缓慢的低频分量和结构轮廓变化剧烈的高频分量，从而将壁画修复视点从像素域转移至频域，利用频率差异[15]对输入图像进行多尺度分解，继而对各分解分量分别进行修复，并最终融合重构，从而恢复图像原始频率分量。

1.1 基于非下采样轮廓波变换的多尺度壁画分解

非下采样轮廓波变换(NonSubsampled Contourlet Transform，NSCT)使用非下采样操作，使分解图像具备位移不变、多尺度、多方向等特性，消除了因缺乏位移不变性出现在奇异点附近的伪吉布斯现象，其分解系数对曲线、奇异点等细节纹理信息具有更稀疏的表达[16]。首先，通过由双通道二维滤波器组和采样矩阵构成的非下采样金字塔滤波器(NonSubsampled Pyramid，NSP)对尺寸大小为M×M的壁画图像进行a层多分辨率特征提取，将待修复壁画图像分解为高频分量和低频分量。对得到的高频分量继续进行方向滤波，而低频分量则通过金字塔NSP滤波器继续进行下一尺度迭代分解，直至达到设定分解层数。以2尺度2方向分解为例，其分解结构框架如图1所示。

图1 壁画分解结构框架示意图

与其他图像单一分解方法不同，为了获得丰富的结构信息，笔者对图1中分解得到的高频分量，继续采用由双通道扇形滤波器组和梅花矩阵构成的非下采样方向滤波器组(NonSubsampled Directional Filter Bank，NSDFB)进行两级方向滤波叠加，其四通道滤波结构图以及滤波频域分布如图2所示。第1级为扇形滤波器组，首先对高频分量进行垂直方向U0(z)和水平方向U1(z)滤波，然后分别将滤波结果送入第2级象限滤波器中，与各象限滤波方向的重叠部分即为该方向子图的频域分布范围，输出重叠区域的方向子图yk，完成方向滤波过程。经过滤波各个尺度的高通分量分别被分解为2bi(i=1，2，…，a)个方向子带图像，i为分解层数，bi为当前层高频子带滤波方向数，各方向频域分布如图2(b)所示。

(a) 四通道滤波结构图

该滤波结构输出等价公式可表示为

(1)

NSP和NSDFB对图像的叠加过程中均无下采样环节，使其获得平移不变性，以图3敦煌莫高窟第57窟被誉为唐代美人的“菩萨图”的壁画分解结果为例，可以看出，分解后的低频分量图3(b)中分布着大量像素变化缓慢的纹理特征；
而高频分量图3(c)～图3(h)则携带着明显的图像变化剧烈的结构特征，并包含了壁画图像的主要轮廓结构信息，其中图3(c)和图3(d)分别对应第一尺度扇形滤波器组水平方向和垂直方向的滤波结果，图3(e)～图3(h)为二尺度四个方向的结构特征，较细尺度分解子图则依据滤波划分频带提取四个方向的结构特征，将分布在同方向的奇异点合成NSCT分解系数。从图3可以发现，经过双通道扇形滤波器组和梅花矩阵对其进行联合作用后，可以在多个方向的高频分量上提取到充分的结构特征，可以在重构壁画时具有足够完备的结构特征信息选择。

图3 壁画分解结果示意图

1.2 改进群稀疏的壁画低频分量修复

在采用NSCT对壁画分解为低频分量和高频分量的基础上，其低频分量为大量重复和规则变化的纹理信息，根据其局部自相似性和全局不同的特点，采用改进群稀疏方法对其进行重构修复。组稀疏算法以图像结构组作为稀疏表示的原子，在求解模型时首先考虑样本块之间的相关性，即构造相似图像块集合，相似集合由结构纹理相似并且尺寸一致的匹配块矩阵构成[3，10]。但传统组稀疏算法构建结构组时使用欧式距离作为衡量匹配块相似度的基准，衡量标准单一，未考虑图像纹理和结构信息的差异性。

针对上述不足，根据分解后壁画低频分量为大量重复和局部相似的特征，以及纹理信息像素之间存在强相关性的特点，在构造相似集合时，提出将结构相似性作为匹配原则，将图像结构信息以及对比度、亮度等更多衡量因素考虑进去，充分利用先验信息来提高字典的构建准确性。如图4所示，对低频分量壁画图像群稀疏修复时，首先将壁画的低频分量划分为n个N×N大小的重叠图像块Xi；
然后将Xi表示为Bi×1维列矩阵，形成待匹配样本块候选集；
接着计算匹配块之间的结构相似性，选择匹配度最高的c个样本块组成集合SXi}。其结构相似性的计算公式为

(2)

再将集合{SXi}内的图像块横向展开即转化为大小为Bi×c的相似群XGi，其中XGi为第Xi个图像块对应的相似群。

在构造完字典后，进行字典学习与系数更新。对于已经构建的群稀疏模型，每个样本块都由相似群域中的原子结合稀疏系数近似重构，通过rGi奇异值分解估计各相似群字典，即

(3)

(4)

图4 壁画结构组构造示意图

图5 低频分量与训练字典

其中，DGi为相似群XGi的对应字典；
dGi×k为第i个群字典中的第k个原子列，k=1，2，…，n；
uGi、vGi分别为UGi、VGi的列向量。通过提出的多尺度轮廓波分解变换，将大量的纹理信息保留在低频分量上，而将结构信息分离在高频分量上，从而避免了传统组稀疏表示方法在字典构造时，未考虑结构和纹理信息差异的问题。对于分解后的低频分量，采用式(4)构建得到的训练字典，如图5所示。

对每个样本块相似群XGi的训练字典DGi，采用分裂伯格曼算法求解其对应的稀疏向量αGi=[αGi⊗1，αGi⊗2，…，αGi⊗c]，其数学定义为

(5)

(6)

1.3 壁画高频分量修复及融合重构

对分解后的高频结构信息，采用三次立方卷积插值算法进行插值修复。利用邻域已知点像素值进行卷积操作，增强其本身携带的点奇异特征信息，提高各尺度高频分量的分辨率。三次立方卷积插值算法利用浮点坐标(i+u，j+v)邻域内16个坐标像素值，通过下式求得待修复像素值：

f(i+u，j+v)=[A][B][C] ，

(7)

其中，f(i+u，j+v)为待修复坐标像素值，[A]=[S(u+1)S(u)S(u-1)S(u-2)]，[B]为目标点16个邻点像素值构成的4×4维矩阵，[C]=[S(v+1)S(v)S(v-1)S(v-2)]T，S是对sin(xπ)/(xπ)的逼近函数。

最后将低频分量的修复结果图XL与各尺度各方向高频分量的插值修复结果图XH进行逆变换得到最终修复图像

X=XL+XH。

(8)

为了验证所提方法的有效性，进行不同修复方法对比实验。对比实验均在相同的软硬件环境下进行：MATLAB R2016a编程实现，硬件环境为Intel(R)Core(TM)i5-1155G7 @ 2.50 GHz，16.0 GB RAM，NVIDIA GeForce MX450。采用评价准则峰值信噪比PSNR和结构相似性SSIM分别进行人为添加破损和真实敦煌壁画修复实验对比及客观性量化评价，并与曲率驱动扩散(Curvature Driven Diffusions，CDD)算法、Criminisi图像修复算法、文献[10]组稀疏和文献[12]联合样本块稀疏表示方法进行对比分析。

2.1 人为添加破损壁画修复

选择4幅完好壁画图像经人为添加破损后进行修复比较，结果如图6所示。图6(a)为完好壁画，图6(b)为添加破损图像。图6(c)为CDD算法修复结果，因该算法采用流体扩散修复，其扩散能力有限，出现了修复不彻底的现象，如壁画1右上菩萨头光部分未完成修复。图6(d)为 Criminisi算法结果，该算法采用块匹配复制填充的方法，易出现填充错误的现象，如壁画1左侧矩形框内结构线条出现了错误匹配，壁画4矩形框也出现了纹理紊乱的现象。图6(e)为文献[10]组稀疏修复结果，因该方法未考虑壁画纹理和结构的差异性，壁画中线条信息修复后存在断裂及不连贯的问题，如图6(e)壁画3“狩猎·野牛图”的身体部分出现线条结构断裂。图6(f)为文献[12]联合样本块稀疏修复结果，在壁画1和壁画4中存在结构断裂和块状模糊问题。图6(g)为文中算法结果，与其他算法相比，修复后图像线条连贯更自然，获得了更好的视觉效果。

为了进一步定量比较分析，采用PSNR和SSIM对图6的修复结果定量比较，结果见表1。其中PSNR和SSIM分别表示图像失真程度和结构相似性对比，其值越大，说明失真越小，修复效果越好。从表1可以看出，文中方法在 PSNR 和 SSIM 上均优于对比算法，表明笔者所提方法修复质量更好。

表1 人为添加破损壁画修复客观比较

2.2 真实破损壁画修复

下面继续对4组真实破损壁画图像进行修复对比实验，修复结果如图7所示。其中，图7(c)为CDD算法修复结果，对于壁画2和壁画4，该算法均无法完成扩散修复。图7(d)为Criminisi算法修复结果，其中壁画1和壁画3矩形框内出现修复线条错位以及块匹配出错现象，导致修复结果平滑度欠缺，不满足人眼视觉效果。图7(e)为文献[10]组稀疏修复结果，该方法对于细小裂纹有较好的修复效果，但对于较大区域其修复结果中会出现结构模糊的问题，如壁画4矩形框内存在模糊和晕染现象。图7(f)为文献[12]修复结果，该方法存在线条不连续的和块效应问题，如壁画3和壁画4矩形框内出现了结构断裂和纹理模糊的现象。图7(g)为文中算法修复结果，因采用结构和纹理分解修复，其对真实壁画的修复效果相较对比方法，取得了较好的视觉修复效果。

图7 真实破损壁画修复实验对比图

对于真实破损壁画修复结果的评价，因缺少相应的标准参考图像，故采用无参考评价方法进行评价。首先，采用无参考主观评价指标(Mean Opinion Scores，MOS)进行评价[17]。MOS值代表主观评分值，其值越大，表明修复效果越满足人眼视觉效果，其与破损量对应关系见表2。为了对主观评价进行量化分析，进一步通过计算皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)进行量化评价。通过PLCC系数计算MOS值与信息熵的一致程度，该值越大，代表修复效果越好，比较结果见表3。从表3中可以看出，笔者所提方法修复效果优于对比算法。

表2 真实破损壁画修复主观评价及量化表

表3 真实破损壁画修复结果主观评价对比

在完成真实壁画主观评价后，下面进一步采用无参考客观评价指标(Sum of Modulus of gray Difference，SMD)和信息熵对图7修复结果进行量化比较，结果见表4。其中SMD和信息熵分别代表灰度方差函数和图像信息丰富程度，二者值越大，表明修复后信息越丰富，修复结果更清晰。从表4看出，文中方法的SMD和信息熵评价值均优于对比算法，进一步验证了文中方法对于真实破损壁画修复的有效性。

表4 真实破损壁画修复客观比较

2.3 算法泛化性能分析

通过平均准确率对不同方法进行泛化能力对比。为了便于比较，采用自建数据集中有参照人为添加破损壁画进行量化比较。在平均准确率度量时，使用均方误差 (Mean Square Error，MSE)和平均峰值信噪比(Mean Peak Signal Noise Ratio，MPSNR)进行评价，二者均表示修复后壁画图像的失真程度，其中MSE值越小，代表修复误差越小，MPSNR值越大，表明修复效果更好，泛化能力更强。各算法比较结果如表5 所示。可以看出，在5种方法中，文中方法均方根误差值最小，且MPSNR值最大，说明文中方法修复后，壁画失真最少，其泛化性能优于其他比较算法。

表5 不同算法MSE和MPSNR比较

针对稀疏表示未考虑壁画结构信息与纹理信息的差异性，导致修复结果易出现纹理模糊和结构线条断裂等问题，提出了一种基于多尺度轮廓波分解的群稀疏壁画修复算法。利用非下采样轮廓波变换将待修复壁画分解为纹理低频分量和结构高频分量。由于低频分量包含着大量待修复块的可匹配块，对于低频分量采用改进群稀疏算法进行修复，以结构相似性作为块匹配准则，同时曲线细节特征被提取分离至高频分量上，因此避免了稀疏算法破坏壁画轮廓特征导致线条断裂的现象，并有效克服了稀疏算法修复结果中出现的块效应问题。采用三次立方卷积插值算法加强纹理特征，获得高分辨率的轮廓线条。通过NSCT逆变换将各分量融合重构得到最终修复效果。通过对比，笔者所提方法的修复结果在主客观评价上均优于比较算法，更加符合视觉一致性。

猜你喜欢字典纹理壁画敦煌壁画中的消暑妙招读者·原创版(2022年8期)2022-11-09壁画上的数学数学小灵通(1-2年级)(2020年5期)2020-06-24基于BM3D的复杂纹理区域图像去噪软件(2020年3期)2020-04-20字典的由来小学阅读指南·低年级版(2019年11期)2019-07-01使用纹理叠加添加艺术画特效摄影之友(影像视觉)(2018年12期)2019-01-28北朝、隋唐壁画收藏界(2018年5期)2018-10-08大头熊的字典小天使·一年级语数英综合(2017年11期)2017-12-05TEXTURE ON TEXTURE质地上的纹理Coco薇(2017年8期)2017-08-03帮壁画“治病”学与玩(2017年6期)2017-02-16正版字典读者(2016年14期)2016-06-29