一种改进的图像拼接技术及其在无人机病虫害检测中的应用*

蔺瑶， 曾晏林， 贺壹婷， 费加杰， 黎强， 杨毅

(云南农业大学 大数据学院，云南 昆明 650201)

随着计算机视觉技术的不断发展，图像拼接技术的应用范围也越来越广泛[1-4].基于特征点提取的图像拼接是目前比较流行的拼接方法，并且在常用的特征点提取方法中，ORB算法是Rublee等[5]提出的一种二进制特征提取算法，ORB相较于Harris、SIFT、SURF，它的计算速度快，计算量小，内存消耗低.为此众多相关学者纷纷开始对ORB算法展开研究.李小红等[6]提出了采用ORB特征算子的特征点匹配算法，解决了运动中物体的目标检测的问题.曾海长等[7]将SURF算法中的海森检测算子引入ORB算法中，将改进的ORB算法应用到图像拼接中，解决了尺度和旋转不变性问题.刘婷婷等[8]提出的ORB的改进算法，计算速度提高了很多，减少了重影错位现象.上述学者提出的改进的ORB算法，虽然提高了算法的性能，但没有解决ORB算法匹配精度低的问题，本文将四叉树数据结构引入ORB算法来均匀特征点，通过KNN算法对提取的特征点进行粗略匹配，再根据RANSAC算法过滤掉错误匹配点，计算变换矩阵H.

ORB算法整合了FAST(Features from Accelerated Segment Test)[9]算法和BRIEF(Bianry Robust Independent Elementary Features)[10]算法，能有效地构造图像特征点的特征向量，并通过特征向量检测图像中的目标.本文在ORB算法的基础上引入四叉树结构，新算法可以使特征点分布均匀，图像更好地融合(记为QT-ORB算法)，引入四叉树前后流程对比如图1所示.

2.1 采用四叉树结构使ORB算法提取的特征点分布更均匀

首先将图像分为N个等分的区域(N为初始图像的宽高比的四舍五入值)，N=round(width/height).将每个区域划分为4个相等的子区域.在子区域内检测特征点并计算特征点描述子.如果子区域的特征点数大于设定的阈值，继续划分，否则停止划分.直到提取的特征点达到期望值，划分结束，在子区域内提取特征点.图2是采用四叉树结构前后特征点的对比图，可以清晰的看出用四叉树结构来进行FAST特征点的提取，比原来的提取方式更均匀，将图像进行划分，把特征点分配到子区域中，在进行图像匹配时，只需选出相应子区域的特征点和描述子.

图1 引入四叉树前后的算法流程对比图

图2 采用四叉树结构特征点分布前后对比图

2.2 RANSAC算法特征点匹配

通过四叉树结构提取特征点后，计算提取出的特征点的描述子和方向,根据特征值的汉明距离[11]进行KNN粗匹配.再通过RANSAC算法筛除错误匹配.先随机选取两个点，计算模型方程，选择满足误差阈值最多点的模型作为问题的解.选取n个质量高的特征点对.然后从中随机选出4对，计算出对应矩阵的8个参数.根据矩阵计算出其余特征点的误差，然后根据误差阈值判断是内点还是外点.如果多于设定的阈值点数量的内点，就判定这个是最佳矩阵.如果没有，重新随机选择1对进行下一次迭代.如果已经到了最大的迭代次数，就返回到内点数最多的模型，得到最佳的单应性变换矩阵.

单应矩阵是两幅图像之间的转换矩阵.RANSAC算法用于估计单应矩阵，单应矩阵有8个未知数，可以选取4对特征点来计算出矩阵.假设两张图像中对应的一组匹配点P1(x,y)、P2(x′,y′)，它们之间的转换关系H表示为：

(1)

2.3 图像拼接算法流程

(1)首先导入图像，将导入的图像转为灰度图.

(2)根据图像金字塔[12]计算特征点进行非极大值抑制，根据最佳阈值提取特征点.

(3)用四叉树结构提取响应值佳的FAST特征点.

(4)对提取的特征点进行二进制编码，得到brief描述并计算方向.

(5)通过KNN实现特征点粗匹配，选出高质量的特征点对.

(6)设置RANSAC算法[13]输入数据的优先级，选出精匹配点对并计算单应性矩阵，进行图像融合.

实验在Windows11操作系统下进行，硬件配置为R7 5800H处理器，NVIDIA GTX3060 显卡，开发软件为PyCharm2021.实验图像数据来源于自组F250四旋翼无人机搭载IntelRealsense D435i相机拍摄所得的公开图像数据集.图3中(a)、(b)分别为无人机摄像头采集到的玉米虫害蜗牛和粘虫的原始图像.

图3 无人机摄像头采集到的原始数据

图4 三种算法的特征点检测

图4显示了ORB、SIFT和QT-ORB算法的特征点检测的对比结果.从图中可看出，ORB算法提取的特征点过度聚集.与SIFT算法提取的特征点相比，本文算法提取的特征点分布更为均匀.这表明QT-ORB减少了特征点的聚集，提高了特征点提取的均匀性，保证了后续图像的无缝融合.

图5 三种算法的尺度不变性实验结果对比

图5显示了ORB算法、SIFT算法和QT-ORB尺度不变性实验的对比结果.从图中可看出，ORB算法存在错误匹配的现象.SIFT算法相对于ORB算法，效果较好，匹配的特征点对有部分重叠.QT-ORB匹配的特征点对不存在明显的错误匹配现象，有良好的鲁棒性，克服了ORB算法没有尺度不变性的不足.

图6 三种算法的匹配结果对比

图7 图像匹配结果

图6显示了三种不同算法的特征点匹配结果，可以看出ORB算法存在错误匹配的现象，SIFT算法匹配的特征点有重叠现象，QT-ORB匹配点大幅减少，降低了错误匹配率.如图7所示，粗匹配后，仍然存在特征点错误匹配的现象，而QT-ORB设置RANSAC输入数据的优先级，可以很好地消除这一现象.

三种不同算法在数据集(a)、(b)上的特征提取时间、特征匹配时间、匹配精度如表1所示，QT-ORB在特征提取时间和特征匹配时间上都有所提升，相比ORB算法和SIFT算法，特征提取时间分别减少了28.64%、27.56%和45.91%、43.82%，特征点提取的速度明显加快.通过过滤失配对，得到较少的有效匹配对，使QT-ORB特征匹配时间分别比ORB算法以及SIFT算法减少了15.68%、15.02%和32.93%、31.50%.QT-ORB算法最高匹配精度达到94.16%.综上所述，本文算法提高了特征点分布的均匀性、特征点的匹配精度以及速度.

表1 三种不同算法的对比结果

图8 QT-ORB算法的图像拼接结果

QT-ORB算法的拼接效果如图8所示，没有明显的拼接缝隙，图像过渡自然，并且重影和错位较少，拼接效果良好，因此将图像拼接技术用于农作物病虫害的检测是可行的.

在ORB算法的基础上采用四叉树结构实现特征点均匀分配.通过实验将其与ORB算法和SIFT算法进行对比分析可知，QT-ORB提取的特征点更具代表性，航拍图像的拼接效果更佳.因此，QT-ORB算法能够提高图像拼接的效率与准确性.

在农作物的病虫害检测方面，利用无人机获取农田高清图像[14]，并利用图像拼接技术对获取的图像加以处理、分析，使农民能在植株生长的不同阶段了解到农田的受害情况，具有一定的现实意义.

猜你喜欢树结构特征提取阈值马克思与列宁的“社会主义”各有什么不同？学习与科普(2019年21期)2019-09-10小波阈值去噪在深小孔钻削声发射信号处理中的应用制造技术与机床(2019年9期)2019-09-10基于自适应阈值和连通域的隧道裂缝提取西南交通大学学报(2018年6期)2018-12-18基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14比值遥感蚀变信息提取及阈值确定（插图）河北遥感(2017年2期)2017-08-07Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04四维余代数的分类浙江大学学报（理学版）(2017年1期)2017-02-07室内表面平均氡析出率阈值探讨衡阳师范学院学报(2016年3期)2016-07-10基于μσ-DWC特征和树结构M-SVM的多维时间序列分类浙江大学学报（工学版）(2015年6期)2015-03-01基于MED和循环域解调的多故障特征提取噪声与振动控制(2015年4期)2015-01-01