基于机器视觉的玉米三维表型参数提取算法

李 哲,宋青峰,朱新广,胡 勇*,巩彩兰,卜弘毅

(1中国科学院红外探测与成像技术重点实验室,中国科学院上海技术物理研究所,上海 200083;2中国科学院大学,北京 100049;3中国科学院分子植物科学卓越创新中心,上海 200032)

玉米是全世界的主要粮食作物之一[1],提高玉米产量能够有效解决粮食安全问题。在当今大数据时代,植物表型组学在育种中的作用开始得到重视[2],该学科通过研究植物个体间表型参数差异,能够有针对性地对农作物进行改良育种,提高作物产量[3]。植物表型组学的发展瓶颈在于如何获取大量植株表型参数。

传统的表型参数获取主要依靠人工使用直尺和量角器等工具测量,存在效率低、主观误差大、有破坏性等缺点。为解决这些缺点,三维表型参数提取方法[4-6]成为研究热点。目前三维信息提取类研究主要通过深度相机扫描获取三维点云,如Kinect法[7]。此方法能够直接获得高精度的植株点云,操作简单,但存在所需设备昂贵、使用受天气影响、数据量庞大等问题。随着相机硬件设备和图像算法的发展,基于机器视觉重建三维结构方法[8]因设备廉价、数据提取速度快、鲁棒性好等优点,得到广泛应用。但玉米叶片具有薄、存在翻折、叶片边缘为不规则波浪形、互相遮挡等特点,目前基于机器视觉提取玉米三维表型特征的方法存在准确率低、耗时长、需要一定手工操作、不能完全自动化等问题。

针对上述问题,本研究拟提出一种高精度、高通量和自动化的玉米生长动态定量化测量方法,以期实现玉米植株三维表型参数以及生长动态自动化测量。

1.1 试验材料与设备

田间试验在中国科学院上海生命科学研究院植物生理生态研究所实验基地(30°94＇N,121°13＇E)进行。玉米选用自交系A619和W64A,这两个玉米自交系株型结构差别主要在于W64A的叶片数比A619多、叶片长度比A619短,两者的茎秆高度和叶片宽度无明显差异。每个玉米自交系种植15盆,10盆用于测量,5盆用于备份。盆栽种植采用白色20 L塑料桶,每桶播种2粒已催芽的种子,间距7 cm,播种深度3 cm,长至三叶期后每桶仅留下1株长势均匀的玉米。植株放置于户外生长。播种后30 d开始测量,每隔7 d测一次,测量持续到玉米抽穗,共测量4次。

测量时将植株置于室内,采用瞬时成像设备[9]拍照。瞬时成像设备由64台18—55 mm镜头的佳能EOS 1300D型相机、拍摄支架和分布式数据采集控制器组成(图1),每个支架8台相机,共8个支架围绕植株拍摄。瞬时拍摄系统能在亚秒级时间输出64个不同角度的拍摄图像,避免拍摄同一植株过程中因光线变化或植株抖动等因素导致的三维重建误差。相邻两个角度的拍摄图像重叠率达75%以上,保证三维重建获取点云的准确率。

图1 瞬时成像设备结构图Fig.1 Instantaneous imaging equipment structure

采用张正友[10]的方法标定相机参数,内参标定使用棋盘格,外参标定使用标定架。标定架如图2所示,标定架一共包含160个靶标,其中149个黑色靶标用于图像拼合,11个白色靶标用于确定坐标与尺寸。标定每台相机参数后,移动世界坐标系,使得XY轴方向如图2c所示,Z轴沿标定架方向,原点位于地面上方25 cm处,即玉米植株基部。以靶标之间距离为标准调整世界坐标系的比例,使得世界坐标系下的长度与真实世界长度相同。

图2 标定架结构图Fig.2 Calibration frame structure

1.2 点云获取

测量当天,先拍摄一组背景图像,再依次把每棵植株放到标定的世界坐标系原点位置拍摄,每张拍摄图像去除对应背景图像可以得到无背景的植株图像,如图3所示。

拍摄得到64个角度的无背景植株图像后,基于机器视觉获取玉米植株三维点云。首先利用尺度不变特征变换从每幅图像中提取特征点;然后使用快速近似最近邻搜索库实现两两图像间描述子向量匹配,并选择匹配点最多的两幅图计算初始点云;之后每次选取其余图像的特征点中与目前已知点云匹配数量最高的图像加入,利用随机抽样一致算法根据匹配点求新增图像的投影矩阵,并将新计算的三维点加入已知点云;不断重复上一步过程,直至所有图像都被添加,再利用光束平差法进行优化得到稀疏点云;最后通过多视觉聚簇法将稀疏点聚类到不同的影像集,每个影像集分别基于面片的三维多视角立体视觉算法通过法线和位置约束对稀疏点云形成的种子面片进行扩散,利用灰度一致性和几何一致性约束对面片过滤,最终得到稠密三维点云。

去除背景可以减少背景噪声点云和错误匹配点云,提高点云精度,但点云重建结果仍存在少部分背景噪声,可以利用世界坐标系位置特殊性再次去除背景噪声。玉米植株根部位于世界坐标系原点而且世界坐标系尺度与真实世界一致,设置植株大致的长宽高范围,即植株点云的坐标值范围,可以获取无背景噪声植株点云(图3 d)。

图3 去除背景以及三维重建结果Fig.3 Background removal and 3D reconstruction results

1.3 叶尖和叶基部重定位骨架

基于拉普拉斯的骨架提取算法[11-12]得到玉米点云骨架的主要步骤为:(1)构造单环邻域;(2)几何收缩,获取零体积的网格或点云;(3)拓扑细化,得到一维曲线;(4)中心化处理,得到骨架。该算法鲁棒性强,但提取的玉米骨架误差大,不符合玉米植株特性。本研究通过叶尖和叶基部重定位骨架提高参数精度。

叶尖提取优化:叶尖点缺失导致计算叶长值小于实测值,通过叶尖提取优化提高叶长精度。优化步骤如下:1)根据骨架点之间邻接关系划分叶片骨架和茎秆骨架;2)依据式(1)得到第i个叶片点云LPi;3)在LPi中找与距离最大的100个点作为叶尖备选点Ti。是LSi最后一个点,即第i个叶片基部点。是LSi第一个点,即第i个叶片叶尖点。(4)对于Ti中第j个点(j=1,2,3,...,100),它与30个邻近点nk(k=1,2,3,...,30)的向量和为,在满足式(2)的所有点中选取与距离最远的点,作为叶尖点,添加到第i个叶片骨架中。

式中LSi是第i个叶片骨架点集合,P是滤波点云集合。

叶尖提取优化即在原始骨架上新增一个骨架点作为叶尖点,图4a中黑色的点为新增叶尖点,红色点为原始骨架。新增叶尖点后,骨架长度随之增加,而且从图4b中可以看出新增叶尖点全部精准定位在植株真实叶尖位置,优化后叶片骨架长度弥补了原始骨架长度缺失,更加接近叶长的真实值。

图4 叶尖提取优化结果示意图Fig.4 Optimization results of leaf tip extraction

茎秆骨架优化:经观察发现,玉米茎秆骨架在叶片基部附近向叶片方向倾斜,针对这个问题,利用玉米茎秆基本呈直线的先验知识,优化茎秆骨架。优化步骤如下:(1)计算茎秆骨架点集SS与均值点,ss∈SS的误差和矩阵;(2)使用奇异值分解[13]计算e的特征向量,e最大特征值对应的特征向量就是茎秆的方向向量;(3)茎秆拟合直线为,将每个茎秆骨架点z值带入l重新计算位置。

叶基部重定位:叶片基部与茎秆相连,但茎秆骨架优化后,叶基部可能不在茎秆上,需要重新定位。优化过程伪码如图5所示。

图5 叶基部重定位伪代码Fig.5 Pseudocode for leaf base relocation

茎秆骨架优化前后,茎秆骨架点位置如图6a和6b所示,优化结果符合玉米植株实际情况。叶基部重定位前后,叶基部点位置如图6c和6d所示,优化后的叶基部点全部落在茎秆拟合直线上,还原了叶基部点的真实位置,叶基部点精确定位是求取高精度叶夹角和叶长等参数的基础。

图6 叶基部高度重定位Fig.6 Relocation of leaf base height

1.4 植株表型参数提取

株高、叶基部高度和叶长提取:将植株基部到植株最上部展开叶的最高点的高度差作为株高,由于植株基部在Z=0平面上,所以株高就是所有点云坐标z值的最大值;叶基部高度是植株基部到叶片着生点位置的高度差,叶基部重定位后已知每个叶片的着生点坐标,又由于植株基部在Z=0平面上,叶基部高度即为骨架着生点坐标z值;叶长为叶片的相邻骨架点之间连接线段长度的总和。

叶最大宽度提取:做一个过第i个叶片骨架中点,垂直于中点切线方向的垂面。由于点云P稀疏,垂面Si与点云的交点较少甚至可能没有,所以应该将垂面Si左右移动0.5 cm,对夹在中间的点集Wi做直线拟合,如图7a所示;将Wi所有点中x值最小和最大的两点和值带入拟合直线得到和,第i个叶片的叶最大宽度如式(3)所示。

叶夹角提取:规定茎秆与叶片1∕4长度位置的中心点为叶夹角,如图7b所示。其中点o是叶片骨架着生点,点m是茎秆拟合直线上一点,点n是叶片1∕4长度位置截线的中点,截线获取方式与叶最大宽度获取方式相同。叶夹角按公式(4)计算。

最小包围盒体积提取:对植株点云P进行主成分分析,并将植株点云转到主成分方向上构成新的点云集合P＇。最小包围盒是求取能够完整包裹物体且棱长平行于坐标轴的最小长方体,如图7c所示,将点云在XYZ轴的范围相乘即可得到最小包围盒体积,如式(5)所示。

图7 植株表型参数提取示意图Fig.7 Plant phenotypic parameters extraction

2.1 表型参数提取精度验证

如表1所示,两个玉米自交系在骨架优化后叶长和叶基部高度精度都有明显提升。这是因为叶尖提取优化和叶基部重定位分别精确定位了每个叶片的叶尖和叶着生点,所以自交系A619和W64A的叶长均方根误差下降了50%左右。叶基部高度精度提升是由于叶基部重定位,得到了叶基部点精确位置。同时可以看到,骨架优化对叶最大宽度参数准确率也有少量提升,这是因为人工测量的叶最大宽度是叶片一半长度处的展开宽度,与叶长相关,叶最大宽度精度随着叶长精度提高也稍有提升。

表1 骨架提取算法改进前后表型参数误差对比Table 1 Comparison of phenotypic parameter errors before and after improvement of skeleton extraction algorithm

参数提取结果中叶基部高度略大于真实测量值,而叶长小于真实测量值,这是由于人工测量叶基部高度和叶片长度是从叶片背面测量,而参数提取算法是从茎秆和叶片分离较明显的位置测量得到的,即叶基部包裹茎秆那一部分是误差的主要来源。

A619和W64A两个玉米自交系叶长、叶最大宽度和叶基部高度的测量值和计算值的比较如图8所示。叶长、叶最大宽度和叶基部高度的R2均在0.9以上,表明即使是不同的玉米自交系,此方法也能够较准确地反映叶长、叶最大宽度宽和基部高度属性,展现了较好的鲁棒性。

图8 A619和W64A的叶长、叶最大宽度和叶基部高度的测量值和计算值Fig.8 Measured and calculated values for leaf length,maximum leaf width and leaf base height of A619 and W64A

2.2 玉米植株生长动态分析

如图9所示,出苗后21—42 d,自交系A619株高从42 cm生长到138 cm,自交系W64A株高从40 cm生长到134 cm。A619和W64A在出苗后28—35 d快速增高,35 d后株高基本不变。

图9 A619和W64A株高动态变化Fig.9 Dynamic changes of plant height of A619 and W64A

图10展示了自交系A619和W64A叶长、叶最大宽度和叶基部高度的变化曲线。由于玉米底部叶片会在生长过程中逐渐衰老脱落,本研究选取第4—7片叶子(L4—L7)记录动态变化曲线,叶片按照叶基部高度从下到上排序,序号越小叶龄越大。从误差棒可以看出,W64A的动态范围较大,每棵植株间差异大。从变化曲线可以看出,A619在出苗后28 d,第4、5、6片叶子完全展开,之后随着植株生长,叶片发黄萎缩,叶片长度和叶最大宽度略微减小;第7片叶子在整个测量时间一直在生长状态。W64A生长状态与A619基本一致,不同在于第5和第6片叶子直到出苗后第35天才完全展开。

图10 A619和W64A的叶长、叶最大宽度和叶基部高度变化曲线Fig.10 Variation curves of leaf length,maximum leaf width and leaf base height of A619 and W64A

植株点云骨架在器官分割以及参数求解中有较好的效果,近两年越来越多的研究人员将植株骨架用于三维表型参数提取。2018年,温维亮等[14]利用接触式三维数字化仪获取玉米各器官的植株骨架结构,并制定了参数获取的规范流程。该方法需要人工使用探测笔沿着玉米每个器官划过,通过定位跟踪得到骨架,参数获取方法耗时耗力,而且叶片易受力位移造成误差。本研究只需使用瞬时成像设备拍摄图像,经由算法在10 min内获取玉米骨架并输出参数,避免人为误差,实现快速和全自动化测量。2019年,苏伟等[15]提出基于地面激光扫描获取大田玉米表型参数的方法,该方法提取表型参数方法与本研究相同,都是通过点云得到三维骨架,然后利用骨架信息获取三维表型参数。但该方法激光扫描获取点云扫描时间长、点云数据量庞大,而且需要手动完成点云配准和裁剪,不能实现完全自动化;而本研究采用的基于机器视觉的三维重建只需要多角度图像就可以实现自动、快速的点云获取。2020年,Wu等[16]提出了一种低成本的表型分析平台,该方法通过计算机视觉得到植株三维模型,通过骨架提取算法得到骨架,并利用骨架提取表型参数,该方法株高、叶宽和叶面积的均方根误差分别为2.96、1.27和75.03。本研究同样采用机器视觉和骨架提取算法,但是通过改进植株骨架,提升了获取表型参数精度。本研究中玉米叶长、叶最大宽度、叶基部高度的均方根误差分别为4.64、0.47和3.99,对于相同的参数叶宽,均方根误差相对于该方法少50%以上。

本研究采用瞬时成像设备,实现64个角度围绕植株瞬时成像,且相邻相机图像重叠度达75%以上,保证了重建精度;利用基于拉普拉斯的骨架提取算法获取植株点云骨架,并对叶尖和叶基部骨架进行改进,准确分割叶片,提高了参数提取精度;从图像直接得到三维表型参数,实现了完全自动化。

本研究提出了一种高精度、高通量、自动化的玉米表型参数提取算法,该算法主要改进了植株骨架叶尖和叶基部的识别过程。利用改进的算法获得的玉米叶长、叶最大宽度和叶基部高度的平均绝对百分比误差分别下降5.89%、0.04%和0.86%。基于本研究方法提取的表型参数决定系数均大于0.9,证明算法能够准确地反映叶长、宽和基部高度属性,并用于全自动化参数提取,为高通量玉米表型分析提供了有效的方法。

猜你喜欢叶长茎秆骨架水稻茎秆接触物理参数测定与离散元仿真标定江西农业大学学报(2022年3期)2022-07-07浅谈管状骨架喷涂方法电子乐园·上旬刊(2022年5期)2022-04-09几种因素对烤烟不同部位抗拉力的影响安徽农业科学(2021年6期)2021-04-20基于离散元的柔性作物茎秆振动响应仿真农业机械学报(2020年11期)2020-11-25骨架密度对炭/炭多孔骨架压力浸渗铜的影响中国新技术新产品(2020年5期)2020-05-06马奶子葡萄叶面积评估模型的建立新疆农业科学(2020年1期)2020-02-14谷子茎秆切割力学特性试验与分析农业机械学报(2019年4期)2019-04-29基于支持向量机的水稻叶面积测定江苏农业学报(2018年5期)2018-09-10周博士考察拾零（六十六）日光温室前屋面开机具作业门处骨架的处理方法农业工程技术·温室园艺(2017年3期)2017-07-13洛阳市13种绿化树种叶面积的回归测算江苏农业科学(2016年10期)2017-02-05