基于多视角自动成像系统的作物三维点云重建策略优化

李百明 ，吴 茜 ，吴 劼 ，张美娜 ，李华勇 ，于 堃 ，曹 静 ,,5，张伟欣 ，曹宏鑫 ，张文宇 ,,5※

（1. 江苏大学农业工程学院,镇江 212013；
2. 江苏省农业科学院农业信息研究所,南京 210014；
3. 南京农业大学前沿交叉研究院植物表型组学研究中心,南京 210095；
4. 江苏省农业科学院种质资源与生物技术研究所,南京 210014；
5. 江苏省农业科学院无锡分院/无锡市农业科学院,无锡 214174）

培育抗逆、高效的作物品种是实现作物高产与资源高效利用的保障[1-2]。大规模平行测序技术的发展使作物基因组数据迅速增长[3]，作物表型信息的系统性收集转而成为遗传育种研究的主要限制因素之一[4]。研发高通量作物表型信息获取和分析技术，及时、准确、经济、动态地采集作物表型信息，对高效筛选作物表型性状、揭示基因-表型-环境关系及提高作物育种效率具有重要意义[5-6]。

三维数据采集技术是数字化感知植物形态结构的有效方法[7]，利用该技术获取植株三维点云可为定量提取作物表型参数提供精确空间结构信息。目前，已有3D激光雷达[8-9]和激光扫描[10-11]等一系列非接触式三维数据采集技术应用于作物表型分析。然而，受限的操作环境、较长的成像时间和高昂的设备价格限制了这些技术在规模化、高通量作物表型分析上的广泛应用。随着多源图像处理技术的发展，基于立体视觉的三维重建为植物三维信息采集提供了一种高效、精确且低成本的方法[12]。从运动恢复结构（structure from motion，SFM）与多视角立体视觉（multi-view stereo，MVS）结合，可生成包含较多信息的稠密三维点云，该方法具有成本低、通用性强、数据获取方便、环境限制小，且同时包含稠密点云和色彩纹理信息等优点[13]，已成功应用于高通量作物表型研究[14-19]。

基于SFM-MVS 算法生成高质量三维点云通常需要数百张不同视角的图像，但人工获取多视角图像费时费力[14]，且很难精确控制相邻图像成像视角，夹角过大或重叠度较低均易导致三维重建失败。为实现自动、高效、精确的植物三维重建及表型解析，已有学者开始针对不同研究对象设计植物多视角图像自动采集系统[14,20-23]。图像自动采集系统的研发有效提高了多视角图像采集效率，显著降低了图像采集的时间和人力成本，使高通量作物表型信息系统性收集成为可能[14]；
同时，此类成像系统通过精确控制成像视角，很大程度上避免了三维重建失败的情况。

已有图像自动采集系统采用了不同的成像模式。模式1 为环绕植株在多个不同视角布置相机，成像时植株和相机保持不动[20]；
该种装置具有较高的成像效率，但布置数量极多的相机导致装备成本明显增加。模式2 是采用相机和旋转台相结合的方式[14,21-22]，即固定相机不动植株旋转，或固定植株不动相机旋转；
此种装置成像效率较高，且通过使用旋转台降低了相机数量和设备成本，是最受学者欢迎的成像模式。目前，此类装置大多布置个数较少的相机（2～3 个）以控制构建成本[14,21-22]，然而，有限的成像视角仅适用于形态结构较为简单的植株，对于结构复杂、枝叶繁密的植株则因难以捕获全面、丰富的信息而导致三维点云重建细节缺失。为进一步提升结构复杂植株（如成熟期枝叶繁密的作物地上部和细密的根系）的三维重建精度，研究学者们在设计成像系统时增加了相机个数（10～12 个）以获得更详细、全面、丰富的三维信息[24-25]，基于此类装置捕获的多视角图像可有效实现复杂植株三维点云的高细节重建；
然而，参与重建的图像数量越多，所需的重建时间越长[16]。

不同作物的形态结构差异明显，且植物结构的复杂性会随生命周期从营养阶段至生殖阶段发生很大变化。已有图像自动采集系统尚未在相机个数、构建成本、重建效率、重建精度以及适用植株复杂程度上取得很好的平衡。为实现高通量、低成本、自动化、高效化作物表型分析，本研究基于自主研发的多视角图像自动采集系统，针对不同种类作物、不同生育时期、不同植株部位（地上部和根系），按照不同策略重建作物三维点云模型，通过三维点云重建精度和效率评估，寻找平衡设备成本（相机数量）、时间成本（重建时间）和重建精度的最优重建策略，以期为高通量作物三维数据高效获取提供参考。

1.1 试验设计

试验于2020—2022 年在江苏省农业科学院本部实验农场（32.03° N，118.87° E）进行。选取盆栽棉花、水稻、小麦和油菜的地上部以及桶栽玉米、油菜的根系作为试验对象；
其中，棉花选择花铃期植株，水稻选择抽穗期和成熟期植株，小麦选择分蘖期、拔节期和灌浆期植株，油菜选择苗期、蕾薹期、开花期和角果发育成熟期植株；
油菜和玉米根系选择成熟期植株。对于以根系为观测对象的桶栽玉米和油菜，采用根系结构支撑网架支撑根系生长的栽培方式[25]。每个处理3 次重复。

1.2 多视角图像采集

采用自主构建的适用于作物全生育期的多视角图像自动采集系统[25-26]采集多视角图像（图1）。图像自动采集系统主体由旋转台、成像臂和黑色背景板组成；
成像臂由圆弧架及垂直臂组成，圆弧架间隔10°装载相机1 台，垂直臂间隔15 cm 装载相机1 台；
黑色背景板安装于成像臂对面。成像时，将待测植株置于旋转台，调节所有相机镜头指向植株中心，通过旋转台底部的伺服电机驱动齿轮，控制回转支撑带动成像臂围绕待测植株匀速旋转，每旋转10°，控制所有相机同时对待测植株进行自动成像。该系统设置了丰富的相机成像视角，满足对复杂作物形态的奈奎斯特定理（Nyquist theorem）采样[24]，可获取相对植株呈半球状分布的、视角丰富的多视角图像序列。

图1 多视角图像自动采集系统Fig.1 The multi-view automatic imaging acquisition system

1.3 三维点云重建

针对不同作物、不同生育时期植株，分别采用不同视角、不同个数相机（表1）获取的多视角图像序列，基于SFM-MVS 算法重建植株三维点云，并记录所需重建时间（重建时长=稀疏点云重建时间+密集点云重建时间）。

表1 不同重建策略Table 1 Different reconstruction strategies

不同重建策略（表1）按照依次减少相机个数和增加相机间隔的原则进行设计，且尽量选择位置居中的相机，以确保单个相机采集的图像视角尽可能覆盖相邻1～3 个相机的视角。由于NO.12 相机成像视角垂直向下，成像臂旋转时其方位变化较小，NO.12 相机获取的36 张俯视图不能为提高植株高细节三维重建精度提供更多有效信息；
在设计不同重建策略时，优先选择去掉NO.12相机，从NO.1～11 相机中等间隔选择对应个数相机。由于本研究涉及成熟期较高作物以及支撑网架上的根系，对于单个相机（策略1）的位置选择偏向选择侧面视角相机。

按照不同重建策略（表1），将获取的多视角图像序列导入3DF Zephyr Aerial 软件（V.4.530;3DFlow，维罗纳，意大利）[27-28]；
使用3DF Masquerade 去除黑色背景像素，以去除背景冗余信息，减少三维重建过程中错误特征匹配以及传输到在线存储的数据量，提高三维重建效率和准确性（图2）。基于SFM 算法，在多幅图像中识别和匹配特征，恢复相机位置和方向，并生成具有3D 坐标的稀疏三维点云；
基于重建的稀疏点云，采用MVS 算法计算pixel-wise 损失函数，以重建图像序列中每个图像的视差图（disparity maps），然后将像素反向投影到所有重叠的图像，并进行三角测量以生成稠密三维点云[29]。为去除噪声和异常点，采用统计滤波去除置信阈值以下的点，获得平滑的密集点云。通过花盆或根系支撑网架的尺寸将点云按照场景实际尺寸进行缩放。最后，采用3DF Zephyr 软件的点云选择工具，基于RGB色彩自动选择并删除栽培桶或黑色根系支撑网架的三维点云[18]，由此获得作物个体植株地上部和根系三维点云。基于所有相机获取的图像序列重建三维点云，图像视角和细节信息最丰富，可实现植株高细节三维点云高精度重建（图2）。

图2 作物三维点云重建流程Fig.2 Flow chart of 3D reconstruction for plant point cloud

1.4 重建精度评估和策略优化

以采用全部相机重建的三维点云为参照，对采用不同策略重建的三维点云精度进行评估。利用CouldCampare 软件（Version 2.11.0；
GPL 软件）将两个点云模型对齐到同一三维坐标系（图3）。以所有相机重建的点云模型为目标对象，以不同策略重建的点云模型为活动对象，在两个模型中手动选取至少三对特征点，在adjust scale 和auto update zoom 模式下对齐两个实体。然后采用ICP 算法（iterative closest point，迭代最近点）[30-31]进行精准匹配。对齐两个点云模型后，按照式（1）～（3）计算重建点云和参照点云模型之间的Hausdorff（豪斯多夫）距离H(A,B)：式中H(A,B)为重建点云集合A={a1,…,ap}和参照点云集合B={b1,…,bp}之间的双向Hausdorff 距离，‖·‖是点集A和点集B间的距离范式，h(A,B)和h(B,A)分别为从A集合到B集合以及从B集合到A集合的单向Hausdorff 距离，即h(A,B)首先对点集A中的每个点ai到距离此点最近的B集合中的点bj之间的距离‖ai-bj‖进行排序，然后取该距离中的最大值作为h(A,B)；
h(B,A)同理。通过花盆或根系支撑网架的实际尺寸将Hausdorff 距离按照场景实际尺寸进行换算。基于Hausdorff 距离对采用不同策略重建的三维点云进行重建精度评估。

图3 两个点云模型间距离计算流程Fig.3 Workflow of the distance calculation between two point clouds models

综合考虑点云重建效率（重建时长）和重建精度（Hausdorff 距离），优化针对不同生育时期、不同作物的三维点云重建策略。重建效率和精度的量纲和单位不同，为便于两个指标进行加权对比，通过归一化无量纲处理，将重建时长和Hausdorff 距离转变为相对值关系，重建时长和Hausdorff 距离归一化值之和即综合考虑和平衡了重建效率和重建精度两个因素；
归一化值之和最小的重建策略即具有最高重建精度和效率的策略。最优重建策略优选标准为：在满足精度要求的前提下（Hausdorff距离小于0.20 cm[32]），优选重建时长归一化值和Hausdorff距离归一化值之和最小的重建策略；
如无满足Hausdorff距离小于0.20 cm 的重建策略，则优选Hausdorff 距离最接近0.20 cm 的重建策略。

1.5 表型参数提取和精度评估

将采用不同策略重建的三维点云导入Meshlab（Version 2021）[33]提取植株高度、宽度、凸包体积和总表面积。采用泊松圆盘采样（Poisson-disk sampling）对三维点云进行下采样（显式半径explicit radius=0.5,蒙特卡洛过采样MonteCarlo oversampling=20[34]）。采用滚球法（ball pivoting）基于下采样点云模型重建三维网格模型（默认设置）[35]。通过孔洞填补（close holes,填补的最大尺寸max size to be closed=50）修补三维网格模型中的孔洞。基于重建的三维点云计算植株高度和最大宽度（图4a）；
基于三维模型拟合凸包（convex hull）并计算凸包体积（convex hull volume）（图4b）；
基于生成的三维网格模型计算植株的总表面积（图4c）。

图4 表型参数提取Fig.4 Workflow of extracting phenotypic parameters

对提取的表型参数，采用R 语言进行统计分析，估测值和参照值的关系通过式4～6 用决定系数（R2）、均方根误差RMSE（root mean square error）和相对均方根误差RRMSE（relative root mean square error）进行评估：

式中Pi和REi分别为第i个估测值和参照值；
Pavg和REavg分别为估测值和参照值的平均值；
n为估测值或参照值的个数。

2.1 三维点云重建结果

采用自主研发的图像自动采集系统能够高效获取不同作物、不同生育时期植株多视角图像序列（成像效率3 min/株）。基于SFM-MVS 算法可实现不同作物地上部和根系三维点云高效重建（图5）。基于该方法重建的不同作物、不同生育时期植株三维点云模型均能很好地还原植株真实的三维形态。

图5 不同作物不同生育时期植株三维重建效果Fig.5 Three-dimensional reconstruction of different crops at different growth stages

2.2 点云重建精度可视化评估

对于不同作物、不同生育时期植株，基于Hausdorff距离，对采用不同策略重建的三维点云重建精度进行可视化（图6）。结果显示，代表重建精度高的蓝绿色区域较多，代表重建精度低的红色区域较少；
采用相机个数越小，红色区域越多。

图6 采用不同重建策略的不同作物不同生育时期植株三维点云重建精度可视化Fig.6 Visualization of 3D point cloud reconstruction precision of different crops at different growth stages using different reconstruction strategies

对于成熟期棉花（图6 A），重建精度较低的红色区域主要分布在顶部生长较为密集的叶片上，采用3～6个相机可有效减少红色区域。对于水稻（图6 B），红色区域主要分布在植株边缘细长的叶尖以及叶片生长密集且遮挡严重的区域（尤其成熟期水稻），采用6 个相机可有效减少红色区域。对于小麦（图6 C），红色区域主要分布在植株边缘细长的叶尖、与土壤接触的区域以及麦芒上，采用6 个相机可有效减少红色区域。对于油菜（图6 D），红色区域主要分布在生长密集且遮挡重叠严重的叶片、低层叶片背面、与土壤接触的区域以及结构细长且生长繁密的角果上，对于苗期和盛花期油菜，采用6 个相机可有效减少红色区域；
对于蕾薹期和角果成熟期，采用10 个相机可有效减少红色区域。对于根系（图6 E），红色区域主要分布在生长密集且遮挡重叠严重的根系密集区以及极细的深层单条根系上，采用相机个数越多，红色分布区域越少。

综合分析，对于具有较宽大偏平叶片结构的作物，重建精度较低的区域主要集中在叶片生长密集且相互重叠严重的区域，当采集的图像视角不够丰富时，相互遮挡的叶片信息被掩蔽，通过增加成像视角可有效提高重建精度；
对于具有细长结构的叶片、麦芒或角果等器官，由于相机捕获此类细长结构（尤其叶尖和麦芒）像素点较少，三维重建时易丢失此类信息，增加相机成像视角和参与重建的图像数量能增强此类特征点参与到重建中的概率，可有效提高此类细节信息的重建精度。

2.3 点云重建精度定量化评估

对于不同作物、不同生育时期植株，分别对采用不同策略的三维点云重建精度进行定量化评估。随着参与重建的相机个数增加，Hausdorff 距离整体呈现减小趋势（图7）。对于花铃期棉花（图7a），相机数从1～2 个增加到3～4 个，Hausdorff 距离减少幅度较大，从4 个增加到10 个，Hausdorff 距离减少幅度降低。对于水稻（图7b），相比抽穗期植株，成熟期植株重建精度较低；
成熟期水稻Hausdorff 距离随相机数增加而减小的幅度高于抽穗期水稻，说明相机数增加对提升成熟期水稻重建精度效果明显。对于小麦（图7c），拔节期和灌浆期植株Hausdorff 距离随相机数增加而减小幅度高于分蘖期，说明采用更多的相机对拔节期和灌浆期植株重建精度提升有更明显的效果；
此外，分蘖期植株重建精度整体低于拔节期和灌浆期，其原因可能是分蘖期小麦较小，图像中捕获植株像素点较少，当采用较少相机获取的图像重建三维点云时，容易丢失较多细节信息（如叶尖）。对于油菜（图7d），相机数从1 个增加到3～4 个，Hausdorff 距离减少幅度较高；
从6 个增加到10 个，Hausdorff 距离减少幅度较低；
相比盛花期和蕾薹期植株，成熟期和苗期植株重建精度偏低，其原因可能是苗期叶片较为集中，相互之间的遮挡相比盛花期和蕾薹期大，而成熟期角果细长结构相比宽大叶片被捕获的像素点较少。对于根系（图7e），油菜根系Hausdorff 距离随相机数增加而减小幅度高于玉米根系；
对于玉米根系，Hausdorff距离随相机数增加而稳步降低；
对于油菜根系，相机数从2 个增加到4 个，Hausdorff 距离减少幅度较高，从6 个增加到10 个Hausdorff 距离减少幅度较低。

图7 采用不同重建策略的不同作物不同生育时期植株三维点云重建精度定量化评估Fig.7 Quantitative evaluation of 3D point cloud reconstruction accuracy for different crops at different growth stages using different reconstruction strategies

综合对比作物地上部和根系（图7f），根系的重建精度整体低于地上部；
随着参与重建相机数增加，作物根系Hausdorff 距离减少幅度整体高于地上部，说明对于根系此类细长繁密、结构复杂的待测目标物，需要采用更多的相机获得较丰富的三维图像信息。综合所有植株（图7f），随相机个数增加，平均Hausdorff 距离减小幅度从4 个相机开始变缓；
从4 个相机增加到10 个相机，平均Hausdorff 距离从0.23 cm 降低至0.17 cm，说明Hausdorff 距离达到0.20 cm 左右时，精度可继续提升空间变小。结合该研究结果和已报道研究结果（90%点云距离小于0.20 cm[32]），本研究限定平均Hausdorff 距离小于或接近0.20 cm 为三维点云重建的精度要求。

2.4 三维点云重建策略优化

综合考虑三维点云重建效率（重建时长）和精度（Hausdorff 距离），优选针对不同作物、不同生育时期植株的最优重建策略。以Hausdorff 距离小于或接近0.20 cm（优先选择距离小于0.20 cm 的策略，如无满足条件的策略，优先选择距离最接近0.20 cm 的策略）（图8），且重建时长归一化值和Hausdorff 距离归一化值之和最小为优选标准（表2）。对于花铃期棉花（图8a，表2），采用6 个相机为最优重建策略；
对于水稻（图8b，表2），采用6 个相机为抽穗期水稻最优重建策略，采用10 个相机为成熟期水稻最优重建策略；
对于小麦（图8c，表2），采用10 个相机为分蘖期小麦最优重建策略，采用6 个相机为拔节期和灌浆期小麦最优重建策略；
对于油菜（图8d，表2），采用3 个相机为苗期、盛花期和成熟期油菜最优重建策略，采用4 个相机为蕾薹期油菜最优重建策略；
对于根系（图8e），采用10 个相机为油菜和玉米根系最优重建策略。

表2 采用不同策略的不同作物不同生育时期植株重建时长和豪斯多夫距离归一化值Table 2 Normalized values of plant reconstruction time and Hausdorff distance for different crops at different growth stages using different reconstruction strategies

图8 采用不同重建策略的不同作物不同生育时期植株三维点云重建精度和效率评估Fig.8 A comprehensive evaluation of 3D point cloud reconstruction accuracy and efficiency for different crops at different growth stages using different reconstruction strategies

2.5 表型参数提取精度评估

为评估基于不同策略重建的三维模型提取表型参数的可靠性，将基于参照模型提取的表型参数（高度、宽度、凸包体积、总表面积）与基于不同策略重建模型提取的表型参数进行比较（图9）。结果显示，采用的相机数越多，提取的表型参数越接近参照值（R2和线性回归方程斜率越接近于1，RRMSE值越小）。

图9 基于参照模型与基于不同策略重建模型提取的表型参数相关性分析Fig.9 Correlation analysis between phenotypic parameters extracted from 3D models reconstructed based on different strategies and those extracted based on reference models

对于株高（图9a），采用不少于2 个相机重建均可获得较可靠的估测值，R2＞0.95，线性回归方程斜率均接近1（斜率0.98～1.05），RMSE≤0.80 m 且RRMSE≤8.5%。对于幅宽（图9b），采用不少于4 个相机重建均可获得较可靠的估测值，R2＞0.90，线性回归方程斜率大于0.80，RMSE≤0.50 m 且RRMSE≤9%。对于凸包体积（图9c），采用不少于4 个相机重建均可获得较可靠的估测值，R2＞0.99，线性回归方程斜率大于0.90，RMSE≤16 m3且RRMSE≤9%。对于总表面积（图9d），采用不少于4 个相机重建均可获得较可靠的估测值，R2＞0.99，线性回归方程斜率大于

0.90，RMSE≤3.1 m2且RRMSE≤3%。当采用较少相机捕获的图像序列重建三维模型时，对株高提取准确性的影响低于对幅宽、凸包体积和总表面积的影响，对成熟期作物表型参数提取准确性的影响高于对苗期作物的影响。

为满足高通量植株表型分析需求，进一步基于多视角自动成像系统提升三维重建效率和精度，本文针对不同作物、不同生育时期、不同植株部位（地上部和根系），通过三维点云重建效率和精度定量化和可视化评估，以及基于不同三维模型提取的表型参数可靠性评价，寻找平衡设备成本、时间成本和重建精度的最优三维重建策略。

对于苗期、蕾薹期、盛花期和成熟期油菜，采用3～4 个相机为最优重建策略；
对于抽穗期水稻、花铃期棉花和拔节期、灌浆期小麦，采用6 个相机为最优重建策略；
对于分蘖期小麦、成熟期水稻、玉米根系和油菜根系，采用10 个相机为最优重建策略。重建精度低的区域主要集中在叶片生长密集区以及具有细长结构的叶片、麦芒、角果或根系等器官；
增加成像视角和参与重建的图像数量，可有效保留细节信息、提高重建精度，尤其对成熟期植株地上部以及结构复杂的根系，重建精度提升效果显著。采用不少于4 个相机获取的图像重建三维模型可获取可靠的表型参数（决定系数R2＞0.90，相对均方根误差RRMSE≤9%）。

本研究对实现作物表型信息高效获取分析具有重要价值，但仍存在一些问题有待研究：自动成像系统采用定焦镜头，在采集较小植株图像时捕获的植株像素点较少（如分蘖期小麦），升级成像系统镜头并根据植株大小调节焦距，是提升重建精度的有效手段；
采用自动成像系统获取的图像位置是已知的，加入成像位置信息约束三维重建，减少特征匹配所需的计算时间和计算量，可进一步提升重建效率；
本研究针对室内单株盆栽植株开展，理论上该方法同样适用于田间植株。为更贴近育种学家对大田作物表型测定的需求，改进并构建应用于田间群体作物的自动成像系统和三维重建策略，是未来研究方向之一。

猜你喜欢 三维重建表型根系 雅安市：织密根治欠薪“根系网”四川劳动保障(2021年3期)2021-06-09基于Mimics的CT三维重建应用分析软件(2020年3期)2020-04-20根系分泌物解铝毒作用研究进展现代园艺(2017年13期)2018-01-19建兰、寒兰花表型分析现代园艺(2017年21期)2018-01-03基于关系图的无人机影像三维重建光学精密工程(2016年6期)2016-11-07三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用腹腔镜外科杂志(2016年12期)2016-06-01烤烟漂浮育苗根系致腐细菌的分离与鉴定西南农业学报(2016年5期)2016-05-17长期膜下滴灌棉田根系层盐分累积效应模拟中国农业文摘-农业工程(2016年5期)2016-04-12GABABR2基因遗传变异与肥胖及代谢相关表型的关系中国康复理论与实践(2015年10期)2015-12-24多排螺旋CT三维重建在颌面部美容中的应用中国医疗美容(2015年1期)2015-07-12