基于AM5728的动态产品姿态获取系统设计与实现

尚 玉 廷

(广州番禺职业技术学院智能制造学院 广东 广州 511487) (珠海格力电器股份有限公司珠海格力智能装备有限公司 广东 珠海 519000)

在实际生产中，动态流水线上的产品都是随意摆放的，为后续实现自动装配、自动打螺钉、自动贴标签和自动检测等造成了很大障碍。为了能够实现智能化柔性生产，需要实时获取动态流水线上产品摆放姿态，并根据产品摆放姿态实时调整机构姿态控制机器人、X/Y/Z平台、模组、工装夹具等执行机构，以便保持与产品之间的相对姿态统一，最终以设计好的路径执行相应动作。

目前常用的方法是在动态流水线上加装导向机构的接触式方法，将产品导向成固定姿态后再进行后续的智能化柔性生产，缺点是产品切换时需要重新调节导向机构，导向后的姿态存在较大误差，不仅降低流水线的生产节拍，而且容易刮花产品外观面，导致质量异常事故发生，对于有较高外观面质量要求的产品无法适用，如空调产品。为了有效解决以上问题，本文设计并实现了动态流水线上产品摆放姿态的非接触式实时获取系统，在不接触产品任意外观面的前提下(非接触式)实时获取动态流水线上产品摆放姿态，该姿态可用于实时反馈给执行机构相对于产品自动调节成统一的相对姿态，为实现后续的智能化柔性生产提供技术基础和理论支撑。

1.1 系统整体结构设计

动态流水线上产品摆放姿态的非接触式实时获取系统包含摄像头固定机构、ARM控制系统、图像采集系统、传送装置等四部分，检测系统结构图如图1所示。此系统中如果不用线激光器，仅仅通过摄像机在产品正上方的时候触发获取一帧图像，根据图像中产品的轮廓特征计算产品摆放姿态。该方案的缺陷非常明显，例如：(1) 受环境光的影响非常大；
(2) 产品高度变化后，系统标定模型将失效，必须重新标定；
(3) 产品轮廓特征可能无法准确提取，受背景影响非常大；
(4) 对于存在较大高度差的产品不适用。可见激光器在这套系统中起着不可或缺的作用。

图1 检测系统结构图

动态流水线上产品摆放姿态的非接触式实时获取系统工作原理为:空调等产品从流水线上移动至图像处理系统区域时，图像采集系统获取产品摆放姿态信息，所有的摆放信息图像经过解码处理后发送给ARM控制系统;ARM控制系统根据图像处理各种算法，对产品摆放姿态进行图像增强等处理，然后根据检测结果控制后续的执行机构。图像采集系统获取产品摆放姿态信息是采用激光三角测量原理(如图2所示)，将线激光投射到动态流水线上，产品(以空调为例)从流水线上经过激光投射平面(如图1所示)，会在产品(空调)表面形成一系列的光条纹，每条光条纹都包含着产品(空调)在该激光投射平面上的外表面轮廓信息，通过摄像机获取产品(空调)表面上的光条纹序列，利用视觉算法提取每条光条纹的三维信息，将会得到产品(空调)在动态流水线上的外表面三维点云数据，从而获取产品(空调)在动态流水线上的视差图像，由视差图像可以精确地提取产品(空调)的摆放姿态。图2中：s为激光器光束端面A与基准面R的垂直距离，d为端面A与摄像机焦点O′的距离，d0是OO′的距离，f是相机焦距，可以使用基于2D平面靶标的摄像机标定方法标定得到，Δ为被测物体距离基准面的距离，θ是激光束与OO′的夹角，δ是成像平面上成像点偏移的距离。可以推导得出如下公式：

图2 激光三角测量原理

1.2 系统硬件设计

包装箱型号缺陷检测系统需要通过图像采集系统获取空调包装箱型号标记的图像信息，还需要ARM控制器对采集到的图像信息进行处理和存储，对芯片运算和处理速度要求较高。因此选用TI公司Sitara系列的AM5728处理器，其内部运行有Cortex-A15 ARM核心，其架构较为独特，其内部还集成了两个用于分析和实时数字序号处理的C66X DSP、一个ARM Cortex-M4内核，可用于实现IO控制功能以及图像加速引擎。另外还具备丰富的互联外围设备，包括USB3.0、USB2.0、SATA 2、Gigabit以太网交换接口和PCI/PCIe接口等。AM5728核心板实物图如图3所示，外设接口及其功能如表1所示。

图3 AM5728 核心板实物图

表1 AM5728核心板外设及功能

该系统提供了丰富的连接外设。该芯片还包含了高性能嵌入式产品所需的最先进的集成电源管理技术，可以保持嵌入式系统运行中功耗比较低。

MER- 231- 41GM/C-P摄像头被用来做图像采集，它是大恒图像公司最新的水星(MERCURY)系列。感光元件采用Sony IMX249 CMOS感光芯片，该摄像头可以通过100 Mbit/s以太网接口与AM5728处理器相接，实现产品摆放姿态的快速、准确采集。采用双LED光源为图像采集系统提供均匀稳定的照明。

1.3 缺陷检测系统软件平台

检测系统的软件设计采用VMWare Station软件作为虚拟开发平台，Ubuntu16.04操作系统作为开发环境进行软件编程，适用于TI嵌入式处理器，涵盖了编译、仿真等功能。程序采用C++语言和模块子系统的方式进行软件的编写开发，大大提高了程序开发的效率。系统检测流程如图4所示。

图4 检测系统检测流程

空调以不同姿态经过激光投射平面后的视差图像，如图5所示。系统标定后(基准面标定、摄像机标定、激光投射平面标定、运动方向标定)，视差图像中的点云数据即可映射到空间笛卡尔坐标系中，以产品相对坐标系OXY的原点O作为基准点，可以实现空调的精确定位。

图5 空调理论视差图

通过非接触式方法获取空调底板三维点云数据的过程中，由于受到外界环境光的影响和空调底板表面漫反射现象的影响，不可避免地引入大量的噪声干扰点云，与此同时，空调底板三维点云也会存在小部分残缺，主要集中在边缘区域和表面梯度变化较大区域，从而导致对于空调底板三维点云数据模型的外轮廓难以精确快速提取。目前常用的技术手段是将原始的三维点云数据进行三维空间实体建模，根据预先设计好的规则(距离与法向量)将彼此相邻的点云数据连接成同一个曲面，将离散的点云数据(部分噪声干扰点云)过滤掉，然后根据另外一种预先设计好的规则(边缘距离与曲率)将不同的离散曲面拼接成连续曲面，并将拼接处的间隙区域(三维点云数据残缺部分)修补完整。接着，根据高度特征将空调底板所属曲面分割出来。最后，根据空调底板的表面轮廓特征，对提取出来的曲面进行适当的表面处理，(例如：根据空间形态学进行表面平滑处理、根据最小外接空间矩形进行表面拓扑延伸或者裁剪处理)最终可以获取空调底板三维点云数据模型的外轮廓。上述技术手段的缺点是算法复杂、运算量大、处理时间长、鲁棒性低，无法应用在在线式的实际项目上。

通过以上算法可以在不接触产品任意外观面的前提下(非接触式)实时获取动态流水线上产品摆放姿态。动态流水线上产品摆放姿态的非接触式实时获取系统算法逻辑如图6所示。

图6 外轮廓精确快速提取算法逻辑

基于线激光三角测量原理获取原始的空调底板三维点云数据模型，如果直接进行三维点云数据模型处理，算法将会非常复杂，运算量非常大，效率非常低。本文通过降维思路(将三维空间模型转换成二维平面模型)，将原始的空调底板三维点云数据模型转换成二维视差图像，然后再利用传统的数字图像处理算法提取外轮廓特征，不仅算法简单、运算量少、效率高，而且提取精度高(亚像素精度)，能够满足在线式的实际项目。首先，原始的空调底板三维点云数据模型可以直接转换成二维视差图像，根据原始的空调底板三维点云数据模型中空调底板所在的空间高度特征，分割出空调底板所在空间高度的点云区域，过滤掉背景干扰点云数据。然后，对上述点云区域进行离散化处理，提取空调底板的核心区域，并对其边缘进行光滑处理，对其内部进行填充处理，得到变形核心区域。接着，以变形核心区域作为参考标准，提取出距离参考标准区域边缘距离少于预设阈值的边缘离散点云区域群，合并处理后就得到了空调底板精确的三维点云数据。最后，利用形态学算法将上述合并区域进行轮廓光滑整形，就得到了精确的空调底板外轮廓特征。

数字图像处理算法处理如下：根据高度特征将视差图像中属于空调底板所在空间高度的三维点云数据区域分割出来，离散化处理后提取出面积最大的连续区域，此区域就是原始的三维点云数据模型中空调底板的核心区域。然后对核心区域进行适当的图像预处理，获取光滑凸体的核心变形区域，以核心变形区域作为参考标准，提取出边缘距离少于预设阈值的离散点云区域群，这些离散点云区域群就是原始的空调底板三维点云数据模型中边缘区域的残缺部分。将提取出来的离散点云区域群与核心变形区域合并成一个完整区域，该区域就是原始的空调底板三维点云数据模型中精确提取的空调底板三维点云数据。后续只需要进行简单的形态学处理就可以得到空调底板三维点云数据模型的外轮廓特征，同时也可以在此基础上进一步拟合出外轮廓所在的空间曲线方程，提取空间姿态用于项目应用。

在动态流水线上架设2个龙门支架，分别用于固定线激光器和摄像机。线激光器固定在动态流水线正上方而且线激光投射平面垂直于动态流水线运动方向，摄像机固定在动态流水线正上方而且光轴与线激光投射平面形成固定夹角，符合激光三角测量原理模型。在固定线激光器的龙门支架上安装一对光电传感器，用于感知产品(空调)是否在线激光投射平面上，同时在动态流水线传动电机上安装一个反馈编码器，用于获取动态流水线的瞬时运动速度，因为动态流水线的运动绝大部分情况下不是匀速的。

首先，进行系统标定，包括基准面标定、摄像机标定、激光投射平面标定和运动方向标定，以动态流水线上某一个固定点作为笛卡尔坐标系的原点，以动态流水线的运动方向作为X轴正方向，建立笛卡尔坐标系与系统三维点云坐标系之间的映射关系数学模型(如图7)；
接着，进行图像采集，假设产品(空调)在线激光投射平面上的时候，光电传感器输出高电平，产品(空调)不在线激光投射平面上的时候，光电传感器输出低电平。当产品(空调)流过线激光投射平面的过程中，光电传感器输出高电平，在这个过程中系统监控反馈编码器反馈的实时信号，以固定的反馈编码器反馈的脉冲增量(这里代表动态流水线运动了固定的距离)触发一次摄像机，获取一帧线激光投射到产品(空调)外表面上的光条纹图像(见图8)，这样将会在产品(空调)流过线激光投射平面的过程中得到由N幅图像组成的动态图像序列，序列中的每一幅图像都包含了产品(空调)外表面的顺序截面轮廓线，信息隐藏在图像中的光条纹中。然后，进行数据处理，利用视觉算法提取动态图像序列中每幅图像中的光条纹中心线，根据图像序列将光条纹中心线沿着动态流水线的运动方向进行顺序拼接，得到产品(空调)在动态流水线上的外表面三维点云数据，根据三维点云数据的高度坐标值设置合适的分割阈值，可以简单地提取出产品(空调)在动态流水线上的视差图像(见图9)。最后，根据获取的视差图像和产品(空调)的外观特征，利用视觉算法计算出产品(空调)的摆放姿态(见图10)，并根据第一步建立的映射关系数学模型，转换成笛卡尔坐标系下的产品姿态，可用于实时反馈给执行机构相对于产品(空调)自动调节成统一的相对姿态，为后续的智能化柔性生产提供可能性。

图7 系统模型三视图

图8 细节展示图

图9 空调实际视差图

图10 空调摆放姿态提取

产品摆放姿态的获取效果有以下五个优点：① 实时获取动态流水线上产品摆放的姿态；
② 非接触式，杜绝刮花产品外观面的隐患；
③ 自适应，产品切换时无需做任何调整，高效便捷；
④ 不影响流水线的生产节拍；
⑤ 获取的产品姿态精度非常高，可用于实时调整执行机构姿态，保持执行机构与产品之间的相对姿态统一。

本文首先对姿态检测系统进行了整体设计，然后对流水线上产品摆放姿态进行了分析，最后利用研究出的产品摆放姿态检测算法，实现了动态流水线上产品摆放姿态的非接触式实时获取系统。在不接触产品任意外观面的前提下(非接触式)实时获取动态流水线上产品摆放姿态，该姿态可用于实时反馈给执行机构相对于产品自动调节成统一的相对姿态，为实现后续的智能化柔性生产提供技术基础和理论支撑。

猜你喜欢数据模型流水线标定使用朗仁H6 Pro标定北汽绅宝转向角传感器汽车维修与保养(2020年11期)2020-06-09流水线小学科学(学生版)(2020年2期)2020-03-03面板数据模型截面相关检验方法综述中央民族大学学报（自然科学版）(2018年3期)2018-11-09加热炉炉内跟踪数据模型优化电子测试(2017年12期)2017-12-18基于匀速率26位置法的iIMU-FSAS光纤陀螺仪标定中国惯性技术学报(2017年1期)2017-06-09船载高精度星敏感器安装角的标定光学精密工程(2016年3期)2016-11-07报废汽车拆解半自动流水线研究中国资源综合利用(2016年9期)2016-01-22流水线生产杀死艺术福建人(2015年10期)2015-02-27基于Harris-张正友平面标定法的摄像机标定算法西安建筑科技大学学报（自然科学版）(2014年6期)2014-11-10SIMATIC IPC3000 SMART在汽车流水线领域的应用自动化博览(2014年6期)2014-02-28