基于计算机视觉与深度学习的施工现场人员及车辆智能统计与监测

陈祺荣，陈钰开，林 俊，朱东烽

（1、广东筠诚建筑科技有限公司 广东云浮 527300；
2、海南大学土木建筑工程学院 海口 570228）

近年来，我国的建筑业飞速发展，建筑业企业生产和经营规模的不断扩大，建筑业总产值持续增长［1］，建筑施工高速发展和大规模建设项目实施给施工生产带来严峻的安全生产管理问题，建筑施工领域的安全问题始终都是国家安全生产监管工作的重中之重［2］。单个项目体量也变得越来越大，同时在岗施工人员可达近千人，极大地增加了建筑施工现场人员管理的难度。为加快建筑业持续健康的发展，住房和城乡建设部和人力资源社会保障部联合下发了《建筑工人实名制管理办法（试行）》［3］，并于2019年3月1日正式实施，对于施工现场出入口有明确要求：施工现场原则上实施封闭式管理，设立进出场门禁系统，采用人脸、指纹、虹膜等生物识别技术进行电子打卡；
不具备封闭式管理条件的工程项目，应采用移动定位、电子围栏等技术实施考勤管理［4］。因此，研究建筑施工现场人员智能统计算法对于工地的数字化、智慧化管理具有重要意义。通过智能统计进出人员及其工种、所属专业公司等信息，并实现建筑施工现场内部实时人数、各工种人数和各专业公司场内人数的智能化显示，建筑施工现场人员管理效率可以有效提高。

目前大多数建筑施工现场采用的安全管理模式是纸质签到系统，或在施工现场各个出入口安装门禁控制系统（如由三辊闸，摆闸，翼闸，不锈钢栅栏门等通道系统与感应卡读写器结合构成的系统）［5］，所有管理人员和施工人员提前将人脸或者二代身份证录入系统后便可自由进出，同时非工地人员未经登记和授权无法擅自进入施工现场，达到杜绝安全隐患并切实保障工地的安全生产的目的［6］。这种安全管理模式在体量较小的建筑项目足以应付可能产生的人员管理隐患，然而在体量较大，工人数量大以及各类人员进出频繁的项目，这种管理模式存在诸多问题：

⑴建筑工地出入口处人员出入频繁，人员无序流动，现场管理困难，建材失窃时有发生；

⑵用纸质记录考勤数据，难以准确统计实际工时，且数据易被篡改［7］；

⑶施工现场人员数量多、分包单位多、工种和岗位多的特点，项目管理人员无法清晰和及时掌握现场的施工作业人员数量、各工种人员数量和各专业分包单位人数，不利于现场管理效率提高；

⑷发生建筑劳务人员工资纠纷时，监管部门难以取证，维权困难重重；

⑸车辆以及车辆内人员进出场统计困难。

目前，基于计算机视觉以及深度学习的人员统计算法已经日趋成熟［8-10］，在建筑施工现场人员管理方面有着很大的发挥空间，大型施工现场对于项目人员智能统计算法平台的搭建拥有极为迫切的需求。因此，本文基于YOLOv4 网络结合计算机视觉智能识别技术，通过分析闭路监控摄像头的实时监控画面，实现建筑施工现场的人员自动化监测，并在云端平台上实时显示识别过程和各类统计信息。本文主要研究以下关键内容：

⑴构建基于YOLOv4 的施工现场工人统计与监测深度学习算法。

⑵基于上述深度学习算法，开发面向工地管理人员的施工管理系统。

⑶通过试验验证算法的成功率以及准确度，试验内容包括试验场景的搭建、设备选型以及部署方式、模型训练的具体实现方法、给出试验结果以及对试验结果的总结和分析。

1.1 YOLOv4算法基本原理

YOLOv4 相较于上一代YOLOv3 拥有更良好的检测性能。如图1 所示，YOLOv4 主干特征提取网络采用的是借鉴跨级部分网络（CSPNet）与深度网络（DarkNet53）产生的CSPDarknet53，加强了卷积神经网络学习能力，而且能降低显存使用。跨级部分网络复制基础层的特征映射图后借助密集块（dense block）进入下一步，达到将基础层的特征映射图分离的目的，同时，跨级部分网络增加了网络宽度，精度得以保障［11］。

图1 YOLOv4网络结构Fig.1 Network Structure of YOLOv4

YOLOv4算法有如下3步：

⑴ 对图片进行主干特征提取，采用步长为2、卷积核为3×3 的卷积层对图像进行5 次采样，依次产生208×208，104×104，52×52，26×26，13×13 尺寸的特征层。

⑵将特征图通过金字塔池化，将13×13 进行多尺度感受野的融合，对特征图进行最大值池化，通过张量拼接得到13×13 尺寸的新特征层。如图2 所示，新特征层又与上一步中的26×26，52×52 尺寸特征层通过路径聚合网络代替特征金字塔进行参数聚合。因此YOLOv4算法能应用于不同尺寸检测头，YOLOv4在此步骤将融合方法由相加修正为拼接，提高模型学习能力。

图2 改进的路径聚合网络Fig.2 Improved PANet

⑶将特征层传入检测网络，YOLOv4的检测头模式与YOLOv3 的检测头模式相同：将特征层划分为13×13，26×26，52×52 三类大小的网格图，分别检测大中小三类目标，提高检测精度，防止目标轮廓因为较大或较小而丢失。YOLOv4还会更改图像再对新图像进行决策，这一过程即自对抗训练，改善学习决策边界的薄弱环节，提高系统鲁棒性［12］。

1.2 代码实现

项目的目的是实现对进入的车辆与行人进行实时统计，因此需对监视器的每一帧画面进行处理，具体步骤如下：

⑴传入监视器的实时画面，开始对每一帧画面进行处理。

⑵设置循环条件：只有在无法读入画面时退出。

⑶借助已训练数据的函数读取当前帧的物体，返回3 类参数：类别，边框中心点位置，类别置信度。依据位置参数绘制出当前帧存在物体的轮廓，把所有位置参数绘制的矩形框的几何中心点进行记录。

⑷以物体编号为键，以物体对应矩阵框几何中心点为值，创建字典，当前帧与上一帧保留本步骤的字典。若有物体不存在，删除其对应数据。将中心点相差小于40像素点的物体视为相同物体，将上一帧物体编号继承至当前帧的物体字典［13］。

⑸依据中心点移动方向确定进或出，在监控器画面中有两类移动：上下方向，左右方向。若人物移动轨迹为左右，则只需依照中心点横坐标变化确定方向；
若人物移动方向为上下，依据纵坐标变化确定方向。依据人或车的方向确定对应物体类别处于工地的数量。

⑹显示已处理的图像，图像输入窗口，当前帧率（FPS）与实时车辆数与人数，复制当前帧物体几何中心点坐标，图像滞留20 ms。

本章节主要讲述算法模型对于行人和车辆检测的试验效果，具体包括：模型运行环境的搭建，模型的训练，试验数据的获取及分析。

2.1 试验环境搭建

本文所有试验所使用的硬件配置信息及软件信息，分别如表1、表2所示。

表1 试验所使用的硬件配置信息Tab.1 Hardware Configuration Information Used for the Experiment

表2 试验所使用的软件信息Tab.2 Software Information Used for the Experiment

如图3 所示，试验中硬件设备的部署方式为在施工现场出入口架设监控摄像头，采集监控视频并将采集到的素材通过交换机输入到模型中进行识别并统计数据，最后再将结果实时显示到终端设备上实现远程集中管理。

图3 传输路径Fig.3 The Transmission Path

2.2 模型训练过程

在模型训练的过程中要判断该算法是否能够准确地识别出行人以及车辆，首先需要制定合适的评估标准，合理的评估标准不仅能够准确地测评该算法的好坏还能根据不同的需求对算法进行有目的性的改进升级。对于一个行人与车辆识别算法来说，识别的准确度是最基本的评估标准。本试验主要测试算法在不同的环境条件的识别准确性。为了检验算法在不同环境条件下的准确性，我们将分别选取白天和夜晚中人流量较大的时段内的监控录像经过拼接作为识别素材。

获取到合适的识别素材后，首先人工对视频中的人员和车辆进出的数量进行统计，将其作为真实数量，再由算法进行识别统计获得统计数量，将二者数据进行对比即可得出算法的识别准确度。在运行算法前需要在算法中设置一定的规则以便于准确地分辨行人进出的数量，在算法中预设蓝色与黄色区域为判断区，当目标上行撞黄线时记为进，目标下行撞蓝线时记为出，以此来计算行人进出数量，如图4所示。

图4 监控录像分析过程Fig.4 Surveillance Video Analysis Process

算法运行时，将对视频进行处理，首先缩小尺寸再检测画面中是否有目标出现，假设画面中无目标出现，算法会将其视为无效画面忽略并清理，当画面中有目标存在时，算法会为目标赋框后输出，最后检测目标框是否撞线以及目标框所撞区域是为蓝色或者黄色作为目标进出的判断依据。通过选取不同的环境条件进行算法准确性检测，所得试验结果如表3所示。

表3 识别结果（人）Tab.3 Results of the Identify

通过表3可知日间环境下算法识别进入和离开的准确率分别为97%和95%，在夜间环境下算法识别进入和离开的准确率分别为94%和93%，可见基于YOLOv4 网络的行人统计中，不论是白天或是黑夜，在保证识别区域光照充足的情况下，识别的准确率均可达90%以上。但统计结果与真实数据之间仍有差距，通过观察算法运行过程发现，误差的主要来源于以下三个方面：

⑴当目标在碰撞线内停留过久时算法就会重复识别；

⑵当目标手持安全帽经过检测区域时算法会重复识别；

⑶ 当监控视频出现掉帧情况导致画面短暂中断，画面恢复后也会对已识别目标重复识别。

通过对YOLOv4 网络结构和算法进行改进，训练出的模型在试验中表现良好且稳定，准确率均能达到95%以上且能实时检测，具有实际应用价值。

2.3 可视化界面设计

如图5 所示，通过与虚幻4 引擎的结合，在算法中加入http 推流服务，将所获取的视频画面和算法统计的结果实时展示在客户端，并在客户端添加其他功能。

图5 可视化界面Fig.5 User Interface（UI）

该客户端所包含的功能主要包括：

⑴人员与车辆统计功能，包括人员与车辆进、出数量以及场地内人员与车辆总数；

⑵视角切换功能，当在不同出入口架设多个摄像头时，可通过客户端在不同摄像头之间进行切换并实时获取该摄像头所记录的人员与车辆进出数据。

2.4 工程应用难点与解决方法

虽然本研究首先在验环境中对所研发算法进行了测试和验证，但是在项目测试与落地阶段，发现了本系统存在多个实际应用问题，通过解决以下落地应用问题，极大地提高了该系统在实际工程项目中的应用价值与鲁棒性。

2.4.1 画面检测范围

本项目在现场测试过程中发现，需要对不同区域的视频画面检测范围进行调整。如图6 所示，该画面所展示区域为本文测试项目工地的主要人员进出通道，该通道画面主要包含闸机通道与右侧门卫值班室。算法在默认情况下会对整个画面中的人员进行识别与检测，如果有人员在值班室中来回走动，也会被算法判定为“进场”或者“出场”，这种误判会给系统统计结果造成巨大误差。因此，本系统在项目现场落地过程中，需要根据不同出入口的画面布局，对相应的后台算法检测范围进行调整。通过在算法代码中加入“检测区域”功能，来控制各个画面中的实际检测范围。如图6 所示，所有进入该通道画面中的人员都会被识别出来，但是只有通过图中检测区域的人员会计入统计数据，而在检测区域以外活动的人员，不会对统计数据产生影响。除下图所示通道，本项目对其它全部出入口画面均进行了检测区域调整，极大地提高了系统的统计精度。

图6 检测区域Fig.6 Detection Area

2.4.2 算法准确率

本研究使用YOLOv4神经网络作为检测算法的基础，经过训练，该算法可对人员、车辆等不同对象进行识别判定。判定过程中，算法会自动评估对某一对象判定的置信度，置信度越高，则目标对象检测的成功率越高。需要给算法设定一个合理的置信度区间，来对各个识别结果进行筛选。如果置信度区间设置过低，则会出现错误判定的情况。如图7⒜所示，将一台闸机识别成人员；
如果置信度区间设置过高，则会出现遗漏判定的情况。如图7⒝所示，由于该人员佩戴特殊帽子并手持某设备，使得算法对其判定的置信度降低。因此，本项目通过大量测试来给出合理的置信度区间，避免误判和漏判，最终使得系统检测的综合准确率达到95%以上。

图7 错误及遗漏判定案例Fig.7 Cases of Misjudgment and Omission Detection

2.4.3 系统冗余程度

系统冗余程度会影响算法的计算效果，系统越复杂，则其占用的计算资源越高，在硬件设备计算能力固定的情况下，留给算法部分的计算资源越有限，计算效果也越差。本项目测试中，初始版本的系统冗余程度过高，导致算法部分算力不足，逐帧计算速度慢于视频输入速度，导致分析画面会比实时画面相对滞后。同时由于算力不足，分析过程中会出现掉帧现象，虽然掉帧现象对用户的视觉体验影响不大，但是掉帧如果刚好发生在有人员通过的时间点，算法无法对同一人员进行连续追踪，则会误将其判定为两个不同人员（见图8），进而严重影响统计结果的准确性。因此，本项目在保持算法和系统功能的基础上，最大限度对系统进行优化，降低其冗余程度，抛弃无关组件，降低渲染效果，确保系统占用最少量的计算资源，最终大大提高了算法的计算效果，避免了上述滞后与重复识别的问题。

图8 掉帧引起的重复识别Fig.8 Duplicate Detection Caused by Dropped Frames

本文针对建筑施工现场所采用的传统安全管理模式可能存在的漏洞提出一种基于计算机视觉与YOLOv4 算法模型的智能管理办法，利用闭路监控摄像头画面实现施工人员的全自动监测与统计。该方法首先通过预训练的深度学习算法，对通过工地入口的施工人员进行检测，利用跟踪算法对目标进行跟踪，并在目标碰撞检测线时进行计数并统计，最后通过客户端进行实时展示。本研究在现场测试过程中，发现系统在画面检测范围、算法置信度、系统冗余程度存在问题。通过解决上述问题，极大地提高了系统的实际应用价值和鲁棒性，为系统在实际工程项目中应用打下基础。在今后的研究中，可以基于该方法，根据不同的需求可加入不同的功能，如人脸识别、工种识别、安全帽佩戴识别等。这种基于计算机视觉与深度学习算法的自动化人员监测手段，能够有效提高施工现场人员管理效率，对提高施工智能化、实现智能建造具有非常重要的应用价值。

猜你喜欢 置信度施工现场人员 灵活就业人员参保如何缴费工会博览(2024年8期)2024-03-31小型水利工程施工现场管理商品与质量(2021年43期)2022-01-18硼铝复合材料硼含量置信度临界安全分析研究核科学与工程(2021年4期)2022-01-12庐山站改移武九客专上下行过便线拨接施工现场现代企业(2021年2期)2021-07-20建筑施工现场的安全控制建材发展导向(2021年7期)2021-07-16让刑满释放人员找到家的感觉人民调解(2019年2期)2019-03-15正负关联规则两级置信度阈值设置方法计算机应用(2018年5期)2018-07-25公路工程施工现场常见的『三违』现象劳动保护(2018年5期)2018-06-05置信度条件下轴承寿命的可靠度分析轴承(2015年2期)2015-07-25急救人员已身心俱疲中国卫生(2014年5期)2014-11-10