基于行人重识别（ReID）技术的乘客出行特征研究

李心怡，石 旭，李 辉，姚世严，李天宇，郑剑飞

（北京轨道交通路网管理有限公司，北京 100101）

传统视频分析方法主要依靠人工持续观察监控视频，非常消耗时间和人力资源。为了有效分析和利用海量的视频数据，智能视频监控（Intelligent Video Surveillance）应运而生[1]。通过机器学习和计算机视觉等领域的相关技术，利用人工智能方法对视频内容进行自动分析，不但能解放人力，而且也可以实现对视频中目标的检测、识别和跟踪，行人特征识别、行为分析、姿态检测等多项功能。随着智能视频监控在各个领域的广泛应用，如何提高相关算法的准确度，更加准确和快速地分析处理视频内容，是近年来研究的重点。

行人重识别（Person Re-IDentification，ReID）算法是智能视频监控中的一项重要技术，其目标是快速在多个不具有重叠区域的摄像场景中实现行人的检索[2]。2014年以来，行人重识别技术的数据库趋于大规模化，国内外一些高校（如西安交通大学、麻省理工学院）、研究所（如中科院）以及一些厂商（如旷视科技、依图科技）的研究持续深入，使行人重识别技术得到了飞速的发展。此技术可以通过判断图像或者视频序列中是否存在目标行人，实现对乘客轨迹的追踪，进一步实现对客流的精确划分，在轨道交通行业中有重要的应用价值。尽管人脸识别技术也可以完成目标行人的查找，但由于单位监控区域的像素低、人员流动性强、拥挤、遮挡严重、摄像机角度等原因，难以捕获清晰的人脸，从而大大增加了依靠人脸识别实现乘客轨迹追踪的难度。

然而，现阶段行人重识别数据集的规模和数量还不成熟，当前国内外仅有4个较大的公开数据集：MSMT17、DukeMTMC-ReID、Market1501、CUHK01，最大规模的样本库仅包含4千人的20万张行人图片[3]。因此，基于国内外现有先进样本采集和标注研究基础，结合海量的视频样本，建立轨道交通行业的样本库有利于加强对乘客出行特征方面的数据挖掘，有利于加速由原始数据到产品的转化过程，有利于推动行人重识别技术与地铁行业深度融合，为智慧地铁建设提供助力。人工智能产品研发生态链如图1所示。

图1 人工智能产品研发生态链

3.1 行人重识别系统的整体框架

行人重识别系统的整体框架由相机网络、行人检测和行人重识别系统三部分组成[4]。行人重识别系统整体框架示意图如图2所示。

图2 行人重识别系统整体框架示意图

（1）相机网络：基于轨道交通全路网7.4万路摄像头可实现目标区域的完全覆盖，组成的相机网络可以将监控视频数据通过有线方式（如以太网）和无线方式（如5G网络）进行传播。

（2）行人检测：通过相机网络采集到的视频图像，利用无监督和对比学习算法生成预标注结果，自动检测目标行人并用矩形将行人拉框标记。

（3）行人重识别：行人重识别算法包含图像预处理、图像特征提取和特征间相似度匹配等环节，目的是在候选图像合集中检索出与查询目标一致的行人，并追踪其在系统中的行走路径。

3.2 建立行人重识别视频数据库——样本标注

人工智能时代，数据是燃料，算法是引擎，数据标注是将数据原油转化为驱动算法迭代的数据燃油。因此，样本标注是模型训练前的关键步骤。现在，许多互联网厂商（如百度等）专注人工智能领域数据采集和数据标注服务，拥有专业的标注团队、审核机制和标注基地，为企业提供专业数据综合解决方案，图3展示了完善的视频样本标注流程。

图3 完善的视频样本标注流程

在实际标注过程中，首先，标注人员将采集到的原始图像或视频数据，依据监控数量和角度进行场景选择，捕获有效视频片段。其次，技术人员用算法自动过滤无效视频，区分难易数据，进行初步的视频清洗，根据清洗结果确定抽帧频率。再次，标注人员利用标注工具，根据行业标注规范进行预标注和人工标注，在图像中用矩形框出人头和人体所在区域或用打点方式标注得到标注结果。最后，审核人员利用算法初审和人工复审的方式，保证标注质量，并应用到后续的模型研发、训练和测试。

3.3 基于表征学习的方法

基于深度学习的行人重识别方法，大致可分为以下三个不同阶段。

（1）图像输入阶段。通过对原始输入图像进行转换、添加额外的输入信息等方式，改进深度网络的输入。

（2）网络特征提取阶段。通过网络结构的设计，如添加多个网络分支、设计新的网络结构等方式，提取更好的特征表示。

（3）网络优化阶段。通过损失函数的设计以及使用不同训练策略对网络优化过程进行控制，得到更好的特征空间分布和网络优化结果。

基于表征学习的方法是行人重识别的重要模型算法。现阶段的科研人员主要通过成对一致随机丢弃（Pairwise-Consistent Dropout）的方法提取更具有鲁棒性的鉴别特征对行人进行表示。从输入图像中提取多个关键帧图像，对保持一致或拟合度过高的图像进行随机丢弃，保证丢弃的特征维度相同，且满足剩余的图片仍然可以融合全局和局部特征进行行人重识别。

卷积神经网络包含输入层和输出层两部分。输入层是根据输入的图像进行特征提取，内部有多个卷积核，其中组成卷积核的每个元素都对应一个权重系数和一个偏差量。卷积核在工作时，有规律地扫过输入特征，在感受野内进行矩阵求和并叠加偏差量[5]。

在图像识别过程中，需要将图像转换成像素值，输入到模型中进行学习，机器通过卷积和池化操作不断地利用不同的卷积提取图像中的不同特征，从而实现在减少输入尺寸的同时，提取图像中最主要的内容。如图4所示。

由于公共安全和智慧通行的迫切需求，ReID算法技术在智能监控系统中应用势在必行，具有重大的研究价值和现实意义。但ReID算法技术仍然面临着很大挑战，主要体现为地铁内实际的模型部署、动态更新的摄像机点位及相机网络、陌生的测试场景、增量模型的更新和乘客换衣服等问题[6]。

4.1 构建人员ReID系统的步骤

构建轨道交通特定场景下的人员ReID系统通常需要以下5个主要步骤[7]，如图5所示。

图5 为特定场景构建人员ReID系统的5个主要步骤

（1）数据采集。从监控摄像头获取原始视频数据是实际视频调查的首要要求，但全路网的7.4万路摄像头通常位于不同环境下的不同地方，数据背景烦杂。

（2）边界框生成。通过行人检测或跟踪算法，从原始视频数据中提取包含人物图像的边界框。

（3）训练数据注释。需要在每个新场景中对训练数据进行注释（如注释跨相机名称、场景、摄像机角度等）。

（4）模型训练。利用模型从训练数据中尽可能挖掘行人的隐藏特征表达模式。

（5）行人检索。对训练好的模型进行应用场景测试，检验模型效果。

4.2 算法的评测准则与方法

鲁棒性（Robustness）[8]：鲁棒性要求算法能适应多场景，能够在不同的视频片段中都有较高性能。准确性（Accuracy）[9]：偏移（Deviation）、误检（False Positive）、漏检（False Negative）是三个反应跟踪准确性的三个指标。

（1）偏移：单个测量值与固定值的差异值。

（2）误检：检测结果错误，并且结果呈现阳性；
预测为正例，实际为负例。

（3）漏检：即检测结果错误，并且结果呈现阴性；
预测为负例，实际为正例。

在实际研究中，尽管行人重识别的模型和算法趋于成熟，但在轨道交通行业，适合于特定场景的智能视频分析样本库、行人视觉表观差异、地铁内非理想场景的行人重识别技术依然是计算机视觉领域中一个极具挑战性的课题。

基于以上行人重识别技术存在的问题和挑战，未来在收集跨时间、多场景的视频数据样本时，需简化背景，尽力使乘客进出站时特征（例如，衣着、帽子、眼镜、发型等）保持一致。车厢内采用鱼眼摄像头，拥有不同的拍摄视角，减少人员遮挡，提高图像质量，减少光照变化，从而缓解位置偏移问题。基于本项目研发的样本库，建立代表性强、适用性强的大数据平台，扩大样本的规模，可以增加模型的鲁棒性[10]。未来不仅可以更好地挖掘沉睡的海量视频资源的价值，促进智能视频分析技术更好地在地铁行业应用落地，实现降低人工成本投入、保护乘客出行安全、提升乘客服务水平等目标，还可以为人工智能厂商提供算法学习和训练的基础环境，具有较强的经济价值和社会效益。■

猜你喜欢行人样本特征根据方程特征选解法中学生数理化·中考版(2022年9期)2022-10-25毒舌出没，行人避让意林(2021年5期)2021-04-18用样本估计总体复习点拨中学生数理化·高一版(2021年2期)2021-03-19不忠诚的四个特征当代陕西(2019年10期)2019-06-03路不为寻找者而设扬子江(2019年1期)2019-03-08推动医改的“直销样本”知识经济·中国直销(2018年8期)2018-08-23抓住特征巧观察数学小灵通·3-4年级(2017年9期)2017-10-13我是行人小天使·一年级语数英综合(2017年6期)2017-06-07随机微分方程的样本Lyapunov二次型估计数学学习与研究(2017年3期)2017-03-09曝光闯红灯行人值得借鉴汽车与安全(2016年5期)2016-12-01