基于深度学习的视频分析系统的研究

毕磊

摘要：针对动车组检修作业视频分析中传统方式人力耗费大、分析效率低等问题，提出了一个基于yolov5网络的智能视频分析管理系统。首先，对动车组一级修作业流程进行实地调研和分析，归纳得出作业流程检测、行人侵线检测、着装规范检测三个主要工作。统一数据类别。然后基于yolov5和sort对数据处理、锚框选择、损失函数进行改进，提取特征图进行数据训练，最后使用C++搭建系统、依据员工检测步骤和逻辑对检测结果分析处理，实现一个完整的视频分析管理系统。该系统对在动车组一级修作业视频分析中已实际应用，方法有效，效果良好，并给出测试结果。

关键词：目标检测；零件检测；YOLO；目标跟踪

Application of yolov5 in the management of railway bureau's operation specification

ZHANGBin1,2, WANG Peng1

（1.School of software, Xi'an Jiaotong University, Xi’an 710049, China；

2. National Engineering Laboratory for visual information processing and Application,Xi’an 710049,China）

Abstract:Aiming at the problems of high manpower consumption and low detection efficiency in the process of operation process detection of Railway Bureau, proposed an intelligent operation specification management system based on yolov5 network. First of all, through the field investigation and analysis of the operation process of the Railway Bureau, it concludes that there are three main tasks: operation process detection, pedestrian intrusion detection and dress code detection and unified data category. Then, improved the data processing, anchor box selection and loss function based on yolov5 and sort. And then, got feature maps for data training. Finally, using C + + to build the system, analyze and process the detection results according to the employee detection steps, and realize a complete railway bureau operation specification management system.The system has been applied in the process of operation standard management of Railway Bureau, the method is effective, and the test results are given.

Key words:Object Detection; part detection; YOLO; target tracking

铁路行业作为现代交通运输的重要方式之一，是国民经济的大动脉，对其工作安全的保障是重中之重[1]。目前，全国各地的动车段对于动车组进行检修[2]，普遍采用传统的人工方法。传统方法需要检修人手持摄像手电筒对动车组整体和零部件逐一检查，并且将检查时同步拍摄的视频送去人工复检。同时在动车段内部遍布的摄像头也需要众多工作人员实时监控，以防止员工或行人出现危险、不规范的行为。这些工作都需要耗费大量的人力物力来进行。

智能视频分析管理系统针对人工作业流程管理的缺陷进行改进，提出了基于目标检测与跟踪的智能管理方案。作业流程检测包括数据采集、预处理、特征提取、目标识别与跟踪、识别结果分析与上传等，其中特征提取与目标识别跟踪对流程管理起到关键作用。传统的特征提取方法有：HOG

[3]、SIFT[4]算法等等。之后对提取的特征利用机器学习算法，比如支持向量机[5]等进行分类。但使用传统的方式不论是候选框的选择还是特征的提取都耗费大量的算力，传统算法也难以提取到更深层次的特征信息[6]，无法满足大数据时代的要求。随着深度神经网络的兴起，其强大的特征自动提取能力使得目标检测技术的应用扩展到众多领域，与传统的目标检测算法相比，基于深度学习的目标检测算法对丰富的样本数据进行训练时不需要人为设计特征,对环境变化的适应性更好,检测的准确率和效率大幅提升。

基于深度学习的零件检测方法主要可分为单阶段方法和二阶段方法。二阶段方法首先通过相关算法提取若干候选框，然后对候选框进行分类识别和位置精修，代表方法有RCNN[7]系列。单阶段方法直接对目标进行类别和位置的回归，代表方法有SSD[8]、YOLO[9]系列等。一般来说二阶段方法具有更好的检测精度，而一阶段方法有更快的检测速度[10]。一阶段方法YOLO网络将单个神经网络应用于整张图像[11]，将图像分割成多个区域，同时预测每个区域的目标位置和类别，带来了很高的检测速度。经过数个版本的迭代，yolov5网络在保持很高检测速度的同时也进一步提高了检测精度。为了实现准确、快速的检测目标，本文在采集的动车组检修流程检测数据集上，利用深度卷积神经网络提取特征，在yolov5算法基础上改进网络，提高模型效率，经多次试验，误检率接近于零。

1基本方法

1.1 yolov5网络

YOLOv5s网络的结构如图1所示，主要由输入端，主干网，多尺度特征融合网络和输出端组成[12]。

图 1 YOLOv5s结构图

输入端包括Mosaic数据增强，增强小目标检测性能，加快图片处理速率；主干网新增了Focus结构并且改进了CSP结构，使用Focus结构减少冗余信息；Neck网络加强网络特征融合的能力；输出端使用GIOU＿Loss作为损失函数，新增了GIOU＿NMS非极大值抑制[13]。最小化预测框和目标框之间的归一化距离，增强了遮挡重叠的目标的识别率。

1.2SORT算法

SORT是一种多目标跟踪算法，可以有效地追踪目标，并提升跟踪的实时性[14]。SORT的核心主要是卡尔曼滤波和匈牙利算法[15]。SORT主要关注的任务是检测、当前帧到未来帧的转换、当前帧与对象相的关联、管理追踪目标的生命周期。如图2，SORT具有速度快、算力消耗少且跟踪稳定的优点。

图 2 算法性能分析图

在动车流程检测的过程中很少存在目标被遮挡的情况，可以发挥SORT算法简单快速等优点，且避免其在被遮挡情况下准确度下降的缺点。

2改进的目标检测算法

2.1  修改锚框聚类算法

    在yolov5中，网络是在图像的S×S网格中基于锚框进行回归，锚框的设置是基于K-means[16]聚类算法需要人为选定初始聚类中心，不同的初始聚类中心可能会导致完全不同的结果，无法给出最优解，造成较大误差。本文选择K-means++[17]算法代替K-means算法，对网络进行优化。

2.2  修改侵线检测模型损失函数

损失函数对检测效果有着极大影响，目标检测回归损失函数主要考虑覆盖面积、中心点距离、和长宽比三方面，因此本文对侵线检测模型的损失函数选择CIOU[18]，将上述三点都考虑在内，优化小目标以及密集目标检测。

2.3  修改侵线检测模型预测框筛选算法

Yolov5使用极大值抑制算法筛选预测框，但是该方法容易造成漏检。本文使用DIOU NMS代替传统的后处理方法[19]。该方法优化了IOU损失，同时也指引中心点学习，能更有效的检测重叠目标和小目标，适用于侵线检测模型中对行人的检测。

3实验与结果

3.1  实验环境

本文使用国内动车段日常检修作业流程视频进行训练，使用Pytorch深度学习框架，实验硬件环境为CPU：Intel(R) Xeon(R) Silver 4210R，GPU：GeForce rtx2080Ti，内存：64G，显存：32G。操作系统和软件环境为：Ubuntu20.04操作系统CUDA10.2、python3.7.10、Pytorch1.9.0。系统应用开发语言使用C++，使用OpenCV4.0、网络相关库。

3.2  数据集构建

3.2.1  数据集来源

本文使用的数据是二十段动车段动车组检修作业的真实视频，其中作业流程检测分为不同时间、不同光照环境，每段视频长二十分钟，视频帧率为40FPS。日常作业安全检查主要是安全帽佩戴检测和行人侵线检测，帧率为30FPS。使用脚本程序将视频按帧转为图片，依据铁路行业制定的技术标准文件，结合可识别性将重要的检修零部件分为二十三类。对所有图片，使用labelImg工具进行人工标注分类。

3.2.2  数据集增强

    在作业流程检测中，由于摄像头停留时间以及数量的不同，不同零件出现的频率有很大差别，分布较多的如轮对等部件，数据量是较少部件的数十倍。并且由于作业时间不固定，不同时间光线明暗都有区别，白天光线均匀（图3），到了夜晚则需要手电筒补光（图4）。

图 3 列车转向架（白天）

图 4 列车转向架（夜晚）

因此，本文在实现过程中分批次分别采集日间和夜间的数据集，分别调光，扩大数据集[20]，同时对出现次数较少的类别，进行90度翻转、增加不同角度等多种方法提高数据量以及数据多样性，增强其特征。

3.3  实验设计与结果

   本文所设计系统可分为三个模块，分别是作业流程检测、行人侵线检测、着装规范检测。对这三个模块分别使用改进后的yolov5进行训练，使用C++搭建平台实现功能逻辑处理、将训练后得到的.pt文件转为.engine文件，加载到C++开发的系统中。

本文模型性能评估指标为精度(P)、召回率(R)、平均精度均值(mAP)。分别对yolov5s网络和本文所设计的作业流程管理模块改进yolov5网络进行测试，训练完成后的结果如表1所示。

算法	P/%	R/%	mAP/%
Yolov5s	93.0	91.8	90.1
改进yolov5s	93.9	91.7	92.0

表 1

结果表明改进后的网络mAP提高2%，精度也有提升，同时保持了召回率，使得改进后的网络在作业流程检测中可以出色工作。

本文对侵线检测模块和着装规范检测模块也进行了测试，分别达到了94.1%和98.4%的召回率，mAP%分别为97.9%和99.1%，FPS为60。上述两模块的数据是来源于固定摄像头的视频流，故对视频流的检测完全可以胜任。

4结论

经过改进的网络具有较好的性能，本文所设计系统通过多次测试，最终的版本已可投入使用，并交付动车段。

参考文献：

[1]徐叶鹏.铁路运输安全风险管控及评价体系构建[J].铁道运输与经济,2019,41(11):105-110.             Xu Yepeng. A Construction of Risk Control and Evaluation System for Railway Transport Safety[J].Railway Transport and Economy,2019,41(11):105-110.

[2]乔赞丽.铁路局智能巡检系统方案[J].信息通信,2014(11):243-244.                                   Qiao Zanli.Scheme of intelligent inspection system of Railway Bureau[J].Information communication,2014(11):243-244.

[3]Li Wang,Taijun Li. Research on Image Feature Extraction Method Fusing HOG and Canny Algorithm[C]//.Proceedings of 2021 4th International Conference on Data Science and Information Technology (DSIT 2021).,2021:219-222.

[4]Pingyuan Li,Xiaoguang Yuan,Suiping Jiang. Image Hashing Based on SIFT Features[C]//.Proceedings of 2021 4th International Conference on Computer Science and Software Engineering (CSSE 2021).,2021:265-268.

[5]王照.小波支持向量机的计算机网络安全态势研究[J].信息记录材料,2021,22(03):45-47.              Wang Zhao. Research on computer network security situation based on wavelet support vector machine[J]. Information recording materials, 2021,22(03):45-47.

[6]王燕妮,刘祥,刘江.一种改进的单步多框目标检测算法[J].西安交通大学学报,2021,55(04):145-153.

WANG Yanni, LIU Xiang, LIU Jiang. An Improved Single Shot MultiBox Detector[J].Journal of Xi'an

Jiaotong University,2021,55(04):145-153.

[7]Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation tech report (v5)[J].  2017.

[8]Liu W, Anguelov D,  Erhan D, et al. SSD: Single Shot MultiBox Detector[J]. Springer, Cham, 2016.

[9]Redmon J,  Farhadi A . YOLO9000: Better, Faster, Stronger[J]. IEEE, 2017:6517-6525.

[10]李策,张亚超,蓝天,杜少毅.一种高分辨率遥感图像视感知目标检测算法[J].西安交通大学学报,2018,52(06):9-16.　                                      LI Ce,ZHANG Yachao,LAN Tian,DU Shaoyi.An Object Detection Algorithm with Visual Perception for High-Resolution Remote Sensing Images[J].Journal of Xi'an Jiaotong University,2018,52(06):9-16.

[11]Redmon J ,  pvala S ,  Girshick R , et al. You Only Look Once: Unified, Real-Time Object Detection[J]. IEEE, 2016.

[12]Darapaneni N ,  Kumar S ,  Krishnan S , et al. Implementing a Real-Time, YOLOv5 based Social Distancing Measuring System for Covid-19[J].  2022.

[13]Shi F ,  Zhou H ,  Ye C , et al. Faster Detection Method of Driver Smoking Based on Decomposed YOLOv5[C]// 2021:012035.

[14]Balaji V ,  Raymond J W ,  Pritam C . DeepSort: deep convolutional networks for sorting haploid maize seeds[J]. BMC Bioinformatics, 2018, 19(S9):85-93.

[15]李永上,马荣贵,张美月.改进YOLOv5s+DeepSORT的监控视频车流量统计[J].计算机工程与应用,2022,58(05):271-279.                                Li Yongshang, Ma Ronggui, Zhang Meiyue. Traffic Monitoring Video Vehicle Volume Statistics Method Based on Improved YOLOv5s+DeepSORT[J]. Computer engineering and Application,2022,58(05):271-279.

[16]Hui X ,  Wu J ,  Jian C . K-Means Clustering Versus Validation Measures: A Data-Distribution Perspective[J]. IEEE Transactions on Systems Man & Cybernetics Part B, 2009, 39(2):318-331.

[17]程曦, 季茂荣, 王宏伟. 基于差分形态滤波和Kmeans++聚类的多地雷目标红外图像处理[J]. 红外, 2021, 42(11):8.                                    Cheng Xi, Ji Maorong, Wang Hongwei. InfraredImageProcessingofMineTargetsBasedonDifferential MorphologicalFilteringandKmeans++Clustering[J]. INFRARED, 021, 42(11):8.

[18]何斌,张亦博,龚健林,付国,赵昱权,吴若丁.基于改进YOLOv5的夜间温室番茄果实快速识别[J/OL].农业机械学报:1-10[2022-04-15].                      He Bin, Zhang Yibo, Gong Jianlin, Fu Guo, Zhao Yuquan, Wu Ruodong. Fast Recognition of Tomato Fruit in Greenhouse at Night Based on Improved  YOLOv5[J/OL]. Transactions of the Chinese Society for Agricultural Machinery: 1-10[2022-04-15].

[19]仇娇慧,贝绍轶,尹明锋,卿宏军.基于改进YOLOv5s的齿轮表面缺陷检测[J].现代制造工程,2022(03):104-113.                                         Qiu Jiaohui, Bei Shaoye, Yin Mingfeng, Qing Hongjun. Gear surface defect detection based on improved YOLOv5s[J]. Modern Manufacturing Engineering, 2022(03):104-113.

[20]赵小强,张亚洲.利用改进卷积神经网络的滚动轴承变工况故障诊断方法[J].西安交通大学学报,2021,55(12):108-118.　                               ZHAO Xiaoqiang,ZHANG Yazhou.Improved CNN-Based Fault Diagnosis Method for Rolling Bearings under Variable Working Conditions[J].Journal of Xi'an Jiaotong University,2021,55(12):108-118.