浅谈列车驾驶员状态识别技术应用

彭双凌,何衍运,王辉,陈尚江

摘要：安全问题一直是铁路运输的头等大事。据调查发现，司机不良驾驶状态已成为影响列车运营安全的一个重要因素，实时监控列车司机的驾驶状态成为保障列车驾驶安全的重要突破口。本文在调查国内现有驾驶员状态检测技术的基础上，对部分技术的特点及其在列车驾驶领域的应用条件进行了详细分析，并对比了不同技术的优劣和实用性。

【关键词】：列车；疲劳驾驶；生理信号；信息融合

引言：随着我国列车驾驶自动化程度的不断提高，驾驶员的工作内容已然从复杂的设备操作中解脱出来，转变为把更多的注意力对列车实时运行信息的长时间监控和预防应急情况。这意味着驾驶员这一岗位已经从以体力负荷为主的工作，逐步转变为更加注重脑力资源的岗位。单调、长时间的驾驶作业会增加列车驾驶员产生走神、嗜睡等不良驾驶状态[1]，并且据相关统计分析，列车驾驶员不良状态占列车事故原因中的比例最大[2]。因此，如何减少由不良驾驶状态造成的列车事故，提高列车驾驶安全变得尤为重要。

目前驾驶员状态智能监控技术已经成为国内外的研究热点，根据采用的不同数据类型，可分为基于机器视觉识别、语音识别、脑电识别、心电识别和多信息融合识别方法。

一、现行的列车预警装置

无人警惕装置是目前我国列车普遍安装的驾驶员状态监测装置，它是通过驾驶员是否在固定时间内按压警惕装置，以确定驾驶员意识是否清晰，当驾驶员超时按压警惕装置，系统为确保列车安全将会采取紧急制动。

控制车上安装有列车运行监控装置（LKJ装置），能对列车的运行状态参数和驾驶员操作过程进行记录在本车的储存器中，并在列车超速、冒进信号等危险情况时自动采取紧急制动，储存器的信息只有当驾驶员退勤时将数据读出后转交给相关部门，此时技术员才能对列车运行的历史信息进行分析。

虽然此类设备能够一定程度上对列车驾驶员进行监督，但它们并不能实时、准确地监测驾驶员的驾驶状态，也不能通过已有信息对驾驶员驾驶行为进行阶段性评估。一旦驾驶员误操作导致设备被激活，列车自动运行系统主动介入时，意味着已经发生了广义上的驾驶事故。

二、基于机器视觉的检测技术

当驾驶员处于疲劳状态时，面部表情将会发生变化，同时动作也会出现迟缓[3]，因此可利用计算机视觉技术和图像处理算法，检测驾驶员的人体行为特征，如：眼动特征、眨眼频率、哈欠、头部运动、肢体运动等，并以此驾驶员判断的疲劳程度。

（1）眼动特征检测

严荣慧团队使用具有红外线角膜反射和图像处理技术的新型眼动仪，直接得到列车驾驶员的眼动数据，从眼动数据中提取出瞳孔直径、眨眼时间、注释时间比例三种特征信息，通过自研支持向量机的基于GS-SVM的小样本个性化驾驶疲劳检查模型识别驾驶员状态，并有效抑制了疲劳特征个体差异性的影响，最终验证模型平均准确率为90.1%[1]。

（2）人脸多特征检测

采用基于Adaboost的人脸检测算法在图像中定位人脸位置，利用监督下降法快速匹配人脸关键特征点的位置。通过人脸关键特征点可计算两个疲劳特征，即眼睛和嘴巴的开合度，再结合POSIT算法可求得列车驾驶员头部姿态角度。通过逆投影修正和眼睛凝视修正算法对疲劳特征进行修正，在此基础上将修正后的疲劳特征输入到基于PERCLOS和模糊推理的疲劳检测环节进行列车驾驶员疲劳状态判断[4]。

（3）人体姿态检测

方豪利用驾驶室已有的监控视频提出基于C-STC框架的驾驶员目标检测。在检测部分以传统DPM算法为基础采用最优部件子集及coarse-to-fine检测策略的联合目标检测器，在提高检测精度的同时，也充分保证检测速度；C-STC框架结合监控视频的时空信息，并在时间上下文约束策略中，提出最优动态调整阈值方法，实现了视频中驾驶员的快速、准确检测。准确率100%，召回率95%[5]。其方案直接使用驾驶室原有的监控视频进行检测，因此不需要改造驾驶室，具有较低的实现成本，并且该方案具有完全的准确率和较高的召回率，但不同线路不同车型的驾驶姿态和需要做出的指令动作不一至，导致需要重新训练模型算法才能在新的场景使用，适用性较低。

三、基于生理信息的检测技术

脑电、心电、肌电等作为人体微弱的生物生理信息，当人处于疲劳状态，人体生理机能的下降以生理信息的明显变化形式显现，可以通过采集、信号放大和数模转换得到人体相关数据，为量化人体精神状态提供了可靠手段。因此生理电信号分析是实现人体疲劳状态监测最客观有效的途径[6-8]。

（1）脑电（EEG）检测

张效良采用OpenBCI脑电波采集方案获得驾驶员的脑电（EEG）信号，并通过线性滤波器结合小波降噪算法进行预处理以减少噪声影响检测准确度，再用快速傅里叶变换算法（FFT）提取脑电功率频谱密度（PSD）信息，以检测时刻t的前9秒平均PSD作为警觉度分类的特征，最后利用K-SVD字典学习算法以及稀疏表示分类算法，将采集的脑电信号进行警觉度分类，依照警觉度判断驾驶员是非存在疲劳。该方案平均检测精度为93.63%，灵敏度高达99.13%，但存在1.74%的误检率

[9]。

（2）心电（ECG）检测

刘坤通过主管压力量表得知列车驾驶员压力随运行时速增加，使用可穿戴设备获取驾驶员在不同速度等级的心电（ECG）信号，利用随机森林（RF）特征评价分类器从心电信号中选取用于机器学习的HRV特征，最后训练出径向基为核函数的支持向量机（SVM-RBF）模型，训练样本外数据检验准确率达71.2%[10]。

四、基于多源信息融合的检测技术

基于多源信息融合的检测技术通过收集人体行为特征、生理信息、行车信息等多种数据，分析并建立相应的数学模型，最后通过计算机算法综合判断驾驶员的精神状态。

（1）车辆信息与驾驶员生理信息融合

首先分别提取心电信号数据中时域特征、频域特征以及非线性特征，并针对不同特征时间窗口长度进行心电疲劳特征提取的相关性不同，对每个特征计算时最优的时间窗口长度提取做特征向量样本。

同时对调车机车调速阶段车辆状态数据进行分析，提出了机车输出功率特征方法和机车加速度特征法，分别对一定时间内机车输出功率和速度进行分析和计算，提取出认为与疲劳相关的特征，将提取的特征组成样本特征向量。

最后，在特征层融合中分别以心电信号特征和操纵行为特征作为输入，铁路司机疲劳概率作为输出，用SVM方法建立铁路司机疲劳检测模型。然后，在决策层融合中将两个特征层融合输出。在此基础上，将上次疲劳检测结果作为输入，用D-S证据进行决策层融合，最终得到铁路司机疲劳检测结果。赵毅柯团队在对比多源信息融合模型输出结果与样本结果，验证的准确率为92%[11]。

（2）视觉信息与驾驶员运动及生理信息融合

王亮军在考虑到光照变化对成像质量的影响选用了近红外摄像头，将采集的图像信息使用Adaboost算法检测脸部范围，使用二值化方法和SVM分类器确定眼镜位置，然后提取眼部的灰度和局部标准差直方图两个特征建立观测概率模型实现眼动跟踪，并使用粒子滤波器的算法和Camshift算法二次确认跟踪结果，最后结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。

三轴加速度传感器采集的驾驶员手腕部加速度信息，为避免相同手势采集的数据不一样的问题采用二次数据采样的方案，利用低通数字滤波器滤除噪声，最后手势动作的特征参数特征并使用离散隐马尔可夫模型进行手势动作识别。

使用心率传感器监测驾驶员的心率和血压信息，根据驾驶员的历史体征数据确定的关键指标的上下门限值，最后通过判断驾驶员状态的关键指标是否超出阈值范围以及持续时间，依此判断驾驶员是非存在疲劳。

最后将检测眼动、手势动作、生理信息并判断得出的驾驶员状态数据分为三个注意力集中等级，分别将注意力等级数据加权融合成数据融合矩阵得出最终驾驶员注意力集中等级。经过4小时的列车驾驶环境综合模拟，并通过人为加入异常点的方式验证得出检测准确率为91.6%[12]。

五、结语

随着列车自动驾驶的发展，列车驾驶员的任务将从操纵列车变成监视列车，单一脑力活动产生的疲劳会让驾驶员失去应急处理能力，使列车处于无人监管的抽象危险状态，因此笔者认为随着列车自动驾驶的推广，应该加快驾驶员状态检测的开发和应用。

机器视觉检测的方案可以通过读取原车驾驶室的摄像头，或者在驾驶员正前方加装摄像头的方式检测，几乎不需要对驾驶室进行改造，有着较高的识别准确率，但需要对视频数据进行处理，所以对设备的性能要求较高，检测效果也容易受环境光线等因素影响，并且将摄像头安装在驾驶员前方可能造成视线遮挡的问题。

生理信号能准确有效的反应人的精神状态，其中脑电信号被认为反应人员状态的“黄金标准”，因此生理信号检测被许多学者尝试应用在列车驾驶内，但由于检测方法和算法的限制，检测效果对比机器视觉没有明显的优势，并且，即便市面上有许多无线穿戴设备可以做的“无感佩戴”，但依旧存在影响行车作业的风险而不被铁路部门允许佩戴。

由于基于单一信息类型的检测效果长期得不到突破，有部分学者便提出多源信息融合的检测方案，可以避免某个传感器故障，或者某个数据收到干扰而导致误检误报的现象，具有高鲁棒性特点，与列车冗余的设计思路相似，但如何解决不同生理特征量化方法不同，成为限制融合算法效果和检测准确度的一大难题，同时随着需要采集和处理的信息增加。

列车是一个长期高强度运行的工业产品，因此在运行过程中驾驶员状态检测系统必然存在故障的可能，如需将此系统应用至列车上，为保证列车的安全正常的运行，不仅需要确保系统性能的可靠性，还需要设计一套合理的检查、维护、故障处理方案，但就目前为止，笔者还未发现有相关的文献探讨此类系统的后期维护和检修方案。

参考文献

[1]严荣慧. 基于眼动特征的轨道交通驾驶员驾驶疲劳检测研究_严荣慧[D]. 苏州大学, 2017.

[2]方豪. 复杂环境下的列车驾驶员目标检测_方豪[D]. 郑州大学, 2017.

[3]基于机器视觉疲劳驾驶检测系统的研发_宋晓敏[J].

[4]杨欢. 列车驾驶员多视角实时疲劳检测方法研究_杨欢[D]. 兰州交通大学, 2018.

[5]李浩波. 列车驾驶员工作状态的自动识别研究_李浩波[D]. 成都理工大学, 2020.

[6]汤军. 基于脑电信息技术的高铁司机人因安全管理的研究_汤军[J]. 铁道机车与动车, 2016, (11): 30-34.

[7]基于多生理信息融合的驾驶疲劳检测方法研究_邹策[J].

[8]浅谈驾驶疲劳检测方法研究现状_宋战兵[J].

[9]张效良. 基于无线可穿戴EEG的高速列车司机警觉度检测方法研究_张效良[D]. 西南交通大学, 2018.

[10]刘坤,焦钰博,张晓明,等. 基于心电的铁路列车驾驶压力检测研究_刘坤[J]. 中国安全科学学报, 2022, 32(6): 31-37.

[11]赵毅珂. 基于心电和操纵行为的铁路司机疲劳检测_赵毅珂[D]. 北京交通大学, 2021.

[12]城市轨道交通列车司机驾驶状态监测研究_王亮军[J].

【基金项目】基于多源生理信息融合的列车司机驾驶状态检测装置（2022CXCY002）

【作者简介】 彭双凌（1995.08—），女，汉族，湖南，硕士研究生，专任教师，助教，研究方向：列车驾驶安全。（备注：保留基金项目及作者简介）