关于疲劳驾驶检测的调研

疲劳检测指标

什么是疲劳？关于疲劳没有统一的定义。

• 在交通运输工业中，疲劳被分为主动型和被动型。
• 疲劳通常被认为是一个渐进的过程，不同个体的表现有一定的差异。
• 疲劳具有多维特征。
• 不同的交通任务和环境导致不同的疲劳性能，对驾驶员的认知有不同的影响。

主动疲劳 vs 被动疲劳

主动性疲劳与高强度驾驶任务有关。常见的驾驶场景包括手动驾驶、在恶劣环境下驾驶、高交通参与度驾驶等，导致驾驶员注意力集中。由于司机在这些场景中的高参与感和大工作量，主动疲劳的表现更倾向于精神（认知）疲劳，如烦躁不安和缺乏体力。

被动疲劳与单调的驾驶环境和不需要主动参与的驾驶任务有关。常见的驾驶场景包括自动驾驶、夜间驾驶、高速公路驾驶、平稳飞行驾驶、平静水上驾驶等，这会逐渐降低驾驶员的警觉性。由于对这些场景的参与感较低，被动疲劳的表现更倾向于生理疲劳，如嗜睡程度的增加和表现能力的减弱。

疲劳 vs 嗜睡

高负荷任务、噪音和体育活动会导致疲劳而不是嗜睡
睡眠障碍、失眠和昼夜节律紊乱会导致嗜睡而不是疲劳
疲劳可能伴随着情绪波动
嗜睡增加瞳孔直径，而疲劳减少瞳孔直径
短暂的休息可以缓解疲劳，但并不能缓解睡意

不同场景，导致疲劳的因素不一样
不同驾驶场景下的无疲劳要求水平不一致
所以说，要根据具体的运输场景，选择合适的监测指标进行疲劳。

数据

客观疲劳数据

生理数据

基于脑的生理数据

EEG
也有研究使用近红外光谱（NIRS）通过脑血流动力的变化来分析驾驶员的状态
关于EEG数据的收集，使用干电极盖信号的缺点是抗堵塞能力差，容易产生伪影干扰，
使用八电极、双电极，甚至单电极来监测疲劳情况，并尝试使用无线、蓝牙和USB接收器来实现数据传输

基于心脏的生理数据

心电图（ECG）和胆囊心电图（BCG）可通过心电传感器、贴片电极等获得。
心率（HR）和心率变异性（HRV）根据计算得到。
可以通过方便的脉搏血氧计来监测心率。
手掌心电信号和非接触式远程生物电信号采集

基于眼睛的生理数据

EOG
通常用于过滤脑电图数据中的伪影
眼睛特征：瞳孔直径、眨眼频率（BF）、闪烁间隔时间、眨眼持续时间、眼睑闭合百分比的时间、眼睛纵横比（EAR）、扫视、眼睛跟踪
可以使用可穿戴眼动仪、护目镜、红外线相机、摄像头、生物传感器来收集眼部的数据

基于肌肉/皮肤的生理数据

皮肤电信号（GSR）
PPG信号通过脉搏血氧计可以通过测量手指[66]的皮下光吸收变化来获得

基于呼吸/打哈欠的生理学数据

疲劳会降低呼吸频率
一些传感器可以捕捉人体微小运动的无线电波，以非接触的方式收集呼吸信号
打哈欠频率，注意应区分说话和打哈欠之间的区别

行为数据

基于驾驶员的行为数据

异常的头部姿势、频繁的颈部旋转

基于驾驶机器的行为数据

横向车道位置的变化和车辆航向差异

其他客观疲劳数据

言语、体温变化等
言语产生与神经行为能力之间的精确关系以及基于言语的疲劳的定量定义有待进一步探索

主观疲劳数据

问卷/量表
不适合单独作为疲劳监测的指标
对于不同的驾驶场景是通用的
弥补个体差异

特征处理

信号数据、图像数据、数值数据

信号数据

预处理

去分化

去除信号疲劳数据的基线部分，以减少由物理功能差异引起的疲劳评估的不一致性。

标准化

避免大振幅数据掩盖小振幅数据的问题，使数据无量纲化，包括Z分数标准化、最小-最大标准化、向量标准化、曼哈顿标准化等。

滤波

生理信号主要受三种类型的干扰：工频干扰、伪影干扰和基线漂移干扰。
带通滤波、盲源分离、ICA、二级盲识别、零相位和中值滤波方法

离群值处理

手动
如果一个值偏离观测平均值的概率小于或等于$\frac{1}{2n}$，又没有合理的解释，则丢弃

降采样

在信号滤波完成后执行，以防止信号混叠

特征提取

时域分析

疲劳检测常用的时域特征：平均、标准差、方差、最大/最小值、峰值、一/二阶差值、变异系数等。还有研究对脑电图的额叶、中央叶和枕叶采用多元自回归（MVAR），利用该方法进行时间序列分析，研究脑结构同步、通道间耦合程度、相位延迟估计和脑活动扩散方向。

频域分析

常用FFT，在获得频谱后，可以计算出峰频、平均频率、中值频率、低/高频、标准差频率等频域特征。
对频谱曲线进行积分，可以得到相应频率分量的功率，也可以直接使用Burg、Welch、自回归模型、周期图等来估计功率谱。
对功率谱进行积分，得到相应信号的能量。能量还可以绘制大脑的地形图，以分析驾驶员的状态和能量变化之间的关系。

时频域分析

常用小波变换（WPT）、Choi-Williams分布、Wigner分布、Gabor变换、Hilbert-Huang变换等。这些方法可以从瞬时频率来分析驾驶员的状态变化。
还有研究采用希尔伯特变换，分别利用相位滞后指数（PLI）和平均相位相干性（MPC）对脑电图信号进行相位同步（PS）分析。

非线性动力学分析

相关维数、李亚普诺夫指数和熵（包括近似熵、样本熵、模糊熵、谱熵、小波熵）。
近似熵可应用于方向盘角度数据。这些数据具有非线性特性。利用基于近似熵的线性特征序列的翘曲距离来描述驾驶员状态的相似性和疲劳程度。
基于图论的特征，构建脑网络可以分析驾驶过程中脑功能区的聚类系数、特征路径长度、节点中心性和方向信息流的变化。

图像数据

光的处理、解决运动干扰、图像滤波、ROI提取，对关注的特征进行统计和计算

数值数据

定义相应特征并统计和计算
横向车道位置的变化，定义为车辆的中心线和车道的中心线之间的瞬时距离
车辆航向差的变化，定义为车辆方向与车道的切线方向之间的瞬时角度差
异常车道偏差频率（FALD）
过程偏差时间
从速度信息中提取车速的标准偏差（SDVS）

多重特征选择

确定最优特征集
滤波器：通过判断特征之间的相关性来选择最优特征，包括χ2检验、方差分析、灰色相关分析、相关特征选择、皮尔逊检验、互信息等
包装器：选择候选特征的一个子集，并根据其在分类器中的影响来确定最优特征，包括序列选择、递归消除等
嵌入式算法：依赖于特定的分类器来进行特征选择，比如基于树、基于规则的特征选择，引入基本的概率分配来动态调整各特征源的权重

疲劳评估方法

基于基线比较

记录驾驶员的基线状态以供参考

基于机器学习

提高分类准确率

• 使用三个独立的多类支持向量机（MCSVMs）来融合上下文特征（连续驾驶时间、睡眠时间和当前时间）、面部特征和车辆行为特征，并使用动态基本概率分配来确定驾驶员的状态。
• 对生理数据和车辆信息进行了特征融合，然后使用SVM和DT来判断驾驶员的状态。
• 利用多核学习（MKL）融合了脑电图获得的非线性特征，并使用SVM和RF进行状态分类。

减少数据存储量

• 使用核主成分分析（KPCA），在使用SVM前降低脑电图数据的维数。

数据量可能较小

• 使用DBN进行状态评估，当数据量较小时，该模型具有更好的分类能力。

驾驶员的认知水平源于连续驾驶的先前经验积累

• 使用BPA来预测当前时刻的心理状态，具有循环结构的神经网络可以有效地保存驾驶员过去的状态信息。
• 设计一个名为TSK型卷积递归模糊网络（TCRFN）的一体化模型。在使用CNN进行降噪后，一个带有局部反馈的FNN使模型学习脑电图中的时间特征，以积累先前的经验。
• 另有研究以FNN为原型，结合RNN，构建具有局部反馈的循环自进化模糊神经网络（RSEFNN），处理脑电图中积累的状态信息。

TCRFN和RSEFNN集成模糊逻辑处理不确定的疲劳评估边界，减轻了该领域使用硬分类的难度。

除了准确性外，缺失率、误报率（FAR）、召回、f1分数和均方根误差（RMSEs）等指标也可以用于比较模型性能。
特征和模型的可转移性（温度、天气的不同，甚至跨运输领域）
复杂性：复杂性主要与模型的改进程度呈正相关
实时性：实时性主要与特征的数量和复杂性成反比
有研究发现，当特征的数量从1个增加到9个时，准确率最多增加了6.4%，但时间增加了近25倍。另外，在某些条件下使用9个特征的评价效果小于6个特征。

局限

设备部署问题

没有物理感觉的数据采集和稳定的无线传输是未来解决这一问题的关键措施。

环境变化问题

不同环境下，生理和行为表现可能会有所不同，应根据驾驶环境的差异动态调整疲劳监测的标准。

性别差异问题

有研究表明，女性肌电图对疲劳监测的准确性低于男性，女性的疲劳反应能力比男性下降得更快，所以，选择受试者时也应注意性别比例。

实时监测问题

开发一个满足实时和准确性的轻量级系统，是未来驾驶员疲劳监测的重点。此外，目前的商业监控系统将疲劳视为一种硬分类，不能捕获驾驶员状态的变化。未来的研究应结合模糊逻辑、专家知识等手段，提高系统的软分类能力，甚至实现对驾驶员状态的预测。

脆弱性问题

在减轻漏洞的同时，系统应致力于保护数据隐私，并为驱动程序提供一个安全和稳定的监控环境。

近期发表的论文

提出一种驾驶疲劳/嗜睡检测的模型
驾驶场景的情绪
减少特征/特征选择/特征融合
跨数据集
主动疲劳和被动疲劳
资源限制/隐私保护