运城市住房与城乡建设厅网站,手机外贸网站建设,网站建设毕业设计怎么做,软件开发培训机构需要源码的朋友可以私信我 基于Dlib的疲劳检测系统 1、设计背景及要求2、系统分析3、系统设计3.1功能结构图3.2基于EAR、MAR和HPE算法的疲劳检测3.2.1基于EAR算法的眨眼检测3.2.2基于MAR算法的哈欠检测3.3.3基于HPE算法的点头检测 4、系统实现与调试4.1初步实现4.2具体实现过程…需要源码的朋友可以私信我 基于Dlib的疲劳检测系统 1、设计背景及要求2、系统分析3、系统设计3.1功能结构图3.2基于EAR、MAR和HPE算法的疲劳检测3.2.1基于EAR算法的眨眼检测3.2.2基于MAR算法的哈欠检测3.3.3基于HPE算法的点头检测 4、系统实现与调试4.1初步实现4.2具体实现过程 5、系统实现与调试 1、设计背景及要求
随着经济的飞速发展货运行业的发展趋势愈加迅猛货车驾驶员24h都留在车上的现象已成为行业常态。据国家统计局数据显示近几年的特大事故中有超40%的事故是由于驾驶员疲劳驾驶造成的。为了减少疲劳驾驶导致的交通安全问题本系统旨在设计一款可以自动实时检测驾驶员是否疲劳驾驶并发出警报的系统。 设计要求 (1) 设计并实现一个软件界面能够实时获取人脸视频 (2) 使用OpenCV或Dlib库实现人脸检测和特征点标定 (3) 定义并提取与疲劳驾驶相关的人脸特征 (4) 合理设计算法实现驾驶员疲劳状态检测检测到疲劳时发出预警 (5) 测试系统性能并分析
2、系统分析
通过摄像头实时采集驾驶员的行为表情状态判断驾驶员的头部姿态眼睛闭合频率和单位时间打哈欠的次数来判断驾驶员的疲劳程度。
3、系统设计
3.1功能结构图
功能结构图设计 本系统通过收集人脸朝向、人脸位置、瞳孔朝向、眼睛开合度、眨眼频率等数据提取驾驶员面部68个特征点及其坐标准确定位驾驶员人脸的位置并利用眼部的12个特征点计算眼部长宽比EAR根据嘴部的6个特征点计算嘴巴的MAR利用其他坐标结合HPE算法计算头部转动的欧拉角。将这些数据分别与对应的阈值比较从而统计出驾驶员眨眼、打哈欠和点头的次数。通过对驾驶员眨眼、打哈欠、点头次数的统计可实时判断驾驶员的注意力集中程度分析驾驶员是否疲劳驾驶并及时作出安全提示。
3.2基于EAR、MAR和HPE算法的疲劳检测
3.2.1基于EAR算法的眨眼检测
当人眼睁开时EAR在某个值域范围内波动当人眼闭合时EAR迅速下降理论上接近于0。当EAR低于某个阈值时眼睛处于闭合状态当EAR由某个值迅速下降至小于该阈值再迅速上升至大于该阈值则判断为一次眨眼。为检测眨眼次数需要设置同一次眨眼的连续帧数。眨眼速度较快一般1~3帧即可完成眨眼动作。
3.2.2基于MAR算法的哈欠检测
基于MAR算法的哈欠检测利用Dlib提取嘴部的6个特征点通过这6个特征点的坐标51、59、53、57的纵坐标和49、55的横坐标来计算打哈欠时嘴巴的张开程度。当一个人说话时点51、59、53、57的纵坐标差值增大从而使MAR值迅速增大反之当一个人闭上嘴巴时MAR值迅速减小。
3.3.3基于HPE算法的点头检测
HPEHead Pose Estimation, HPE算法步骤 2D人脸关键点检测3D人脸模型匹配求解 3D点和对应2D点的转换关系根据旋转矩阵求解欧拉角。检测过程中需要使用世界坐标系UVW、相机坐标系XYZ、图像中心坐标系uv和像素坐标系xy。 世界坐标系转换到相机坐标系 相机坐标系转换到像素坐标系 像素坐标系与世界坐标系的关系为 图像中心坐标系转换到像素坐标系
4、系统实现与调试
4.1初步实现
系统的关键就是对驾驶员的面部进行识别然后计算并统计出疲劳值通过显示屏把数据显示在屏幕上给驾驶员看如果驾驶员被判定为疲劳驾驶或者危险驾驶系统就会立即进行语音提醒。想要成功获得人脸面部的68个特征点就必须先检测到人脸的存在。调用Dlib中的正向人脸检测器API如果没有检测到人脸就会在屏幕上显示“No Face”控制台输出“没有检测到人脸”这里用手遮住脸、脸转向左右两边的幅度太大、人脸不在摄像头的摄像范围里人脸距离摄像头太远都算没有检测到人脸。 从视频流进行循环读取图片并对图片做维度扩大并进灰度化使用dlib获得脸部位置以及脸部特征位置将脸部特征信息转换为数组array的格式从而提取左眼和右眼坐标。构造函数计算左右眼的EAR值使用平均值作为最终的EAR。类似的获得嘴部MAR值。分别计算左眼、右眼和嘴部的评分求平均作为最终的评分如果小于阈值则加1如果连续3次都小于阈值则表示进行了一次眨眼活动如果嘴部评分大于阈值则表示一次打哈欠。
4.2具体实现过程 基于上述程序基础添加可视化界面增加系统交互性。利用wx进行界面搭建设置视频源可选择摄像头或视频文件导入提供实时检测和文件检测功能添加疲劳检测参数设置可自行勾选检测参数以及疲劳时间调整检测条件更加灵活状态输出栏可查看历史状态追溯用户历史数据为事故调查提供条件。如图7为 UI界面。 后添加点头检测增加系统精度本系统根据计算欧拉角判断驾驶员的点头次数这里涉及欧拉角的三个角分别是 Pitch绕X轴旋转,Yaw绕Y轴旋转,Roll绕Z轴旋转一个物体对于相机的姿态可以用旋转矩阵R和平移矩阵T来表示。人脸2D与3D之间的仿射变换矩阵包含了头部旋转和平移信息可以直接调用OpenCV的solvePnp()函数求解得出旋转和平移向量最终利用得到的旋转矩阵来求解欧拉角。当在某一个时间段10s内驾驶员的|Pitch|≥20或者|Roll|≥20的时间占比超过0.3时则判定驾驶员处于疲劳状态。
5、系统实现与调试
本系统采用人脸追踪和图像处理相结合的方式采集面部图像处理疲劳信息利用面部疲劳特征判断疲劳状态以采集到的人脸图像信息作为输入通过检测算法输出判断结果判断为疲劳状态后系统发出警告。 本系统通过Dlib库中的人脸识别和dat模型中的68个关键点结合EAR、MAR和HPE算法判断驾驶员是否眨眼、打哈欠、点头不仅实现了检测指标多样化还实现了实时检测驾驶员疲劳状态的目的可用于货车、汽车、出租车等机动车辆为驾驶员的生命安全增加一份保障。本系统的不足之处在于当驾驶员面部有部分遮挡时就无法准确判断驾驶员是否处于疲劳驾驶状态只会发出提示提醒驾驶员“您已脱离摄像范围”。因此下一步的工作重点是如何解决在有遮挡情况下也能正确识别驾驶员精神状态的问题。
