汽車智能座艙系統(tǒng)與應用 課件 3-3 完成DMS狀態(tài)監(jiān)測系統(tǒng)的調試

能力模塊三

掌握智能座艙中機器視覺技術的應用任務三

完成DMS狀態(tài)監(jiān)測系統(tǒng)的調試圖像處理技術在智能座艙領域的另一個應用是駕駛員監(jiān)測，通過在危險情境下向駕駛員發(fā)出警示，幫助駕駛員改善駕駛行為，并根據(jù)駕駛員狀態(tài)進行相應干預，從而提高行車安全。主管需要你熟悉駕駛員監(jiān)測系統(tǒng)主要預警功能，根據(jù)實際開發(fā)案例整理一份算法流程圖進行展示匯報，并基于前期理論基礎，完成DMS狀態(tài)監(jiān)測系統(tǒng)的應用測試。任務引入Tasktointroduce01駕駛員檢測應用場景簡介02常見智能座艙算法開發(fā)認知目錄

CONTENTS03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)04百度智能云實現(xiàn)駕駛員狀態(tài)監(jiān)控駕駛員檢測應用場景簡介PART0101駕駛員檢測應用場景簡介通常檢測人臉眼睛和其他臉部特征以及行為，同時跟蹤變化，實現(xiàn)駕駛員疲勞、分神等不規(guī)范駕駛檢測，從而保障駕駛員的生命財產安全。

駕駛員監(jiān)測系統(tǒng)（DMS，Drivermonitoringsystem），是智能網(wǎng)聯(lián)汽車中很重要的一個人機交互系統(tǒng)。主要是通過一個面向駕駛員的攝像頭來實時監(jiān)測頭部、眼部、面部、手部等細節(jié)，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運動等檢測駕駛員狀態(tài)。01駕駛員檢測應用場景簡介主要預警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測到駕駛員有此行為觸發(fā)報警。2.分神駕駛：主要包括低頭，左顧右盼，檢測到駕駛員視線偏移超過1.0秒，可觸發(fā)報警。01駕駛員檢測應用場景簡介主要預警功能有以下幾大類：3.接打電話：檢測到駕駛員有打電話行為時，觸發(fā)報警。4.抽煙：檢測到駕駛員有抽煙行為時，觸發(fā)報警。01駕駛員檢測應用場景簡介

除了上述所列的行為狀態(tài)外，在DMS研究中還有情緒激動，醉酒駕駛等狀態(tài)檢測等。除此之外，智能汽車艙內攝像頭不僅僅是識別到駕駛員的行為，還能夠根據(jù)不同的駕乘人員，學習并記憶他們的操作習慣，并在不同的駕乘人員乘車時，做出個性化的推薦，打造個性化駕駛模式。常見智能座艙算法開發(fā)認知PART0202常見智能座艙算法開發(fā)認知算法開發(fā)流程

在AI算法開發(fā)之前，我們必須要分析算法的應用場景是什么？要解決什么問題？基于場景需要進行理解，整理AI開發(fā)框架和思路。不同的項目對數(shù)據(jù)的要求，開發(fā)手段也是不一樣的。02常見智能座艙算法開發(fā)認知算法開發(fā)流程場景明確：在這個步驟中，我們需要對正常場景設計的流程進行梳理，明確要求。例如，我們需要開發(fā)一個抽煙檢測的算法模型，那我們需要明確抽煙的動作有哪些，行為是什么。數(shù)據(jù)準備：主要是指收集和預處理數(shù)據(jù)的過程。按照確定的場景和目的，有目的性地收集、整合相關數(shù)據(jù)，數(shù)據(jù)準備是AI開發(fā)的一個基礎。此時最重要的是保證獲取數(shù)據(jù)的真實可靠性。而事實上，不能一次性將所有數(shù)據(jù)都采集全，因此，在數(shù)據(jù)標注階段你可能會發(fā)現(xiàn)還缺少某一部分數(shù)據(jù)源，反復調整優(yōu)化。02常見智能座艙算法開發(fā)認知算法開發(fā)流程模型選擇：不僅要考慮精度與效率，還要考慮座艙內的芯片能力。與通用芯片不同，智能座艙屬于端側處理，端側支持的算子有限。我們要對場景選擇合適的預訓練模型或者網(wǎng)絡進行訓練。訓練模型：訓練模型的結果通常是一個或多個機器學習或深度學習模型，模型可以應用到新的數(shù)據(jù)中，得到預測、評價等結果。02常見智能座艙算法開發(fā)認知算法開發(fā)流程評估模型：模型選擇我們不僅要考慮精度與效率，還要考慮座艙內的芯片能力。與通用芯片不同，智能座艙屬于端側處理，端側支持的算子有限。我們要對場景選擇合適的預訓練模型或者網(wǎng)絡進行訓練。部署模型：模型部署是模型在實際項目中的落地應用，模型部署包括了各種不同的編程語言的部署，比如常見的C/C++、JAVA、Python，以及其他語言，各種語言由于其自身的特性，在部署的時候部署方法也不大一樣，比如按照某些定義而言，C/C++屬于編譯型語言，Python屬于解釋型語言，總之兩者的程序執(zhí)行過程的差異導致它們在部署的時候要考慮跨平臺性的問題。02常見智能座艙算法開發(fā)認知常見算法簡介

一、三維實現(xiàn)估計

廣義的視線估計泛指與眼球、眼動、視線等相關的研究。我們將介紹的主要以眼睛圖像或人臉圖像為處理對象，估算人的視線方向或注視點位置。（一）算法目標

三維視線估計的目標是從眼睛圖片或人臉圖片中推導出人的視線方向。通常，這個視線方向是由兩個角度，pitch（垂直方向）和yaw（水平方向）來表示的，在相機坐標系下，視線的方向（gaze）不僅取決于眼睛的狀態(tài)（眼珠位置，眼睛開合程度等），還取決于頭部姿態(tài)。02常見智能座艙算法開發(fā)認知常見算法簡介（二）評價指標

在模型估計出pitch角（垂直角）和yaw角（水平角）之后，可以計算出代表視線方向的三維向量，該向量與真實的方向向量（groundtruth）之間的夾角即是視線方向領域最常用的評價指標。（三）實現(xiàn)方法介紹

一般來說，視線估計方法可以分為基于幾何的方法（GeometryBasedMethods）和基于外觀的方法（AppearanceBasedMethods）兩大類。基于幾何的方法的基本思想是檢測眼睛的一些特征（例如眼角、瞳孔位置等關鍵點），然后根據(jù)這些特征來計算視線方向（gaze）。而基于外觀的方法則是直接學習一個將外觀映射到gaze的模型。02常見智能座艙算法開發(fā)認知常見算法簡介（四）單眼/雙眼視線估計

德國馬普所XucongZhang博士等最早嘗試使用神經(jīng)網(wǎng)絡來做視線估計，其成果發(fā)表在CVPR2015上。這個工作以單眼圖像為輸入，所使用的網(wǎng)絡架構。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介

二、手勢檢測算法

隨著深度學習的研究與發(fā)展，基于深度學習的方法識別速度快，準確率高，成為主流的手勢識別算法。

但深度學習的大多算法精度和速度不能兼得，造成很多模型在嵌入式端難以實現(xiàn)。在經(jīng)典算法YOLO系列算法中，2020年6月發(fā)布的YOLOv4-tiny算法，具有更快的目標檢測速度，適合在移動端和嵌入式等運算能力不強的設備開發(fā)，能夠很好地解決上述的這個難題。

二、手勢檢測算法 YOLO是YouOnlyLookOnce的縮寫，意思是神經(jīng)網(wǎng)絡只需要看一次圖片，就能輸出結果。YOLOv4-tiny算法是在YOLOv4（YOLO第四代算法）的基礎上設計的，預測過程與YOLOv4相同，檢測速度得到大幅提升。02常見智能座艙算法開發(fā)認知常見算法簡介

我們采用的是公開手勢數(shù)據(jù)集NUS-II對YOLOv4-tiny進行再次訓練，NUS-II是一個10類手勢數(shù)據(jù)集。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介三、分心行為檢測算法

基于深度學習的駕駛員分心行為識別方法的整體過程如圖所示。02常見智能座艙算法開發(fā)認知常見算法簡介

模型以彩色圖像作為輸入，直接輸出駕駛員行為信息，是一種端到端的、非侵入式的駕駛員行為檢測算法。

設計搭建一個級聯(lián)卷積神經(jīng)網(wǎng)絡結構，由2個部分組成： 1）利用目標檢測算法預測駕駛員位置信息，確定候選區(qū)域； 2）采用卷積神經(jīng)網(wǎng)絡模型對候選區(qū)域內的駕駛員分心行為進行精確識別

四、疲勞檢測算法

隨著我國高速道路系統(tǒng)的不斷完善，各地方連接越發(fā)緊密，來自全國各地的車輛晝夜不停地行駛，長時間的長途跋涉讓駕駛人員變得疲憊打瞌睡、注意力不集中、反應遲鈍等等，這種情況是造成交通事故的主要原因之一，因此對駕駛員疲勞出現(xiàn)危險行為時的預警系統(tǒng)是極其必要的。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

1.基于駕駛員的生理信號的檢測：通過檢測駕駛員的生理信號包括腦電圖信號EEG、眼電圖信號EOG、呼吸頻率等來判斷駕駛員此時的駕駛狀態(tài)，此方法的缺點是駕駛員要穿戴厚重的檢測儀器，不僅阻礙了駕駛員的行車視線，還容易發(fā)生交通事故。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

2.基于車道線及方向盤偏移角度的檢測：此方法是通過測量方向盤偏移角度或者車道偏離來判斷駕駛員此時的行駛狀態(tài)，但是缺點是得到結果的時間長且精度低。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

3.基于機器視覺和圖像處理的疲勞檢測：這類方法通過攝像頭實時采集駕駛員的行為表情狀態(tài)，判斷駕駛員的頭部姿態(tài)，眼睛閉合頻率和單位時間打哈欠的次數(shù)來判斷駕駛員的疲勞程度，我們接下來將介紹這種方法來判斷駕駛員的行駛狀態(tài)的使用方法。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

1.通過面部特征檢測駕駛員疲勞狀態(tài)一般分為三個類型：眨眼（眨眼次數(shù)增多、眨眼速度明顯變慢、眼睛微瞇）、打哈欠（單位時間打哈欠次數(shù)增加）、點頭（單位時間瞌睡點頭次數(shù)增加），通過單目攝像頭實時拍攝駕駛員的行車狀態(tài)，獲取到駕駛員的行車視頻流，對視頻流進行循環(huán)讀取幀圖片。02常見智能座艙算法開發(fā)認知常見算法簡介2.進行人臉關鍵點檢測之前需要得到人臉區(qū)域，我們采用MTCNN（多任務卷積神經(jīng)網(wǎng)絡）算法進行人臉檢測。MTCNN算法是一種使用卷積網(wǎng)絡的人臉檢測與對齊的方法。算法采用級聯(lián)CNN結構，將三個卷積神經(jīng)網(wǎng)絡P-Net、R-Net與O-Net級聯(lián)到一起構成強分類器。（二）基于機器視覺和圖像處理的疲勞檢測算法（二）基于機器視覺和圖像處理的疲勞檢測算法

3.基于卷積神經(jīng)網(wǎng)絡的MTCNN算法消耗的算力資源較大，對硬件要求較高，難以做到跟隨攝像頭輸入進行實時檢測。

機動車正常行駛途中駕駛員不會發(fā)生變更且頭部姿態(tài)變化不大，人臉在每幀之間的移動幅度小，在獲取人臉區(qū)域后，采用KCF跟蹤算法對人臉區(qū)域進行追蹤，從而減少算力消耗。02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

4.PERCLOS(PercentageofEyelidClosureoverthePupilOverTime)指的是在一段時間內眼睛閉合時間占總時間的比值，是在疲勞檢測中被廣泛使用的判斷指標，計算公式如下：02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

5.MAR（MouthAspectRatio，嘴部縱橫比），仿照EAR的原理，通過對嘴部縱橫比的檢測來判斷嘴張開的大小。

6.我們通過MTCNN算法檢測人臉，再通過KCF算法跟蹤人臉區(qū)域，最后通過人臉特征點檢測算法ERT得到EAR與MAR值，由此計算PERCLOS值與判斷是否哈欠，最后通過多特征融合判斷方法得到駕駛員疲勞信息。02常見智能座艙算法開發(fā)認知常見算法簡介案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)PART0303案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集一、圖像采集

在采集圖像前，首先要先對目標特征進行分析，以確保采集的圖像具有代表性。通過對大量包含吸煙者的圖像分析，總結出以下幾種類型的吸煙動作。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集二、圖像預處理

采集圖像數(shù)據(jù)的渠道為網(wǎng)絡和VOC2007通用目標檢測數(shù)據(jù)集，采集到的圖像數(shù)據(jù)不能直接用于深度學習網(wǎng)絡的訓練，還需要一些預處理工作，如統(tǒng)一圖像數(shù)據(jù)格式，對圖像重命名。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集三、圖像標注

經(jīng)過預處理的圖像數(shù)據(jù)還不能直接輸入深度學習網(wǎng)絡，需要經(jīng)過標注等處理，同時由以上分析可知，吸煙者圖像較為復雜，若不加篩選地采集任意吸煙者圖像，將對后續(xù)圖像標注工作造成困擾。為圖像打標簽的工作被稱為圖像標注。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集四、標注格式轉換 YOLOv5不能直接讀取XML文件，需要將XML文件轉化為TXT文件，其轉化思路為提取XML文件中重點關注的信息，并將其寫入TXT文本中。五、數(shù)據(jù)集劃分 YOLOv5不能直接讀取XML文件，需要將XML文件轉化為TXT文件，其轉化思路為提取XML文件中重點關注的信息，并將其寫入TXT文本中。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)吸煙檢測算法訓練常用參數(shù)說明weights權重文件路徑cfg存儲模型結構的配置文件data存儲訓練、測試數(shù)據(jù)的文件epochs指的就是訓練過程中整個數(shù)據(jù)集將被迭代（訓練）了多少次batch-size訓練完多少張圖片才進行權重更新img-size輸入圖片寬高點devicecudadevice,i.e.0or0,1,2,3orcpu。選擇使用GPU還是CPUworkers線程數(shù)，默認是8

訓練是將深度學習網(wǎng)絡投入使用的關鍵步驟，接下來我們將進行訓練參數(shù)配置。當損失函數(shù)不斷減小直至最后收斂，整體呈下降趨勢，且下降速度由快到慢，逐漸逼近最優(yōu)解。訓練初始時，損失函數(shù)較大，經(jīng)過5000次的訓練，損失函數(shù)降至0.1以下