復(fù)雜駕駛條件下司機(jī)駕駛疲勞度檢測的研究

1、復(fù)雜駕駛條件下司機(jī)駕駛疲勞復(fù)雜駕駛條件下司機(jī)駕駛疲勞度檢測的研究度檢測的研究本科畢設(shè)結(jié)題答辯本科畢設(shè)結(jié)題答辯電子與信息學(xué)院電子與信息學(xué)院鄭偉龍鄭偉龍0808級電聯(lián)班級電聯(lián)班指導(dǎo)教師：秦華標(biāo)教授指導(dǎo)教師：秦華標(biāo)教授蒸臉器哪個牌子好蒸臉器哪個牌子好 http:/ 課題研究背景與意義課題研究背景與意義1課題研究內(nèi)容與系統(tǒng)框架課題研究內(nèi)容與系統(tǒng)框架2復(fù)雜駕駛條件下人臉檢測方法復(fù)雜駕駛條件下人臉檢測方法3復(fù)雜駕駛條件下人眼檢測和狀態(tài)識別復(fù)雜駕駛條件下人眼檢測和狀態(tài)識別4基于眼部特征的駕駛員疲勞狀態(tài)檢測基于眼部特征的駕駛員疲勞狀態(tài)檢測 5課題總結(jié)與實驗效果演示課題總結(jié)與實驗效果演示課題研究背景與意義3n

2、在歐洲，在歐洲， 10-20的司機(jī)死亡和受傷是由于疲勞導(dǎo)的司機(jī)死亡和受傷是由于疲勞導(dǎo)致駕駛員警戒水平降低所引發(fā)。致駕駛員警戒水平降低所引發(fā)。n 在美國，每年有在美國，每年有10萬起萬起撞車事故是由于駕駛員困倦撞車事故是由于駕駛員困倦所造成的，所造成的，造成造成4萬萬的非致命性傷害和的非致命性傷害和1550死亡死亡n 在我國，在在我國，在2007年至年至2009年我國由疲勞駕駛導(dǎo)致的年我國由疲勞駕駛導(dǎo)致的死亡人數(shù)分別占機(jī)動車駕駛?cè)私煌ㄕ厥驴偹劳鋈藬?shù)死亡人數(shù)分別占機(jī)動車駕駛?cè)私煌ㄕ厥驴偹劳鋈藬?shù)的的11.35%、10.91%和和12.5%，平均每年約有，平均每年約有9000人人死于疲勞駕駛死于疲勞駕

3、駛。蒸臉器品牌排行榜蒸臉器品牌排行榜 http:/ 我們能否在交通事故發(fā)生之前檢測到司機(jī)疲勞我們能否在交通事故發(fā)生之前檢測到司機(jī)疲勞狀態(tài)；狀態(tài)；n 對于疲勞檢測技術(shù)，什么技術(shù)和方法是最可靠對于疲勞檢測技術(shù)，什么技術(shù)和方法是最可靠有效的；有效的；n 如何在不分散駕駛員注意力的情況下有效地檢如何在不分散駕駛員注意力的情況下有效地檢測駕駛員精神狀態(tài)并作出判斷。測駕駛員精神狀態(tài)并作出判斷。蒸臉器有用嗎蒸臉器有用嗎 http:/ http:/ （多光照）（多光照）復(fù)雜駕駛條件下人臉檢測方法9人臉檢測中光照問題方法初探人臉檢測中光照問題方法初探n 主動近紅外圖像傳感器主動近紅外圖像傳感器獲取紅外圖像獲取紅

4、外圖像n 基于基于光照估計光照估計的近紅外的近紅外圖像增強(qiáng)圖像增強(qiáng)算法算法復(fù)雜駕駛條件下人臉檢測方法10（1）單尺度）單尺度Retinex算法（算法（SSR）Retinex是是一個合成詞，是由一個合成詞，是由Retina（視網(wǎng)膜）和（視網(wǎng)膜）和Cortex（大腦皮層）組合而成的。（大腦皮層）組合而成的。Retinex理論解釋理論解釋了了相同的物體在不同的光線底下顏色恒定性相同的物體在不同的光線底下顏色恒定性(Color Constancy)機(jī)理機(jī)理),(),(),(yxLyxRyxS亮度圖像亮度圖像反射圖像反射圖像圖 2- 單尺度Retinex的實驗效果圖復(fù)雜駕駛條件下人臉檢測方法11（2）多

5、尺度）多尺度Retinex算法（算法（MSR）多尺度多尺度Retinex實質(zhì)是將多個單尺度實質(zhì)是將多個單尺度Retinex的結(jié)的結(jié)果進(jìn)行加權(quán)求和果進(jìn)行加權(quán)求和圖圖 2- 10 多尺度多尺度Retinex的實驗效果圖的實驗效果圖金稻蒸臉器金稻蒸臉器 http:/ 2- 單尺度自商圖像效果圖復(fù)雜駕駛條件下人臉檢測方法13（4）多尺度自商圖像（）多尺度自商圖像（MSQ）多尺度自商圖像實質(zhì)是將多個單尺度自商圖像的多尺度自商圖像實質(zhì)是將多個單尺度自商圖像的結(jié)果進(jìn)行加權(quán)求和。結(jié)果進(jìn)行加權(quán)求和。圖圖 2- 12 多尺度自商圖像效果圖多尺度自商圖像效果圖復(fù)雜駕駛條件下人臉檢測方法14（5）離散余弦變換（）離散

6、余弦變換（DCT）將圖像進(jìn)行將圖像進(jìn)行離散余弦變換離散余弦變換后，低頻部分對應(yīng)圖像后，低頻部分對應(yīng)圖像的亮度分量，反應(yīng)的是光線變化部分。因此將的亮度分量，反應(yīng)的是光線變化部分。因此將DCT低低頻分量置零頻分量置零就可以得到光照魯棒的反射圖像，達(dá)到減就可以得到光照魯棒的反射圖像，達(dá)到減小光照的影響。小光照的影響。圖圖 2- 13 離散余弦變換效果圖離散余弦變換效果圖復(fù)雜駕駛條件下人臉檢測方法15（6）小波變換（）小波變換（WA）對輸入圖像進(jìn)行對輸入圖像進(jìn)行離散小波變換離散小波變換，然后處理得到的，然后處理得到的子帶圖像。它對子帶圖像。它對小波系數(shù)矩陣進(jìn)行加權(quán)小波系數(shù)矩陣進(jìn)行加權(quán)，對變換的，對變換

7、的相相似系數(shù)進(jìn)行直方圖均衡化似系數(shù)進(jìn)行直方圖均衡化，再利用，再利用反小波變換反小波變換將獨立將獨立的子帶圖像重建后得到歸一化的圖像。的子帶圖像重建后得到歸一化的圖像。圖圖 2- 14 小波變換效果圖小波變換效果圖復(fù)雜駕駛條件下人臉檢測方法16（7）非局部均值法（）非局部均值法（NLM）這種方法基于一種想法，就是每個小的圖像窗口這種方法基于一種想法，就是每個小的圖像窗口都能找到與之相似的其他圖像窗口，利用這些窗口就都能找到與之相似的其他圖像窗口，利用這些窗口就可以進(jìn)行去噪處理。可以進(jìn)行去噪處理。)(),(),()(xIxndnxIxzxI表示加權(quán)函數(shù)，計算原始圖像的空間位置表示加權(quán)函數(shù)，計算原始

8、圖像的空間位置z,x像素像素局部相似性局部相似性),(xz圖圖 2- 15 非局部均值法（非局部均值法（NLM）效果圖）效果圖復(fù)雜駕駛條件下人臉檢測方法17（8）直方圖均衡（）直方圖均衡（HE）圖圖 2- 16 直方圖均衡化（直方圖均衡化（HE）效果）效果復(fù)雜駕駛條件下人臉檢測方法18 測試測試圖圖（原圖、（原圖、SSR、MSR、SSQ、MSQ、DCT、WA、NLM、HE）復(fù)雜駕駛條件下人臉檢測方法19基于基于Adaboost的人臉檢測的人臉檢測Adaboost是一種迭代算法，其核心思想是針是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器弱分

9、類器)，然，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器終分類器(強(qiáng)分類器強(qiáng)分類器)。優(yōu)點：優(yōu)點：1)構(gòu)建簡單子分類器，利用構(gòu)建簡單子分類器，利用Adaboost算法將這些分類器進(jìn)行級聯(lián)，構(gòu)造強(qiáng)分類器；算法將這些分類器進(jìn)行級聯(lián)，構(gòu)造強(qiáng)分類器；2) Adaboost算法即使訓(xùn)練次數(shù)很多，也不會出現(xiàn)過算法即使訓(xùn)練次數(shù)很多，也不會出現(xiàn)過擬合的問題擬合的問題；3）隨著訓(xùn)練迭代次數(shù)增加，分類器隨著訓(xùn)練迭代次數(shù)增加，分類器識別錯誤率會逐漸下降識別錯誤率會逐漸下降。復(fù)雜駕駛條件下人臉檢測方法20基于基于Adaboost的人臉檢測的人臉檢測n 訓(xùn)練過程訓(xùn)練過程

10、使用使用類類Haar矩形特征矩形特征作為輸入，利用作為輸入，利用積分圖積分圖像像加速矩形圖像值的計算，訓(xùn)練各個加速矩形圖像值的計算，訓(xùn)練各個弱分類器弱分類器，最后將弱分類器節(jié)點組成篩選式級聯(lián)方式。最后將弱分類器節(jié)點組成篩選式級聯(lián)方式。n 檢測過程檢測過程通過加載分類器，根據(jù)訓(xùn)練所得到的分類器特通過加載分類器，根據(jù)訓(xùn)練所得到的分類器特征對輸入圖像進(jìn)行檢測征對輸入圖像進(jìn)行檢測圖圖 2- 28 Adaboost人臉檢測實驗測試圖人臉檢測實驗測試圖人眼檢測和狀態(tài)識別研究21人眼檢測定位方法研究人眼檢測定位方法研究n 眼睛定位是較難的研究課題，因為人的眼睛的面眼睛定位是較難的研究課題，因為人的眼睛的面積

11、比例比較小，另外由于人臉區(qū)域眉毛、眼鏡等積比例比較小，另外由于人臉區(qū)域眉毛、眼鏡等干擾也會造成眼睛定位算法的錯誤識別。干擾也會造成眼睛定位算法的錯誤識別。n 人眼檢測定位方法：人眼檢測定位方法：n 基于基于Adaboost的眼睛檢測定位方法的眼睛檢測定位方法n 基于人臉三庭五眼比例特征人眼檢測定位方法基于人臉三庭五眼比例特征人眼檢測定位方法人眼檢測和狀態(tài)識別研究22基于基于Adaboost的眼睛檢測定位方法的眼睛檢測定位方法圖圖 3- 2 基于基于Adaboost的眼睛檢測定位方法效果圖的眼睛檢測定位方法效果圖人眼檢測和狀態(tài)識別研究23基于三庭五眼比例特征人眼檢測方法基于三庭五眼比例特征人眼檢

12、測方法人眼檢測和狀態(tài)識別研究24人眼狀態(tài)識別方法研究人眼狀態(tài)識別方法研究本課題對以下幾種眼睛狀態(tài)識別方法進(jìn)行研究和比較本課題對以下幾種眼睛狀態(tài)識別方法進(jìn)行研究和比較n 基于基于眼瞼曲率眼瞼曲率的眼睛狀態(tài)識別的眼睛狀態(tài)識別n 基于基于分段眼瞼曲率分段眼瞼曲率的眼睛狀態(tài)識別的眼睛狀態(tài)識別n 基于基于橢圓擬合橢圓擬合的人眼狀態(tài)識別的人眼狀態(tài)識別n 基于基于水平投影及比例特征水平投影及比例特征的人眼狀態(tài)識別的人眼狀態(tài)識別n 判斷判斷黑色像素比例黑色像素比例進(jìn)行人眼狀態(tài)識別進(jìn)行人眼狀態(tài)識別人眼檢測和狀態(tài)識別研究25基于眼瞼曲率的眼睛狀態(tài)識別基于眼瞼曲率的眼睛狀態(tài)識別人眼睜開時，上眼瞼向上彎曲，曲率為正；

13、而人眼睜開時，上眼瞼向上彎曲，曲率為正；而在閉合時，上眼瞼基本呈扁平狀，曲率基本為零在閉合時，上眼瞼基本呈扁平狀，曲率基本為零。因此可以通過提取人眼的上眼瞼，通過計算上。因此可以通過提取人眼的上眼瞼，通過計算上眼瞼的曲率來判斷當(dāng)前人眼狀態(tài)。眼瞼的曲率來判斷當(dāng)前人眼狀態(tài)。人眼檢測和狀態(tài)識別研究26基于眼瞼曲率的眼睛狀態(tài)識別基于眼瞼曲率的眼睛狀態(tài)識別上眼瞼曲率提取過程：上眼瞼曲率提取過程：（1）邊緣檢測）邊緣檢測較好保持邊緣連續(xù)性的較好保持邊緣連續(xù)性的Canny算子算子（2）上眼瞼輪廓提?。┥涎鄄€輪廓提取上眼瞼基本上位于邊緣圖像的最上部，按列掃上眼瞼基本上位于邊緣圖像的最上部，按列掃描圖像取出每列

14、的最上面的點，即為上眼瞼。描圖像取出每列的最上面的點，即為上眼瞼。（3）中點和邊界點提?。┲悬c和邊界點提取提取上眼瞼的邊界點以及中點。提取上眼瞼的邊界點以及中點。（4）計算曲率）計算曲率（5）閾值判斷）閾值判斷ACBDK 人眼檢測和狀態(tài)識別研究27基于眼瞼曲率的眼睛狀態(tài)識別基于眼瞼曲率的眼睛狀態(tài)識別曲率曲率閾值閾值睜眼樣本（睜眼樣本（124）閉眼樣本（閉眼樣本（130）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）0.1141131191.11052580.70.1151121290.31072382.30.1161121290.31092183.80

15、.1171011381.51102084.60.1181091587.911218050.110.1150.120.150.60.650.70.750.80.850.90.951曲率閾值識別正確率 睜眼識別正確率閉眼識別正確率人眼檢測和狀態(tài)識別研究28基于分段眼瞼曲率的眼睛狀態(tài)識別基于分段眼瞼曲率的眼睛狀態(tài)識別這種方法與上面方法類似。這種方法與上面方法類似。主要區(qū)別在于：主要區(qū)別在于：（1）眼瞼曲線的擬合）眼瞼曲線的擬合，眼瞼，眼瞼曲線原先利用提取的邊緣曲線，而這里利用的是曲線原先利用提取的邊緣曲線，而這里利用的是三階多項式對眼瞼曲線進(jìn)行擬合。三階多

16、項式對眼瞼曲線進(jìn)行擬合。（2）曲率的計）曲率的計算算，前面的方法考慮的是上眼瞼的整體特性，只，前面的方法考慮的是上眼瞼的整體特性，只計算一次曲率，而本方法是將眼瞼曲線分成若干計算一次曲率，而本方法是將眼瞼曲線分成若干段，再分別計算這幾段的曲率，將這些曲率進(jìn)行段，再分別計算這幾段的曲率，將這些曲率進(jìn)行求和后，作為判斷眼睛狀態(tài)參數(shù)。求和后，作為判斷眼睛狀態(tài)參數(shù)。眼瞼輪廓曲線擬合上眼瞼邊界點提取人眼檢測和狀態(tài)識別研究29基于分段眼瞼曲率的眼睛狀態(tài)識別基于分段眼瞼曲率的眼睛狀態(tài)識別曲率曲率閾值閾值睜眼樣本（睜眼樣本（124）閉眼樣本（閉眼樣本（130）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）正確正

17、確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）0.121081687.1646649.20.131071786.3755557.70.141071786.3814962.30.151051984.7943672.30.16992579.8106241分段曲率求和閾值識別正確率 睜眼識別正確率閉眼識別正確率人眼檢測和狀態(tài)識別研究30基于橢圓擬合的人眼狀態(tài)識別基于橢圓擬合的人眼狀態(tài)識別人眼輪廓與橢圓非常近似，人眼在睜開狀態(tài)下人眼輪廓與橢圓非常近似，人眼在睜開狀態(tài)下的圓形度要高于閉

18、眼狀態(tài)下的，通過對人眼進(jìn)行的圓形度要高于閉眼狀態(tài)下的，通過對人眼進(jìn)行橢圓擬合，然后判斷橢圓長半軸以及短半軸的比橢圓擬合，然后判斷橢圓長半軸以及短半軸的比例關(guān)系可以作為人眼狀態(tài)判斷的參數(shù)。例關(guān)系可以作為人眼狀態(tài)判斷的參數(shù)。圖 3- 上眼瞼輪廓曲線擬合人眼檢測和狀態(tài)識別研究31基于橢圓擬合的人眼狀態(tài)識別基于橢圓擬合的人眼狀態(tài)識別b/a睜眼樣本（睜眼樣本（124）閉眼樣本（閉眼樣本（130）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）0.21117794.3755557.70.221121290.3874366.90.231051984.7923870.8

19、0.241022282.31003076.90.25992579.81042680.050.260.270.280.250.70.750.80.850.90.951長半軸與短半軸比值閾值識別正確率 睜眼識別正確率閉眼識別正確率人眼檢測和狀態(tài)識別研究32基于水平投影及比例特征的人眼狀態(tài)識別基于水平投影及比例特征的人眼狀態(tài)識別當(dāng)人眼睜開時，水平投影直方圖高度比較低，寬當(dāng)人眼睜開時，水平投影直方圖高度比較低，寬度比較長，而人眼閉合狀態(tài)時，水平投影直方圖度比較長，而人眼閉合狀態(tài)時，水平投影直方圖高度比較高，寬度比較短。高度比較高，寬度比較

20、短。人眼圖像二值化效果051015202530354002468101214161820水 平 投 影010203040506005101520253035404550水 平 投 影左圖是睜眼圖像直方圖投影，右圖是閉眼圖像直方圖投影左圖是睜眼圖像直方圖投影，右圖是閉眼圖像直方圖投影人眼檢測和狀態(tài)識別研究33基于水平投影及比例特征的人眼狀態(tài)識別基于水平投影及比例特征的人眼狀態(tài)識別高度高度/寬度寬度睜眼樣本（睜眼樣本（124）閉眼樣本（閉眼樣本（130）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）正確正確數(shù)數(shù)錯誤數(shù)錯誤數(shù) 正確率正確率（%）4982679.01191191.551032183.41

21、091191.561061885.51161489.271081687.11042680.033.544.555.566.577.580.60.650.70.750.80.850.90.951 直方圖投影高度與寬度比值閾值識別正確率睜眼識別正確率閉眼識別正確率人眼檢測和狀態(tài)識別研究34判斷黑色像素比例進(jìn)行人眼狀態(tài)識別判斷黑色像素比例進(jìn)行人眼狀態(tài)識別人眼圖像二值化效果人眼圖像二值化效果該方法判斷的依據(jù)是當(dāng)睜眼時，人眼區(qū)域的黑該方法判斷的依據(jù)是當(dāng)睜眼時，人眼區(qū)域的黑色像素比例會大于閉眼的情況。色像素比例會大于閉眼的情況。人眼檢測和狀態(tài)識別研究35人眼狀態(tài)識別方法結(jié)果分析人眼狀態(tài)識別方法結(jié)果分析人眼

22、狀態(tài)識別方法人眼狀態(tài)識別方法睜眼樣本睜眼樣本識別率識別率閉眼樣本閉眼樣本識別率識別率處理時間處理時間評價評價基于眼瞼曲率的方法基于眼瞼曲率的方法87.9%87.7%11ms好好基于分段眼瞼曲率的方法基于分段眼瞼曲率的方法79.8%81.5%12ms較好較好基于橢圓擬合的方法基于橢圓擬合的方法80%80%10ms較好較好基于水平投影及比例特征方基于水平投影及比例特征方法法85%91%14ms好好判斷黑色像素比例的方法判斷黑色像素比例的方法76.6%65.4%8ms較差較差基于眼部特征的疲勞狀態(tài)檢測36基于基于PERCLOS與眨眼頻率的疲勞檢測與眨眼頻率的疲勞檢測n PERCLOS準(zhǔn)則準(zhǔn)則n PERCLOS(Percentage of Eyelid Closure Over the Pupil Time)是指是指單位時間內(nèi)眼睛閉合的時間的單位時間內(nèi)眼睛閉合的時間的百分比百分比。通過大量實驗數(shù)據(jù)表明，。通過大量實驗數(shù)據(jù)表明，PERCLOS與疲與疲勞程度具有良好的相關(guān)性，勞程度具有良好的相關(guān)性，美國公路管理局推薦將美國公路管理局推薦將PERCLOS準(zhǔn)則作為基于視覺的駕駛疲勞判斷的最準(zhǔn)則作為基于視覺的駕駛疲勞判斷的最好方法。好方法。基于眼部特征的疲勞狀態(tài)檢測37基于基于PERCLOS與眨眼頻率的疲勞檢測與眨眼頻率的疲勞