汽車智能座艙系統(tǒng)與應(yīng)用 課件 3-4 實(shí)現(xiàn)機(jī)器視覺(jué)在安全輔助駕駛中的應(yīng)用

能力模塊三

掌握智能座艙中機(jī)器視覺(jué)技術(shù)的應(yīng)用任務(wù)四

實(shí)現(xiàn)機(jī)器視覺(jué)在安全輔助駕駛中的應(yīng)用安全輔助駕駛系統(tǒng)一直以來(lái)都是主動(dòng)駕駛領(lǐng)域的重點(diǎn)技術(shù)，能夠很大程度上提高車輛的安全性、經(jīng)濟(jì)性、駕乘舒適性。作為智能座艙的開發(fā)技術(shù)人員，主管要求你在理解常見(jiàn)的安全輔助駕駛技術(shù)應(yīng)用之后，能夠?qū)崿F(xiàn)智能座艙所涉及到的機(jī)器視覺(jué)在安全輔助駕駛上的具體應(yīng)用，完成智能座艙全景相機(jī)標(biāo)定工作。任務(wù)引入Tasktointroduce01360全景環(huán)視系統(tǒng)發(fā)展歷程02實(shí)現(xiàn)360全景相機(jī)標(biāo)定目錄

CONTENTS03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用04艙內(nèi)預(yù)警技術(shù)認(rèn)知360全景環(huán)視系統(tǒng)發(fā)展歷程PART0101360全景環(huán)視系統(tǒng)發(fā)展歷程2007年，日產(chǎn)公司發(fā)布了首款全景行車安全系統(tǒng)“環(huán)境監(jiān)視系統(tǒng)AVM”，2008年本田推出了mulTI-viewcamerasystem，2009年阿爾派推出TOPVIEW系統(tǒng)，2010年Fujitsu公司開發(fā)了MulTI-AngleVision系統(tǒng)。全景環(huán)視概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。這一概念提出后，馬上引起了國(guó)內(nèi)外眾多汽車生產(chǎn)廠商和相關(guān)科研單位的注意，隨著中國(guó)汽車工業(yè)的發(fā)展，以及全景環(huán)視系統(tǒng)技術(shù)的日漸成熟，國(guó)內(nèi)的大部分汽車廠家在乘用車、商用車、工程車上已布局360全景環(huán)視系統(tǒng)。01360全景環(huán)視系統(tǒng)發(fā)展歷程

在后裝市場(chǎng)，全景影像系統(tǒng)和當(dāng)年導(dǎo)航的發(fā)展軌跡是一樣的。只要一個(gè)功能是實(shí)用的，能被消費(fèi)者認(rèn)可，整合就是個(gè)必然結(jié)果。將來(lái)360全景系統(tǒng)和導(dǎo)航的結(jié)合也是一個(gè)必然趨勢(shì)。全景影像系統(tǒng)從分屏顯示到有縫拼接再到無(wú)縫全景，再到2D+3D全景，逐步擴(kuò)大視野范圍及安全性。實(shí)現(xiàn)360全景相機(jī)標(biāo)定PART0202實(shí)現(xiàn)360全景相機(jī)標(biāo)定啟動(dòng)應(yīng)用1.點(diǎn)擊Launcher頁(yè)面中的SDCalibrator應(yīng)用圖標(biāo)。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定啟動(dòng)應(yīng)用2.進(jìn)入應(yīng)用以后，就可以看到如圖所示的頁(yè)面；該頁(yè)面主要功能包括：切換攝像頭預(yù)覽圖像、選擇標(biāo)定范圍、標(biāo)定狀態(tài)顯示。切換攝像頭預(yù)覽圖像1.預(yù)覽畫面的右側(cè)，有一個(gè)汽車圖標(biāo)和4塊藍(lán)色區(qū)域，點(diǎn)擊藍(lán)色區(qū)域可以切換預(yù)覽圖像，對(duì)應(yīng)的分別是汽車的前后左右四個(gè)方向的圖像；通過(guò)切換四個(gè)方向的圖像來(lái)確認(rèn)攝像頭位置和標(biāo)定布的位置是否正確。標(biāo)定布的位置按照?qǐng)D所示的方式擺放。汽車擺放在標(biāo)定布中間，攝像頭圖像應(yīng)該是靠近汽車的位置在預(yù)覽圖像的下方，每個(gè)攝像頭的圖像都可以看到標(biāo)定布。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定切換攝像頭預(yù)覽圖像2.預(yù)覽畫面左側(cè)，有八個(gè)綠色加號(hào)圖標(biāo)，可以拖動(dòng)綠色加號(hào)圖標(biāo)來(lái)選擇標(biāo)定范圍。標(biāo)定范圍是標(biāo)定布在圖像中的位置。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定切換攝像頭預(yù)覽圖像

點(diǎn)擊預(yù)覽頁(yè)面中右下角的設(shè)置按鈕即可彈出設(shè)置對(duì)話框，現(xiàn)在有表所示的標(biāo)定參數(shù)可以進(jìn)行設(shè)置。具體參數(shù)需要通過(guò)實(shí)際測(cè)量獲取。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定參數(shù)說(shuō)明CarWidth車輛擺放后，所占用的標(biāo)定布的橫寬，單位毫米CarLength車輛擺放后，所占用的標(biāo)定布的縱長(zhǎng)，單位毫米Chesshorizontalcount標(biāo)定布內(nèi)橫向的棋盤格數(shù)量，現(xiàn)選個(gè)數(shù)為4Chessverticalcount標(biāo)定布內(nèi)縱向的棋盤格數(shù)量，現(xiàn)選個(gè)數(shù)為4Chesshorizontaloffset棋盤格水平偏移量，指標(biāo)定布上黑白格到標(biāo)定布邊緣的橫向距離，單位毫米Chessverticaloffset盤格垂直偏移量，指標(biāo)定布上黑白格到標(biāo)定布邊緣的縱向距離，單位毫米CarImageWidth車輛圖像寬度，單位毫米CarImageHeight車輛圖像高度，單位毫米Chessitemlength棋盤格單位長(zhǎng)度標(biāo)定狀態(tài)顯示1.標(biāo)定結(jié)束后，藍(lán)色區(qū)域會(huì)改變顏色反饋標(biāo)定結(jié)果。紅色表示該方向標(biāo)定失敗，綠色表示標(biāo)定成功。如下圖所示為前方標(biāo)定失敗，左右后標(biāo)定成功。此時(shí)可以切換前方攝像頭的預(yù)覽圖像，重新選擇標(biāo)定范圍，然后重新點(diǎn)擊Calibrator按鈕再進(jìn)行標(biāo)定。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定標(biāo)定狀態(tài)顯示

2.長(zhǎng)按紅色區(qū)域可以查看標(biāo)定失敗原因：如下圖所示，左下角的識(shí)別點(diǎn)多了一個(gè)。所以導(dǎo)致標(biāo)定錯(cuò)誤。再重新點(diǎn)擊紅色區(qū)域，切換到前方的預(yù)覽模式，再拖動(dòng)綠色加號(hào)圖標(biāo)1和綠色圖標(biāo)3的位置，再重新點(diǎn)擊Calibrator按鈕進(jìn)行標(biāo)定操作。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定標(biāo)定狀態(tài)顯示3.長(zhǎng)按汽車左側(cè)的綠色區(qū)域，可以查看到標(biāo)定識(shí)別成功的9個(gè)點(diǎn)的位置。所以我們?cè)谶x擇范圍時(shí)，盡量精確地選定這9個(gè)點(diǎn)所在的范圍。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定標(biāo)定狀態(tài)顯示4.標(biāo)定成功后的狀態(tài)如下。標(biāo)定成功后即可點(diǎn)擊右上角的退出按鈕，退出應(yīng)用。然后重啟查看FastAvm的標(biāo)定效果。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定標(biāo)定狀態(tài)顯示5.點(diǎn)擊CALIBRATE標(biāo)定成功后，也就是四面都顯示綠色之后。

在/data/目錄下生成標(biāo)定文件MappingTable.bin會(huì)調(diào)用Linkport接口與freertos端的storage裸寫程序建立通信，將MappingTable.bin發(fā)送給storage進(jìn)行指定位置emmc或者ospi寫入。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用PART0303常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用自適應(yīng)巡航是通過(guò)傳感器和攝像頭實(shí)現(xiàn)對(duì)前方車物體和車輛的監(jiān)控。自適應(yīng)巡航系統(tǒng)當(dāng)車輛前方的車流速度減慢時(shí)，自適應(yīng)巡航系統(tǒng)便會(huì)檢測(cè)出，并控制車輛減速；若前方車輛加快速度時(shí)，系統(tǒng)便會(huì)提高車輛速度。更先進(jìn)的自適應(yīng)巡航系統(tǒng)能夠做到將車輛控制直至停止，當(dāng)前方車輛向前移動(dòng)時(shí)，又會(huì)被重新激活向前行駛。03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用該功能是結(jié)合了后十字路口交通警示和盲點(diǎn)檢測(cè)警示兩大功能。后十字路口交通盲點(diǎn)警示系統(tǒng)后十字路口交通警示是針對(duì)十字路口和交叉路口這類事故多發(fā)路段推出的安全保障系統(tǒng)。當(dāng)車輛逆向變道時(shí)，該系統(tǒng)可以檢測(cè)出后方物體并給予警示。03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用這個(gè)系統(tǒng)類似于自適應(yīng)巡航的工作模式。前向碰撞警告當(dāng)你的車輛與前方車輛或障礙物靠近時(shí)，系統(tǒng)會(huì)檢測(cè)出物體并發(fā)出碰撞警告，促使司機(jī)采取必要措施保持安全車距或安全距離。若是司機(jī)沒(méi)有進(jìn)行剎車，那車輛將會(huì)自行采取緊急制動(dòng)。03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用車道偏離預(yù)警車輛通過(guò)攝像頭的系統(tǒng)監(jiān)控車道的標(biāo)記，當(dāng)系統(tǒng)感應(yīng)到車輛偏離了車道時(shí)，車輛便會(huì)對(duì)駕駛員發(fā)出警告。03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用車道保持輔助這項(xiàng)功能是在車道偏離警告提示后，車輛沒(méi)有采取行動(dòng)，汽車將采取下一步行動(dòng)，會(huì)主動(dòng)將車輛推回其車道。360度全景攝像系統(tǒng)

該項(xiàng)功能是通過(guò)一系列在車輛周邊放置的攝像頭，為駕駛員展示360度視野以顯示車輛的鳥瞰圖。這項(xiàng)功能大大提高了停車的便捷度。03常見(jiàn)安全輔助駕駛技術(shù)應(yīng)用艙內(nèi)預(yù)警技術(shù)認(rèn)知PART0404艙內(nèi)預(yù)警技術(shù)認(rèn)知智能座艙艙內(nèi)預(yù)警系統(tǒng)主要包括以下模塊：人臉檢測(cè)人臉關(guān)鍵點(diǎn)檢測(cè)人眼閉合狀態(tài)識(shí)別東張西望狀態(tài)識(shí)別低頭犯困狀態(tài)識(shí)別駕駛行為判斷語(yǔ)音預(yù)警04艙內(nèi)預(yù)警技術(shù)認(rèn)知

這些技術(shù)塊通過(guò)系統(tǒng)集成的語(yǔ)音模塊，利用先進(jìn)的自然語(yǔ)言處理技術(shù)，對(duì)監(jiān)控對(duì)象進(jìn)行識(shí)別、判斷，并在檢測(cè)到有疲勞或分心駕駛的條件下，把系統(tǒng)發(fā)出的指令生成報(bào)警聲提示駕駛員，實(shí)現(xiàn)車載設(shè)備和駕駛員之間的良好交互性，從而為行車安全添加保障。

涉及人臉對(duì)齊校正、頭部姿態(tài)模擬、局部區(qū)域多特征和深