智能網(wǎng)聯(lián)汽車第五章車載相機(jī)課件

車載相機(jī)裝調(diào)與檢測(cè)目錄DIRECTORY01.車載相機(jī)認(rèn)知與安裝02.車載相機(jī)故障檢測(cè)03.車載相機(jī)標(biāo)定01車載相機(jī)認(rèn)知車載相機(jī)-定義車載相機(jī)是指通過對(duì)攝像頭拍攝到的圖像進(jìn)行圖像處理，對(duì)目標(biāo)進(jìn)行檢測(cè)，并輸出數(shù)據(jù)和判斷結(jié)果的傳感器。視覺傳感器在智能網(wǎng)聯(lián)汽車或無人駕駛汽車上的應(yīng)用是以攝像頭（機(jī)）出現(xiàn)，并搭載先進(jìn)的人工智能算法，便于目標(biāo)檢測(cè)和圖像處理。車載相機(jī)-特點(diǎn)信息量極為豐富：不僅包含有視野內(nèi)物體的距離信息，而且還有該物體的顏色、紋理、深度和形狀等信息多任務(wù)檢測(cè)：在視野范圍內(nèi)可同時(shí)實(shí)現(xiàn)道路檢測(cè)、車輛檢測(cè)、行人檢測(cè)、交通標(biāo)志檢測(cè)、交通信號(hào)燈檢測(cè)等視覺SLAM：通過攝像頭可以實(shí)現(xiàn)同時(shí)定位和建圖實(shí)時(shí)獲取場(chǎng)景信息：提供的信息不依賴于先驗(yàn)知識(shí)，比如GPS導(dǎo)航依賴地圖信息，有較強(qiáng)的適應(yīng)環(huán)境的能力與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能加快融合車載相機(jī)-組成車載相機(jī)主要由光源、鏡頭、圖像傳感器、模/數(shù)轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器等組成，其主要功能是獲取足夠的機(jī)器視覺系統(tǒng)要處理的原始圖像車載相機(jī)-組成車載相機(jī)-分類按鏡頭與布置方式單目視覺傳感器多目視覺傳感器環(huán)視視覺傳感器車載相機(jī)-定義單目視覺有兩個(gè)先天的缺陷：一是它的視野完全取決于鏡頭。焦距短的鏡頭，視野廣，但缺失遠(yuǎn)處的信息。反之亦然。二是單目測(cè)距的精度較低。攝像機(jī)的成像圖是透視圖，即越遠(yuǎn)的物體成像越小。近處的物體，需要用幾百甚至上千個(gè)像素點(diǎn)描述；而處于遠(yuǎn)處的同一物體，可能只需要幾個(gè)像素點(diǎn)即可描述出來。這種特性會(huì)導(dǎo)致越遠(yuǎn)的地方，一個(gè)像素點(diǎn)代表的距離越大。因此，對(duì)于單目視覺來說，物體越遠(yuǎn)，測(cè)距的精度越低。雙目系統(tǒng)的特點(diǎn)如下：一是成本比單目系統(tǒng)要高，但尚處于可接受范圍內(nèi)，并且與激光雷達(dá)等方案相比成本較低；二是沒有識(shí)別率的限制，因?yàn)閺脑砩蠠o需先進(jìn)行識(shí)別再進(jìn)行測(cè)算，而是對(duì)所有障礙物直接進(jìn)行測(cè)量；三是精度比單目高，直接利用視差計(jì)算距離。雙目系統(tǒng)的一個(gè)難點(diǎn)在于計(jì)算量非常大，對(duì)計(jì)算單元的性能要求非常高。車載相機(jī)-分類按芯片類型CCDCMOSCCD是指電荷耦合器件，是一種用電荷量表示信號(hào)大小，用耦合方式傳輸信號(hào)的探測(cè)元件,具有自掃描、感受波譜范圍寬、畸變小、體積小、重量輕、系統(tǒng)噪聲低、功耗小、壽命長(zhǎng)、可靠性高等一系列優(yōu)點(diǎn)CMOS是互補(bǔ)金屬氧化物半導(dǎo)體的縮寫，指制造大規(guī)模集成電路芯片CMOS圖像傳感器通常由像敏單元陣列、行驅(qū)動(dòng)器、列驅(qū)動(dòng)器、時(shí)序控制邏輯、AD轉(zhuǎn)換器、數(shù)據(jù)總線輸出接口、控制接口等幾部分組成,這幾部分通常都被集成在同一塊硅片上車載相機(jī)-應(yīng)用車載相機(jī)主要應(yīng)用于車道偏離預(yù)警、車道保持輔助、前向碰撞預(yù)警、行人碰撞預(yù)警、交通標(biāo)志識(shí)別、盲區(qū)監(jiān)測(cè)、夜視輔助、自動(dòng)泊車輔助、全景泊車、駕駛員疲勞預(yù)警等01車載相機(jī)安裝車載相機(jī)-位置車載相機(jī)-安裝設(shè)備或儀器：車載相機(jī)（實(shí)驗(yàn)臺(tái)或?qū)嶒?yàn)箱），目標(biāo)模擬器，卷尺。安裝步驟：1.安全要求與注意事項(xiàng)

注意人身和設(shè)備安全；場(chǎng)地面積足夠，無障礙物；功能檢測(cè)時(shí)，學(xué)員應(yīng)在指定工作區(qū)域，以免隨意走動(dòng)造成干擾。2.在工作區(qū)放置工作牌，將車載相機(jī)安裝在支架上，注意平整與無遮擋。3.將安裝車載相機(jī)的支架擺放在試驗(yàn)臺(tái)上合適位置。4.將車載相機(jī)的USB接口與控制臺(tái)連接，啟動(dòng)設(shè)備，確保供電正常。5.通過命令cheese查看相機(jī)是否安裝成功。安裝位置安插位置車載相機(jī)-臺(tái)架車載相機(jī)-臺(tái)架1.window系統(tǒng)下驗(yàn)證

開始，選擇相機(jī)，觀察顯示2.unbtune系統(tǒng)下驗(yàn)證

Ctrl+Alt+T打開命令界面，輸入cheese，觀察顯示車載相機(jī)裝調(diào)與檢測(cè)

第二講

車載相機(jī)故障檢測(cè)02車載相機(jī)故障檢測(cè)車載相機(jī)控制原理分析故障類型故障類型線路故障部件故障其它故障短路故障斷路故障虛接故障相機(jī)自身故障系統(tǒng)軟件故障等常見故障常見故障車載相機(jī)不工作無圖像黑屏車載相機(jī)工作畫面抖動(dòng)車載相機(jī)工作畫面模糊車載相機(jī)工作畫面傾斜車載相機(jī)工作圖像暗或白屏

故障可能原因：電源故障（臺(tái)架供電異常、車載相機(jī)供電異常等）插頭是否有松動(dòng)或者沒有插好等線路連接故障車載相機(jī)自身故障相關(guān)系統(tǒng)故障制定診斷流程車載相機(jī)的常見故障診斷故障現(xiàn)象：智能傳感器裝配調(diào)試臺(tái)架打開電源開關(guān)，車載相機(jī)不工作，無圖像顯示。故障檢查故障檢查故障檢查故障檢查故障現(xiàn)象：智能傳感器裝配調(diào)試臺(tái)架打開電源開關(guān)，車載相機(jī)能工作，但圖像顯示不正常（圖像畫面抖動(dòng)、圖像畫面模糊、圖像畫面傾斜、圖像暗或白屏等）。

車載相機(jī)安裝問題車載相機(jī)校正問題車載相機(jī)故障故障原因分析診斷流程：首先進(jìn)行車載相機(jī)安裝校正然后再排除車載相機(jī)自身問題最后考慮軟件系統(tǒng)問題車載相機(jī)的常見故障診斷車載相機(jī)裝調(diào)與檢測(cè)目錄DIRECTORY01.車載相機(jī)認(rèn)知與安裝02.車載相機(jī)故障檢測(cè)03.車載相機(jī)標(biāo)定03車載相機(jī)標(biāo)定車載相機(jī)-原理視覺傳感器主要由鏡頭、影像傳感器、DSP等組成。被攝物體經(jīng)過鏡頭聚焦至CCD，CCD由多個(gè)X-Y縱橫排列的像素點(diǎn)組成，每個(gè)像素都由一個(gè)光電二極管及相關(guān)電路組成，光電二極管將光線轉(zhuǎn)變成電荷，收集到的電荷總量與光線強(qiáng)度成比例，所積累的電荷在相關(guān)電路的控制下，逐點(diǎn)移出，經(jīng)濾波、放大，再經(jīng)過DSP處理后形成視頻信號(hào)輸出，再通過I/O接口傳輸?shù)诫娔X中進(jìn)行處理后，再通過顯示屏就可以看到圖像。車載相機(jī)-原理視覺傳感器按一定的分辨率，以隔行掃描的方式采集圖像上的點(diǎn)，當(dāng)掃描到某點(diǎn)時(shí)，就通過圖像傳感芯片將該點(diǎn)處圖像的灰度轉(zhuǎn)換成與灰度一一對(duì)應(yīng)的電壓值，然后將此電壓值通過視頻信號(hào)端輸出。視覺傳感器連續(xù)地掃描圖像上的一行，則輸出就是一段連續(xù)的電壓信號(hào)，電壓信號(hào)的高低起伏反映了該行圖像的灰度變化。視覺傳感器有兩個(gè)重要的指標(biāo)：分辨率和有效像素。車載相機(jī)-圖像處理數(shù)字圖像處理就是將圖像轉(zhuǎn)換成一個(gè)數(shù)據(jù)矩陣存放在存儲(chǔ)器中，然后再利用計(jì)算機(jī)或其它的大規(guī)模集成數(shù)字器件對(duì)數(shù)據(jù)矩陣信息進(jìn)行數(shù)字處理，以達(dá)到所預(yù)期的效果。黑白圖像的矩陣表示灰度圖像的矩陣表示彩色圖像的矩陣表示車載相機(jī)-圖像處理具有一定聯(lián)系的、具有時(shí)間先后關(guān)系的圖像稱為序列圖像。我們所經(jīng)?？吹降碾娨晞』螂娪皥D像主要是由序列圖像構(gòu)成的。序列圖像是數(shù)字多媒體的重要組成部分。序列圖像是單幅數(shù)字圖像在時(shí)間軸上的擴(kuò)展，可以將視頻的每一幀視為一幅靜止的圖像。數(shù)字圖像的矩形表示車載相機(jī)-圖像處理數(shù)字圖像處理層次為：圖像處理—圖像分析—圖像理解圖像處理，指對(duì)圖像進(jìn)行各種加工以改善圖像的視覺效果、或突出有用信息，并為自動(dòng)識(shí)別打基礎(chǔ)，或通過編碼以減少對(duì)其所需存儲(chǔ)空間、傳輸時(shí)間或傳輸帶寬的要求。圖像分析，對(duì)圖像中感興趣的目標(biāo)進(jìn)行檢測(cè)（或分割）和測(cè)量，以獲得它們的客觀信息，從而建立對(duì)圖像中目標(biāo)的描述，是一個(gè)從圖像到數(shù)值或符號(hào)的過程。圖像理解，在圖像分析的基礎(chǔ)上，進(jìn)一步研究圖像中各目標(biāo)的性質(zhì)和它們之間相互的聯(lián)系，并得出對(duì)圖像內(nèi)容含義的理解（對(duì)象識(shí)別）及對(duì)原來客觀場(chǎng)景的解釋（計(jì)算機(jī)視覺），從而指導(dǎo)和規(guī)劃行動(dòng)。車載相機(jī)-邊緣檢測(cè)圖像的邊緣是指其周圍像素灰度急劇變化的那些像素的集合，它是圖像最基本的特征。邊緣存在于目標(biāo)、背景和區(qū)域之間，所以，它是圖像分割所依賴的最重要的依據(jù)。由于邊緣是位置的標(biāo)志，對(duì)灰度的變化不敏感，因此，邊緣也是圖像匹配的重要的特征。邊緣檢測(cè)基本思想是先檢測(cè)圖像中的邊緣點(diǎn)，再按照某種策略將邊緣點(diǎn)連接成輪廓，從而構(gòu)成分割區(qū)域。道路邊緣檢測(cè)示例車載相機(jī)-邊緣檢測(cè)邊緣大致可以分為兩種：一種是階躍狀邊緣，邊緣兩邊像素的灰度值明顯不同；另一種為屋頂狀邊緣，邊緣處于灰度值由小到大再到小變化的轉(zhuǎn)折點(diǎn)處。圖5-19中，第1行是一些具有邊緣的圖像示例，第2行是沿圖像水平方向的1個(gè)剖面圖，第3和第4行分別為剖面的一階和二階導(dǎo)數(shù)。第1列和第2列是階梯狀邊緣，第3列是脈沖狀邊緣，第4列是屋頂狀邊緣。實(shí)現(xiàn)圖像的邊緣檢測(cè)，就是要用離散化梯度逼近函數(shù)根據(jù)二維灰度矩陣梯度向量來尋找圖像灰度矩陣的灰度躍變位置，然后在圖像中將這些位置的點(diǎn)連起來就構(gòu)成了所謂的圖像邊緣。車載相機(jī)-邊緣檢測(cè)視覺傳感器標(biāo)定包括內(nèi)參和外參標(biāo)定，其中內(nèi)參標(biāo)定主要是像素、焦距、圖像原點(diǎn)、是否畸變等，內(nèi)參通常在傳感器生產(chǎn)過程中固定。我們指的視覺傳感器標(biāo)定通常是外參標(biāo)定，主要包括距離、角度等外部參數(shù)的標(biāo)定，即視覺傳感器坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移向量T等參數(shù)。a外參標(biāo)定b內(nèi)參標(biāo)定車載相機(jī)-邊緣檢測(cè)由于像素直角坐標(biāo)系中(u,v)只表示像素位于數(shù)組中的列數(shù)與行數(shù)，并沒有物理單位表示出該像素在圖像中的位置，因此需要建立以物理單位表示的圖像物理坐標(biāo)系（o1,X,Y）像素坐標(biāo)系與物理坐標(biāo)系的轉(zhuǎn)換

車載相機(jī)-邊緣檢測(cè)傳感器坐標(biāo)系與世界坐標(biāo)系

車載相機(jī)-邊緣檢測(cè)相機(jī)標(biāo)定方法有：傳統(tǒng)相機(jī)標(biāo)定法、主動(dòng)視覺相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定法等。傳統(tǒng)相機(jī)標(biāo)定法需要使用尺寸已知的標(biāo)定物，通過建立標(biāo)定物上坐標(biāo)已知的點(diǎn)與其圖像點(diǎn)之間的對(duì)應(yīng)，利用一定的算法獲得相機(jī)模型的內(nèi)外參數(shù)。根據(jù)標(biāo)定物的不同可分為三維標(biāo)定物和平面型標(biāo)定物。自標(biāo)定算法中主要是利用相機(jī)運(yùn)動(dòng)的約束。相機(jī)的運(yùn)動(dòng)約束條件太強(qiáng)，因此使得其在實(shí)際中并不實(shí)用。利用場(chǎng)景約束主要是利用場(chǎng)景中的一些平行或者正交的信息。其中空間平行線在相機(jī)圖像平面上的交點(diǎn)被稱為消失點(diǎn)，它是射影幾何中一個(gè)非常重要的特征，所以很多學(xué)者研究了基于消失點(diǎn)的相機(jī)自標(biāo)定方法?；谥鲃?dòng)視覺的相機(jī)標(biāo)定法是指已知相機(jī)的某些運(yùn)動(dòng)信息對(duì)相機(jī)進(jìn)行標(biāo)定。該方法不需要標(biāo)定物，但需要控制相機(jī)做某些特殊運(yùn)動(dòng)，利用這種運(yùn)動(dòng)的特殊性可以計(jì)算出相機(jī)內(nèi)部參數(shù)。車載相機(jī)-標(biāo)定步驟設(shè)備或儀器：車載相機(jī)，操作電腦，標(biāo)定板。1.開啟電腦和智能傳感器裝配調(diào)試臺(tái)架。2.檢查車載相機(jī)是否安裝合理，驗(yàn)證裝調(diào)是否成功。3.啟動(dòng)計(jì)算機(jī)視覺傳感器參數(shù)標(biāo)定軟件，標(biāo)定物距、角度等外參。4.映射虛擬機(jī)攝像頭硬件設(shè)備。5.啟動(dòng)的攝像頭驅(qū)動(dòng)程序，輸入標(biāo)定命令。6.將標(biāo)準(zhǔn)標(biāo)定板置于車載相機(jī)前方，緩慢的移動(dòng)標(biāo)定板。7.采集數(shù)據(jù)完成后，啟動(dòng)標(biāo)定按鈕，開始標(biāo)定。8.存儲(chǔ)標(biāo)定的數(shù)據(jù)文件。9.恢復(fù)各模塊初始位置，關(guān)閉調(diào)試軟件。10.清理實(shí)驗(yàn)環(huán)境。車載相機(jī)-標(biāo)定1.映射虛擬機(jī)攝像頭硬件設(shè)備

打開虛擬機(jī)的ubuntu系統(tǒng)之后，按照下圖所?的操作進(jìn)?攝像頭的設(shè)備映射操作。

映射之后打開終端執(zhí)?以下命令，如果出現(xiàn)video0表?設(shè)備映射成功，否則請(qǐng)檢查攝像頭硬件。車載相機(jī)-標(biāo)定2.打開攝像頭驅(qū)動(dòng)和攝像頭標(biāo)定軟件打開兩個(gè)終端，第?個(gè)終端執(zhí)?以下命令來啟動(dòng)攝像頭驅(qū)動(dòng)軟件，如下圖的左邊所?：ls/dev/video0cdusb_cam/sourcedevel/setup.bashroslaunch

usb_cam

usb_cam-test.launch第?個(gè)終端執(zhí)?以下命令來啟動(dòng)攝像頭內(nèi)參標(biāo)定軟件，如上圖的右邊所?：cdusb_cam/sourcedevel/setup.bashrosruncamera_calibrationcameracalibrator.py--size7x7--square0.018image:=/image_raw0camera:=/camera--no-service-check注意，先執(zhí)?左邊終端的攝像頭驅(qū)動(dòng)程序之后，再執(zhí)?右邊終端的標(biāo)定程序。3.進(jìn)?攝像頭內(nèi)參保定a.步驟2執(zhí)?之后，會(huì)出現(xiàn)如下攝像頭內(nèi)參標(biāo)定上位機(jī)界?：車載相機(jī)-標(biāo)定b.使??格標(biāo)定板進(jìn)?攝像頭內(nèi)參標(biāo)定，對(duì)準(zhǔn)攝像頭，前后移動(dòng)標(biāo)定板，標(biāo)定界?會(huì)有進(jìn)度條提?，當(dāng)標(biāo)定采集到?夠的標(biāo)定數(shù)據(jù)時(shí)，上位機(jī)界?的CALIBRATION按鈕會(huì)變綠?，此時(shí)即可??標(biāo)點(diǎn)擊該按鈕進(jìn)?標(biāo)定數(shù)據(jù)分析，注意：前后移動(dòng)標(biāo)定板的時(shí)候稍微上下左右傾斜可以加快標(biāo)定速度，標(biāo)定時(shí)候會(huì)有卡頓現(xiàn)象，需要慢慢移動(dòng)標(biāo)定板