課件：雙目視覺傳感器結(jié)構(gòu)講解

雙目視覺傳感器結(jié)構(gòu)主講人：吳航視覺傳感器的類型智能化網(wǎng)聯(lián)化汽車制造與裝配技術(shù)專業(yè)資源庫視覺傳感器，又稱車載攝像頭，是將物體通過鏡片產(chǎn)生光學(xué)圖像投射在CMOS光電傳感器上，經(jīng)過模數(shù)轉(zhuǎn)換后變?yōu)閿?shù)字信號，再由DSP將信號處理成特定格式的圖像在顯示屏上顯示。自動駕駛汽車安裝的車載攝像頭主要為單目攝像頭、雙目攝像頭和三目攝像頭。①單目攝像頭：通過攝像頭拍攝的平面圖像來感知和判斷周邊環(huán)境，識別車輛、路標、行人等固定物體和移動物體，是目前汽車攝像頭的主流解決方案，其依靠復(fù)雜算法進行測距，準確度低；②雙目攝像頭：通過模仿人眼的功能實現(xiàn)對物體距離和大小的感知，進而感知周邊環(huán)境，可通過視差和立體匹配計算精準測距；③三目攝像頭：通過三個攝像頭覆蓋不同范圍的場景，解決了攝像頭無法切換焦距的問題，相比于單目攝像頭和雙目攝像頭，其擁有更好的視野廣度和精度。三目攝像頭由于計算量大，對芯片的數(shù)據(jù)處理能力要求高，目前成本相對較高。1、什么是雙目立體視覺？雙目立體視覺（BinocularStereoVision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，來獲取物體三維幾何信息的方法。與單目視覺相比，雙目視覺不依賴龐大的訓(xùn)練集，測距精度較高。如下圖所示，利用左相機以及右相機同步對場景進行成像，與人類雙眼成像原理相同，在左眼右眼成像中，同一個物體所處的位置是不一樣的。如圖b所示，如果我們將左右眼成像進行對比，會發(fā)現(xiàn)近處的物體在左右眼之間的位置變化比較劇烈，而遠處的物體在左右眼中的位置差異較小。立體視覺利用視差精準測距的示意圖這種視覺差異也就是我們所說的視差，在世界坐標系中的每一點離立體相機的距離都可以通過視差來轉(zhuǎn)化。在數(shù)據(jù)計算中，視差是指同一物體在左右圖中的橫坐標之差。深度距離和視差成反比，物體距離雙目相機越遠，視差越小，離相機越近，視差越大。雙目與單目區(qū)別有幾點：首先雙目是測量距離而非估算，其次是雙目可以在不識別目標的情況獲得深度（距離）數(shù)據(jù)。下圖為雙目的距離計算公式，準確度比單目要高得多。f2、雙目立體視覺的優(yōu)點雙目立體視覺是可見光的視覺，其能力和人眼差不多，人眼能識別的雙目立體視覺基本都能識別，人眼不能識別的（如極端場景：大雪天、大雨、大霧、沒有任何紋理的白墻、玻璃以及夜晚……）雙目視覺同樣無可奈何。雙目立體視覺提供非常精確的靜止的小目標探測能力（如小型雪糕桶也可識別）。雙目立體視覺技術(shù)無需海量數(shù)據(jù)進行訓(xùn)練，也不受障礙物屬性的限制，精度非常高。通過進行信息和路面分析，可以獲得前面是否有危險。雙目立體視覺既有類似激光雷達的高密度點云的特點，又具備視覺識別的能力。我們甚至可以把雙目立體視覺傳感器近似理解為100米以內(nèi)的一個千線激光雷達+彩色相機。雙目立體視覺無需建模就可直接由立體點云提取障礙物，利用視差精準測距而非識別后估距，并可利用單路圖像識別障礙物類型，形成高質(zhì)量的單雙目融合感知數(shù)據(jù)。雙目立體視覺可以測量物體高度，對于車輛行駛過程中遇到的限高桿、天橋、隧道口等可測量其高度，避免車輛撞上限高桿或者天橋等。這也是毫米波雷達或者是單目相機無法做到的，因為涉及算力問題系統(tǒng)中無法對“限高桿”做過多分類，而“限高桿”在不同的地方形態(tài)各異，有的是橋洞，有的是小桿，有的是一個大的鐵塊，除了上述優(yōu)點之外，雙目立體視覺可以同時提供二維（圖像）、三維（距離）信息，可為智能汽車及其他智能設(shè)備提供更豐富的數(shù)據(jù)信息。兩個攝像頭之間距離為22厘米，兩個攝像頭的FOV（視場角）是53度*30度，像素為1280*960，配合大燈夜間探測距離為40米，白天為80米）寶馬的雙目全部由大陸汽車提供，奔馳的大部分雙目也由大陸汽車提供，也有部分由韓國LG提供。博世的雙目系統(tǒng)，用于LandRoverDiscoverySportSUV、Jaguar的XFL、XE之上，兩個攝像頭之間距離為12厘米，像素數(shù)為1080