智能網(wǎng)聯(lián)汽車技術(shù)教學(xué)課件

第二章無人駕駛汽車環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車技術(shù)概論研究目的

無人駕駛的成功開發(fā)涉及包括告警地圖、實(shí)時(shí)定位、障礙檢測以及安全避障等多種技術(shù)，而這所有的環(huán)節(jié)都離不開傳感器。在無人駕駛架構(gòu)中，傳感層被比作為汽車的“眼睛”，包括車載攝像頭等視覺系傳感器和車載毫米波雷達(dá)、車載激光雷達(dá)以及車載超聲波雷達(dá)等雷達(dá)系傳感器。本章將分別介紹上述三種激光雷達(dá)，雙目及單目攝像頭，以及GPS全球定位系統(tǒng)的基本工作原理及在無人駕駛中的應(yīng)用。目錄Catalogue

激光雷達(dá)1

毫米波雷達(dá)2

超聲波雷達(dá)3

單目及雙目攝像頭4

GPS全球定位系統(tǒng)5激光雷達(dá)激光雷達(dá)

無人駕駛技術(shù)包含了高精地圖、實(shí)時(shí)定位、障礙物檢測等在內(nèi)的多種技術(shù)，而激光雷達(dá)在這些技術(shù)中都能發(fā)揮重要作用。本節(jié)主要介紹激光雷達(dá)的基本工作原理及其在無人駕駛技術(shù)中的應(yīng)用與挑戰(zhàn)。激光雷達(dá)系統(tǒng)應(yīng)用構(gòu)架圖激光雷達(dá)基礎(chǔ)知識

激光雷達(dá)(LightDetectionAndRanging,LiDAR)是一種光學(xué)遙感技術(shù)，是一種可以精確、快速獲取地面或大氣三維空間信息的主動探測技術(shù)，其應(yīng)用范圍和發(fā)展前景十分廣闊。它的工作原理是：首先向目標(biāo)物體發(fā)射一束激光；然后根據(jù)接受-反射的時(shí)間間隔確定目標(biāo)物體的實(shí)際距離；再根據(jù)距離以及激光發(fā)射的角度通過幾何關(guān)系推到出物體的位置信息。此外根據(jù)反射信號的信號強(qiáng)弱和頻率變化等數(shù)，還可以確定被測目標(biāo)的運(yùn)動速度、姿態(tài)以及物體形狀信息。激光雷達(dá)關(guān)鍵技術(shù)—點(diǎn)云

無人車在運(yùn)行過程中LiDAR并不是靜止不動的。在無人車的行駛過程中，LiDAR同時(shí)以一定的角速度勻速轉(zhuǎn)動，并在轉(zhuǎn)動過程中不斷地發(fā)出激光并收集反射點(diǎn)的信息，以便得到全方位的環(huán)境信息。LiDAR在收集反射點(diǎn)距離的過程中也會同時(shí)記錄下該點(diǎn)發(fā)生的時(shí)間和水平角度(Azimuth)，并且每個(gè)激光發(fā)射器都有其編號和固定的垂直角度，根據(jù)這些數(shù)據(jù)就可以計(jì)算出所有反射點(diǎn)的坐標(biāo)。LiDAR每旋轉(zhuǎn)一周，所收集到的所有反射點(diǎn)坐標(biāo)的集合就形成了點(diǎn)云(PointCloud)。如圖展示的是谷歌無人駕駛公司W(wǎng)aymo在無人汽車上的激光雷達(dá)的布局示意圖。激光雷達(dá)的優(yōu)點(diǎn)及其在無人駕駛技術(shù)中的應(yīng)用

激光雷達(dá)主要有如下幾方面的優(yōu)點(diǎn)：（1）具有極高的分辨率。激光雷達(dá)工作于光學(xué)波段，頻率比微波高2～3個(gè)數(shù)量級以上，因此，與微波雷達(dá)相比，激光雷達(dá)具有極高的距離分辨率、角分辨率和速度分辨率。（2）抗干擾能力強(qiáng)。激光波長短，可發(fā)射發(fā)散角非常?。é蘲ad量級）的激光束，多路徑效應(yīng)?。ú粫纬啥ㄏ虬l(fā)射，與微波或者毫米波產(chǎn)生多路徑效應(yīng)），可探測低空/超低空目標(biāo)。（3）獲取的信息量豐富。可直接獲取目標(biāo)的距離、角度、反射強(qiáng)度、速度等信息，生成目標(biāo)多維度圖像。（4）可全天時(shí)工作。激光主動探測，不依賴于外界光照條件或目標(biāo)本身的輻射特性。它只需發(fā)射自己的激光束，通過探測發(fā)射激光束的回波信號來獲取目標(biāo)信息。

激光雷達(dá)的優(yōu)點(diǎn)及其在無人駕駛技術(shù)中的應(yīng)用

基于上述優(yōu)點(diǎn)，激光雷達(dá)在無人駕駛中有多種應(yīng)用，主要有面向高精度地圖的繪制、基于點(diǎn)云的定位，以及障礙物檢測等，激光雷達(dá)的應(yīng)用途徑包括：(1)高精地圖的繪制(2)無人車定位(3)障礙物檢測LiDAR技術(shù)面臨的挑戰(zhàn)

(1)技術(shù)挑戰(zhàn)材質(zhì)由于激光雷達(dá)基于對激光脈沖返回傳感器所需時(shí)間的測量，因此高反射率的表面會帶來問題。大多數(shù)材料從微觀水平上看表面粗糙，并且向所有方向散射光；這類散射光的一小部分返回到傳感器，并且足以產(chǎn)生距離數(shù)據(jù)。然而，如果表面反射率非常高，光就會向遠(yuǎn)離傳感器的方向散射，那么這一區(qū)域的點(diǎn)云就會不完整。環(huán)境空氣中的環(huán)境也可以對激光雷達(dá)讀數(shù)造成影響?？諝庵械膽腋∥飼馑佼a(chǎn)生影響。因而大霧和雨天均會減弱影響激光雷的精度，并且研究表明，雨滴的半徑及其在空中的分布密度直接決定了激光在傳播過程中與之相撞的概率。相撞概率越高，激光的傳播速度受到的影響越大。為了解決這些問題，較大功率的激光器投入使用，但它對于無人汽車這種較小的、移動的以及對功率敏感型的應(yīng)用來說并不是一個(gè)好的解決方案。LiDAR技術(shù)面臨的挑戰(zhàn)

(2)計(jì)算挑戰(zhàn)激光雷達(dá)系統(tǒng)面臨的另一個(gè)挑戰(zhàn)是計(jì)算量問題。受復(fù)雜的光學(xué)器件旋轉(zhuǎn)速度的限制，普通LiDAR旋轉(zhuǎn)時(shí)的刷新速率相對較慢。通常情況下LiDAR系統(tǒng)最快的旋轉(zhuǎn)速率大約是10Hz，這限制了數(shù)據(jù)流的刷新速率。當(dāng)傳感器旋轉(zhuǎn)時(shí)，假設(shè)以60km/h行駛的汽車在1/10秒內(nèi)行進(jìn)1.67米，因此傳感器對于在汽車駛過期間在這1.67米內(nèi)發(fā)生的變化是無法檢測到的。更重要的是，激光雷達(dá)在理想條件下的覆蓋范圍為100-120米，這對于以60km/h行駛的汽車來說僅需6-7秒的行駛時(shí)間。因此為了解決無人汽車的行駛過程造成的LiDAR監(jiān)測不準(zhǔn)確的問題，一個(gè)比較通用的方式是提升LiDAR的采樣刷新速率。但這也會導(dǎo)致嚴(yán)重的計(jì)算挑戰(zhàn)。即使是最低的16線LiDAR每秒鐘要處理的點(diǎn)也要達(dá)到30萬個(gè)。如此大量的數(shù)據(jù)處理使得無人車定位算法和障礙物檢查算法的實(shí)時(shí)性受到極大的影響。LiDAR技術(shù)面臨的挑戰(zhàn)

(3)成本挑戰(zhàn)對于激光雷達(dá)來說，高昂的設(shè)備成本是它需要克服的最大挑戰(zhàn)之一。盡管自該技術(shù)得到應(yīng)用以來其成本已大幅降低，但仍然是它被大范圍采用的一個(gè)重要障礙。對于主流汽車工業(yè)來說，價(jià)值2萬美元以上的傳感器將無法被市場接受，因此無疑會大大阻礙無人車的商業(yè)化。毫米波雷達(dá)

毫米波雷達(dá)基本原理

毫米波(MillimeterWave,MMW)是指長度在110mm的電磁波，對應(yīng)的頻率范圍為30300GHz。毫米波位于微波與遠(yuǎn)紅外波相交疊的波長范圍，所以毫米波兼有這兩種波譜的優(yōu)點(diǎn)，同時(shí)也有自己獨(dú)特的性質(zhì)。毫米波雷達(dá)(MillimeterWaveRadar)測距原理很簡單，就是把無線電波(毫米波)發(fā)出去，然后接收回波，并根據(jù)收發(fā)的時(shí)間差測得目標(biāo)的位置數(shù)據(jù)和相對距離。根據(jù)電磁波的傳播速度，可以確定目標(biāo)的距離為：s=ct/2，其中s為目標(biāo)距離，t為電磁波從雷達(dá)發(fā)射出去到接收到目標(biāo)回波的時(shí)間，c為光速，也即電磁波傳播的速度。毫米波雷達(dá)在汽車ADAS中的應(yīng)用

對于車輛安全來說，最主要的判斷依據(jù)就是兩車之間的相對距離和相對速度信息。特別車輛在高速行駛中，如果兩車的距離過近，是容易導(dǎo)致追尾事故。憑借出色的測距測速能力，毫米波雷達(dá)被廣泛地應(yīng)用在自適應(yīng)巡航控制（ACC）、前向防撞報(bào)警（FCW）、盲點(diǎn)檢測（BSD）、輔助停車（PA）、輔助變道（LCA）等汽車ADAS中。本書主要介紹毫米波雷達(dá)在自適應(yīng)巡航、自動緊急制動、前向防撞預(yù)警以及變道輔助三個(gè)ADAS功能中的應(yīng)用。(1)基于毫米波雷達(dá)的自適應(yīng)巡航(2)基于毫米波雷達(dá)的自動緊急制動(3)前方防撞預(yù)警功能(4)變道輔助

展望未來—智能毫米波雷達(dá)開發(fā)

毫米波雷達(dá)作為汽車ADAS的最核心傳感器之一，目前最大的“缺陷”就是因分辨率不高，無法辨識行人和對周圍障礙物進(jìn)行精準(zhǔn)的建模，而高分辨率智能雷達(dá)傳感器對于實(shí)現(xiàn)高級自動駕駛至關(guān)重要。所以有些毫米波雷達(dá)企業(yè)正著力于開發(fā)雷達(dá)的成像技術(shù)。為了實(shí)現(xiàn)兩技術(shù)的結(jié)合，各毫米波雷達(dá)企業(yè)采用不同的技術(shù)進(jìn)行了大膽的創(chuàng)新。其中表現(xiàn)比較突出的有：麥得威國際（Metawave）新一代成像雷達(dá)產(chǎn)品WARLORD和ArbeRobotics公司Ultres系統(tǒng)。前者采用了新型的超材料天線，能發(fā)射可操控的高度定向的電磁波束，同時(shí)在雷達(dá)產(chǎn)品中嵌入了AI引擎，以實(shí)現(xiàn)對物體的發(fā)現(xiàn)、識別、跟蹤和分類；而后者的雷達(dá)方案是基于數(shù)學(xué)算法的合成孔徑雷達(dá)（SAR）成像技術(shù)，所謂SAR成像技術(shù)是指利用大帶寬發(fā)射信號實(shí)現(xiàn)距離向高分辨率、利用相對運(yùn)動等效長合成陣列實(shí)現(xiàn)方位向高分辨率的雷達(dá)成像技術(shù)）。雖然這些成像技術(shù)目前還有一些待改善的地方，不過都已經(jīng)取得不錯的突破性進(jìn)展，相信在不久的L4級和L5級自動駕駛汽車上發(fā)揮重要作用。超聲波雷達(dá)

超聲波雷達(dá)工作原理

與毫米波雷達(dá)類似，超聲波雷達(dá)(UltraSonicRadar)的工作原理是通過超聲波發(fā)射裝置向外發(fā)出超聲波，到通過接收器接收到發(fā)送過來超聲波時(shí)的時(shí)間差來測算距離。超聲波雷達(dá)的常用探頭的工作頻率有40kHz,48kHz和58kHz三種。一般來說，頻率越高，靈敏度越高，但水平與垂直方向的探測角度就越小，故一般采用40kHz的探頭。超聲波雷達(dá)防水、防塵，即使有少量的泥沙遮擋也不影響。探測范圍在0.1-3米之間，而且精度較高，因此非常適合應(yīng)用于泊車。車載超聲波雷達(dá)一般安裝在汽車的保險(xiǎn)杠上方，隱藏在保險(xiǎn)杠的某個(gè)位置。常見車載超聲波雷達(dá)

常見的超聲波雷達(dá)有兩種。第一種稱為UPA，安裝在汽車前后保險(xiǎn)杠上，是用于測量汽車前后障礙物的倒車?yán)走_(dá)；第二種稱為APA，安裝在汽車側(cè)面，用于測量側(cè)方障礙物距離。超聲波雷達(dá)的應(yīng)用

超聲波的能量消耗較緩慢，在介質(zhì)中傳播的距離比較遠(yuǎn)，穿透性強(qiáng)。并且超聲波雷達(dá)價(jià)格只有幾十到幾百元人民幣，且技術(shù)成熟穩(wěn)定。因此超聲波雷達(dá)除了可以用于障礙物檢測外，還可以在無人駕駛中有多種應(yīng)用：(1)泊車庫位檢測(2)高速橫向輔助超聲波雷達(dá)的挑戰(zhàn)

由于超聲波的傳輸速度很容易受天氣情況的影響，尤其是超聲波有較強(qiáng)的溫度敏感性，在不同的溫度下，傳輸速度不同。超聲波傳播速度與環(huán)境溫度T近似成正相關(guān)關(guān)系。因此相同相對位置的障礙物，在不同溫度的場景下，測量的距離不同。對傳感器精度要求極高的自動駕駛系統(tǒng)來說，要么選擇將超聲波雷達(dá)的測距進(jìn)行保守計(jì)算；要么將溫度信息引入自動駕駛系統(tǒng)，提升測量精度。此外由于相比于光與電磁波，超聲波的傳播速度較慢，當(dāng)汽車高速行駛時(shí)，使用超聲波測距無法跟上汽車的車距實(shí)時(shí)變化。因此超聲波雷達(dá)在速度很高的情況下測距離一定的局限性，誤差較大。另一方面，超聲波散射角大，方向性較差，在測量較遠(yuǎn)距離的目標(biāo)時(shí)，其回波信號會比較弱，影響測量精度。但是，在短距離測量中，超聲波測距傳感器具有非常大的優(yōu)勢。

單目及雙目攝像頭單目視覺

單目視覺(MonocularVision)是指通過單個(gè)攝像頭拍攝的圖像來實(shí)現(xiàn)三維空間的重建。單目視覺獲得的圖像本質(zhì)上是2D的，當(dāng)知道物體的實(shí)際大小時(shí)，利用相機(jī)的小孔成像模型即可以獲知距離。

用一個(gè)簡單的公式計(jì)算前方物體與攝像機(jī)之間的距離：

基于單目視覺測距關(guān)鍵技術(shù)

(1)道路檢測由于基于單目視覺的目標(biāo)測距需要先對目標(biāo)物體進(jìn)行識別，再針對物體進(jìn)行測距。因此在目標(biāo)識別前盡可能的去除掉畫面中的無關(guān)背景與前景對于降低算法計(jì)算量有重要意義。通過識別車道線可以有效鎖定目標(biāo)識別區(qū)域。目前，車道線檢測算法主要適用于光照充足的環(huán)境下。由于車道線與路面之間對比度大，因此很容易利用各種常規(guī)邊緣檢測算子獲得清晰的車道輪廓信息，然后選取合適的閾值對圖像進(jìn)行二值化處理，最后采用Hough變換識別車道線。然而在復(fù)雜光照環(huán)境下，圖像會受到各種光線直射和物體多次反射形成雜散光的干擾，圖像光強(qiáng)不能反映車道本身突變性質(zhì)，導(dǎo)致無法正確檢測出車道。在這種情況下可以利用光密度差得到車道標(biāo)線與路面反射率差，進(jìn)而進(jìn)行非線性邊緣檢測，再進(jìn)行Hough變換的車道檢測算法。此算法可以有效解決在復(fù)雜光照條件下的車道檢測，也可以用于夜間的車道檢測。另外，目前車道線的跟蹤研究主要采用固定區(qū)域法或者Kalman濾波法，根據(jù)前一幀車道線檢測的結(jié)果來劃分感興趣區(qū)域，以實(shí)時(shí)跟蹤車道線。然而，固定區(qū)域法對2幀圖像的相關(guān)性依賴大，劃分感興趣區(qū)域大，實(shí)時(shí)性差;而Kalman濾波法劃分感興趣區(qū)域小，容易產(chǎn)生檢測誤差，而造成跟蹤誤差累積，跟蹤正確率不高。在這種情況下可以在跟蹤車道線時(shí)采用一種融合固定區(qū)域法和KaIman濾波法劃分感興趣區(qū)域的新方法：一般來說，只將車道邊界線交點(diǎn)(即滅點(diǎn))以下、2車道線之間的區(qū)域作為感興趣區(qū)域，考慮到跨道行駛的車輛依然對本車有威脅，算法把兩車道線分別向兩側(cè)平移40個(gè)像素，使感興趣區(qū)域擴(kuò)展到可以覆蓋跨道車輛的范圍。

基于單目視覺測距關(guān)鍵技術(shù)

(2)車輛檢測圖像中包含車輛前方很大視野內(nèi)的物體，如道路、樹木、護(hù)欄、標(biāo)牌以及其他車輛，要從中準(zhǔn)確檢測出前方車輛是一項(xiàng)困難的工作。要實(shí)現(xiàn)車輛的快速檢測，首先需要根據(jù)車輛的基本特征進(jìn)行初步檢測，將所有可能的疑似車輛區(qū)域從圖像中提取出來，然后再根據(jù)其他特征對疑似區(qū)域進(jìn)行篩選排除。

基于單目視覺測距關(guān)鍵技術(shù)

(3)車輛跟蹤現(xiàn)關(guān)心的是前方車輛與本車相對的二維位置和速度，因此只需要使用卡爾曼濾波器預(yù)測橫坐標(biāo)x、橫向速度vx、縱坐標(biāo)y、縱向坐標(biāo)vy這四個(gè)狀態(tài)向量。此外由于x方向和y方向的狀態(tài)向量沒有直接聯(lián)系，所以可以將其分為兩組分別處理。在車輛行駛過程中，由于顛簸或遮擋等原因，系統(tǒng)可能會將路牌、灌木叢等物體誤認(rèn)為是車輛檢測出來，產(chǎn)生虛警。而這些虛警物體往往只能在連續(xù)數(shù)幀圖像中存在。如果不采取措施，系統(tǒng)就會時(shí)常產(chǎn)生短促的報(bào)警。當(dāng)圖像采樣間隔足夠短時(shí)，相鄰幀內(nèi)同一車輛的位置會具有很大的相關(guān)性。通過采用檢測與跟蹤相結(jié)合的方法，根據(jù)第n幀圖像獲得的信息，預(yù)測車輛在第n+1幀圖像中的位置等信息，并與n+1幀圖像中實(shí)際檢測到的結(jié)果進(jìn)行比對。如果二者匹配度最大且超出一定值，則認(rèn)定為同一車輛，繼續(xù)進(jìn)行跟蹤、報(bào)警，否則認(rèn)為此車已被遮擋或消失，暫時(shí)不做處理，數(shù)幀后將被剔除出去。

基于單目視覺測距關(guān)鍵技術(shù)

(4)測距報(bào)警車間測距通常采用幾何投影模型，本書采用一種簡化的車距模型公式：L×W=C。其中L為兩車間距，單位為m；W為圖像上目標(biāo)車輛處車道寬度，單位為pixel；C為常數(shù)，可通過事先的標(biāo)定獲得。然而兩車間安全車距S采用文獻(xiàn)推導(dǎo)的臨界安全車距公式動態(tài)得到：式中：vr為相對車速，由對測出車距求導(dǎo)得到相對車速后進(jìn)行卡爾曼濾波得到;vb為本車車速，可由GPS或車載雷達(dá)得到。應(yīng)當(dāng)注意的是，如果告警頻率過高，容易使駕駛員麻痹大意，過低可能使駕駛員來不及做出反應(yīng)，因此可以采用由遠(yuǎn)至近的三段報(bào)警。若車距d≥1.5S，判定為3級威脅，發(fā)出長而緩的報(bào)警聲，提醒駕駛員前方有障礙物，但暫無危險(xiǎn)；若車距S≤d≤1.5S，判定為2級威脅，發(fā)出較急促的報(bào)警聲，提醒駕駛員減速；若車距d≤S，判定為1級威脅，發(fā)出短而急的報(bào)警聲，提醒駕駛員制動；3種狀態(tài)下的告警聲差異很大，駕駛員可以很容易地根據(jù)報(bào)警聲判斷威脅等級。

超聲波的能量消耗較緩慢，在介質(zhì)中傳播的距離比較遠(yuǎn)，穿透性強(qiáng)。并且超聲波雷達(dá)價(jià)格只有幾十到幾百元人民幣，且技術(shù)成熟穩(wěn)定。因此超聲波雷達(dá)除了可以用于障礙物檢測外，還可以在無人駕駛中有多種應(yīng)用：(1)泊車庫位檢測(2)高速橫向輔助單目視覺的評價(jià)

相比于基于雙目視覺和采用雷達(dá)測距的方式，基于單目視覺的車輛檢測于測距方式有著不可替代的優(yōu)勢：（1）相比于雙目視覺測距系統(tǒng)，單目視覺系統(tǒng)結(jié)構(gòu)更加簡單，成本更低。（2）基于單目視覺的距離計(jì)算過程中運(yùn)算量更小，并且相比于雙目測距，由于單目存在幾何模型約束優(yōu)勢，使得其具有更高的精度與魯棒性。（3）單目視覺有效視場更大：單目視覺的剛體定位不僅不依賴多個(gè)相機(jī)，定位空間還可以通過多個(gè)相機(jī)進(jìn)行擴(kuò)展而不發(fā)生視場范圍損失?；陔p目視覺測距的工作原理

雙目視覺(BinocularVision)是機(jī)器視覺的一種重要形式，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。與人類使用雙眼觀察物體的遠(yuǎn)近類似,雙目視覺測量傳感器是通過兩臺攝像機(jī)同時(shí)攝取一個(gè)光條的圖像,再通過兩幅圖像的匹配,得到光條上所有像素點(diǎn)分別在兩幅圖像中的位置,利用視差,即可計(jì)算該點(diǎn)的位置以及深度信息。雙目立體視覺系統(tǒng)一般由雙攝像機(jī)從不同角度同時(shí)獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，重建物體三維輪廓及位置。基于雙目視覺的測距關(guān)鍵技術(shù)

(1)圖像獲取雙目體視的圖像獲取是由不同位置的兩臺或者一臺攝像機(jī)(CCD)經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，獲取立體圖像對。在如圖2-18所示的針孔模型中，假定攝像機(jī)C1與C2的角距和內(nèi)部參數(shù)都相等，兩攝像機(jī)的光軸互相平行，二維成像平面uO1v和uO2v重合，P1與P2分別是空間點(diǎn)P在C1與C2上的成像點(diǎn)。但一般情況下，針孔模型兩個(gè)攝像機(jī)的內(nèi)部參數(shù)不可能完成相同，攝像機(jī)安裝時(shí)無法看到光軸和成像平面，故實(shí)際中難以應(yīng)用。相關(guān)機(jī)構(gòu)對會聚式雙目體視系統(tǒng)的測量精度與系統(tǒng)結(jié)構(gòu)參數(shù)之間的關(guān)系作了詳盡分析，并通過試驗(yàn)指出，對某一特定點(diǎn)進(jìn)行三角測量。該點(diǎn)測量誤差與兩CCD光軸夾角是一復(fù)雜的函數(shù)關(guān)系；若兩攝像頭光軸夾角一定，則被測坐標(biāo)與攝像頭坐標(biāo)系之間距離越大，測量得到點(diǎn)距離的誤差就越大。在滿足測量范圍的前提下，應(yīng)選擇兩CCD之間夾角在50～80之間。基于雙目視覺的測距關(guān)鍵技術(shù)

(2)攝像機(jī)的標(biāo)定對雙目體視而言，CCD攝像機(jī)是利用計(jì)算機(jī)技術(shù)對物理世界進(jìn)行重建前的基本測量工具，對它的標(biāo)定是實(shí)現(xiàn)立體視覺基本而又關(guān)鍵的一步。通常先采用單攝像機(jī)的標(biāo)定方法，分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)；再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)來建立兩個(gè)攝像機(jī)之間的位置關(guān)系。目前常用的單攝像機(jī)標(biāo)定方法主要有如下物種，它們有各自的優(yōu)缺點(diǎn)：

1）攝影測量學(xué)的傳統(tǒng)設(shè)備標(biāo)定法。利用至少17個(gè)參數(shù)描述攝像機(jī)與三維物體空間的結(jié)束關(guān)系，計(jì)算量非常大。

2）直接線性變換性。涉及的參數(shù)少、便于計(jì)算。

3）透視變換短陣法。從透視變換的角度來建立攝像機(jī)的成像模型，無需初始值，可進(jìn)行實(shí)時(shí)計(jì)算。

4）相機(jī)標(biāo)定的兩步法。首先采用透視短陣變換的方法求解線性系統(tǒng)的攝像機(jī)參數(shù)，再以求得的參數(shù)為初始值，考慮畸變因素，利用最優(yōu)化方法求得非線性解，標(biāo)定精度較高。

5）雙平面標(biāo)定法。在雙攝像機(jī)標(biāo)定中，需要精確的外部參數(shù)。由于結(jié)構(gòu)配置很難準(zhǔn)確，兩個(gè)攝像機(jī)的距離和視角受到限制，一般都需要至少6個(gè)以上（建議取10個(gè)以上）的已知世界坐標(biāo)點(diǎn)，才能得到比較滿意的參數(shù)矩陣，所以實(shí)際測量過程不但復(fù)雜，而且效果并不一定理想，大大地限制了其應(yīng)用范圍。此外雙攝像機(jī)標(biāo)定還需考慮鏡頭的非線性校正、測量范圍和精度的問題，目前戶外的應(yīng)用還有少?；陔p目視覺的測距關(guān)鍵技術(shù)

(3)特征點(diǎn)提取立體像對中需要撮的特征點(diǎn)應(yīng)滿足以下要求：與傳感器類型及抽取特征所用技術(shù)等相適應(yīng)；具有足夠的魯棒性和一致性。需要說明的是：在進(jìn)行特征點(diǎn)像的坐標(biāo)提取前，需對獲取的圖像進(jìn)行預(yù)處理。因?yàn)樵趫D像獲取過程中，存在一系列的噪聲源，通過此處理可顯著改進(jìn)圖像質(zhì)量，使圖像中特征點(diǎn)更加突出?；陔p目視覺的測距關(guān)鍵技術(shù)

(4)立體匹配立體匹配是雙目體視中最關(guān)系、困難的一步。與普通的圖像配準(zhǔn)不同，立體像對之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的，而不是由其它如景物本身的變化、運(yùn)動所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、特征匹配和相位匹配三大類。區(qū)域匹配算法的實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，它在變化平緩且細(xì)節(jié)豐富的地方可以達(dá)到較高的精度。但該算法的匹配窗大小難以選擇，通常借助于窗口形狀技術(shù)來改善視差不連續(xù)處的匹配；其次是計(jì)算量大、速度慢，采取由粗至精分級匹配策略能大大減少搜索空間的大小，與匹配窗大小無關(guān)的互相關(guān)運(yùn)算能顯著提高運(yùn)算速度。特征匹配不直接依賴于灰度，具有較強(qiáng)的抗干擾性，計(jì)算量小，速度快。但也同樣存一些不足：特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場；特征的撮和定位過程直接影響匹配結(jié)果的精確度。改善辦法是將特征匹配的魯棒性和區(qū)域匹配的致密性充分結(jié)合，利用對高頻噪聲不敏感的模型來提取和定位特征。相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決。基于雙目視覺的測距關(guān)鍵技術(shù)

(5)三維重建在得到空間任一點(diǎn)在兩個(gè)圖像中的對應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，即可進(jìn)行空間點(diǎn)的重建。通過建立以該點(diǎn)的世界坐標(biāo)為未知數(shù)的4個(gè)線性方程，可以用最小二乘法求解得該點(diǎn)的世界坐標(biāo)。空間點(diǎn)、兩攝像機(jī)的光心這三點(diǎn)組成的平面分別與兩個(gè)成像平面的交線稱為該空間點(diǎn)在這兩個(gè)成像平面中的極線。一旦兩攝像機(jī)的內(nèi)外參數(shù)確定，就可通過兩個(gè)成像平面上的極線的約束關(guān)系建立對應(yīng)點(diǎn)之間的關(guān)系，并由此聯(lián)立方程，求得圖像點(diǎn)的世界坐標(biāo)值。對圖像的全像素的三維重建目前僅能針對某一具體目標(biāo)，計(jì)算量大且效果不明顯。雙目視覺的評價(jià)

基于雙目視覺的無人車感知過程具有很多獨(dú)特的優(yōu)勢，但是也有其不能忽視的缺點(diǎn)。

優(yōu)點(diǎn)：（1）從測距原理上來說，相比于單目視覺，雙目視覺像人類的雙眼，主要通過兩幅圖像的視差計(jì)算來確定距離，因此雙目攝像頭不需要知道障礙物是什么，只要通過計(jì)算就可以測距。從這一角度來說基于雙面視覺的測距算法無需大量訓(xùn)練集數(shù)據(jù)，簡化了障礙物測距過程。（2）在測距精度上，基于雙目視覺的測距方法比基于單目視覺的測距方法精度要高。（3）對相機(jī)硬件要求低，成本也相對較低。因?yàn)椴恍枰馮OF和結(jié)構(gòu)光那樣使用特殊的發(fā)射器和接收器，使用普通的消費(fèi)級RGB相機(jī)即可。（4）室內(nèi)外都適用。由于直接根據(jù)環(huán)境光采集圖像，所以在室內(nèi)、室外都能使用。相比之下，TOF和結(jié)構(gòu)光基本只能在室內(nèi)使用。雙目視覺的評價(jià)

缺點(diǎn)：（1）對環(huán)境光照非常敏感。雙目立體視覺法依賴環(huán)境中的自然光線采集圖像，而由于光照角度變化、光照強(qiáng)度變化等環(huán)境因素的影響，拍攝的兩張圖片亮度差別會比較大，這會對匹配算法提出很大的挑戰(zhàn)。另外，在光照較強(qiáng)（會出現(xiàn)過度曝光）和較暗的情況下也會導(dǎo)致算法效果急劇下降。（2）不適用于單調(diào)缺乏紋理的場景。由于雙目立體視覺法根據(jù)視覺特征進(jìn)行圖像匹配，所以對于缺乏視覺特征的場景（如天空、白墻、沙漠等）會出現(xiàn)匹配困難，導(dǎo)致匹配誤差較大甚至匹配失敗。（3）計(jì)算復(fù)雜度高。該方法是純視覺的方法，需要逐像素計(jì)算匹配；又因?yàn)樯鲜龆喾N因素的影響，需要保證匹配結(jié)果比較魯棒，所以算法中會增加大量的錯誤剔除策略，因此對算法要求較高，想要實(shí)現(xiàn)可靠商用難度大，計(jì)算量較大。（4）相機(jī)基線限制了測量范圍。測量范圍和基線（兩個(gè)攝像頭間距）關(guān)系很大：基線越大，測量范圍越遠(yuǎn)；基線越小，測量范圍越近。所以基線在一定程度上限制了該深度相機(jī)的測量范圍。GPS全球定位系統(tǒng)GPS定位原理——三邊測量法定位

GPS定位系統(tǒng)采用衛(wèi)星基本三角定位原理，以GPS接收裝置測量無線電信號的傳輸時(shí)間來測距離。由每顆衛(wèi)星的所在位置，測量每顆衛(wèi)星至接受器間距離，便可以算出接受器所在位置之三維空間坐標(biāo)值。使用者只要利用接受裝置接收到3個(gè)衛(wèi)星信號，就可以定出使用者所在之位置。在實(shí)際應(yīng)用中，GPS接受裝置都是利用4個(gè)以上衛(wèi)星信號，來定位出使用者所在之位置及高度。GPS定位系統(tǒng)中存在的誤差問題

行車定位是無人駕駛最核心的技術(shù)之一，全球定位系統(tǒng)(GPS)在無人駕駛定位中擔(dān)負(fù)著相當(dāng)重要的職責(zé)。然而無人車是在復(fù)雜的動態(tài)環(huán)境中行駛，尤其在大城市，GPS多路徑反射的問題會很明顯，這樣得到的GPS定位信息很容易就有幾米的誤差。對于在有限寬度高速行駛的汽車來說，這樣的誤差很有可能導(dǎo)致交通事故。此外，由于GPS的更新頻率低(10Hz)，在車輛快速行駛時(shí)很難給出精準(zhǔn)的實(shí)時(shí)定位。因此我們必須借助其他傳感器來輔助定位，增強(qiáng)定位的精度。其中最常用的就是慣性傳感器(InertialMeasurementUnit,IMU)。I