智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)

1、智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)第1頁(yè) 第 2 頁(yè)智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)2.1 環(huán)境感知定義與組成2.2 環(huán)境感知傳感器2.3 道路識(shí)別2.4 車輛識(shí)別2.5 行人識(shí)別2.6 交通標(biāo)志識(shí)別2.7 交通信號(hào)燈識(shí)別第2頁(yè) 第 3 頁(yè)第3頁(yè) 第 4 頁(yè)第4頁(yè) 第 5 頁(yè)2.1 環(huán)境感知系統(tǒng)定義與組成定義環(huán)境感知就是利用車載超聲波傳感器、毫米波雷達(dá)、激光雷達(dá)、視覺(jué)傳感器，以及V2X通信技術(shù)等獲取道路、車輛位置和障礙物信息，并將這些信息傳輸給車載控制中心，為智能網(wǎng)聯(lián)汽車提供決議依據(jù)，是ADAS實(shí)現(xiàn)第一步第5頁(yè)2.1.1 環(huán)境感知定義2022/9/12第6頁(yè)2.1.1 環(huán)境感知定義2022/9/12環(huán)境感知對(duì)象

2、主要有道路、車輛、行人、各種障礙物、交通標(biāo)志、交通信號(hào)燈等第7頁(yè)2.1.2 環(huán)境感知組成2022/9/12第8頁(yè)2.1.2 環(huán)境感知組成2022/9/12第9頁(yè)2. 2 環(huán)境感知傳感器2.2.1 環(huán)境感知傳感器類型與配置1.環(huán)境感知傳感器類型超聲波傳感器毫米波雷達(dá)激光雷達(dá)視覺(jué)傳感器2022/9/12第10頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第11頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2.環(huán)境感知傳感器配置環(huán)境感知傳感器主要有超聲波傳感器、毫米波雷達(dá)、激光雷達(dá)、單/雙/三目攝像頭、環(huán)視攝像頭等2022/9/12第12頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第1

3、3頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第14頁(yè)2.2.1 環(huán)境感知傳感器類型與配置通用企業(yè)用于研究L4級(jí)自動(dòng)駕駛技術(shù)Bolts5個(gè)16線束激光雷達(dá)21個(gè)毫米波雷達(dá)16個(gè)攝像頭2022/9/12第15頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第16頁(yè)2.2.1 環(huán)境感知傳感器類型與配置3.環(huán)境感知傳感器布局2022/9/12第17頁(yè)2.2.1 環(huán)境感知傳感器類型與配置4.環(huán)境感知傳感器融合2022/9/12第18頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第19頁(yè)2.2.1 環(huán)境感知傳感器類型與配置2022/9/12第20頁(yè)2.2.1 環(huán)境感知傳感器

4、類型與配置圖像級(jí)融合是以視覺(jué)傳感器為主體，將毫米波雷達(dá)輸出整體信息進(jìn)行圖像特征轉(zhuǎn)化，然后與視覺(jué)系統(tǒng)圖像輸出進(jìn)行融合目標(biāo)級(jí)融合是對(duì)視覺(jué)傳感器和毫米波雷達(dá)輸出進(jìn)行綜合可信度加權(quán)，配合精度標(biāo)定信息進(jìn)行自適應(yīng)搜索匹配后融合輸出信號(hào)級(jí)融合是對(duì)視覺(jué)傳感器和毫米波雷達(dá)傳出數(shù)據(jù)源進(jìn)行融合。信號(hào)級(jí)別融合數(shù)據(jù)損失最小，可靠性最高，但需要大量運(yùn)算2022/9/12第21頁(yè)2.2.2超聲波傳感器定義聲音以波形式傳輸稱為聲波頻率大于20000Hz聲波稱為超聲波頻率小于20Hz聲波稱為次聲波頻率為2020000Hz聲波就是人能夠聽(tīng)見(jiàn)聲波2022/9/12第22頁(yè)2.2.2超聲波傳感器特點(diǎn)探測(cè)距離短，有盲區(qū)對(duì)色彩、光照度不

5、敏感對(duì)光線和電磁場(chǎng)不敏感簡(jiǎn)單，體積小，成本低2022/9/12第23頁(yè)2.2.2超聲波傳感器測(cè)距原理2022/9/12第24頁(yè)2.2.2超聲波傳感器類型駐車輔助傳感器（UPA，PDC）15250cm泊車輔助傳感器（APA，PLA）30500cm2022/9/12第25頁(yè)2.2.2超聲波傳感器主要參數(shù)測(cè)量范圍：15500cm測(cè)量精度：測(cè)量值與真實(shí)值偏差波束角：能量強(qiáng)度減小二分之一處角度工作頻率：40kHz左右抗干擾性能：噪聲干擾反射回來(lái)超聲波，2022/9/12第26頁(yè)2.2.2超聲波傳感器應(yīng)用最常見(jiàn)是自動(dòng)泊車輔助系統(tǒng)2022/9/12第27頁(yè)2.2.2超聲波傳感器應(yīng)用前視攝像頭、前置毫米波雷達(dá)

6、和12個(gè)超聲波傳感器2022/9/12第28頁(yè)2.2.3毫米波雷達(dá)定義工作在毫米波頻段雷達(dá)。毫米波是指長(zhǎng)度為110mm電磁波，對(duì)應(yīng)頻率為30300GHz；主要用于自適應(yīng)巡航控制系統(tǒng)、自動(dòng)制動(dòng)輔助系統(tǒng)、盲區(qū)監(jiān)測(cè)系統(tǒng)、行人檢測(cè)等2022/9/12第29頁(yè)2.2.3毫米波雷達(dá)特點(diǎn)探測(cè)距離遠(yuǎn)，250m以上探測(cè)性能好響應(yīng)速度快適應(yīng)能力強(qiáng)抗干擾能力強(qiáng)覆蓋區(qū)域呈扇形，有盲點(diǎn)區(qū)域無(wú)法識(shí)別交通標(biāo)志無(wú)法識(shí)別交通信號(hào)2022/9/12第30頁(yè)2.2.3毫米波雷達(dá)類型按工作原理分類：脈沖式、調(diào)頻式連續(xù)毫米波雷達(dá)按探測(cè)距離分類：短程（200m）毫米波雷達(dá)按頻段分類：24GHz、60GHz、77GHz和79GHz毫米波雷

7、達(dá)2022/9/12第31頁(yè)2.2.3毫米波雷達(dá)類型77GHz毫米波雷達(dá)與24GHz毫米波雷達(dá)相比具有以下不一樣（1）77GHz毫米波雷達(dá)探測(cè)距離更遠(yuǎn)（2）77GHz毫米波雷達(dá)體積更?。?）77GHz毫米波雷達(dá)所需要工藝更高（4）77GHz毫米波雷達(dá)檢測(cè)精度更好（5）77GHz毫米波雷達(dá)射頻芯片不輕易獲取2022/9/12第32頁(yè)2.2.3毫米波雷達(dá)測(cè)量原理調(diào)頻式連續(xù)毫米波雷達(dá)是利用多普勒效應(yīng)測(cè)量得出目標(biāo)距離和速度2022/9/12第33頁(yè)2.2.3毫米波雷達(dá)工作過(guò)程2022/9/12第34頁(yè)2.2.3毫米波雷達(dá)布置正向布置，與路面夾角最大偏差不超出5側(cè)向布置，前45夾角，后30夾角布置高度，

8、 500（滿載）800 mm（空載）2022/9/12第35頁(yè)2.2.3毫米波雷達(dá)主要指標(biāo)2022/9/12第36頁(yè)2.2.3毫米波雷達(dá)主要指標(biāo)2022/9/12第37頁(yè)2.2.3毫米波雷達(dá)主要指標(biāo)2022/9/12第38頁(yè)2.2.3毫米波雷達(dá)應(yīng)用自適應(yīng)巡航控制系統(tǒng)（找網(wǎng)上相關(guān)視頻播放）2022/9/12第39頁(yè)2.2.3毫米波雷達(dá)應(yīng)用前向碰撞預(yù)警系統(tǒng)2022/9/12第40頁(yè)2.2.3毫米波雷達(dá)應(yīng)用自動(dòng)制動(dòng)輔助系統(tǒng)2022/9/12第41頁(yè)2.2.3毫米波雷達(dá)應(yīng)用盲區(qū)監(jiān)測(cè)系統(tǒng)2022/9/12第42頁(yè)2.2.3毫米波雷達(dá)應(yīng)用自動(dòng)泊車輔助系統(tǒng)2022/9/12第43頁(yè)2.2.3毫米波雷達(dá)應(yīng)用變

9、道輔助系統(tǒng)：盲區(qū)監(jiān)測(cè)、變道預(yù)警、后向碰撞預(yù)警2022/9/12第44頁(yè)2.2.3毫米波雷達(dá)應(yīng)用后向碰撞預(yù)警系統(tǒng)2022/9/12第45頁(yè)2.2.3毫米波雷達(dá)2022/9/12第46頁(yè)2.2.4激光雷達(dá)定義激光雷達(dá)是工作在光波頻段雷達(dá)，它利用光波頻段電磁波先向目標(biāo)發(fā)射探測(cè)信號(hào)，然后將其接收到同波信號(hào)與發(fā)射信號(hào)相比較，從而取得目標(biāo)位置（距離、方位和高度）、運(yùn)動(dòng)狀態(tài)（速度、姿態(tài)）等信息，實(shí)現(xiàn)對(duì)目標(biāo)探測(cè)、跟蹤和識(shí)別2022/9/12第47頁(yè)2.2.4激光雷達(dá)定義2022/9/12第48頁(yè)2.2.4激光雷達(dá)特點(diǎn)探測(cè)范圍廣：可達(dá)300m以上。分辨率高：距離分辨率可達(dá)0.1m；速度分辨率能到達(dá)10m/s以內(nèi)

10、；角度分辨率不低于0.1mard信息量豐富：探測(cè)目標(biāo)距離、角度、反射強(qiáng)度、速度等信息，生成目標(biāo)多維度圖像可全天候工作：不依賴于外界條件或目標(biāo)本身輻射特征與毫米波雷達(dá)相比，產(chǎn)品體積大，成本高。不能識(shí)別交通標(biāo)志和交通信號(hào)燈2022/9/12第49頁(yè)2.2.4激光雷達(dá)組成激光雷達(dá)系統(tǒng)由收發(fā)天線、收發(fā)前端、信號(hào)處理模塊、汽車控制裝置和報(bào)警模塊組成2022/9/12第50頁(yè)2.2.4激光雷達(dá)測(cè)距原理脈沖測(cè)距法2022/9/12第51頁(yè)2.2.4激光雷達(dá)測(cè)距原理干涉測(cè)距法2022/9/12第52頁(yè)2.2.4激光雷達(dá)測(cè)距原理相位測(cè)距法2022/9/12第53頁(yè)2.2.4激光雷達(dá)類型機(jī)械激光雷達(dá)：帶有控制激光

11、發(fā)射角度旋轉(zhuǎn)部件，體積較大，價(jià)格昂貴，測(cè)量精度相對(duì)較高，普通置于汽車頂部2022/9/12第54頁(yè)2.2.4激光雷達(dá)類型固態(tài)激光雷達(dá)：依靠電子部件來(lái)控制激光發(fā)射角度，無(wú)須機(jī)械旋轉(zhuǎn)部件，故尺寸較小，可安裝于車體內(nèi)激光雷達(dá)企業(yè)Quanergy在公布號(hào)稱全球首款固態(tài)激光雷達(dá)S3，能夠到達(dá)厘米級(jí)精度，30Hz掃描頻率，0.1角分辨率2022/9/12第55頁(yè)2.2.4激光雷達(dá)類型混合固態(tài)激光雷達(dá)：沒(méi)有大致積旋轉(zhuǎn)結(jié)構(gòu)，采取固定激光光源，經(jīng)過(guò)內(nèi)部玻璃片旋轉(zhuǎn)方式改變激光光束方向，實(shí)現(xiàn)多角度檢測(cè)需要，而且采取嵌入式安裝32線混合固態(tài)Ultra Puck Auto；16線機(jī)械式VLP-162022/9/12第5

12、6頁(yè)2.2.4激光雷達(dá)類型單線束激光雷達(dá)2D數(shù)據(jù)只能測(cè)量距離2022/9/12第57頁(yè)2.2.4激光雷達(dá)類型多線束激光雷達(dá)：4線束、8線束、16線束、32線束、64線束、128等，其細(xì)分可分為2.5D激光雷達(dá)及3D激光雷達(dá)2.5D：垂直視野范圍普通不超出103D：可到達(dá)30甚至40以上2022/9/12第58頁(yè)2.2.4激光雷達(dá)類型奧迪A8為了實(shí)現(xiàn)L3級(jí)別自動(dòng)駕駛，在汽車進(jìn)氣格柵下布置了4線束激光雷達(dá)2022/9/12第59頁(yè)2.2.4激光雷達(dá)類型美國(guó)威力登（Velodyne）企業(yè)開(kāi)發(fā)128線束激光雷達(dá)探測(cè)距離約是HDL-64E3倍，到達(dá)300m，分辨率則是10倍，尺寸縮小了70%。該產(chǎn)品是為

13、L5級(jí)別自動(dòng)駕駛而開(kāi)發(fā)2022/9/12第60頁(yè)2022/9/12第61頁(yè)2.2.4激光雷達(dá)主要指標(biāo)（1）距離分辨率：是指兩個(gè)目標(biāo)物體可區(qū)分最小距離（2）最大探測(cè)距離：通常需要標(biāo)注基于某一個(gè)反射率下測(cè)得值，比如白色反射體大約70%反射率，黑色物體7%20%反射率（3）測(cè)距精度：是指對(duì)同一目標(biāo)進(jìn)行重復(fù)測(cè)量得到距離值之間誤差范圍（4）測(cè)量幀頻：測(cè)量幀頻與攝像頭幀頻概念相同，刷新率越高，響應(yīng)速度越快2022/9/12第62頁(yè)2.2.4激光雷達(dá)主要指標(biāo)（5）數(shù)據(jù)采樣率：是指每秒輸出數(shù)據(jù)點(diǎn)數(shù)，等于幀率乘以單幅圖像點(diǎn)云數(shù)目（6）角度分辨率：是指掃描角度分辨率，等于視場(chǎng)角除以該方向所采集點(diǎn)云數(shù)目（7）視場(chǎng)角

14、：又分為垂直視場(chǎng)角和水平視場(chǎng)角，是激光雷達(dá)成像范圍（8）波長(zhǎng)：波長(zhǎng)會(huì)影響雷達(dá)環(huán)境適應(yīng)性和對(duì)人眼安全性2022/9/12第63頁(yè)2.2.4激光雷達(dá)主要指標(biāo)6.激光雷達(dá)主要指標(biāo)2022/9/12第64頁(yè)2.2.4激光雷達(dá)應(yīng)用IBEO LUX（4線束）激光雷達(dá)是德國(guó)IBEO企業(yè)借助高分辨率激光測(cè)量技術(shù)，推出第一款多功效汽車智能傳感器。它擁有110寬視角，0.3200m探測(cè)距離，絕對(duì)安全1等級(jí)激光2022/9/12第65頁(yè)2.2.4激光雷達(dá)應(yīng)用（1）行人保護(hù)：能檢測(cè)0.330m視場(chǎng)范圍內(nèi)全部行人（2）自適應(yīng)巡航控制系統(tǒng)啟和停：可在0200km/h速度范圍內(nèi)實(shí)現(xiàn)自動(dòng)行駛（3）車道偏離預(yù)警：能夠檢測(cè)車輛行

15、駛前方車道線標(biāo)識(shí)和潛在障礙，同時(shí)也能夠計(jì)算車輛在道路中位置（4）自動(dòng)緊急制動(dòng)：實(shí)時(shí)檢測(cè)車輛行駛前方全部靜止和移動(dòng)物體，而且判斷它們外形，當(dāng)要發(fā)生危險(xiǎn)時(shí)，自動(dòng)緊急制動(dòng)2022/9/12第66頁(yè)2.2.4激光雷達(dá)應(yīng)用（5）預(yù)碰撞處理：經(jīng)過(guò)分析全部環(huán)境掃描數(shù)據(jù)，不論即將發(fā)生什么樣碰撞，會(huì)在碰撞發(fā)生前100ms發(fā)出警告（6）交通擁堵輔助：消除頻繁啟停，實(shí)現(xiàn)低速下自動(dòng)跟車和車道保持（7）低速防碰撞功效：在30km/h下，LUX（4線束）激光雷達(dá)檢測(cè)并分析前方路況，車輛會(huì)在發(fā)生碰撞前自動(dòng)停駛2022/9/12第67頁(yè)2.2.4激光雷達(dá)應(yīng)用（1）高精度電子地圖和定位2022/9/12第68頁(yè)2.2.4激光雷

16、達(dá)應(yīng)用（2）障礙物檢測(cè)與識(shí)別2022/9/12第69頁(yè)2.2.4激光雷達(dá)應(yīng)用（3）可行空間檢測(cè)2022/9/12第70頁(yè)2.2.4激光雷達(dá)應(yīng)用（4）障礙物軌跡預(yù)測(cè)2022/9/12第71頁(yè)2.2.5視覺(jué)傳感器定義視覺(jué)傳感器主要由光源、鏡頭、圖像傳感器、模/數(shù)轉(zhuǎn)換器、圖像處理器、圖像存放器等組成，其主要功效是獲取足夠機(jī)器視覺(jué)系統(tǒng)要處理原始圖像2022/9/12第72頁(yè)2.2.5視覺(jué)傳感器定義把光源、攝像機(jī)、圖像處理器、標(biāo)準(zhǔn)控制與通信接口等集成一體視覺(jué)傳感器，常稱為一個(gè)智能圖像采集與處理單元2022/9/12第73頁(yè)2.2.5視覺(jué)傳感器特點(diǎn)（1）信息量極為豐富：不但包含有視野內(nèi)物體距離信息，而且還

17、有該物體顏色、紋理、深度和形狀等信息（2）多任務(wù)檢測(cè)：在視野范圍內(nèi)可同時(shí)實(shí)現(xiàn)道路檢測(cè)、車輛檢測(cè)、行人檢測(cè)、交通標(biāo)志檢測(cè)、交通信號(hào)燈檢測(cè)等（3）實(shí)時(shí)獲取場(chǎng)景信息：提供信息不依賴于先驗(yàn)知識(shí)，比如GPS導(dǎo)航依賴地圖信息，有較強(qiáng)適應(yīng)環(huán)境能力2022/9/12第74頁(yè)2.2.5視覺(jué)傳感器特點(diǎn)（4）應(yīng)用廣泛：能夠前視、后視、側(cè)視、內(nèi)視等2022/9/12第75頁(yè)2.2.5視覺(jué)傳感器類型單目雙目三目環(huán)視2022/9/12第76頁(yè)2.2.5視覺(jué)傳感器類型3.視覺(jué)傳感器類型2022/9/12第77頁(yè)2.2.5視覺(jué)傳感器要求視覺(jué)傳感器工藝要求：在工藝上首要特征是快速，以140km/h速度為例，汽車每秒要移動(dòng)40m

18、，為防止兩次圖像信息獲取間隔期間自動(dòng)駕駛距離過(guò)長(zhǎng)，要求攝像機(jī)含有最慢不低于30幀/秒影像捕捉率，在汽車制造商規(guī)格中，甚至提出了60幀/秒和120幀/秒要求2022/9/12第78頁(yè)2.2.5視覺(jué)傳感器要求視覺(jué)傳感器功效要求：（1）高動(dòng)態(tài)：在較暗環(huán)境和明暗差異較大下仍能實(shí)現(xiàn)識(shí)別（2）中低像素：為降低計(jì)算處理負(fù)擔(dān)，攝像頭像素并不需要非常高，當(dāng)前30120萬(wàn)像素已經(jīng)能滿足要求（3）角度要求：對(duì)于環(huán)視和后視攝像頭，普通采取135以上廣角鏡頭；前置攝像頭普通采取55范圍（4）安全性：相比工業(yè)級(jí)和生活級(jí)攝像頭，車載攝像頭在安全級(jí)別上要求更高，尤其是前置攝像頭安全級(jí)別要求更高。2022/9/12第79頁(yè)2.

19、2.5視覺(jué)傳感器要求（5）溫度要求：車載攝像頭溫度范圍為-4080（6）防磁抗震：汽車開(kāi)啟時(shí)會(huì)產(chǎn)生極高電磁，車載攝像頭必須具備極高防磁抗震可靠性（7）壽命長(zhǎng)：壽命最少要在8才能滿足要求2022/9/12第80頁(yè)2.2.5視覺(jué)傳感器主要指標(biāo)（1）像素：像素越多，代表著它能夠感測(cè)到更多物體細(xì)節(jié)，從而圖像就越清楚（2）幀率：幀率代表單位時(shí)間所統(tǒng)計(jì)或播放圖片數(shù)量（3）靶面尺寸：就是圖像傳感器感光部分大小。普通用英寸來(lái)表示，通常這個(gè)數(shù)據(jù)指是這個(gè)圖像傳感器對(duì)角線長(zhǎng)度，如常見(jiàn)有1/3英寸，靶面越大，意味著通光量越好，而靶面越小則比較輕易取得更大景深2022/9/12第81頁(yè)2.2.5視覺(jué)傳感器主要指標(biāo)（4）

20、感光度：代表入射光線強(qiáng)弱。感光度越高，感光面對(duì)光敏感度就越強(qiáng)，快門速度就越高（5）信噪比：是信號(hào)電壓對(duì)于噪聲電壓比值，經(jīng)典值為4555dB，信噪比越大說(shuō)明對(duì)噪聲控制越好（6）電子快門：用來(lái)控制圖像傳感器感光時(shí)間，電子快門越快，感光度越低，所以適合在強(qiáng)光下拍攝 2022/9/12第82頁(yè)2.2.5視覺(jué)傳感器功效含有車道線識(shí)別、障礙物檢測(cè)、交通標(biāo)志和地面標(biāo)志識(shí)別、交通信號(hào)燈識(shí)別、可通行空間檢測(cè)等功效2022/9/12第83頁(yè)2.2.5視覺(jué)傳感器應(yīng)用含有車道線識(shí)別障礙物識(shí)別交通標(biāo)志識(shí)別交通信號(hào)燈識(shí)別可行空間識(shí)別2022/9/12第84頁(yè)2.2.5視覺(jué)傳感器2022/9/12第85頁(yè)2.2.5視覺(jué)傳感

21、器應(yīng)用依據(jù)不一樣ADAS功效需要，安裝位置分為前視、后視、側(cè)視以及內(nèi)置攝像頭。實(shí)現(xiàn)自動(dòng)駕駛時(shí)將安裝6個(gè)以上攝像頭2022/9/12第86頁(yè)2.2.5視覺(jué)傳感器2022/9/12第87頁(yè)2.2.5視覺(jué)傳感器2022/9/12第88頁(yè)2.3道路識(shí)別定義真實(shí)道路經(jīng)過(guò)激光雷達(dá)轉(zhuǎn)換成汽車認(rèn)識(shí)道路，供自動(dòng)駕駛汽車行駛；或經(jīng)過(guò)視覺(jué)傳感器識(shí)別出車道線，提供車輛在當(dāng)前車道中位置，幫助智能網(wǎng)聯(lián)汽車提升行駛安全性。2022/9/12第89頁(yè)2.3.1道路識(shí)別識(shí)別與分類道路識(shí)別任務(wù)是提取車道幾何結(jié)構(gòu)，如車道寬度、車道線曲率等；確定車輛在車道中位置、方向；提取車輛可行駛區(qū)域2022/9/12第90頁(yè)2.3.1 道路識(shí)別

22、定義與分類分類依據(jù)道路類型不一樣，道路分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路2022/9/12第91頁(yè)2.3.2道路圖像特點(diǎn)陰影條件下道路圖像先對(duì)道路陰影進(jìn)行檢測(cè)和去除2022/9/12第92頁(yè)2.3.2道路圖像特點(diǎn)強(qiáng)弱光照條件下道路圖像強(qiáng)光照射弱光照射2022/9/12第93頁(yè)2.3.2道路圖像特點(diǎn)雨天條件下道路圖像雨水對(duì)道路有覆蓋雨水能反光2022/9/12第94頁(yè)2.3.2道路圖像特點(diǎn)彎道處道路圖像建模上會(huì)有些復(fù)雜可近似看成直線模型2022/9/12第95頁(yè)2.3.3道路識(shí)別流程和方法流程采集原始圖像圖像灰度化圖像濾波圖像二值化車道線提取2022/9/12第96頁(yè)2.3.3道路識(shí)別流程和方法流程2

23、022/9/12第97頁(yè)2.3.3道路識(shí)別流程和方法方法基于區(qū)域分割識(shí)別方法基于道路特征識(shí)別方法基于道路模型識(shí)別方法基于道路特征與模型相結(jié)合識(shí)別方法2022/9/12第98頁(yè)車道線識(shí)別舉例1. 原始圖像I=imread(C:桌面t.jpg);figure(1)imshow(I)title(原始圖像)2022/9/12第99頁(yè)車道線識(shí)別舉例2. 圖像灰度化I1=rgb2gray(I);figure(2)imshow(I1)title(灰度圖像)2022/9/12第100頁(yè)車道線識(shí)別舉例3. 圖像濾波I21=medfilt2(I1); %高斯濾波I22=filter2(fspecial(avera

24、ge,3),I21)/255; %平滑濾波figure(3)imshow(I22)title(圖像濾波)2022/9/12第101頁(yè)車道線識(shí)別舉例4. 圖像二值化I3=im2bw(I22);figure(4)imshow(I3)title(圖像二值化)2022/9/12第102頁(yè)車道線識(shí)別舉例5. 圖像邊緣檢測(cè)I4=edge(I3, canny);figure(5)imshow(I4)title(圖像邊緣檢測(cè))2022/9/12第103頁(yè)車道線識(shí)別舉例6. 霍夫變換H,T,R=hough(I4);figure(6)imshow(H, XData,T, YData,R, InitialMagni

25、fication, fit)title(霍夫變換圖像)xlabel(theta 軸)ylabel(rho 軸)axis on,axis normalhold onP=houghpeaks(H,2, threshold,ceil(0.3*max(H(:); x=T(P(:,2);y=R(P(:,1);plot(x,y, s, color, white)2022/9/12第104頁(yè)車道線識(shí)別舉例6. 霍夫變換2022/9/12第105頁(yè)車道線識(shí)別舉例7. 車道線檢測(cè)lines=houghlines(I4,T,R,P, FillGap,50, MinLength,50);figure(7)imsho

26、w(I4)title(車道線檢測(cè))2022/9/12第106頁(yè)2.4車輛識(shí)別定義車牌識(shí)別就是利用攝像頭對(duì)監(jiān)控路面過(guò)往車輛特征圖像和車輛全景圖像進(jìn)行實(shí)時(shí)拍攝，利用圖像處理分析方法，提取出車牌區(qū)域，進(jìn)而對(duì)車牌區(qū)域進(jìn)行字符分割和識(shí)別，從而對(duì)車輛進(jìn)行管理2022/9/12第107頁(yè)2.4.1車牌識(shí)別組成攝像機(jī)專用控制器顯示器快速閘機(jī)計(jì)算機(jī)軟硬件等2022/9/12第108頁(yè)2.4.1車牌識(shí)別流程圖像采集視頻車輛檢測(cè)車牌定位字符分割字符識(shí)別結(jié)果輸出2022/9/12第109頁(yè)2.4.1車牌識(shí)別方法基于模板匹配字符識(shí)別算法：速度快，實(shí)時(shí)性好基于特征統(tǒng)計(jì)匹配法：應(yīng)用效果不理想，抗干擾性不強(qiáng)基于邊緣檢測(cè)和水平

27、灰度改變特征方法：使用多基于顏色相同度及彩色邊緣算法：普通不單獨(dú)使用2022/9/12第110頁(yè)2.4.1車牌識(shí)別2022/9/12第111頁(yè)車牌識(shí)別舉例1-1.讀取原始圖像2022/9/12第112頁(yè)車牌識(shí)別舉例1-2.轉(zhuǎn)換成灰度圖像2022/9/12第113頁(yè)車牌識(shí)別舉例1-3. 邊緣檢測(cè)2022/9/12第114頁(yè)車牌識(shí)別舉例1-4. 圖像腐蝕2022/9/12第115頁(yè)車牌識(shí)別舉例1-5. 圖像膨脹2022/9/12第116頁(yè)車牌識(shí)別舉例1-6.提取車牌區(qū)域2022/9/12第117頁(yè)車牌識(shí)別舉例1-7. 原始圖像切割2022/9/12第118頁(yè)車牌識(shí)別舉例2-1.切割后圖像轉(zhuǎn)換成灰度

28、圖像2022/9/12第119頁(yè)車牌識(shí)別舉例2-2.對(duì)灰度圖像進(jìn)行直方圖均衡化2022/9/12第120頁(yè)車牌識(shí)別舉例2-3. 灰度圖像二值化2-4.中值濾波2022/9/12第121頁(yè)車牌識(shí)別舉例2-5.計(jì)算每個(gè)字符位置，并逐一進(jìn)行切割后得到只儲(chǔ)存單一字符圖像2022/9/12第122頁(yè)車牌識(shí)別舉例3.字符識(shí)別2022/9/12第123頁(yè)2.4.2 運(yùn)動(dòng)車輛識(shí)別基于特征識(shí)別方法基于機(jī)器學(xué)習(xí)識(shí)別方法基于光流場(chǎng)識(shí)別方法基于模型識(shí)別方法2022/9/12第124頁(yè)2.5 行人識(shí)別定義行人識(shí)別是采取安裝在車輛前方視覺(jué)傳感器采集前方場(chǎng)景圖像信息，經(jīng)過(guò)一系列復(fù)雜算法分析處理這些圖像信息，實(shí)現(xiàn)對(duì)行人識(shí)別2

29、022/9/12第125頁(yè)2.5.1 行人識(shí)別定義與類型類型可見(jiàn)光行人檢測(cè)：采取視覺(jué)傳感器為普通光學(xué)攝像頭，非常符合人正常視覺(jué)習(xí)慣，而且硬件成本十分低廉。不過(guò)受到光照條件限制，該方法只能應(yīng)用在白天，在光照條件很差陰雨天或夜間則無(wú)法使用紅外行人檢測(cè)：采取紅外熱成像攝像頭，利用物體發(fā)出熱紅外線進(jìn)行成像，不依賴于光照，含有很好夜視功效，在白天和晚上都適用，尤其是在夜間以及光線較差陰雨天含有沒(méi)有可替換優(yōu)勢(shì)2022/9/12第126頁(yè)2.5.2 行人識(shí)別系統(tǒng)組成預(yù)處理：經(jīng)過(guò)傳感器取得行人圖像信息，做預(yù)處理，如降噪、增強(qiáng)等分類檢測(cè)：采取圖像分割、模型提取等一些圖像處理技術(shù)，在圖像中選取一些感興趣區(qū)域，即行

30、人候選區(qū)域，用分類等技術(shù)方法判斷候選區(qū)域中是否包含行人。決議報(bào)警：對(duì)可能發(fā)生碰撞情況進(jìn)行報(bào)警或其它防止碰撞操作2022/9/12第127頁(yè)2.5.3行人識(shí)別方法基于特征分類行人識(shí)別方法基于模型行人識(shí)別方法基于運(yùn)動(dòng)特征行人識(shí)別方法基于形狀模型行人識(shí)別方法小波變換和支持向量機(jī)神經(jīng)網(wǎng)絡(luò)方法2022/9/12第128頁(yè)2.6交通標(biāo)志識(shí)別2.6.1 交通標(biāo)志介紹警告標(biāo)志2022/9/12第129頁(yè)2.6.1交通標(biāo)志介紹禁令標(biāo)志2022/9/12第130頁(yè)2.6.1交通標(biāo)志介紹指示標(biāo)志2022/9/12第131頁(yè)2.6.1交通標(biāo)志介紹交通標(biāo)志顏色與形狀之間也有著一定關(guān)系2022/9/12第132頁(yè)2.6.2交通標(biāo)志識(shí)別系統(tǒng)首先使用車載攝像機(jī)獲取目標(biāo)圖像，然后進(jìn)行圖像分割和特征提取，經(jīng)過(guò)與交通標(biāo)志標(biāo)準(zhǔn)特征庫(kù)比較進(jìn)行交通標(biāo)志識(shí)別，識(shí)別結(jié)果能夠與其它智能網(wǎng)聯(lián)汽車共享2022/9/12第133頁(yè)2.6.3交通標(biāo)志識(shí)別流程與方法原始圖像采集圖像預(yù)處理圖像分割檢測(cè)圖像特征提取交通標(biāo)志識(shí)別2022/9/12第134頁(yè)交通標(biāo)志識(shí)別舉例1.讀取原始圖