智能網(wǎng)聯(lián)汽車環(huán)境感知技術

1、課堂教學設計表授課日期2020年 月日授課學時6學時，理論實踐章名稱第4章 智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)節(jié)名稱環(huán)境感知的定義與組成4.2環(huán)境感知傳感器道路識別4.4車輛識別行人識別4.6交通標志識別交通信號燈識別目的與要求使學生掌握智能網(wǎng)聯(lián)汽車環(huán)境感知的定義、組成及各種傳感器的用途；熟悉 超聲波傳感器、毫米波雷達和視覺傳感器的類型，特點及應用；初步了解道路識 別、車輛識別、行人識別、交通標志識別和交通信號燈識別；教學內容環(huán)境感知的定義與組成4.2環(huán)境感知傳感器道路識別4.4車輛識別行人識別4.6交通標志識別交通信號燈識別重點與難點道路識別車輛識別行人識別 交通標志識別 交通信號燈識別授課方式理論授

2、課與視頻輔助課外作業(yè)附課件中課堂小結審批意見簽字：年月日備 注.教師所編制的教案由所在教研室主任審批；.教研室主任編制的教案由所在二級學院院長（或者專業(yè)帶頭人）審批；.二級學院院長編制的教案，有所屬專業(yè)的教研室主任審批。說明：任課教師可根據(jù)黑板的屏數(shù)自行進行板書設計。板書設計教學內容目的、要求、方法、手段、時間分配、板書預案等【導言】未來智能網(wǎng)聯(lián)汽車能夠在道路上有序的安全行駛，特別是無人駕駛汽車，不 依賴駕駛員，汽車也能安全行駛；那么智能網(wǎng)聯(lián)汽車可無人駕駛汽車依靠什么技 術進行安全行駛呢？【內容講授】環(huán)境感知系統(tǒng)的定義與組成一一定義多媒體演示，5分 鐘師生進行討論環(huán) 節(jié)環(huán)境感知的定義環(huán)境感知就

3、是利用車載超聲波傳感器、毫米波雷達、激光雷達、視覺傳感器，以及V2X通信技術等獲取道路、車輛位置和障礙物的信息，并將這些信息傳輸給車載控制中心，為智能網(wǎng)聯(lián)汽車提供決策依據(jù)，是ADA弦現(xiàn)的第一步環(huán)境感知的對象主要有道路、車輛、行人、各種障礙物、交通標志、交通信板書與多媒體教學 相結合，理論內容 講授8分鐘號燈等環(huán)境感知的組成信息采集單元、信息處理單元、信息傳輸單元2環(huán)境感知傳感器環(huán)境感知傳感器的類型與配置(1)環(huán)境感知傳感器的類型超聲波傳感器毫米波雷達重點內容講授12 分鐘，提問并答疑激光雷達視覺傳感器(2)環(huán)境感知傳感器的配置環(huán)境感知傳感器主要有超聲波傳感器、毫米波雷達、激光雷達、單/雙/三目

4、攝像頭、環(huán)視攝像頭等通用公司用于研究 L4級自動駕駛技術的 Bolts5個16線束激光雷達21個毫米波雷達理論內容講授15 分，進行課堂討論16個攝像頭(3)環(huán)境感知傳感器的布局(4)環(huán)境感知傳感器的融合教學內容圖像級融合一一是以視覺傳感器為主體，將毫米波雷達輸出的整體信息進行 圖像特征轉化，然后與視覺系統(tǒng)的圖像輸出進行融合目標級融合一一是對視覺傳感器和毫米波雷達輸出進行綜合可信度加權，配 合精度標定信息進行自適應的搜索匹配后融合輸出信號級融合一一是對視覺傳感器和毫米波雷達傳出的數(shù)據(jù)源進行融合。信號 級別的融合數(shù)據(jù)損失最小，可靠性最高，但需要大量的運算超聲波傳感器一一定義聲音以波的形式傳播稱為

5、聲波頻率大于20 000Hz的聲波稱為超聲波頻率小于20Hz的聲波稱為次聲波頻率為2020 000Hz的聲波就是人能夠聽見的聲波超聲波傳感器一一特點探測距離短，有盲區(qū)對色彩、光照度不敏感對光線和電磁場不敏感簡單，體積小，成本低超聲波傳感器一一測距原理超聲波傳感器一一類型駐車輔助傳感器（UPA PDC 15250cm泊車輔助傳感器（APA PLA） 30500cm超聲波傳感器一一主要參數(shù)測量范圍：15500cm測量精度：測量值與真實值的偏差波束角：能量強度減小一半處的角度工作頻率：40kHz左右抗干擾性能：噪聲干擾反射回來的超聲波超聲波傳感器一一應用最常見的是自動泊車輔助系統(tǒng)目的、要求、方法、手

6、段、時間分配、板書預案等理論內容講授5分 鐘小結本節(jié)課3分鐘布置彳業(yè)2分鐘前視攝像頭、前置毫米波雷達和12個超聲波傳感器教學內容目的、要求、方法、手段、時間分配、板書預案等毫米波雷達一一定義工作在毫米波頻段的雷達。毫米波是指長度為110mm勺電磁波，對應的頻率為30300GHz;主要用于自適應巡航控制系統(tǒng)、自動制動輔助系統(tǒng)、盲區(qū)監(jiān)測系統(tǒng)、行人檢測等毫米波雷達一一特點探測距離遠，250m以上探測性能好響應速度快適應能力強抗干擾能力強覆蓋區(qū)域呈扇形，有盲點區(qū)域無法識別交通標志無法識別交通信號毫米波雷達一一類型按工作原理分類：脈沖式、調頻式連續(xù)毫米波雷達按探測距離分類：短程(200項毫米 波雷達按頻

7、段分類：24GHz 60GHz 77GHz和79GHz毫米波雷達77GHz毫米波雷達與24GHz毫米波雷達相比具有以下不同77GHz毫米波雷達探測距離更遠77GHz毫米波雷達的體積更小77GHz毫米波雷達所需要的工藝更高77GHz毫米波雷達的檢測精度更好77GHz毫米波雷達的射頻芯片不容易獲取毫米波雷達一一測量原理調頻式連續(xù)毫米波雷達是利用多普勒效應測量得出目標的距離和速度毫米波雷達一一工作過程天線-天線收發(fā)開關-接收機-信號處理器-計算分析-汽車控制電路(PPT)毫米波雷達一一布置正向布置，與路面夾角的最大偏差不超過5側向布置，前45夾角，后30夾角目的、要求、方教學內容法、手段、時間分配、

8、板書預案等布置高度，500 （滿載）800 mm （空載）毫米波雷達主要指標短程、中程、遠程毫米波雷達的技術指標類別：頻帶帶寬測距范圍最大視角測距精度方位精度測速精度毫米波雷達一一應用自適應巡航控制系統(tǒng)、前向碰撞預警系統(tǒng)、自動制動輔助系統(tǒng)、盲區(qū)監(jiān)測系 統(tǒng)、自動泊車輔助系統(tǒng)、變道輔助系統(tǒng)：盲區(qū)監(jiān)測、變道預警、后向碰撞預警、 后向碰撞預警系統(tǒng)、激光雷達定義激光雷達是工作在光波頻段的雷達，它利用光波頻段的電磁波先向目標發(fā)射 探測信號，然后將其接收到的同波信號與發(fā)射信號相比較，從而獲得目標的位置（距離、方位和高度）、運動狀態(tài)（速度、姿態(tài)）等信息，實現(xiàn)對目標的探測、 跟蹤和識別激光雷達一一特點探測范圍廣

9、：可達 300m以上。分辨率高：距離分辨率可達 0.1m;速度分辨率能達到10m/s以內；角度分 辨率不低于0.1mard信息量豐富：探測目標的距離、角度、反射強度、速度等信息，生成目標多維度圖像可全天候工作：不依賴于外界條件或目標本身的輻射特性與毫米波雷達相比，產(chǎn)品體積大，成本高。不能識別交通標志和交通信號燈激光雷達一一組成激光雷達系統(tǒng)由收發(fā)天線、收發(fā)前端、信號處理模塊、汽車控制裝置和報警 模塊組成教學內容目的、要求、方法、手段、時間分配、板書預案等激光雷達一一測距原理脈沖測距法干涉測距法：通過激光器發(fā)射出一束激光，通過分光鏡分為兩束相干光波， 兩束光波各自經(jīng)過反射鏡 M1和M2反射回來，在

10、分光鏡處又匯合到一起。由于兩 束光波的路差不同，通過干涉后形成的明暗條紋也不同，所以傳感器將干涉條紋 轉換為電信號之后，就可以實現(xiàn)測距。相位測距法激光雷達一一類型機械激光雷達：帶有控制激光發(fā)射角度的旋轉部件，體積較大，價格昂貴， 測量精度相對較高，一般置于汽車頂部固態(tài)激光雷達：依靠電子部件來控制激光發(fā)射角度，無須機械旋轉部件，故 尺寸較小，可安裝于車體內激光雷達公司 Quanergy在2016年發(fā)布的號稱全球首款的固態(tài)激光雷達S3,可以達到厘米級精度，30Hz掃描頻率，0.1 的角分辨率混合固態(tài)激光雷達：沒有大體積旋轉結構，采用固定激光光源，通過內部玻 璃片旋轉的方式改變激光光束方向，實現(xiàn)多角

11、度檢測的需要，并且采用嵌入式安 裝單線束激光雷達2D數(shù)據(jù)只能測量距離多線束激光雷達：4線束、8線束、16線束、32線束、64線束、128等，其 細分可分為2.5D激光雷達及3D激光雷達2.5D:垂直視野范圍一般不超過103D:可達到30甚至40以上奧迪A8為了實現(xiàn)L3級別的自動駕駛，在汽車的進氣格柵下布置了4線束激光雷達美國威力登(Velodyne )公司開發(fā)的128線束激光雷達的探測距離約是 HDL-64E的3倍，達到300m,分辨率則是10倍，尺寸縮小了 70%該產(chǎn)品是為 L5級別自動駕駛而開發(fā)的激光雷達一一主要指標(1)距離分辨率：是指兩個目標物體可區(qū)分的最小距離教學內容目的、要求、方法

12、、手段、時間分配、板書預案等(2)最大探測距離：通常需要標注基于某一個反射率下的測得值，例如白 色反射體大概70飯射率，黑色物體 7。導20飯射率(3)測距精度：是指對同一目標進行重復測量得到的距離值之間的誤差范 圍(4)測量幀頻：測量幀頻與攝像頭的幀頻概念相同，刷新率越高，響應速 度越快(5)數(shù)據(jù)采樣率：是指每秒輸出的數(shù)據(jù)點數(shù)，等于幀率乘以單幅圖像的點 云數(shù)目(6)角度分辨率：是指掃描的角度分辨率，等于視場角除以該方向所采集 的點云數(shù)目(7)視場角：又分為垂直視場角和水平視場角，是激光雷達的成像范圍(8)波長：波長會影響雷達的環(huán)境適應性和對人眼的安全性激光雷達一一應用IBEO LUX (4線

13、束)激光雷達是德國 舊EO公司借助高分辨率激光測量技 術，推出的第一款多功能的汽車智能傳感器。它擁有 110。的寬視角，0.3 200m的探測距離，絕對安全的 1等級激光。(1)行人保護：能檢測 0.330m視場范圍內所有的行人(2)自適應巡航控制系統(tǒng)的啟和停：可在 0200km/h的速度范圍內實現(xiàn)自 動行駛(3)車道偏離預警：可以檢測車輛行駛前方的車道線標識和潛在的障礙， 同時也可以計算車輛在道路中的位置(4)自動緊急制動：實時檢測車輛行駛前方的所有靜止的和移動的物體， 并且判斷它們的外形，當要發(fā)生危險時，自動緊急制動(5)預碰撞處理：通過分析所有的環(huán)境掃描數(shù)據(jù)，不管即將發(fā)生什么樣的 碰撞，

14、會在碰撞發(fā)生前 100ms發(fā)出警告(6)交通擁堵輔助：消除頻繁啟停，實現(xiàn)低速下的自動跟車和車道保持(7)低速防碰撞功能：在 30km/h下，LUX (4線束)激光雷達檢測并分析 前方的路況，車輛會在發(fā)生碰撞前自動停駛視覺傳感器一一定義教學內容目的、要求、方法、手段、時間分配、板書預案等視覺傳感器主要由光源、鏡頭、圖像傳感器、模/數(shù)轉換器、圖像處理器、圖像存儲器等組成，其主要功能是獲取足夠的機器視覺系統(tǒng)要處理的原始圖像。把光源、攝像機、圖像處理器、標準的控制與通信接口等集成一體的視覺傳感器，常稱為一個智能圖像采集與處理單元視覺傳感器一一特點(1)信息量極為豐富：不僅包含有視野內物體的距離信息，而

15、且還有該物體的顏色、紋理、深度和形狀等信息(2)多任務檢測：在視野范圍內可同時實現(xiàn)道路檢測、車輛檢測、行人檢測、交通標志檢測、交通信號燈檢測等(3)實時獲取場景信息：提供的信息不依賴于先驗知識，比如GPW航依賴地圖信息，有較強的適應環(huán)境的能力(4)應用廣泛：可以前視、后視、側視、內視等視覺傳感器一一類型單目雙目三目環(huán)視視覺傳感器一一要求視覺傳感器工藝要求：在工藝上的首要特性是快速，以140km/h的速度為例，汽車每秒要移動40m,為避免兩次圖像信息獲取間隔期間自動駕駛的距離過長，要求攝像機具有最慢不低于30幀/秒的影像捕捉率，在汽車制造商的規(guī)格中，甚至提出了60幀/秒和120幀/秒的要求。視覺

16、傳感器功能要求：(1)高動態(tài)：在較暗環(huán)境和明暗差異較大下仍能實現(xiàn)識別(2)中低像素：為降低計算處理的負擔，攝像頭的像素并不需要非常高，目前30120萬像素已經(jīng)能滿足要求(3)角度要求：對于環(huán)視和后視攝像頭，一般采用135以上的廣角鏡頭；前置攝像頭一般采用 55。的范圍(4)安全性：相比工業(yè)級和生活級攝像頭，車載攝像頭在安全級別上要求更高，尤其是前置攝像頭安全級別要求更高教學內容目的、要求、方法、手段、時間分配、板書預案等(5)溫度要求：車載攝像頭溫度范圍為-40 C80c(6)防磁抗震：汽車啟動時會產(chǎn)生極高的電磁，車載攝像頭必須具備極高的防磁抗震的可靠性(7)壽命長：壽命至少要在 810年才能

17、滿足要求視覺傳感器一一主要指標(1)像素：像素越多，代表著它能夠感測到更多的物體細節(jié)，從而圖像就 越清晰(2)幀率：幀率代表單位時間所記錄或播放的圖片的數(shù)量(3)靶面尺寸：就是圖像傳感器感光部分的大小。一般用英寸來表示，通常這個數(shù)據(jù)指的是這個圖像傳感器的對角線長度，如常見的有1/3英寸，靶面越大，意味著通光量越好，而靶面越小則比較容易獲得更大的景深(4)感光度：代表入射光線的強弱。感光度越高，感光面對光的敏感度就越強，快門速度就越高(5)信噪比：是信號電壓對于噪聲電壓的比值，典型值為4555dB,信噪比越大說明對噪聲的控制越好(6)電子快門：用來控制圖像傳感器的感光時間，電子快門越快，感光度越

18、低，因此適合在強光下拍攝視覺傳感器一一功能具有車道線識別、障礙物檢測、交通標志和地面標志識別、交通信號燈識別、可通行空間檢測等功能視覺傳感器一一應用如圖-PPT根據(jù)不同ADA%!能的需要，安裝位置分為前視、后視、側視以及內置攝像頭。實現(xiàn)自動駕駛時將安裝 6個以上攝像頭道路識別一一定義真實的道路通過激光雷達轉換成汽車認識的道路，供自動駕駛汽車行駛；或 通過視覺傳感器識別出車道線，提供車輛在當前車道中的位置，幫助智能網(wǎng)聯(lián)汽 車提高行駛的安全性。道路識別的識別與分類道路識別的任務是提取車道的幾何結構，如車道的寬度、車道線的曲率等；確定車輛在車道中的位置、方向；提取車輛可行駛的區(qū)域教學內容目的、要求、

19、方法、手段、時間分配、板書預案等依據(jù)道路類型的不同，道路分為結構化道路和非結構化道路。道路圖像的特點各種條件下的道路圖像：道路識別的流程和方法一一流程采集原始圖像一圖像灰度化一圖像濾波一圖像二值化一車道線提取道路識別的流程和方法一一方法基于區(qū)域分割的識別方法基于道路特征的識別方法基于道路模型的識別方法基于道路特征與模型相結合的識別方法車道線識別舉例：原始圖像、圖像灰度化、圖像濾波、圖像二值化、圖像邊 緣檢測、霍夫變換、車道線檢測車輛識別一一定義車牌識別就是利用攝像頭對監(jiān)控路面過往車輛的特征圖像和車輛全景圖像進 行實時拍攝，利用圖像處理的分析方法，提取出車牌區(qū)域，進而對車牌區(qū)域進行 字符分割和識

20、別，從而對車輛進行管理。車牌識別一一組成如圖攝像機專用控制器顯示屏快速閘機計算機軟硬件等車牌識別一一流程圖像采集一視頻車輛檢測一車牌定位一字符分割一字符識別一結果輸出車牌識別方法基于模板匹配的字符識別算法：速度快，實時性好基于特征的統(tǒng)計匹配法：應用效果不理想，抗干擾性不強基于邊緣檢測和水平灰度變化特征的方法：使用多基于顏色相似度及彩色邊緣的算法：一般不單獨使用車牌識別舉例1-1.讀取原始圖像教學內容目的、要求、方法、手段、時間分配、板書預案等1-2.轉換成灰度圖像1-3.邊緣檢測1-4.圖像腐蝕1-5.圖像膨脹1-6.提取車牌區(qū)域1-7.原始圖像切割2-1.切割后的圖像轉換成灰度圖像2-2.對

21、灰度圖像進行直方圖均衡化2-3.灰度圖像二值化2-4.中值濾波2-5.計算每個字符的位置，并逐一進行切割后得到只儲存單一字符的圖像3.字符識別運動車輛識別基于特征的識別方法基于機器學習的識別方法基于光流場的識別方法基于模型的識別方法行人識別一一定義行人識別是采用安裝在車輛前方的視覺傳感器采集前方場景的圖像信息，通 過一系列復雜的算法分析處理這些圖像信息，實現(xiàn)對行人的識別行人識別的定義與類型一一類型可見光行人的檢測：采用的視覺傳感器為普通的光學攝像頭，非常符合人的 正常視覺習慣，而且硬件成本十分低廉。但是受到光照條件的限制，該方法只能 應用在白天，在光照條件很差的陰雨天或夜間則無法使用紅外行人的檢測：采用紅外熱成像攝像頭，利用物體發(fā)出的熱紅外線進行成 像，不依賴于光照，具有很好的夜視功能，在白天和晚上都適用，尤其是在夜間 以及光線較差的陰雨天具有無可替代的優(yōu)勢行人識別系統(tǒng)的組成-10 -預處理：通過傳感器獲得行人圖