智能網(wǎng)聯(lián)汽車概論 課件 2-4 了解智能網(wǎng)聯(lián)汽車多傳感器數(shù)據(jù)融合技術(shù)的類型及應(yīng)用

智能網(wǎng)聯(lián)汽車概論能力模塊二

掌握環(huán)境感知技術(shù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用方式任務(wù)四

了解智能網(wǎng)聯(lián)汽車多傳感器數(shù)據(jù)融合技術(shù)的類型及應(yīng)用新授Newteaching1目錄一、多傳感器融合的定義二、多傳感器融合的類型三、多傳感器融合的層次四、多傳感器融合的特點五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用一、多傳感器融合的定義（一）定義多傳感器融合又稱多傳感器信息融合（multi-sensorinformationfusion），有時也稱作多傳感器數(shù)據(jù)融合（multi-sensordatafusion）。多傳感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用計算機(jī)技術(shù)將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準(zhǔn)則下加以自動分析和綜合，以完成所需要的決策和估計而進(jìn)行的信息處理過程。二、多傳感器融合的類型

自動駕駛車上使用了多種多樣的傳感器，不同類型的傳感器間在功用上互相補(bǔ)充，提高自動駕駛系統(tǒng)的安全系數(shù)。為了發(fā)揮不同傳感器優(yōu)勢，融合技術(shù)起著關(guān)鍵的作用，現(xiàn)對多傳感器融合技術(shù)（指前融合）按照下圖的方式進(jìn)行分類。三、多傳感器融合的層次

像素級融合特征級融合多傳感器融合的層次決策級融合在以目標(biāo)身份估計為目的的體系結(jié)構(gòu)下，根據(jù)多傳感器信息融合技術(shù)抽象程度的不同，可以將其劃分為3個層次：像素級融合、特征級融合、決策級融合，一般情況下，具體應(yīng)用方案根據(jù)系統(tǒng)特點進(jìn)行合理選擇。三、多傳感器融合的層次

像素級融合又稱為數(shù)據(jù)級融合，如圖所示，它將同類別的傳感器采集的原始數(shù)據(jù)進(jìn)行融合，最大可能地保留了各預(yù)處理階段的細(xì)微信息。但是，由于融合進(jìn)行在數(shù)據(jù)的最底層，計算量大且容易受不穩(wěn)定性、不確定性因素的影響。同時，數(shù)據(jù)融合精確到像素級的準(zhǔn)確度，因而無法處理異構(gòu)數(shù)據(jù)。（一）像素級融合像素級融合三、多傳感器融合的層次

如圖所示，特征級融合是通過各傳感器的原始數(shù)據(jù)結(jié)合決策推理算法，對信息進(jìn)行分類、匯集和綜合，提取出具有充分表示量和統(tǒng)計量的屬性特征。根據(jù)融合內(nèi)容，特征級融合又可以分為目標(biāo)狀態(tài)信息融合和目標(biāo)特性融合兩大類。其中，前者的特點是先進(jìn)行數(shù)據(jù)配準(zhǔn)，以實現(xiàn)對狀態(tài)和參數(shù)相關(guān)估計，更加適用于目標(biāo)跟蹤。后者是借用傳統(tǒng)模式識別技術(shù)，在特征預(yù)處理的前提下進(jìn)行分類組合。特征級融合（二）特征級融合三、多傳感器融合的層次

決策級融合的特點是高層次，需要處理不同類型的傳感器對同一觀測目標(biāo)的原始數(shù)據(jù)，并完成特征提取、分類判別，生成初步結(jié)論，然后根據(jù)決策對象的具體需求，進(jìn)行相關(guān)處理和高級決策判決，獲得簡明的綜合推斷結(jié)果，如圖2-4-4所示。決策級融合具有實時性好、容錯性高的優(yōu)點，面對一個或者部分傳感器失效時，仍能給出合理決策。決策級融合（三）決策級融合四、多傳感器融合的特點

多傳感器融合系統(tǒng)具有以下四個顯著的特點：信息的冗余性信息處理的及時性多傳感器融合的特點信息的互補(bǔ)性信息處理的低成本性四、多傳感器融合的特點

1.信息的冗余性對于環(huán)境的某個特征，可以通過多個傳感器（或者單個傳感器的多個不同時刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過融合處理，可以從中提取出更加準(zhǔn)確和可靠的信息。此外，信息的冗余性可以提高系統(tǒng)的穩(wěn)定性，從而能夠避免因單個傳感器失效而對整個系統(tǒng)所造成的影響。2.信息的互補(bǔ)性不同種類的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對象是不同的環(huán)境特征，它們彼此之間具有互補(bǔ)性。如果定義一個由所有特征構(gòu)成的坐標(biāo)空間，那么每個傳感器所提供的信息只屬于整個空間的一個子空間，和其他傳感器形成的空間相互獨立。四、多傳感器融合的特點

3.信息處理的及時性各傳感器的處理過程相互獨立，整個處理過程可以采用并行導(dǎo)熱處理機(jī)制，從而使系統(tǒng)具有更快的處理速度，提供更加及時的處理結(jié)果。4.信息處理的低成本性多個傳感器可以花費更少的代價來得到相當(dāng)于單傳感器所能得到的信息量。另一方面，如果不將單個傳感器所提供的信息用來實現(xiàn)其他功能，單個傳感器的成本和多傳感器的成本之和是相當(dāng)?shù)摹Ｎ?、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用

以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用，現(xiàn)在應(yīng)用較廣的企業(yè)有：攝像頭：博世、大陸、麥格納激光雷達(dá)：法雷奧、大陸以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用毫米波雷達(dá)：博世、海拉、麥格納加特蘭傳感器融合：博世、偉世通、法雷奧五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用攝像頭1.博世：第三代前置攝像頭●特點1：攝像頭功能安全等級提高到ASIL-B；●特點2：運用人工智能算法：卷積神經(jīng)網(wǎng)絡(luò)算法；●特點3：將密集光流檢測和紋理檢測結(jié)合，為未來L4以上的自動駕駛做好準(zhǔn)備。2.大陸：第五代攝像頭MFC500●特點1：加入深度學(xué)習(xí)算法；●特點2：擁有800萬像素和125°廣角；●特點3：具備模塊化、可擴(kuò)展和互連性等特征。大陸集團(tuán)針對智能駕駛推出了第五代攝像頭MFC500，它在前一代攝像頭技術(shù)上加入深度學(xué)習(xí)算法，從而提高車輛的環(huán)境感知、駕駛路徑規(guī)劃及運動控制能力。五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用攝像頭3.麥格納：EYERIS?攝像頭技術(shù)●特點1：提供逼真的360°全景的環(huán)境圖像；●特點2：將集成時間按和開發(fā)成本降到最低。麥格納EYERIS?攝像頭技術(shù)包含多項功能，如拖車輔助、自動泊車、行人檢測和環(huán)視功能。該技術(shù)的一項最新應(yīng)用是一款3D全景環(huán)視系統(tǒng)，用于停車或低速行駛時給駕駛員提供輔助。駕駛員可以通過簡單易用的界面來調(diào)整顯示周圍環(huán)境的視角畫面；當(dāng)在行駛道路上探測到障礙物時，系統(tǒng)將對駕駛員發(fā)出警報。五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用毫米波雷達(dá)1.博世：第五代毫米波雷達(dá)●特點1：第五代毫米波雷達(dá)帶寬提高到1.5個G；●特點2：應(yīng)用先進(jìn)的技術(shù)原理進(jìn)行無線電波調(diào)頻，滿足對多復(fù)雜目標(biāo)高準(zhǔn)確性的探測要求。2.海拉：77GHz雷達(dá)傳感器●特點1：RF-CMOS工藝實現(xiàn)緊湊化設(shè)計；●特點2：雷達(dá)傳感器的自我診斷系統(tǒng)，這是實現(xiàn)高度自動駕駛的重要先決條件。海拉正在利用模塊化平臺的方法研發(fā)24GHz雷達(dá)傳感器，這有助于海拉實現(xiàn)將駕駛輔助系統(tǒng)應(yīng)用于大眾市場這一目標(biāo)。五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用毫米波雷達(dá)3.麥格納：ICONRADAR高清雷達(dá)●特點1：美國軍用技術(shù)血統(tǒng)；●特點2：探測距離超過300m且4D掃描；●特點3：具備頂尖的成像能力和極強(qiáng)的抗干擾能力。4.加特蘭：77GHz毫米波雷達(dá)芯片●特點1：高集成和低成本；●特點2：實現(xiàn)了業(yè)界最小的芯片功耗和芯片尺寸。2017年10月，加特蘭微電子科技量產(chǎn)發(fā)布了業(yè)界首款基于CMOS工藝的77GHz毫米波雷達(dá)射頻前端單芯片Yosemite。通過電路設(shè)計的創(chuàng)新，Yosemite芯片的功耗指標(biāo)低至業(yè)界同類產(chǎn)品的1/3~1/2，實現(xiàn)了業(yè)界最小的芯片功耗和芯片尺寸，五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用激光雷達(dá)1.法雷奧：SCALA激光掃描儀●特點1：探測距離可達(dá)150m，探測視野達(dá)145°；●特點2：為周圍環(huán)境創(chuàng)建3D地圖，確切探測障礙物。法雷奧SCALA激光掃描儀是目前市場上首款也是唯一一款量產(chǎn)的車規(guī)級激光雷達(dá)，具有價格優(yōu)勢。探測距離可達(dá)150m，探測視野達(dá)145°，是自動駕駛汽車的核心部件。該技術(shù)通過為周圍環(huán)境創(chuàng)建3D地圖，可以確切探測障礙物，并對車輛進(jìn)行精準(zhǔn)定位，以確保車輛的整體安全。。2.大陸集團(tuán)：高清三維激光掃描雷達(dá)●特點1：可捕獲并處理實時三維機(jī)器視覺；●特點2：以高于50次/s的速度生成環(huán)境模型。大陸集團(tuán)正致力于打造下一代環(huán)境模型，其研發(fā)的高清三維激光掃描雷達(dá)能滿足監(jiān)測汽車外圍環(huán)境的嚴(yán)格要求，可捕獲并處理實時三維機(jī)器視覺，不含任何機(jī)械組件。五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用傳感器融合1.博世：自動駕駛域控制器（DCU）●特點1：搭載自動駕駛L2、L3需用的中央行車大腦；●特點2：在L3及未來的L4城市引導(dǎo)上，提供超強(qiáng)能力的域控制器。博世預(yù)計在2019年底向市場上推出量產(chǎn)的域控制器（DCU），搭載了自動駕駛L2、L3需用的中央行車大腦。在高速公路引導(dǎo)的高速段（L3）及未來的L4城市引導(dǎo)上，提供超強(qiáng)能力的域控制器（DCU），引入在基礎(chǔ)底層、特征層面運算所需要的硬件加速，不排除像GPU硬件加速的芯片，提高域控制器（DCU）的運算能力。五、以視覺識別和激光雷達(dá)為代表的感知技術(shù)快速發(fā)展與應(yīng)用傳感器融合2.偉世通：DriveCore?●特點1：計算能力擴(kuò)展性強(qiáng)；●特點2：運算能力覆蓋500GFLOPS-20TFLOPS；●特點3：加速基于傳感器的人工智能算法的開發(fā)。偉世通的DriveCore?是一款安全可靠的域控制器，計算能力擴(kuò)展性強(qiáng)，可以整合多個攝像頭、激光雷達(dá)、雷達(dá)傳感器的數(shù)據(jù)。3.法雷奧：XtraVue超級視距●特點1：讓駕駛員對道路狀況一目了然；●特點2：整合復(fù)雜數(shù)據(jù)，呈現(xiàn)直觀影像。法雷奧XtraVue超級視距集成了安裝于車身的遠(yuǎn)程通訊天線、激光掃描儀和法雷奧攝像系統(tǒng)。它能讓駕