智能網(wǎng)聯(lián)汽車概論 課件 2-4 了解智能網(wǎng)聯(lián)汽車多傳感器數(shù)據(jù)融合技術的類型及應用

智能網(wǎng)聯(lián)汽車概論能力模塊二

掌握環(huán)境感知技術在智能網(wǎng)聯(lián)汽車上的應用方式任務四

了解智能網(wǎng)聯(lián)汽車多傳感器數(shù)據(jù)融合技術的類型及應用新授Newteaching1目錄一、多傳感器融合的定義二、多傳感器融合的類型三、多傳感器融合的層次四、多傳感器融合的特點五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用一、多傳感器融合的定義（一）定義多傳感器融合又稱多傳感器信息融合（multi-sensorinformationfusion），有時也稱作多傳感器數(shù)據(jù)融合（multi-sensordatafusion）。多傳感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用計算機技術將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準則下加以自動分析和綜合，以完成所需要的決策和估計而進行的信息處理過程。二、多傳感器融合的類型

自動駕駛車上使用了多種多樣的傳感器，不同類型的傳感器間在功用上互相補充，提高自動駕駛系統(tǒng)的安全系數(shù)。為了發(fā)揮不同傳感器優(yōu)勢，融合技術起著關鍵的作用，現(xiàn)對多傳感器融合技術（指前融合）按照下圖的方式進行分類。三、多傳感器融合的層次

像素級融合特征級融合多傳感器融合的層次決策級融合在以目標身份估計為目的的體系結構下，根據(jù)多傳感器信息融合技術抽象程度的不同，可以將其劃分為3個層次：像素級融合、特征級融合、決策級融合，一般情況下，具體應用方案根據(jù)系統(tǒng)特點進行合理選擇。三、多傳感器融合的層次

像素級融合又稱為數(shù)據(jù)級融合，如圖所示，它將同類別的傳感器采集的原始數(shù)據(jù)進行融合，最大可能地保留了各預處理階段的細微信息。但是，由于融合進行在數(shù)據(jù)的最底層，計算量大且容易受不穩(wěn)定性、不確定性因素的影響。同時，數(shù)據(jù)融合精確到像素級的準確度，因而無法處理異構數(shù)據(jù)。（一）像素級融合像素級融合三、多傳感器融合的層次

如圖所示，特征級融合是通過各傳感器的原始數(shù)據(jù)結合決策推理算法，對信息進行分類、匯集和綜合，提取出具有充分表示量和統(tǒng)計量的屬性特征。根據(jù)融合內(nèi)容，特征級融合又可以分為目標狀態(tài)信息融合和目標特性融合兩大類。其中，前者的特點是先進行數(shù)據(jù)配準，以實現(xiàn)對狀態(tài)和參數(shù)相關估計，更加適用于目標跟蹤。后者是借用傳統(tǒng)模式識別技術，在特征預處理的前提下進行分類組合。特征級融合（二）特征級融合三、多傳感器融合的層次

決策級融合的特點是高層次，需要處理不同類型的傳感器對同一觀測目標的原始數(shù)據(jù)，并完成特征提取、分類判別，生成初步結論，然后根據(jù)決策對象的具體需求，進行相關處理和高級決策判決，獲得簡明的綜合推斷結果，如圖2-4-4所示。決策級融合具有實時性好、容錯性高的優(yōu)點，面對一個或者部分傳感器失效時，仍能給出合理決策。決策級融合（三）決策級融合四、多傳感器融合的特點

多傳感器融合系統(tǒng)具有以下四個顯著的特點：信息的冗余性信息處理的及時性多傳感器融合的特點信息的互補性信息處理的低成本性四、多傳感器融合的特點

1.信息的冗余性對于環(huán)境的某個特征，可以通過多個傳感器（或者單個傳感器的多個不同時刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過融合處理，可以從中提取出更加準確和可靠的信息。此外，信息的冗余性可以提高系統(tǒng)的穩(wěn)定性，從而能夠避免因單個傳感器失效而對整個系統(tǒng)所造成的影響。2.信息的互補性不同種類的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對象是不同的環(huán)境特征，它們彼此之間具有互補性。如果定義一個由所有特征構成的坐標空間，那么每個傳感器所提供的信息只屬于整個空間的一個子空間，和其他傳感器形成的空間相互獨立。四、多傳感器融合的特點

3.信息處理的及時性各傳感器的處理過程相互獨立，整個處理過程可以采用并行導熱處理機制，從而使系統(tǒng)具有更快的處理速度，提供更加及時的處理結果。4.信息處理的低成本性多個傳感器可以花費更少的代價來得到相當于單傳感器所能得到的信息量。另一方面，如果不將單個傳感器所提供的信息用來實現(xiàn)其他功能，單個傳感器的成本和多傳感器的成本之和是相當?shù)?。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用

以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用，現(xiàn)在應用較廣的企業(yè)有：攝像頭：博世、大陸、麥格納激光雷達：法雷奧、大陸以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用毫米波雷達：博世、海拉、麥格納加特蘭傳感器融合：博世、偉世通、法雷奧五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用攝像頭1.博世：第三代前置攝像頭●特點1：攝像頭功能安全等級提高到ASIL-B；●特點2：運用人工智能算法：卷積神經(jīng)網(wǎng)絡算法；●特點3：將密集光流檢測和紋理檢測結合，為未來L4以上的自動駕駛做好準備。2.大陸：第五代攝像頭MFC500●特點1：加入深度學習算法；●特點2：擁有800萬像素和125°廣角；●特點3：具備模塊化、可擴展和互連性等特征。大陸集團針對智能駕駛推出了第五代攝像頭MFC500，它在前一代攝像頭技術上加入深度學習算法，從而提高車輛的環(huán)境感知、駕駛路徑規(guī)劃及運動控制能力。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用攝像頭3.麥格納：EYERIS?攝像頭技術●特點1：提供逼真的360°全景的環(huán)境圖像；●特點2：將集成時間按和開發(fā)成本降到最低。麥格納EYERIS?攝像頭技術包含多項功能，如拖車輔助、自動泊車、行人檢測和環(huán)視功能。該技術的一項最新應用是一款3D全景環(huán)視系統(tǒng)，用于停車或低速行駛時給駕駛員提供輔助。駕駛員可以通過簡單易用的界面來調(diào)整顯示周圍環(huán)境的視角畫面；當在行駛道路上探測到障礙物時，系統(tǒng)將對駕駛員發(fā)出警報。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用毫米波雷達1.博世：第五代毫米波雷達●特點1：第五代毫米波雷達帶寬提高到1.5個G；●特點2：應用先進的技術原理進行無線電波調(diào)頻，滿足對多復雜目標高準確性的探測要求。2.海拉：77GHz雷達傳感器●特點1：RF-CMOS工藝實現(xiàn)緊湊化設計；●特點2：雷達傳感器的自我診斷系統(tǒng)，這是實現(xiàn)高度自動駕駛的重要先決條件。海拉正在利用模塊化平臺的方法研發(fā)24GHz雷達傳感器，這有助于海拉實現(xiàn)將駕駛輔助系統(tǒng)應用于大眾市場這一目標。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用毫米波雷達3.麥格納：ICONRADAR高清雷達●特點1：美國軍用技術血統(tǒng)；●特點2：探測距離超過300m且4D掃描；●特點3：具備頂尖的成像能力和極強的抗干擾能力。4.加特蘭：77GHz毫米波雷達芯片●特點1：高集成和低成本；●特點2：實現(xiàn)了業(yè)界最小的芯片功耗和芯片尺寸。2017年10月，加特蘭微電子科技量產(chǎn)發(fā)布了業(yè)界首款基于CMOS工藝的77GHz毫米波雷達射頻前端單芯片Yosemite。通過電路設計的創(chuàng)新，Yosemite芯片的功耗指標低至業(yè)界同類產(chǎn)品的1/3~1/2，實現(xiàn)了業(yè)界最小的芯片功耗和芯片尺寸，五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用激光雷達1.法雷奧：SCALA激光掃描儀●特點1：探測距離可達150m，探測視野達145°；●特點2：為周圍環(huán)境創(chuàng)建3D地圖，確切探測障礙物。法雷奧SCALA激光掃描儀是目前市場上首款也是唯一一款量產(chǎn)的車規(guī)級激光雷達，具有價格優(yōu)勢。探測距離可達150m，探測視野達145°，是自動駕駛汽車的核心部件。該技術通過為周圍環(huán)境創(chuàng)建3D地圖，可以確切探測障礙物，并對車輛進行精準定位，以確保車輛的整體安全。。2.大陸集團：高清三維激光掃描雷達●特點1：可捕獲并處理實時三維機器視覺；●特點2：以高于50次/s的速度生成環(huán)境模型。大陸集團正致力于打造下一代環(huán)境模型，其研發(fā)的高清三維激光掃描雷達能滿足監(jiān)測汽車外圍環(huán)境的嚴格要求，可捕獲并處理實時三維機器視覺，不含任何機械組件。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用傳感器融合1.博世：自動駕駛域控制器（DCU）●特點1：搭載自動駕駛L2、L3需用的中央行車大腦；●特點2：在L3及未來的L4城市引導上，提供超強能力的域控制器。博世預計在2019年底向市場上推出量產(chǎn)的域控制器（DCU），搭載了自動駕駛L2、L3需用的中央行車大腦。在高速公路引導的高速段（L3）及未來的L4城市引導上，提供超強能力的域控制器（DCU），引入在基礎底層、特征層面運算所需要的硬件加速，不排除像GPU硬件加速的芯片，提高域控制器（DCU）的運算能力。五、以視覺識別和激光雷達為代表的感知技術快速發(fā)展與應用傳感器融合2.偉世通：DriveCore?●特點1：計算能力擴展性強；●特點2：運算能力覆蓋500GFLOPS-20TFLOPS；●特點3：加速基于傳感器的人工智能算法的開發(fā)。偉世通的DriveCore?是一款安全可靠的域控制器，計算能力擴展性強，可以整合多個攝像頭、激光雷達、雷達傳感器的數(shù)據(jù)。3.法雷奧：XtraVue超級視距●特點1：讓駕駛員對道路狀況一目了然；●特點2：整合復雜數(shù)據(jù)，呈現(xiàn)直觀影像。法雷奧XtraVue超級視距集成了安裝于車身的遠程通訊天線、激光掃描儀和法雷奧攝像系統(tǒng)。它能讓駕