智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)-項目六 多傳感器信息融合技術(shù)應(yīng)用

智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)多傳感器信息

融合技術(shù)應(yīng)用PART6

自動駕駛和危險駕駛，究竟有何區(qū)別?上述小的典型事故，這將自動駕駛推上了風(fēng)口浪尖。

在多傳感器融合的時候，大部分雷達(dá)起的其實還是輔助作用，攝像頭這類視覺傳感器還是起主導(dǎo)作用，多傳感器融合會更復(fù)雜，但復(fù)雜的同時也能帶來更高的安全性，目前多傳感器的融合還處于早期發(fā)展階段，遠(yuǎn)遠(yuǎn)談不上成熟?！败嚻笠爰す饫走_(dá)到量產(chǎn)的車型沒多久，而且毫米波雷達(dá)沒有經(jīng)過大規(guī)模量產(chǎn)的檢驗，符合車規(guī)級的毫米波雷達(dá)市場上找不到幾家?！庇菡A解釋，包括傳感器在內(nèi)的自動駕駛技術(shù)，正在快速迭代，怎么用好這些傳感器跟算法結(jié)合。提升自動駕駛的安全性，車企要要做的工作還很多，怎么用好這些傳感器跟算法結(jié)合，提升自動駕駛的安全性，車企要要做的工作還很多。情景導(dǎo)入學(xué)習(xí)目標(biāo)一、多傳感器信息融合技術(shù)1.傳感器融合的概念

如圖６-１所示，以人的感知決策為例引入傳感融合的概念，我們可以簡單的把人的眼、鼻、耳、口等做感官輸入，人的大腦作為中央處理器，人在做出決策前，往往會根據(jù)感觀系統(tǒng)(眼鼻耳口等)所得的信息做分析處理，然后得出下一步應(yīng)該做什么。理論知識2.多傳感器融合的定義

智能網(wǎng)聯(lián)汽車傳感器融合(多傳感器信息融合)，是指將自動駕駛攝像頭、激光雷達(dá)、毫米波雷達(dá)以及超聲波雷達(dá)等多種傳感器各自分別收集到的數(shù)據(jù)進(jìn)行融合，然后利用計算機(jī)技術(shù)將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準(zhǔn)則下加以自動分析和綜合，以完成所需要的決策和估計而進(jìn)行的信息處理過程，以便更加準(zhǔn)確可靠地描述外界環(huán)境，提高系統(tǒng)決策的正確性。如圖６-２所示。3.多傳感器融合技術(shù)的必然性

智能網(wǎng)聯(lián)汽車上所搭載傳感器(攝像頭、超聲波雷達(dá)、毫米波雷達(dá)、激光雷達(dá)等)的原理、功能各不相同,它們在不同的應(yīng)用場景下發(fā)揮著各自的優(yōu)勢，不可替代。如圖６-２所示，為智能網(wǎng)聯(lián)汽車常見的傳感器探測范圍及功能。4.傳感器融合的優(yōu)勢在智能網(wǎng)聯(lián)汽車是自動駕駛系統(tǒng)上使用傳感器融合技術(shù)主要有如下優(yōu)勢。

(２)增加系統(tǒng)感知維度，提高系統(tǒng)的可靠性和魯棒性(３)增強(qiáng)環(huán)境適應(yīng)能力(１)提高感知系統(tǒng)的感知準(zhǔn)確性(４)減少成本二、多傳感器信息融合原理及算法1.激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的相關(guān)坐標(biāo)系(１)數(shù)據(jù)層融合(２)特征級融合(３)決策級融合2.多傳感器融合結(jié)構(gòu)

多傳感器信息融合可以提高擁有多個傳感器智能檢測系統(tǒng)的性能，減少全體或者單個傳感器信息檢測的損失，從傳感器和融合中信息流的關(guān)系來看，多傳感器信息融合的就夠有串聯(lián)型、并聯(lián)型和混聯(lián)型。3.多傳感器融合技術(shù)

目前，智能網(wǎng)聯(lián)汽車多傳感器融合技術(shù)總體上可以分為前融合技術(shù)和后融合技術(shù)。(１)多傳感器前融合技術(shù)(２)多傳感器后融合技術(shù)4.常用的多傳感器信息融合算法

從信息融合的功能模型可以看到，融合的基本功能是相關(guān)、估計和識別。重點(diǎn)是估計和識別，相關(guān)處理要求對多傳感器或多源測量信息的相關(guān)性進(jìn)行定量分析，按照一定的判別原則，將信息分為不同的集合，每個集合的信息都與同一信源關(guān)聯(lián)。

(５)人工神經(jīng)網(wǎng)絡(luò)法(３)多貝葉斯估計法(４)Ｄ￣Ｓ證據(jù)推理法(１)加權(quán)平均法(２)卡爾曼濾波法三、典型智能網(wǎng)聯(lián)汽車傳感器融合方案及應(yīng)用1.攝像頭與毫米波雷達(dá)的融合

車載攝像頭和毫米波雷達(dá)的融合可以很好是實現(xiàn)兩類傳感器的優(yōu)勢互補(bǔ)，攝像頭易受環(huán)境影響，但其分辨率高，可采集豐富的圖像信息，毫米波雷達(dá)抗干擾能力強(qiáng)，但分辨率低，不能識別具體物體，兩者的融合具有如下優(yōu)勢:結(jié)果可靠性高1）互補(bǔ)性強(qiáng)2）識別能力強(qiáng)4）精度高3）2.攝像頭與激光雷達(dá)的融合

激光雷達(dá)與攝像頭融合是智能網(wǎng)聯(lián)汽車上傳感器融合的經(jīng)典方案，在無人駕駛應(yīng)用中，攝像頭傳感器價格便宜，但受光線影響較大，導(dǎo)致其可靠性較低，激光雷達(dá)傳感器探測距離遠(yuǎn)，能有效檢測運(yùn)動物體，可靠性高，但是價格高昂。

(１３)電氣特性測試3.毫米波雷達(dá)與激光雷達(dá)的融合

毫米波雷達(dá)是智能網(wǎng)聯(lián)汽車無人駕駛技術(shù)的核心傳感器，具有體積小、質(zhì)量輕、抗干擾能力強(qiáng)、價格相對便宜等優(yōu)勢，但受波長的等的影響，毫米波雷達(dá)探測距離有限且不能識別具體物體，以及無法對周邊障礙物建模等劣勢，而這些劣勢恰巧是激光雷達(dá)優(yōu)點(diǎn)，兩者可以很好的實現(xiàn)優(yōu)勢互補(bǔ)，兩者的融合使用，有望在保證功能覆蓋和安全性的前提下，減少激光雷達(dá)的使用數(shù)量，降低成本。

(１３)電氣特性測試技能提升

下面以智能網(wǎng)聯(lián)汽車激光雷達(dá)和攝像頭的融合為例，介紹兩種傳感器融合應(yīng)用的整個流程。激光雷達(dá)和攝像頭的融合過程可以分為融合原始數(shù)據(jù)(像素和點(diǎn)云過程)的早期融合過程，融合結(jié)果(激光雷達(dá)和相機(jī)邊界框)的后期融合過程。1.像素和點(diǎn)云的原始數(shù)據(jù)融合過程(１)３Ｄ點(diǎn)云數(shù)據(jù)投影到２Ｄ圖像(２)對２Ｄ對象的檢測(３)感興趣區(qū)域匹配

技能提升

2.激光雷達(dá)和相機(jī)邊界框的融合結(jié)果過程

此過程是在獨(dú)立檢測后融合結(jié)果，我們可以想到的一種方法是運(yùn)行獨(dú)立檢測，在兩端獲得３Ｄ邊界框，然后融合結(jié)果，另一種方法是運(yùn)行獨(dú)立檢測，得到兩端的２Ｄ邊界框，然后融合結(jié)果。下面具體３Ｄ過程，整個過程同樣分為三步:(１)３Ｄ障礙物檢測(激光雷達(dá))(２)３Ｄ障礙物檢測(相機(jī))(３)IOU(Intersection

Over

Union)匹配

學(xué)習(xí)小結(jié)1.智能網(wǎng)聯(lián)汽車傳感器融合(多傳感器信息融合)，是指將自動駕駛攝像頭、激光雷達(dá)、毫米波雷達(dá)以及超聲波雷達(dá)等多種傳感器各自分別收集到的數(shù)據(jù)進(jìn)行融合。2.傳感器融合的優(yōu)勢:提高感知系統(tǒng)的感知準(zhǔn)確性、增加系統(tǒng)感知維度，提高系統(tǒng)的可靠性和魯棒性、增強(qiáng)環(huán)境適應(yīng)能力、減少成本。3.多