完整的自動駕駛傳感器融合及目標(biāo)篩選算法

完整的自動駕駛傳感器融合及目標(biāo)篩選算法展開全文自動駕駛中一個老生常談的話題就是如何對環(huán)境進(jìn)行有效且實(shí)時的感知，不言而喻，利用盡可可能高效的傳感器是一個必然的選擇，隨著自動駕駛研發(fā)等級的不斷提升，其對于駕駛員的依賴程度越來越低，而對系統(tǒng)主控駕駛的依賴越來越高，這就使得對于自動駕駛“眼睛”的傳感器數(shù)量、種類提出了越來越高的要求，對感知結(jié)果效能也提出了越來越高的要求。環(huán)境感知（包括傳感器信號處理和數(shù)據(jù)融合）的任務(wù)是提供交通場景的通用且內(nèi)部一致的圖像，該圖像在其他處理層中與特定功能的場景解釋和行為決策相匹配。那么問題來了，如何對已經(jīng)搭載的如此多的自動駕駛傳感器進(jìn)行有效的信息處理與數(shù)據(jù)融合就必然成為其后控制算法開發(fā)的一大難點(diǎn)。本文將重點(diǎn)講解如何對眾多傳感器進(jìn)行數(shù)據(jù)融合分析。多傳感器架構(gòu)定義最為簡單的融合方法架構(gòu)是根據(jù)檢測目標(biāo)來區(qū)分，即對同一個物體進(jìn)行檢測的不同類型傳感器進(jìn)行數(shù)據(jù)分類，并利用融合算法制造代價函數(shù)cost選擇不同類型傳感器比對后，代價函數(shù)最小的傳感器數(shù)據(jù)作為最終融合后的數(shù)據(jù)，而目標(biāo)的最終屬性則是綜合了以上所有最優(yōu)值（代價函數(shù)的最小值），該目標(biāo)數(shù)據(jù)就是最優(yōu)的數(shù)據(jù)組合體。由此，傳感的有效融合可以實(shí)現(xiàn)了傳感器感知能力最大化，擴(kuò)大智能汽車感知范圍和適用條件，同時可以消除了單一傳感器漏檢（物理特性、使用特性等原因）造成的風(fēng)險。此外，較為一般的傳感器融合方法是通過區(qū)分傳感器類型來進(jìn)行融合的，比如前雷達(dá)與角雷達(dá)融合生成目標(biāo)的速度、距離值，前雷達(dá)與激光雷達(dá)融合生成障礙物信息，前視攝像頭、側(cè)視攝像頭、環(huán)視攝像頭則融合生成目標(biāo)類型、道路環(huán)境信息等。最終是生成需要的環(huán)境模型供自動駕駛做可行使區(qū)域探測。如下圖通過可行使區(qū)域探測整體描述了傳感器探測的目標(biāo)類型及任務(wù)。一般的，對于自動駕駛環(huán)境數(shù)據(jù)識別要求如下：目標(biāo)類型舉例要求（延時）動態(tài)目標(biāo)周邊車輛、行人、交通信號等＜1s靜態(tài)目標(biāo)路面曲率、車道線、路面設(shè)施等＜1min相對動態(tài)目標(biāo)事故、堵塞、天氣等＜1min相對靜態(tài)目標(biāo)交通規(guī)則、路面維修、天氣等＜1h多傳感器融合策略對于一般的自動駕駛系統(tǒng)配置而言，其傳感器配置通常需要充分考慮到對于環(huán)境的整體探知能力，風(fēng)險預(yù)測能力，通常的傳感器感知配置是以模擬人視角的方式，采用攝像頭的方式進(jìn)行識別的。自動駕駛數(shù)據(jù)融合過程中比較常用方式有如下幾種，其相應(yīng)的優(yōu)劣勢對比如下表：傳感器架構(gòu)類型全分布式融合全集中式融合混合式融合特征由本地傳感器模塊進(jìn)行高級數(shù)據(jù)處理，并在一定程度上進(jìn)行決策制定的。所有的數(shù)據(jù)處理和決策制定都是在同一個位置ECU完成，數(shù)據(jù)是來自不同傳感器的“原始數(shù)據(jù)”。根據(jù)系統(tǒng)中所使用傳感器的數(shù)量與種類，以及針對不同車型和升級選項(xiàng)的可擴(kuò)展性要求，將兩個拓?fù)浠旌显谝黄鹁涂色@得一個優(yōu)化解決方案。優(yōu)勢傳感器模塊與中央ECU之間可以使用更低帶寬、更加簡單且更加便宜的接口。中央ECU只將對象數(shù)據(jù)融合在一起，因此其所需處理能力更低。傳感器模塊體積小巧，成本低，功耗也低，這是因?yàn)槠渲恍枰獔?zhí)行檢測和數(shù)據(jù)傳輸任務(wù)。中央處理ECU可以獲取全部數(shù)據(jù)，這是因?yàn)閿?shù)據(jù)不會因?yàn)閭鞲衅髂K內(nèi)的預(yù)處理或壓縮而丟失。傳感器、ECU針對不同功能搭載可分層管理，在某些異常情況下ECU失效時，傳感器可充當(dāng)冗余控制器實(shí)現(xiàn)一些必要安全性功能的，以保證駕駛輔助安全性。劣勢傳感器模塊需要有應(yīng)用處理器，這樣的話就會變得體積更大、價格更高且功耗更大。中央決策制定ECU只能獲取對象數(shù)據(jù)，而無法訪問實(shí)際的傳感器數(shù)據(jù)。實(shí)時處理傳感器數(shù)據(jù)需要提供寬帶通信（高達(dá)數(shù)Gb/s），因此可能出現(xiàn)較高電磁干擾（EMI）。中央ECU需要有高處理能力和速度來處理所有輸入數(shù)據(jù)。分布式子系統(tǒng)的算法移植難度較大，且主系統(tǒng)對于子系統(tǒng)的管控力度相對較小，升級比較困難這里我們總體對比了各自的優(yōu)劣，從自動駕駛開發(fā)的不同階段來講，在L1級別時，更多的是采用全分布式方式進(jìn)行數(shù)據(jù)處理，比如當(dāng)年搭載的ACC、LKA等功能分別都是放入到雷達(dá)和攝像頭進(jìn)行實(shí)現(xiàn)，兩者數(shù)據(jù)并未產(chǎn)生關(guān)聯(lián)。而當(dāng)前處于L2+至L3級別的開發(fā)過程中，更多的是利用混合式策略進(jìn)行融合方式。其開發(fā)效率，難度，傳感利用率，降級策略等都可以做到比較完滿的程度。但是從自動駕駛后續(xù)整體的開發(fā)趨勢上講是實(shí)現(xiàn)真正意義上的L3+，采用集中式的方式則是更加符合自動駕駛開發(fā)策略。多傳感器融合架構(gòu)及算法在了解了自動駕駛系統(tǒng)多傳感器策略后，我們會更加針對性的講解自動駕駛?cè)诤纤惴ā＿@里考慮搭載比較全面的傳感器進(jìn)行融合的整體策略，以當(dāng)前正在研發(fā)的混合式傳感器融合策略進(jìn)行全面講解。從車身探測角度講，這里假設(shè)自動駕駛車型配置了3類不同的傳感器進(jìn)行環(huán)車身無縫探測（示意圖如下），那么如何對這三類傳感器進(jìn)行數(shù)據(jù)融合呢？我們這里從汽車車身覆蓋范圍進(jìn)行探測區(qū)分，劃分三個主要探測區(qū)域（如下圖）：這里分別針對功能考慮正前方及側(cè)前方區(qū)域的利用前視攝像頭、側(cè)視攝像頭、前中距離雷達(dá)及前角雷達(dá)分別進(jìn)行車道運(yùn)動目標(biāo)探測及融合。首先，利用智能攝像頭AICamera進(jìn)行可行使區(qū)域的探測。該可行使區(qū)域作為前向目標(biāo)檢測融合的基礎(chǔ)范圍，同時與前雷達(dá)、前視攝像頭進(jìn)行融合，從而生成被傳感器選擇后的前方目標(biāo)信息，該目標(biāo)信息是作為進(jìn)一步態(tài)勢評估的潛在目標(biāo)信息，這一過程要求進(jìn)行障礙物信息仲裁。隨后，利用前視攝像頭、前側(cè)視攝像頭進(jìn)行自車道以及相鄰車道相關(guān)信息進(jìn)行檢測，最后，利用后側(cè)視攝像頭與后角雷達(dá)對自車道后方及側(cè)后方區(qū)域進(jìn)行檢測。一般地，在自動駕駛?cè)诤纤惴ㄔO(shè)置中，需要充分考慮融合算法是否易于拆分成局部融合，這樣不僅可以很大程度的降低全局融合的壓力，且可針對不同車型地不同配置可以進(jìn)行靈活的組合。這一過程實(shí)際是可將融合算法進(jìn)行拆分，并置于不同計算核或者芯片內(nèi)，從而可以減少核計算負(fù)載。同時當(dāng)單一芯片失效時，融合算法可實(shí)現(xiàn)降級使用。如下將針對比較典型的前向可行使區(qū)域數(shù)據(jù)融合進(jìn)行詳細(xì)描述。借助攝像頭和前向毫米波雷達(dá)，前向“數(shù)據(jù)融合”的定義是可以對對各種傳感器信號進(jìn)行集成，并擴(kuò)展到提供和解釋不同的識別結(jié)果，從而對車輛周圍的交通場景進(jìn)行一致的描述，該兩種傳感器的融合更多是前向運(yùn)動目標(biāo)的狀態(tài)識別。而可行駛車輛環(huán)境由所謂的自由空間模型明確描述，為此，它存在不同的區(qū)域模型定義，它們不同于經(jīng)典的對象識別，因?yàn)樗鼈冎饕獙囕v的靜態(tài)環(huán)境進(jìn)行建模。此外，場景模型包含有關(guān)道路幾何形狀的信息，例如路緣石和顛簸，道路標(biāo)記，道路標(biāo)志和預(yù)測性路線數(shù)據(jù)（以導(dǎo)航圖的形式）。故對于前三種傳感器的識別可以完整的描述前向可通行區(qū)域的潛在風(fēng)險程度。而數(shù)據(jù)融合的整體策略圖表示如下：如上圖，首先利用在傳感器數(shù)據(jù)重構(gòu)模塊對相關(guān)目標(biāo)進(jìn)行世界坐標(biāo)系向圖像坐標(biāo)系的轉(zhuǎn)換、對識別的目標(biāo)進(jìn)行時間重同步及信息重排序等相關(guān)工作，而對于雷達(dá)和攝像頭加入潛在風(fēng)險目標(biāo)識別則可以更高效、更準(zhǔn)確地實(shí)現(xiàn)前向數(shù)據(jù)預(yù)測融合算法，由于算法分?jǐn)偟角袄走_(dá)與攝像頭上，也可以更低成本的完整前向數(shù)據(jù)融合算法。且通過目標(biāo)危險等級排序及篩選，可以更多的減少后端計算負(fù)載。此外，通過將環(huán)境感知的跨功能任務(wù)與特定功能的設(shè)計分開，可以顯著提高整個系統(tǒng)的可伸縮性。該架構(gòu)允許在控制單元上對算法進(jìn)行分區(qū)，甚至在多個控制設(shè)備上進(jìn)行算法分配。多傳感器有效目標(biāo)篩選多傳感器目標(biāo)篩選不同于單個傳感器，它需要將前述融合目標(biāo)、車道信息、自車信息三個同時考慮進(jìn)來，篩選計算的原理是通過評估道路模型，建立場景跟蹤算法，利用車道線信息估算車道形狀及車輛行駛軌跡，從而監(jiān)測本車及目標(biāo)車的車道改變狀態(tài)，該狀態(tài)包括計算本車與車道中心偏移，利用該偏移計算相應(yīng)的位置補(bǔ)償，計算實(shí)時車道寬度，并利用以上兩者計算值調(diào)整目標(biāo)選擇閾值。由此總體來說，目標(biāo)篩選的整體算法實(shí)際是一種繼承的模型感知（HierarchicalModularEnvironmentPerception,HMEP）該方法策略是將原始感知融合的目標(biāo)、車道信息、自車信息輸入至有效目標(biāo)跟蹤算法模型中，通過檢測本車及目標(biāo)車行駛狀態(tài)、檢測車道線信息及道路軌跡信息從而對車道位置及車道寬度進(jìn)行估計。利用該車輛在車道的實(shí)際位置及車道實(shí)際寬度可以進(jìn)行有效的融合目標(biāo)估計，最后對融合后的目標(biāo)進(jìn)行跟蹤。相應(yīng)的流程如下：(下圖有問題，請加知圈微信，獲取原圖)對于選擇的有效目標(biāo)跟蹤算法而言需要及時的輸出道路目標(biāo)估計數(shù)據(jù)，在目標(biāo)選擇算法模塊利用所選擇的目標(biāo)參考位置點(diǎn)，計算車輛行駛路徑及位置偏移，利用該位置偏移進(jìn)行風(fēng)險目標(biāo)篩選，期間，需要根據(jù)實(shí)際車輛的行駛狀態(tài)進(jìn)行卡爾曼濾波預(yù)測及更新相應(yīng)的數(shù)據(jù)。如下圖實(shí)際表示了一種車輛行駛前向目標(biāo)選擇的示意圖，紅色曲線表示車道線，假設(shè)當(dāng)前車輛處于坐標(biāo)系的原點(diǎn)處，自車的預(yù)測軌跡線為藍(lán)色虛線，同時車道線中心在紅色的點(diǎn)處，此時車輛相對車道中心線的橫向偏移量為offset1，前車相對于自車的橫向偏移量為offset2，如下圖。利用如上兩個數(shù)據(jù)可以精準(zhǔn)的計算出前車相對于實(shí)際車道線的距離如下：D_L=offset2-offset1;當(dāng)D_L>0時，說明目標(biāo)車與本車不處于同一個車道，則不將該目標(biāo)車選擇為自車道潛在風(fēng)險碰撞目標(biāo)；如上圖中N1不應(yīng)該被選擇為潛在風(fēng)險目標(biāo)；當(dāng)-offset1<d_L<0時，說明目標(biāo)車與本車處于同一個車道靠右，則將該目標(biāo)選擇為自車道潛在風(fēng)險碰撞目標(biāo)；如上圖N2應(yīng)該被選擇為風(fēng)險目標(biāo)；當(dāng)D_L<-offset1時，說明目標(biāo)與本車處于同一個車道或外側(cè)車道靠左，則此時不將該目標(biāo)選擇為自車道潛在風(fēng)險碰撞目標(biāo)。如上圖N3應(yīng)該被選擇為風(fēng)險目標(biāo)。總結(jié)自動駕駛中的