攝像頭+雷達(dá)+超聲波？多傳感器融合不是夢(mèng)

1、攝像頭+雷達(dá)+超聲波？多傳感器融合不是夢(mèng)多傳感器融合算法的驗(yàn)證ADAS功能開(kāi)發(fā)中的一種新的仿真技術(shù)高級(jí)駕駛員輔助系統(tǒng)（AdvaneedDriverAssistaneeSystems,ADAS）的應(yīng)用使得未來(lái)車輛能夠在危急的環(huán)境中輔助駕駛員工作，并能提醒他們潛在的危險(xiǎn)，因此通過(guò)傳感器技術(shù)感知相關(guān)的交通狀況是最基本的要求，但是由于各系統(tǒng)間交互作用的高度復(fù)雜性使真實(shí)測(cè)試駕駛中使用的評(píng)估方法不再滿足需求，需要有新的仿真手段來(lái)測(cè)試和評(píng)估ADAS。通過(guò)模擬真實(shí)車輛的行為和交通環(huán)境進(jìn)行虛擬測(cè)試駕駛，CarMaker的開(kāi)放式集成測(cè)試平臺(tái)提供了一種新的仿真技術(shù)，能夠聯(lián)合虛擬攝像頭和環(huán)境傳感器（雷達(dá)、激光、超聲波

2、），用于多傳感器數(shù)據(jù)融合算法的功能測(cè)試。背景為了識(shí)別交通對(duì)象，除了常見(jiàn)的車輛傳感器如雷達(dá)、激光環(huán)境傳感器，基于攝像頭的傳感器（如灰度、顏色傳感器）和深度攝像頭（如PMD3D攝像頭）的使用將會(huì)越來(lái)越多，各式各樣的基于圖像的系統(tǒng)也被用于交通標(biāo)志識(shí)別和車道跟蹤中，用來(lái)實(shí)現(xiàn)自適應(yīng)速度控制系統(tǒng)和車道偏離預(yù)警系統(tǒng)。多傳感器數(shù)據(jù)的融合技術(shù)通過(guò)創(chuàng)建全面連貫的環(huán)境圖像，在未來(lái)ADAS的進(jìn)一步發(fā)展中將會(huì)起到至關(guān)重要的作用。多系統(tǒng)的集成會(huì)產(chǎn)生新的駕駛員輔助功能，可以改善駕駛的安全性、舒適性和燃油經(jīng)濟(jì)性。除了傳統(tǒng)的安全方面，對(duì)環(huán)境的感知也會(huì)作為信息來(lái)源用于預(yù)設(shè)的駕駛策略以改進(jìn)燃油經(jīng)濟(jì)性。多系統(tǒng)集成的復(fù)雜性將會(huì)導(dǎo)致開(kāi)發(fā)

3、和測(cè)試工作的大量增加，當(dāng)前基于真實(shí)測(cè)試駕駛的評(píng)估方法已經(jīng)不能滿足要求，需要新的仿真技術(shù)來(lái)測(cè)試和評(píng)估ADAS，進(jìn)而可以模擬真實(shí)車輛行為和復(fù)雜交通環(huán)境的虛擬測(cè)試駕駛應(yīng)運(yùn)而生。一方面仿真要嚴(yán)格模擬真實(shí)的物理交通環(huán)境，另一方面要具有可重用性和對(duì)比性，因此，將基于攝像頭的部件集成到完全閉環(huán)的測(cè)試和集成平臺(tái)中，使傳感器融合技術(shù)能在真實(shí)的環(huán)境條件下進(jìn)行測(cè)試，對(duì)ADAS的發(fā)展具有重要的意義。數(shù)據(jù)融合的優(yōu)勢(shì)信息融合技術(shù)是一種重要的發(fā)展趨勢(shì)，它的優(yōu)勢(shì)顯而易見(jiàn)：各傳感器數(shù)據(jù)的融合能夠增加信息量，可以獲得更詳細(xì)、更可靠、精度更高的環(huán)境信息，所以能實(shí)現(xiàn)更好的駕駛安全性、舒適性和燃油經(jīng)濟(jì)性。雷達(dá)和攝像頭的聯(lián)合作用最能體現(xiàn)

4、數(shù)據(jù)融合的優(yōu)勢(shì)。由于兩個(gè)系統(tǒng)差異較大，雷達(dá)感知的數(shù)據(jù)精度高，在縱向可探測(cè)距離遠(yuǎn)，攝像頭正好能感知橫向和垂向，以及識(shí)別物體的大小，所以兩種來(lái)源的數(shù)據(jù)結(jié)合在信息互補(bǔ)和品質(zhì)提高上會(huì)產(chǎn)生顯著的增長(zhǎng)。不同類型的傳感器具有不同的優(yōu)點(diǎn)和弱點(diǎn)，雷達(dá)系統(tǒng)擅于探測(cè)物體的距離（包括晚上和霧天），攝像頭擅于探測(cè)物體的尺寸和運(yùn)動(dòng)（晚上和霧天視覺(jué)會(huì)變差），所以通過(guò)對(duì)不同傳感器取長(zhǎng)補(bǔ)短，功能開(kāi)發(fā)的能力和效率可以明顯改進(jìn)。解決方案對(duì)新的駕駛員輔助系統(tǒng)或新軟件版本進(jìn)行測(cè)試時(shí)，如果不使用虛擬環(huán)境，則需要駕車行駛數(shù)千公里、記錄大量數(shù)據(jù)，并且不能覆蓋到每個(gè)交通場(chǎng)景，同時(shí)相同條件不同參數(shù)（如不同控制參數(shù)或算法）下不同重復(fù)相同的駕駛測(cè)試

5、，所以這不是最理想的解決方案。一個(gè)合適的仿真環(huán)境有諸多要求：必須能集成控制器（軟件/硬件）和融合算法；傳感器和攝像頭必須有可用的詳細(xì)模型；輸入給融合算法的傳感器數(shù)據(jù)的時(shí)間和地點(diǎn)必須同步；必須能夠設(shè)置復(fù)雜的測(cè)試場(chǎng)景。1.1軟件測(cè)試（MIL/SIL）在產(chǎn)品開(kāi)發(fā)前期或者無(wú)需測(cè)試真實(shí)硬件控制器時(shí)，對(duì)軟件/算法本身進(jìn)行測(cè)試是一種有效的手段。CarMaker基于開(kāi)放式的集成和測(cè)試平臺(tái)，開(kāi)發(fā)了一種新的Software-in-the-Loop(SIL)和Model-in-the-Loop(MIL)仿真技術(shù)，用于集成虛擬攝像頭和環(huán)境傳感器(雷達(dá)、激光、超聲波)，所以在實(shí)時(shí)動(dòng)畫(huà)軟件中擴(kuò)展了一個(gè)復(fù)雜的攝像頭模型Vi

6、deoDataStream(VDS)用來(lái)對(duì)3D圖像生成灰度、色彩度、立體圖、深度圖(如PMD)等視頻數(shù)據(jù)，這些數(shù)據(jù)通過(guò)TCP/IP網(wǎng)絡(luò)接口傳送到測(cè)試的控制器或者圖像處理算法，如圖1所示。I:DataThuixficrVDSECU測(cè)試(HIL)傳統(tǒng)測(cè)試真實(shí)控制器如車道偏離報(bào)警系統(tǒng)(LaneDepartureWarningSystems,LDW)的方法是在黑盒中安裝真實(shí)攝像頭和監(jiān)視器，如圖2所示。但是這種方法有很多問(wèn)題，首先不能實(shí)現(xiàn)阻止攝像頭干擾光；其次評(píng)估多個(gè)攝像頭會(huì)增加成本；第三，顯示器和鏡頭的同步有問(wèn)題；第四，PC機(jī)到顯示器的延遲、顯示器內(nèi)部電子管與LCD屏的延遲、相機(jī)和ECU的延遲等都可能

7、造成融合的信號(hào)來(lái)自非同步的傳感器；第五，全景攝像頭不能使用黑盒的方法。為了解決上述問(wèn)題，需要一個(gè)有效的新方法來(lái)測(cè)試真實(shí)存在的部件HIL，它通過(guò)VideolnterfaceBox工具將視頻信號(hào)傳遞給ECU，而這些視頻信號(hào)是在PC機(jī)上IPGMovie的圖像生成的。VideolnterfaceBox的原理是將PC傳遞來(lái)的視頻信號(hào)分離轉(zhuǎn)化成單個(gè)的視頻信號(hào)，如圖3所示。使用VideolnterfaceBox和VideoDataStream可以實(shí)時(shí)仿真完全同步的超過(guò)6個(gè)不同位置和屬性的攝像頭。這些攝像頭可以自由配置成250的光學(xué)視角和鏡頭缺陷如暗角、畸變。一些挑戰(zhàn)性的應(yīng)用如360全景視角系統(tǒng)的攝像頭融合可

8、以基于這些方法驗(yàn)證。魚(yú)眼鏡頭魚(yú)眼鏡頭經(jīng)常應(yīng)用在泊車輔助系統(tǒng)(ParkingAssistaneeSystems,PAS)中，如圖4所示。它們分別按照在汽車前后以及后視鏡上，形成了一個(gè)四周的視野，甚至還能仿真車頂?shù)囊暯?。要?shí)現(xiàn)此功能，需要將來(lái)自不同攝像頭的圖片放在一起并進(jìn)行數(shù)字校正。進(jìn)過(guò)提取、處理、融合后的環(huán)境信息會(huì)被傳輸?shù)娇刂茊卧?，所以需要使用CarMaker的開(kāi)放式集成和測(cè)試平臺(tái)對(duì)傳感器數(shù)據(jù)融合算法進(jìn)行測(cè)試。IPGMovie可以仿真四種不同成像機(jī)理的魚(yú)眼鏡頭：等距投影，等積投影，正面投影，立體投影?？梢酝ㄟ^(guò)不同的方式配置魚(yú)眼鏡頭，如可定義90到250的視角范圍，可定義不同的模式：X-Mode，

9、Y-Mode，Diagonal-Mode,Seale-Mode，offsetX+Y。導(dǎo)航數(shù)據(jù)的融合除了攝像頭數(shù)據(jù)和雷達(dá)數(shù)據(jù)能夠進(jìn)行融合，還有一些系統(tǒng)如標(biāo)志識(shí)別系統(tǒng)是基于導(dǎo)航系統(tǒng)的數(shù)據(jù)。導(dǎo)航數(shù)據(jù)是靜態(tài)的，而攝像頭的數(shù)據(jù)是動(dòng)態(tài)的IPG開(kāi)發(fā)了ADAS-RP用于基于地圖的ADAS研究。CarMaker將GPS位置發(fā)送給ADAS-RP，并反饋收到電子眼界（如當(dāng)前車速、限制車速、急轉(zhuǎn)彎）和最可行的路徑，如圖5所示。將來(lái)駕駛員會(huì)獲得越來(lái)越多的聲學(xué)、光學(xué)、觸覺(jué)向?qū)?。結(jié)語(yǔ)汽車領(lǐng)域?qū)跀z像頭的傳感器的使用在穩(wěn)步增加，將會(huì)導(dǎo)致開(kāi)發(fā)和驗(yàn)證工作量的加大，所以在真實(shí)物理環(huán)境中的測(cè)試不再滿足需求。為了進(jìn)一步發(fā)展ADAS技

10、術(shù)，多傳感器（如雷達(dá)和攝像頭）數(shù)據(jù)融合扮演著至關(guān)重要的角色。傳感器數(shù)據(jù)融合的目的是增加信息量，但是一個(gè)合適的仿真環(huán)境需要考慮諸多要求在SIL和MIL測(cè)試應(yīng)用上，IPG開(kāi)發(fā)了VideoDataStream,VDS是集成在IPGMovie中的復(fù)雜攝像頭模型，用于生成同步的視頻數(shù)據(jù)。在HIL測(cè)試中，VideoInterfaceBox可以使用電腦仿真的視頻數(shù)據(jù)進(jìn)行硬件測(cè)試。所有的信號(hào)可以由四種不同仿真攝像頭的數(shù)據(jù)組成，所有攝像頭模型可以在實(shí)時(shí)上完全同步，并能單獨(dú)配置屬性。經(jīng)過(guò)提取、處理、融合后的環(huán)境信息會(huì)被傳到ECU。IPGMovie支持市面上的四種主要的魚(yú)眼鏡頭的仿真。使用CarMaker進(jìn)行傳感器數(shù)據(jù)融合算法的測(cè)試需要幾種技術(shù)，如圖6。KFIFtotalFjjj-ftCurn