汽車測(cè)試漫談

1、汽車測(cè)試漫談之四：汽車數(shù)據(jù)采集與分析汽車數(shù)據(jù)采集可以分為兩大類，一類是駕駛者行為數(shù) 據(jù)采集，另一類是深度學(xué)習(xí)視覺訓(xùn)練數(shù)據(jù)采集。數(shù)據(jù)采集 必然是有選擇性的，最簡單也最普遍的一類機(jī)器學(xué)習(xí)算法 就是分類(classification)。對(duì)于分類，輸入的訓(xùn)練數(shù)據(jù)有特 征(feature)，有標(biāo)簽(label)。所謂的學(xué)習(xí)，其本質(zhì)就是 找到特征和標(biāo)簽間的關(guān)系(mapping)o這樣當(dāng)有特征而無 標(biāo)簽的未知數(shù)據(jù)輸入時(shí)，我們就可以通過已有的關(guān)系得到 未知數(shù)據(jù)標(biāo)簽。如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督 學(xué)習(xí)(supervised learning)。如果數(shù)據(jù)沒有標(biāo)簽，顯然就是 無監(jiān)督學(xué)習(xí)(unsupervis

2、edlearning) 了，也即聚類(clustering)。聚類學(xué)習(xí)目前處于起步階段，與分類學(xué)習(xí)比 簡直是天壤之別，即便不需要標(biāo)注，但是也需要特征，某 種意義上也可以說不是絕對(duì)意義的無監(jiān)督學(xué)習(xí)。駕駛者行 為數(shù)據(jù)，這是評(píng)價(jià)ADAS系統(tǒng)最客觀的方法，根據(jù)此數(shù)據(jù) 分析可以得出ADAS系統(tǒng)是否對(duì)駕駛安全有提升，是否有 價(jià)值。最知名的則是由美國策略性公路研究計(jì)劃(The second StrategicHighway Research Program, SHRP 2) 中的 自然駕駛研究計(jì)劃(Naturalistic Driving Study,NDS)。行駛 于弗吉尼亞州北部(NorthernVir

3、ginia)及華盛頓哥倫比亞特 區(qū)(Washington, D.C.)中之100輛被選定的機(jī)動(dòng)車輛為記 錄對(duì)象，且為了能夠記錄駕駛?cè)藢?shí)際的駕駛情況，其計(jì)劃 執(zhí)行單位并沒有針對(duì)被選駕駛?cè)伺e辦關(guān)于此研究計(jì)劃的說 明會(huì)。這些實(shí)驗(yàn)是在無干擾，無實(shí)驗(yàn)人員出現(xiàn)，日常駕駛 狀態(tài)下進(jìn)行的。此計(jì)劃總共為期兩年，其總共搜集2000000車行里程(vehicle miles)及43000小時(shí)的行駛數(shù) 據(jù)。其中，總共記錄828筆事故及幾近事故資料，其中包 含68件碰撞(crash)及760件幾近碰撞(near-crash)。2012年NDS項(xiàng)目擴(kuò)展到中國，上海同濟(jì)大學(xué)、通用汽車和 弗吉尼亞理工大學(xué)三方合作，在2012

4、年12月開始，于 2015年12月結(jié)束，按計(jì)劃采集90名中國駕駛員的日常駕 駛行為數(shù)據(jù)，每輛車均配備Mobileye的C2-270(FCW)和 SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)?？偣?輛車，分別是2輛 君越，2輛科魯茲，1輛卡迪拉克DTS。每位實(shí)驗(yàn)者駕駛實(shí) 驗(yàn)車輛2個(gè)月，第一個(gè)月開啟Mobileye，第二個(gè)月關(guān)閉。 SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)包括車輛數(shù)據(jù)總線接口，三 軸加速度計(jì)，可跟蹤9個(gè)目標(biāo)的毫米波雷達(dá)，溫度與濕度 傳感器，GPS定位系統(tǒng)，四路攝像頭，這四路分別是駕駛 者面部，車輛前方，車輛后方，駕駛員手部。采集頻率從 10-100HZ不等。需要指出，沒有廠家開放CAN總線

5、，OBD根本拿不到什么有價(jià)值的數(shù)據(jù)。據(jù)說SHRP2 NextGen 由日本富士通設(shè)計(jì)并制造，使用了高性能FPGA。上圖為裝載了 SHARP2 NextGen的車輛后備箱，需要指出 這是2008年的設(shè)計(jì)，換到今日，體積可以大幅度縮小。 截至到2015年7月，上海的NDS研究共采集了55名駕駛 員，大約13萬公里的駕駛數(shù)據(jù)。選擇19名典型駕駛員數(shù) 據(jù)分析，共4573次出行，累計(jì)公里數(shù)為60689公里。其中 32797采集自Mobileye關(guān)閉階段，27892公里采集自 Mobileye開啟階段。駕駛員年齡分布在28-61歲之間，平 均年齡40.9歲，駕齡在1-16年之間，平均駕齡6.6年。研 究結(jié)

6、論表明FCW對(duì)駕駛員行為并未有明顯改變，只是略微 降低了駕駛員跟車的反應(yīng)時(shí)間。光線晴好的情況下，略微 降低了130毫秒，反應(yīng)時(shí)間變短，只是稍微加速了交通流 的速度。歐洲也有類似的項(xiàng)目，名字為EuroFOT，主要在 西班牙和德國開展，包括商用車。德國車隊(duì)有200輛車， 包括60輛MAN卡車，100輛福特轎車和40輛大眾轎車。 福特車輛均配備了 FCW和ACC。MAN則配備了 CSW(Curve Speed Warning)和 LDW。大眾則配備了 ACC 和 LDW。主要研究ACC、LDW、CSW、FCW對(duì)駕駛員的影 響。西班牙由 CTAG (Centre Technologique de lA

7、utomobile deGalice)主導(dǎo)，共40輛車，主要研究巡航 控制和速度控制對(duì)駕駛員的影響。CTAG自己開發(fā)了 Can數(shù) 據(jù)采集器。西班牙的40輛車中35輛裝配低級(jí)采集設(shè)備，5輛裝配高級(jí) 采集設(shè)備。上圖為高級(jí)采集設(shè)備，包括1個(gè)紅外攝像頭、4個(gè)攝像頭和 1個(gè)天合的AC20毫米波雷達(dá)。紅外攝像頭是個(gè)眼球軌跡跟 蹤器。4個(gè)攝像頭，分別對(duì)應(yīng)腳下、臉部、前方和手部。至 于研究成果，目前還未透露。再有一類駕駛者行為數(shù)據(jù)采 集是為了深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)用的，試圖讓機(jī)器學(xué)習(xí)人類的 駕駛技能，最早美國波音公司曾對(duì)其研究，論文為A Survey of Robot Learning from Demonstra

8、tion，提出 LFD。后來美國陸軍實(shí)驗(yàn)室資助CMU開發(fā)，主要研究者是 David Silver, J. Andrew Bagnell 和 AnthonyStentz，這篇論 文的名字為Learning Autonomous Driving Styles and Maneuversfrom Expert Demonstration進(jìn)一步發(fā)展 LFD, 最后就是英偉達(dá)的端到端深度學(xué)習(xí)。訓(xùn)練數(shù)據(jù)包括從視頻中采樣得到的單幀視頻，以及對(duì)應(yīng)的 方向控制命令（1/r）。只用駕駛員操作的數(shù)據(jù)訓(xùn)練遠(yuǎn)遠(yuǎn)不 夠；網(wǎng)絡(luò)模型還需要學(xué)習(xí)如何糾正錯(cuò)誤的操作，否則汽車 就會(huì)慢慢偏離公路了。于是，訓(xùn)練數(shù)據(jù)額外補(bǔ)充了大量圖 像

9、，包括汽車從車道中心的各種偏移和轉(zhuǎn)彎。兩個(gè)特定的 偏離中心的圖像可以從左和右兩臺(tái)相機(jī)得到。攝像機(jī)之間 的其它偏離以及所有的旋轉(zhuǎn)都靠臨近攝像機(jī)的視角變換來 仿真。精確的視角轉(zhuǎn)換需要具備3D場景的知識(shí)，而這套系 統(tǒng)卻不具備這些知識(shí)，因此假設(shè)所有低于地平線的點(diǎn)都在 地平面上，所有地平線以上的點(diǎn)都在無限遠(yuǎn)處，以此來近 似地估計(jì)視角變換。在平坦的地區(qū)這種方法沒問題，但是 對(duì)于更完整的渲染，會(huì)造成地面上物體的扭曲，比如汽 車、樹木和建筑等。英偉達(dá)認(rèn)為這些扭曲對(duì)網(wǎng)絡(luò)模型訓(xùn)練 并無大礙。方向控制會(huì)根據(jù)變換后的圖像迅速得到修正， 使得汽車能在兩秒之內(nèi)回到正確的位置和方向。圖像輸入到CNN網(wǎng)絡(luò)計(jì)算方向控制命令。預(yù)

10、測(cè)的方向控制 命令與理想的控制命令相比較，然后調(diào)整CNN模型的權(quán)值 使得預(yù)測(cè)值盡可能接近理想值。權(quán)值調(diào)整是由機(jī)器學(xué)習(xí)庫 Torch 7的后向傳播算法完成。日本人將這個(gè)系統(tǒng)擴(kuò)展，單 靠攝像頭根本不可靠，激光雷達(dá)是少不了的。日本自動(dòng)駕 駛聯(lián)盟SIP-AURAS將開發(fā)駕駛者行為數(shù)據(jù)庫的任務(wù)交給了 日本JARI，日本汽車研究院。這套系統(tǒng)也可以用來研究駕駛者行為，也可以用來做訓(xùn)練 數(shù)據(jù)。日本汽車研究院與名古屋大學(xué)合作，計(jì)劃使用30輛車在日 本全國采集數(shù)據(jù)。日本的數(shù)據(jù)采集系統(tǒng)不僅有激光雷達(dá)，還有眼球與面部軌 跡，還有心跳次數(shù)。上圖為數(shù)據(jù)采集車。激光雷達(dá)原始數(shù)據(jù)龐大，每秒大約300MB，轉(zhuǎn)換為JPEG 格式

11、的圖像后每秒大約3MB。搜集深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)做圖 形識(shí)別最典型的莫過KITTI。德國卡爾斯魯厄理工學(xué)院和芝 加哥豐田技術(shù)研究所聯(lián)合建立的一個(gè)算法評(píng)測(cè)平臺(tái)KITTI, 成為目前國際上公開的最大的自動(dòng)駕駛場景下的計(jì)算機(jī)視 覺算法評(píng)測(cè)數(shù)據(jù)集。有2012和2015兩個(gè)版本。其他比較 知名的還有，Cityscapes，奔馳聯(lián)合德國老牌工科大學(xué)達(dá)姆 施塔特工業(yè)大學(xué)、普朗克研究院、德累斯頓工業(yè)大學(xué)做 的；劍橋大學(xué)的CamVid，牛津大學(xué)的Oxford RobotCar， 斯坦福大學(xué)的ImageNet，英國利茲大學(xué)、蘇黎世工學(xué)院、 愛丁堡大學(xué)、微軟劍橋研究院、牛津大學(xué)聯(lián)合推出的Pascal VOC， Leuv

12、en 大學(xué)的 Leuven，美國 Middlebury 大學(xué)的 Middlebury。KITTY采集車配置:-2 xPointGray Flea2灰度攝像頭(FL2- 14S3M-C),140 萬像素，1/2” Sony ICX267 CCD, - 2 xPointGray Flea2 彩色攝像頭(FL2-14S3C-C), 140 萬像素， 1/2” Sony ICX267 CCD 4 x EdmundOptics lenses, 4mm, opening angle 90?,vertical opening angle of region of interest(ROI) 35? 1 x

13、Velodyne HDL-64E rotating 3D laser scanner,10 Hz,64 beams, 0.09 degree angular resolution, 2 cm distance accuracy,collecting 1.3 million points/second, field ofview: 360? horizontal, 26.8? vertical, range: 120 m 1 x OXTS RT3003 inertial andGPS navigation system,6 axis, 100 Hz, L1/L2 RTK, resolution:

14、 0.02m / 0.1?上 圖為傳感器布局采集車的雙目攝像頭基線長54厘米，車載 電腦為英特爾至強(qiáng)的X5650 Cpu, RAID 5 4TB硬盤。采集 時(shí)間是2011年的9月底和10月初，總共大約5天，總數(shù) 據(jù)集大約180GB （要做大規(guī)模商業(yè)化應(yīng)用至少要有PB級(jí)的 訓(xùn)練數(shù)據(jù)），2015年做了擴(kuò)展。主要內(nèi)容如下，分訓(xùn)練和測(cè) 試數(shù)據(jù)。上圖為Kitti數(shù)據(jù)格式。To generate 3D object ground-truth we hired a set of annotators, andasked them to assign tracklets in the form of 3D b

15、ounding boxes to objects suchas cars, vans, trucks,trams, pedestrians and cyclists. Unlike most existingbenchmarks, we do not rely on online crowd-sourcing to perform the labeling.Towards this goal, we create a special purpose labeling tool, which displays 3Dlaser points as well as the camera images

16、 to increase the quality of theannotations .與大多數(shù)數(shù)據(jù)集不 同，Kitti沒有采用眾包的形式來手工標(biāo)注，而是自己基于激 光雷達(dá)開發(fā)了自動(dòng)標(biāo)注工具。Cityscape沒有公布其采集車 的照片，其采集車沒有采用激光雷達(dá)，只用了一個(gè)基線為 22厘米的200萬像素級(jí)的雙目攝像頭，使用安森美的 AR0331傳感器，擁有HDR高動(dòng)態(tài)范圍，且是在車內(nèi)部， 而不是在車外面。輸出16比特的線性色彩。沒有使用 IMU，只有一個(gè)GPS?？偣?5000張圖像，其中人工選擇了 5000張前景突出，視差明顯的圖像做精細(xì)標(biāo)注。20000張 前景不突出，駕駛者20米內(nèi)圖像，采用7

17、LabelMe的自動(dòng) 標(biāo)注軟件，做了簡易標(biāo)注。搜集訓(xùn)練數(shù)據(jù)再做標(biāo)注，需要 耗費(fèi)巨大的人力，例如在自然語言處理（NLP）中，Penn Chinese Treebank在2年里只完成了 4000句話的標(biāo)簽。要 知道玩深度學(xué)習(xí)計(jì)算機(jī)視覺的人可都是熱門人才，月薪動(dòng) 輒好幾萬。即便做最沒技術(shù)含量的手工標(biāo)注，也是人工費(fèi) 用不低。牛津大學(xué)搞了一套基于弱監(jiān)督的學(xué)習(xí)系統(tǒng)。在實(shí) 際應(yīng)用中的學(xué)習(xí)問題往往以混合形式出現(xiàn)如多標(biāo)記多示 例、半監(jiān)督多標(biāo)記、弱標(biāo)記多標(biāo)記等，像光線對(duì)圖像質(zhì)量 影響很大，人工標(biāo)注也不可能每幀圖像都標(biāo)得非常好。針 對(duì)監(jiān)督信息不完整或不明確對(duì)象的學(xué)習(xí)問題統(tǒng)稱為弱監(jiān)督 學(xué)習(xí)，弱監(jiān)督學(xué)習(xí)可以看作是有多個(gè)標(biāo)記的數(shù)據(jù)集合，次 集合可以是空集，單個(gè)元素，或是多個(gè)元素的。這套系統(tǒng)輸入圖像，輸出的是語義化分割的圖像，提供駕 駛路徑建議，也就是Free Space。這套系統(tǒng)在一輛日產(chǎn)聆風(fēng) 上安裝了一個(gè)Point GreyBumblebee XB3雙目攝像頭，輸入 精度為640*256，車兩側(cè)各裝一個(gè)Si