基于深度學(xué)習(xí)的道路交通標志數(shù)字識別技術(shù)探究_圖文

1、 基于深度學(xué)習(xí)的道路交通標志數(shù)字識別技術(shù)探究余進程1 謝光漢1 羅芳2(1.廣東工業(yè)大學(xué)自動化學(xué)院 廣東廣州 510006;2.清遠職業(yè)技術(shù)學(xué)院汽車系 廣東清遠 510060摘要:選取了自然場景中的交通標志為研究對象,采集了大量實景圖像作為訓(xùn)練樣本和測試樣本,采用一種新型的深度學(xué)習(xí)模型MPCNN(Max-pooling Convolutional Neural Networks進行識別實驗,實驗結(jié)果表明,深度學(xué)習(xí)方法在交通標志識別上不需要任何人工特征提取模型預(yù)先提取特征,直接對原始圖進行訓(xùn)練學(xué)習(xí)就能取得較高的識別效率。關(guān)鍵詞:深度學(xué)習(xí)MPCNN交通標志中圖分類號:TP391.41文獻標識碼:A

2、 文章編號:1007-9416(201312-0062-03交通標志識別技術(shù)的研究最早開始于奔馳等14家大型汽車公司組成的民間組織所資助的Prometheus(Program for EuropeanTraffic with Highest Efficiency and unprecedented safety計劃1,其目標是研究一個交通標識識別系統(tǒng),但直到最近幾年,其研究成果才獲得研究者的廣泛關(guān)注。道路交通標志的識別系統(tǒng)TSR(Traffic Sign Recognition是“智能交通系統(tǒng)ITS(Intelligent Trans-portation System”研究領(lǐng)域中的熱點和難點之

3、一,也是難度較大的實景目標識別問題之一2。因為自然場景下采集到的道路交通標志圖像除了易受天氣,光照,復(fù)雜背景等因素影響外,還可能出現(xiàn)遮擋,變形,掉色等情況。這些都將直接影響到最終的識別結(jié)果。目前,識別方法眾多,但總體而言,國內(nèi)的研究在方法的創(chuàng)新和實用上相比國外還有一定差距。交通標志的自動識別過程主要包括交通標志的檢測和交通標志的判別3,本文主要研究深度學(xué)習(xí)算法在交通標志判別上的應(yīng)用。獲得圖像更抽象的特征表述。2 深度學(xué)習(xí)簡介深度學(xué)習(xí)是機器學(xué)習(xí)的第二次浪潮,20世紀90年代以來主要以淺層機器學(xué)習(xí)模型為主流,例如支持向量機(SVM,Support Vector Machines、Boosting

4、、最大熵方法(如LR,Logistic11Regression等。但到2006年,這一局面因為機器學(xué)習(xí)領(lǐng)域泰斗,加拿大多倫多大學(xué)教授Hinton在Science上發(fā)表的一篇文章而12被打破,從此掀起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究,是無監(jiān)督學(xué)習(xí)的一種,其動機在于建立,模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)能通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)在圖像識別、語音識別和自然語言處理等方面都得到了很大的發(fā)展。1898年深度學(xué)習(xí)首次由LeCun和他的同事嘗試應(yīng)用于圖像識別領(lǐng)域,并取得了很大成功,其采用的是一種帶有

5、卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks,CNN13。近年來,在圖像識別領(lǐng)域研究者們的不懈努力及創(chuàng)新下,越來越多的深度學(xué)習(xí)模型及其變種應(yīng)用于圖像識別的成果被公布于眾。本文交通標志的識別14采用的MPCNN就是CNN的一種變形模型。1 交通標志判別方法的研究現(xiàn)狀交通標志檢測出來后,對其進行分類判別是交通標示識別的最終目的。目前,對交通標志判別的方法很多。大致可分為基于神經(jīng)網(wǎng)4-5絡(luò)、基于形狀(模式匹配和基于顏色等。文獻6通過對待判別交通標志進行SIFT特征與特征子空間的交通標志描述符進行匹配,完成交通標志的識別。SIFT特征是基于物體上的一些局部

6、外觀的興趣點而與物體的大小和旋轉(zhuǎn)無關(guān)。對于光線、噪聲、些微視角改變的容忍度也相當高,所以該方法對實景中部分出現(xiàn)傾斜,遮擋的交通標志也有很好的識別率。文獻7在中心投影特征計算的基礎(chǔ)上,利用訓(xùn)練后的概率神經(jīng)網(wǎng)絡(luò)實現(xiàn)了交通標志的判別,并與不變矩特征及SIFT特征的識別效果進行了對比,實驗得出中心投影特征能取得最高的識別率。但由于中心投影特征描述的只是形狀特征,在對交通標志進行形狀粗分類時效果較好,在細分類如從各種圓形限速標志中判別出具體是哪種限速標志時很難取得較高的識別效果。文獻8提出了一種基于顏色規(guī)格化的交通標志分類模型,先通過顏色規(guī)格化將交通標志中復(fù)雜的顏色信息簡化為5種基本顏色,再利用兩級智能

7、分類器M-SVMs對交通標志進行判別。該方法取得了很好的粗分類效果。上述這些方法都能在特定的應(yīng)用情況下取得較好的識別效果,然而只是基于形狀和顏色特征或者只是依靠一些人工提取的單一特征如不變矩特征、中心投影特征、SIFT特征還是有些研究者采用9-10的小波矩特征等等來訓(xùn)練識別網(wǎng)絡(luò),這些都易忽視圖像的內(nèi)在的很多細節(jié),而往往這些細節(jié)正是區(qū)別不同圖像的關(guān)鍵。與這些方法相比本文采用的深度學(xué)習(xí)方法的優(yōu)點是該方法不需要任何人工特征,它能直接以圖像的像素作為輸入,通過深層次結(jié)構(gòu)自動學(xué)習(xí)3 實驗本文實驗是基于Matlab2008操作平臺實現(xiàn)的,實驗的主要目的是將MPCNN應(yīng)用到道路交通標志識別上,對網(wǎng)絡(luò)的識別率

8、和魯棒性進行測試。為了實驗驗證我們在戶外采集了大量交通標志建立了一個數(shù)據(jù)集。3.1 MPCNN結(jié)構(gòu)及原里1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究,提出了感受野(receptive field的概念,并運用于卷積神經(jīng)網(wǎng)絡(luò)15,傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò),每層由多個二維平面組成,而每個平面又由多個獨立的神經(jīng)元組成,各層之間共享權(quán)值。一般分為卷積層(C層和采樣層(S層。C層的每個神經(jīng)元的輸入與前一層的局部感受野相連,并提取改局部的特征。S層用來求局部平均與二次提取,這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識別時對輸入樣本有較高的畸變?nèi)萑棠芰?。MPCNN在傳統(tǒng)CNN的基礎(chǔ)上將

9、S層的采樣方法變換成求局部最大值,這樣大大減少了提取上層不變特征時的計算復(fù)雜度。如式(1所示。 (1其中,樣本圖像大小為N×N,感受野是一個n×n的小窗口,該窗口可以是小于圖像大小的任意大小,ai是感受野內(nèi)采樣前的像素作者簡介:余進程,1988年11月,男,在讀研究生,研究方向:圖像處理,機器視覺與機器學(xué)習(xí); 謝光漢,男,博士,副教授,研究方向:圖像處理,機器視覺,控制理論相關(guān)方向;羅芳,1987年4月,女,碩士,助教,研究方向:機器視覺、圖像處理和模糊控制,清遠職業(yè)技術(shù)學(xué)院。62 圖1 實驗所用MPCNN 結(jié)構(gòu)圖 圖 2 部分樣本圖 表 1 各類交通標志樣本數(shù)及識別率 圖

10、 3 MPCNN 的識別過程個神經(jīng)元,網(wǎng)絡(luò)就是通過最后13個輸出神經(jīng)元的不同反應(yīng)來判斷輸入的是哪類交通標志完成對交通標志的最終識別。3.2 實驗數(shù)據(jù)集及結(jié)果我們主要在深圳,廣州城區(qū)道路上對13種常見的戶外交通標志進行了采集,其中按形狀分包含了圓形、三角形、正六邊形和正方形標志,按顏色劃分有紅色禁令標志和藍色指示標志?？倶颖緮?shù)5780個,包含了自然場景中交通標志可能出現(xiàn)的各種情況如掉色,光照不均,遮擋,形變等等,部分樣本如圖(2所示。其中,隨機選取了3460個作為訓(xùn)練樣本,其余2320個作為測試樣本。網(wǎng)絡(luò)采用的是梯度下降法訓(xùn)練,迭代10次后網(wǎng)絡(luò)收斂,如圖3所示是訓(xùn)練好的識別網(wǎng)絡(luò)MPCNN對測試樣

11、本進行識別時各卷積層、采樣層的特征圖和所用的卷積核。各樣本數(shù)及識別結(jié)果如表1所示。部分誤識別都是由于形變太大,遮擋過多、光照太暗或反光造成。4 結(jié)論點值,它們通過一個窗口函數(shù)u(x,y(通常采用的是sigmoid函數(shù)后再取最大值就得到一個像素點值aj,這樣這個鄰域內(nèi)n×n個像素就變成了一個像素,感受野在圖像上逐像素滑動后就產(chǎn)生了一個大小縮小了n2倍的特征映射圖。本文采用的MPCNN結(jié)構(gòu)及各層神經(jīng)元數(shù)如圖1所示,該結(jié)構(gòu)對我們的數(shù)據(jù)集是最佳的。輸入的是一個大小為46×46的原始圖像的灰度圖像。6個大小為7×7的不同卷積核分別與該圖像卷積后得到含有6個大小為40

12、5;40的特征圖的卷積層C1,C1層通過大小為2×2的最大采樣池亞采樣求最大值后將特征圖的大小分別降為20×20得到采樣層S2。S2層的特征映射圖再通過16個大小為7×7的卷積核卷積后得到含有16個大小為14×14的特征圖的C3層。C3層通過2×2的最大池采樣后得到S4層,該層含有16個大小為7×7的特征映射圖。對S4層的特征映射圖用340個大小為7×7的卷積核進行卷積就得到了C5層包含340個1×1的特征圖。C5層到F6層是全連接的,F6層含有100個神經(jīng)元。由于我們要識別的交通標志有13類,所以最后的輸出層含有

13、13本文數(shù)據(jù)集中的道路交通標志全部采集于真實自然場景中,實驗結(jié)果可以看出,深度學(xué)習(xí)網(wǎng)絡(luò)MPCNN不需要預(yù)先提取圖像的任何人工特征,直接對原始圖像經(jīng)過迭代訓(xùn)練學(xué)習(xí)收斂后,對2320個測試樣本的識別率達到了98.4%,取得了較高的識別率,而且對出現(xiàn)遮擋,光照不均、掉色和形變的交通標示也有一定的魯棒性。盡管如此,深度學(xué)習(xí)模型在其結(jié)構(gòu)和學(xué)習(xí)方法上仍然還有很大的提升和改進空間。同時,在實際應(yīng)用時,為了提高網(wǎng)絡(luò)的魯棒性,應(yīng)需要更大量的訓(xùn)練樣本。參考文獻1Estable S,Schick J,Stein F,et al.A real-time traffic sign rec-ognition system

14、C/Intelligent Vehicles' 94 Symposium,Proceedingsof the。IEEE,1994:213-218.2Piccioli G,De Micheli E,Parodi P,et al.Robust method for roadsign detection and recognitionJ.Image and Vision Computing,1996,14(3:209-223.······下轉(zhuǎn)第66頁63 T a =Tdata 同理:T data N(Tm ,Ts 2 則:Slack

15、N(Tm ,Ts 2判斷路徑?jīng)]有時序違例的條件:Tm -3*>0其中Tr 為Required Time,Ta 為Arrival Time,Tclock 為ClockPath延遲,Tdata 為Data Path延遲,Ts 為setup時間,Tp 為Phase Shift,Tcppr為CPPR Adjustment,Dc 為cell的延遲,Dn為net延遲?？梢钥闯龌趕sta的分析中3sigma Slack Time=0.590(均值-3*0.263(標準差sigma=-0.199,而基于sta的時序報告slack=-1.142,兩者相差0.943。而這0.943就是基于ssta而消除的

16、悲觀因素,然而,這條路徑仍然沒有滿足時序要求,需要進一步的分析,對此本文再次不再繼續(xù)探討。3 結(jié)語本文到此為止已經(jīng)簡單的介紹了基于統(tǒng)計學(xué)的靜態(tài)時序分析(SSTA的基本原理,并用一個簡單的例子證明了它在時序分析中具有更加樂觀的結(jié)果,對于時序收斂起到了一定的幫助。經(jīng)過數(shù)年的發(fā)展,我們可以看到SSTA算法已經(jīng)逐漸成熟,但是還有一些懸而未決的問題沒有解決:那就是工藝資料的準備,SSTA需要正確的統(tǒng)計分析資料才有機會準確的分析出良率,但這些資料的獲得相當不易,即便取得了一部分資料,他的代表性和充分性并無法保證;測量又是另外一個問題,通過少量的測試片來了解數(shù)以萬計晶片的特性,也是一件困難的事。完成這些所需

17、要大量的人力物力,并不是單獨的EDA公司、學(xué)校、研究所、foundy可以單獨完成的,所以對于未來SSTA技術(shù)的發(fā)展,需要整個產(chǎn)業(yè)鏈的協(xié)同配合。注釋:1本次試驗基于Cadence 公司的EDI 14.1數(shù)字后端設(shè)計工具。參考文獻1Synopsys Inc.,Raphael Reference Manual Version 2002.09,Moun-tain View,USA,September 2003.2Denis Bzowy,"LOCV: location-based on chip variation,"SNUGEurope (2004.3K.Umashankar,A.

18、Taflove and S.Rao,“Electromagnetic scatter-ing by arbitrarily shaped three-dimensional homogeneous lossydielectric objects”,IEEE Transactions on Antennas andPropagation,vol.34(6,pp.758-766,Jun 1986.4S.Nassif,“Modeling and analysis of manufacturing variations,”IEEE Custom Integrated Circuit Conferenc

19、e,pp.223-228,2001.5Nieuwoudt A.and Massoud Y.,"Variability-Aware Multilevel In-tegrated Spiral Inductor Synthesis",IEEE Transactions On Com-puter-Aided Design Of Integrated Circuits And Systems, Vol.25,No.12,December 20066Guo L.,Yu M.,Chen Z.,He H.,and Zhang Y.,“High Q MultilayerSpiral Ind

20、uctor on Silicon Chip for 5- 6 GHz”,IEEE ElectronDevice Letters,Vol.23,No.8,August 20027X.Hu,J.White,and L.Daniel“Analysis of conductor impedanceover substrate using novel integration techniques,” Proceed-ings of the Design Automation Conference,20058C.Clark,“The greatest of a finite set of random v

21、ariables,”O(jiān)perations Research,vol.9,pp.8591,1961. 9H.Chang and S.S.Sapatnekar,“Statistical Timing Analysis Un-der Spatial Correlations,”IEEE Transactions on Computer-AidedDesign of Integrated Circuits and Systems,Vol.24,No.9,pp.14671482,September 2005.10Lizheng Zhang,Weijen Chen,Yuhen Hu,John A. Gub

22、ner and CharlieChungping Chen," Correlation-Preserved Statistical Timing withQuadratic Form of Gaussian Variables,"IEEE Transactions on Com-puter-Aided Design of Integrated Circuits And Systems (TCAD,2005.11Lizheng Zhang,Weijen Chen,Yuhen Hu and Charlie ChungpingChen,"Statistical Stat

23、ic Timing Analysis with Conditional LinearMAX/MIN Approximation and Extended Canonical Timing Model,"IEEE Transactions on Computer-Aided Design of Integrated Cir-cuits And Systems (TCAD,2005.12S.R.Nassif,“Modeling and analysis of manufacturing variations,”CICC,2001,pp.223-228.···

24、···上接第63頁3Cai Z, Gu M.Traffic sign recognition algorithm based on shapesignature and dual-tree complex wavelet transform J.Journalof Central South University,2013,20:433-439.4朱雙東,陸曉峰.道路交通標志識別的研究現(xiàn)狀及展望J.計算機工程與科學(xué),2006,28(12:50-52.5李祥熙,張航.交通標志識別研究綜述J.公路交通科技 (應(yīng)用技術(shù)版,2010,6:080.6李新,禹翼.基于SIFT 算法的交