基于單目相機(jī)的實時交通信號燈檢測與識別方法分析研究 通信工程管理專業(yè)

目錄前言 3第一章 緒論 41.1 研究背景及意義 41.2 卷積神經(jīng)網(wǎng)絡(luò)概述 51.3 本文的主要工作及創(chuàng)新點 61.4 文章結(jié)構(gòu) 6第二章 交通信號燈檢測與識別技術(shù) 82.1 研究現(xiàn)狀分析 82.1.1 顏色空間 82.1.2 交通信號燈的檢測技術(shù) 102.1.3 特征提取 112.1.4交通信號燈的識別技術(shù) 112.1.5目標(biāo)追蹤算法 112.2 交通信號燈檢測與識別技術(shù)難點 122.3 本章小結(jié) 12第三章 基于FasterR-CNN的交通信號燈檢測技術(shù) 133.1 基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測算法的演進(jìn) 133.1.1 R-CNN目標(biāo)檢測算法 133.1.2 SPP-NET目標(biāo)檢測算法 153.1.3 FastR-CNN目標(biāo)檢測算法 163.1.4FasterR-CNN目標(biāo)檢測算法 183.2 本文使用的目標(biāo)檢測模型PVA-Net 213.3 本章小結(jié) 22第四章 基于CNN的交通信號燈識別技術(shù) 244.1 預(yù)處理過程 244.1.1交通信號燈的類型判定 244.1.2基于HSV空間的圖像閾值分割 254.1.3基于局部最小值的圖像切割 264.2 卷積神經(jīng)網(wǎng)絡(luò) 274.2.1 卷積層 274.2.2激活函數(shù) 284.2.3 池化層 304.2.4全連接層 304.2.5Dropout層 314.3 本文使用的卷積神經(jīng)網(wǎng)絡(luò)識別模型 314.4 本章小結(jié) 33第五章 交通信號燈檢測與識別結(jié)果分析 345.1CalmCar交通標(biāo)識數(shù)據(jù)集 345.1.1 CalmCar交通信號燈檢測數(shù)據(jù)集 355.1.2CalmCar交通信號燈識別數(shù)據(jù)集 355.2 運(yùn)行環(huán)境 365.3 實驗結(jié)果分析 365.3.1 交通信號燈檢測模型結(jié)果分析 365.3.2 交通信號燈狀態(tài)識別模型結(jié)果分析 375.4 本章小結(jié) 38第六章總結(jié)與展望 396.1 本文總結(jié) 396.2 后續(xù)工作展望 40參考文獻(xiàn) 41致謝 41 摘要 目前，關(guān)于智能汽車和輔助駕駛系統(tǒng)(ADAS,AdvancedDriverAssistanceSystem)的研究非常熱門。為了實現(xiàn)智能化的駕駛，要求設(shè)備能夠進(jìn)行實時的駕駛環(huán)境分析和駕駛行為分析，進(jìn)而由分析所得的結(jié)果執(zhí)行輔助或者控制操作。交通信號燈，是道路交通必不可少的駕駛信號之一，對有效地指引車輛行駛，維持交通秩序，有著至關(guān)重要的作用。因此，智能汽車和輔助駕駛系統(tǒng)想要能夠?qū)崿F(xiàn)自身的功能，交通信號燈的檢測與識別是必不可少的組成部分。 本文深入地研究了交通信號燈的檢測和識別方法，分別提出了采用深度學(xué)習(xí)進(jìn)行檢測和識別的實現(xiàn)方式，對現(xiàn)實環(huán)境中的交通信號燈進(jìn)行實時地檢測和識別。本文采用基于FasterR-CNN的檢測模型，實時檢測交通信號燈；采用基于局部最小值的預(yù)處理方法，對檢測出的交通信號燈進(jìn)行切割，得到特征明顯的單個的信號燈圖案；最后采用基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型，進(jìn)行交通信號燈狀態(tài)的識別。本文所用到的數(shù)據(jù)都來自于CalmCar交通標(biāo)識數(shù)據(jù)集，采集自真實的中國典型城市的道路交通環(huán)境中，適合于分析中國交通道路狀況的相關(guān)應(yīng)用。 關(guān)鍵詞：深度學(xué)習(xí)；圖像識別；目標(biāo)檢測；卷積神經(jīng)網(wǎng)絡(luò)

AbstractAtpresent,theresearchonSmartCarandAdvancedDriverAssistanceSystem(ADAS)isverypopular.Inordertorealizeintelligentdriving,thedeviceisrequiredtoperformreal-timedrivingenvironmentanalysisanddrivingbehavioranalysis,andthenperformassistanceorcontroloperationsfromtheresultsoftheanalysis.Trafficlightsareoneoftheessentialsignalsforvehicles.Theyplayacrucialroleinguidingvehiclesandmaintainingtrafficorder.Therefore,toachievethefunctionsofSmartCarandADAS,thedetectionandrecognitionoftrafficlightsisanintegralpart.Thispaperdeeplyresearchesonthedetectionandrecognitionoftrafficlights,andproposesamethodofdetectionandrecognitionbasedonDeepLearningtodetectandrecognizetrafficlightsinreal-time.Inthispaper,thedetectionmodelbasedonFasterR-CNNisadoptedtodetecttrafficlightsinrealtime.Thepreprocessingmethodbasedonlocalminimumisusedtocutthedetectedtrafficlightstoobtainseveralsignalpatternswithuniquefeatures.Finally,theConvolutionalNeuralNetworkisusedtoidentifythestatusesoftrafficlights.ThedatasetusedinthispapercomesfromCalmCarTrafficSignalDataset.CalmCarTrafficSignalDatasetiscollectedfromrealroadenvironmentintypicalcitiesofChinawhichissuitabletobeappliedtoanalysetrafficconditionsinChina.Keywords:Deeplearning;Imagerecognition;Targetdetection;Convolutionalneuralnetwork

前言 隨著科技的發(fā)展，交通運(yùn)輸和駕駛安全問題得到了越來越多的關(guān)注。目前，智能汽車和先進(jìn)輔助駕駛系統(tǒng)是目前工業(yè)市場上非常熱門的研究重點，通過采用計算機(jī)視覺和雷達(dá)等技術(shù)實時有效地分析駕駛環(huán)境駕駛行為，為駕駛?cè)藛T提供智能化的幫助。在實際的駕駛場景中，交通信號燈通過一系列的不同圖案和顏色的指示燈的信號引導(dǎo)車流，維護(hù)交通秩序，確保行車安全，避免了交通擁堵和交通事故。因此，在智能汽車或者輔助駕駛系統(tǒng)中，對交通信號燈的檢測和識別是不可或缺的。交通信號燈的檢測和識別技術(shù)也因為工業(yè)需求而有著重要的意義和良好的前景。 隨著深度學(xué)習(xí)的不斷研究和發(fā)展，深度學(xué)習(xí)在圖像識別專業(yè)領(lǐng)域內(nèi)取得的成果顯著，對交通信號燈的檢測和識別的方法帶來了影響。交通信號燈的檢測和識別正在逐步從傳統(tǒng)的方法走向深度學(xué)習(xí)的方法。傳統(tǒng)檢測和識別方法的局限性顯而易見，由于特征的局限性，不能夠適用于復(fù)雜多變的環(huán)境，缺乏靈活性和適應(yīng)性。隨著樣本數(shù)據(jù)量的增長，深度學(xué)習(xí)方法可以靈活地學(xué)習(xí)不同環(huán)境下的特征，滿足目標(biāo)檢測和物體識別的需求。采用深度學(xué)習(xí)的方法進(jìn)行交通信號燈的檢測和識別，能夠有效地增強(qiáng)檢測和是識別能力，增加靈活性和擴(kuò)展性。 本文以交通信號燈為研究對象，研究了交通信號燈的檢測和識別方法。通過分析已有的交通信號燈的檢測和識別的技術(shù)，分析對比已有的檢測和識別技術(shù)的優(yōu)缺點，提出本文設(shè)計的基于深度學(xué)習(xí)的交通信號燈檢測和識別方法，并在采集于中國典型城市的CalmCar交通標(biāo)識數(shù)據(jù)集上進(jìn)行訓(xùn)練，最后對模型進(jìn)行了實驗驗證。 本文主要工作及創(chuàng)新點如下： (1)基于FasterR-CNN的交通信號燈檢測技術(shù)的應(yīng)用。 (2)提出了基于局部最小值的信號燈切割方法，這是本文的創(chuàng)新點之一。 (3)基于CNN的交通信號識別技術(shù)的研究。

第一章 緒論 在本章緒論中，首先介紹了交通信號燈檢測和識別技術(shù)的研究背景和意義，其次簡單地介紹了卷積神經(jīng)網(wǎng)絡(luò)的原理，并介紹了本文所采用的方法的主要工作和貢獻(xiàn)以及創(chuàng)新點，最后介紹了論文的結(jié)構(gòu)框架。研究背景及意義 城市不斷地發(fā)展擴(kuò)大，汽車的擁有量也在持續(xù)增加，隨著道路的不斷開發(fā)，交通狀況日益復(fù)雜，交通中存在的問題也在不斷的增加并加劇，比如不斷發(fā)生的交通事故以及嚴(yán)重影響人們生活和通行質(zhì)量的交通擁堵。隨著科技的發(fā)展，在圖像識別和控制領(lǐng)域的深入研究，越來越多的技術(shù)被應(yīng)用到汽車領(lǐng)域。近年來，處于研究重點和熱點的智能汽車和輔助駕駛系統(tǒng)就是一個典型的例子。 通過安裝多種傳感器和攝像頭，實時采集駕駛環(huán)境中的各種數(shù)據(jù)信息，智能汽車和輔助駕駛系統(tǒng)可以進(jìn)行各種信號的檢測或識別，從而實現(xiàn)諸如行車線檢測、偏離預(yù)警、疲勞駕駛警示等功能。無論是在智能汽車還是輔助駕駛系統(tǒng)中，對行駛過程中遇到的交通信號燈的檢測和識別的研究都是必不可少的。 通過實時地獲取并分析攝像頭捕捉的駕駛環(huán)境數(shù)據(jù)，檢測并識別交通信號燈的指示狀態(tài)，可以及時的提醒駕駛?cè)藛T前方的交通信號燈狀態(tài)，從而一定程度上彌補(bǔ)駕駛?cè)藛T的疏忽，避免因為駕駛?cè)藛T主觀判斷不正確而引起的交通事故。因此，交通信號燈的檢測和識別必須具有較高的準(zhǔn)確性，具有實時識別能力，能夠在復(fù)雜的外部環(huán)境下，識別多種類型的交通信號燈。 交通信號燈檢測和識別的研究非常具有現(xiàn)實意義。交通信號燈向交通參與者們輸出重要的交通指示信號，提前識別交通信號燈有利于駕駛?cè)藛T提前采取措施并提前規(guī)劃路線，可以有效地防止交通交叉路口的事故的發(fā)生，彌補(bǔ)駕駛?cè)藛T的不足。另一方面，信號燈的檢測和識別可以有效地給色盲和色弱群體提供幫助，通過交通信號燈檢測和識別系統(tǒng)幫助他們識別道路上的交通信號燈讓弱勢群體在科學(xué)技術(shù)的支持下能夠進(jìn)行安全的駕駛。 因此，交通信號燈檢測和識別技術(shù)具有重要的意義，在智能汽車和輔助駕駛的發(fā)展中，有良好的應(yīng)用推廣前景，對有顏色分辨障礙的群體也充滿了人文關(guān)懷。1.2 卷積神經(jīng)網(wǎng)絡(luò)概述 深度學(xué)習(xí)在多個領(lǐng)域中都有著出色的成績，其中就包括了圖像識別、語音識別以及自然語言處理等領(lǐng)域。其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN,ConvolutionalNeuralNetwork)是研究最深入，應(yīng)用最廣泛的一中神經(jīng)網(wǎng)絡(luò)模型。早期，由于數(shù)據(jù)的缺乏，卷積神經(jīng)網(wǎng)絡(luò)取得的結(jié)果不令人滿意，易產(chǎn)生過擬合的現(xiàn)象。隨著數(shù)據(jù)集的擴(kuò)充和完善和計算能力的不斷提升，卷積神經(jīng)網(wǎng)絡(luò)在各種大賽上以優(yōu)異的結(jié)果獲得關(guān)注，也得到了更加深入的研究。目前，卷積神經(jīng)網(wǎng)絡(luò)獲得了廣泛的認(rèn)可，各種功能完善，性能出色的網(wǎng)絡(luò)，也不斷的出現(xiàn)，其中包括LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等。 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是相似的，主要由卷積層(Conv,ConvolutionalLayer)、池化層(Pool,PoolingLayer)和全連接層(FC,Fully-ConnectedLayer)組成。在卷積神經(jīng)網(wǎng)絡(luò)中，每一層提取前一層輸入數(shù)據(jù)的特征，得到對應(yīng)的特征圖，實現(xiàn)對特征的提取和加工。 一個典型的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以表示為：InputImage→Conv→Pool→Conv→Pool→FC→FC(式1.1) 卷積神經(jīng)網(wǎng)絡(luò)通過卷積層和池化層的卷積和池化操作進(jìn)行輸入數(shù)據(jù)的特征提取，通過梯度下降以及最小化損失函數(shù)的方法調(diào)節(jié)網(wǎng)絡(luò)中的權(quán)重，然后通過不斷地迭代來提高網(wǎng)絡(luò)的精度。在卷積神經(jīng)網(wǎng)絡(luò)中，低層的網(wǎng)絡(luò)主要由卷積層和池化層組成，用來得到輸入數(shù)據(jù)的特征圖，不斷提取和濃縮特征；高層的網(wǎng)絡(luò)由全連接層和分類器組成，其中分類的方法邏輯回歸，Softmax回歸和支持向量機(jī)。 在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層、池化層、全連接層的主要功能如下：卷積層卷積層通過卷積運(yùn)算，可以增強(qiáng)原圖的特征并且降低噪音。卷積層中包含了多個卷積核(ConvolutionalKernel)，不同的卷積核計算不同的特征圖。池化層池化層對傳入的數(shù)據(jù)進(jìn)行下采樣，從而較少參數(shù)個數(shù)并減少計算量。同時，池化保持圖像的平移、旋轉(zhuǎn)和尺度不變性，有效地避免產(chǎn)生過擬合，從而增強(qiáng)泛化能力。最大池化(MaxPooling)和均值池化(MeanPooling)是常用的池化方法。全連接層 全連接層對特征進(jìn)行提煉，接著將特征傳輸?shù)椒诸惼?，最終實現(xiàn)輸入數(shù)據(jù)的分類。1.3 本文的主要工作及創(chuàng)新點 本文以交通信號燈為研究對象，研究了交通信號燈的檢測和識別方法。通過分析現(xiàn)有的各種交通信號燈的檢測識別技術(shù)，對比各種檢測識別技術(shù)的優(yōu)缺點，提出了基于深度學(xué)習(xí)的交通信號燈的檢測和識別方法，并在采集于中國典型城市的CalmCar交通標(biāo)識數(shù)據(jù)集上進(jìn)行訓(xùn)練，最后對模型進(jìn)行了實驗驗證。 本文主要工作及創(chuàng)新點如下： (1)基于FasterR-CNN的交通信號檢測技術(shù)的應(yīng)用。通過分析FasterR-CNN目標(biāo)檢測技術(shù)的發(fā)展過程，從最初的R-CNN，到SPP-Net，再到FastR-CNN，最后到FasterR-CNN，分析了FasterR-CNN在目標(biāo)檢測方法中明顯的優(yōu)勢。本文最終采用的是基于FasterR-CNN的網(wǎng)絡(luò)PVA-Net，實現(xiàn)復(fù)雜的城市環(huán)境中的交通信號燈的檢測。 (2)提出了基于局部最小值的信號燈切割方法，這是本文的創(chuàng)新點之一。本文通過切割檢測到的交通信號燈，得到單個獨(dú)立的交通信號燈圖案。切割所得的信號燈圖案，特征明顯，類型明確，降低了后續(xù)的識別的難度和復(fù)雜度。實驗結(jié)果表明，進(jìn)行圖像切割的預(yù)處理后，增加了分類的靈活性，只需要增加模型的分類，就可以使得算法適用于各種各樣的交通信號燈圖案的識別，增加了算法的通用性。 (3)基于CNN的交通信號識別技術(shù)的研究。經(jīng)過預(yù)處理后，所得的信號燈圖案特征明顯且易于分類。通過卷積神經(jīng)網(wǎng)絡(luò)的識別方法，將信號燈圖案根據(jù)顏色和形狀進(jìn)行分類。實驗表明，相比于傳統(tǒng)的識別方法，基于CNN的識別方法在特征提取方面靈活簡單，可以根據(jù)實際環(huán)境的需求增加信號燈的類型，或增加新環(huán)境下的樣本，增強(qiáng)了適應(yīng)性，有著明顯優(yōu)勢。1.4 文章結(jié)構(gòu) 全文總共六章，各章的主要內(nèi)容安排如下： 第一章：緒論。本章介紹了交通信號燈檢測和識別的研究背景和意義、卷積神經(jīng)網(wǎng)絡(luò)的概述、本文主要工作及主要創(chuàng)新點以及文章結(jié)構(gòu)。 第二章：交通信號燈檢測識別技術(shù)。本章首先介紹了現(xiàn)有的交通信號燈檢測識別技術(shù)，分析了目前信號燈檢測和識別的研究現(xiàn)狀，并總結(jié)了交通信號燈檢測和識別過程中的難點。 第三章：基于FasterR-CNN的交通信號燈檢測技術(shù)。本章從基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測算法的演進(jìn)著筆，詳細(xì)闡述了從R-CNN到SPP-Net到FastR-CNN再到FasterR-CNN的發(fā)展過程，總結(jié)了FasterR-CNN在目標(biāo)檢測方法中的優(yōu)勢，介紹了本文所采用的基于FasterR-CNN的交通信號燈檢測方法PVA-Net。 第四章：基于CNN的交通信號燈識別技術(shù)。本章提出了一種新穎的交通信號燈預(yù)處理方法，對檢測得到的交通信號燈進(jìn)行基于局部最小值的信號燈圖案切割，并對切割后的圖案進(jìn)行識別，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了詳細(xì)的介紹，最后提出了基于CNN的交通信號燈識別方法。 第五章：通過實驗分析本文在第三章和第四章所提出的交通信號燈的檢測和識別方法。 第六章：總結(jié)全文，對后續(xù)的工作進(jìn)行展望。

第二章 交通信號燈檢測與識別技術(shù) 本章介紹了交通信號燈檢測和識別流程各個步驟的實現(xiàn)方法以及研究現(xiàn)狀，并分析了交通信號燈檢測和識別的難點。2.1 研究現(xiàn)狀分析 關(guān)于交通信號燈的檢測和識別的研究在不斷地發(fā)展和進(jìn)步。交通信號燈作為一種交通標(biāo)識，有著醒目和簡潔的特點，顏色鮮艷，圖案含義直觀明了。通過信號燈圖案的特點，可以從環(huán)境中分析定位出交通信號燈。隨著深度學(xué)習(xí)的深入研究，深度學(xué)習(xí)方法也逐漸運(yùn)用在信號燈檢測和識別領(lǐng)域。目前，交通信號燈的檢測和識別主要分為兩種方法：基于模型的識別算法和基于學(xué)習(xí)的識別算法。 本小結(jié)通過分析和總結(jié)大量現(xiàn)有文獻(xiàn)中的實現(xiàn)方法，從顏色分割、檢測、特征提取、識別和追蹤，這五個方面介紹了現(xiàn)有的技術(shù)。下面就從這五個方面依次介紹通信號燈檢測和識別的研究現(xiàn)狀。2.1.1顏色空間 顏色是交通信號燈最明顯的特征之一，對于圖像顏色的提取和分析可以有助于檢測和識別圖像中交通信號燈。一張圖片默認(rèn)存儲的顏色空間是RGB顏色空間，但是由于RGB顏色空間中三個通道的顏色相互聯(lián)系，不利于有效提取出某一種顏色，因此，在實際應(yīng)用中往往將圖像從RGB空間轉(zhuǎn)換到其他的顏色空間中，再進(jìn)行后續(xù)的處理。除此以外，在具體的操作中，不僅限于只用一種顏色空間，也可以通過不同顏色空間的組合的運(yùn)用來實現(xiàn)更好的顏色提取的效果。 下面介紹兩種常用的顏色空間模型：(1)HSV色彩空間模型 HSV分為三個通道，分別是色調(diào)(Hue)、飽和度(Saturation)、明度(Value)。在HSV色彩空間模型中，色調(diào)(Hue)的取值范圍是0°到360°。由于HSV空間中各個通道各司其職，控制著不同的因素，三個通道之間相互獨(dú)立，提取顏色的效果好，因此，在圖像處理方面有著有著廣泛的應(yīng)用。圖2.1HSV顏色空間模型(2)CIELAB色彩空間模型CIELAB色彩空間模型采用的是一種非常符合人的視覺感受的顏色表示方式，是一種基于生理的顏色表達(dá)方式。其中L表示亮度信息，A表示由紅色到綠色的顏色變化范圍，B表示由黃色到藍(lán)色的顏色變化范圍。CIELAB所能表達(dá)的顏色空間是最大的，包含了RGB顏色空間，所以將圖片從CIELAB空間轉(zhuǎn)換到RGB空間時，不會損失顏信息。圖2.2CIELAB色彩空間模型 在交通信號燈檢測和識別的算法中，RGB，HSV，CIELAB是常用的顏色空間，同時多種顏色空間的混用也是常用的方法。 CaiZ使用了RGB和YCbCr兩個顏色空間[1]，在定位信號燈背板時采用RGB空間，在檢測箭頭形交通信號燈時采用YCbCr空間。HaltakovV使用CIELab空間來提取用于檢測信號燈的特征，用RGB空間來提取用于識別信號燈的特征[2]。Gomez用灰度空間來尋來候選區(qū)域，隨后轉(zhuǎn)化到HSV空間來識別狀態(tài)[3]。 在交通信號燈檢測和識別的研究中，沒有偏向某一種顏色空間的趨勢，但是顏色和強(qiáng)度分開的顏色空間由于更容易區(qū)分顏色而更受歡迎。在近期的一些研究中，為了更好的將交通信號燈從環(huán)境中分割出來，GomezAE使用了結(jié)合多種顏色空間中的通道以獲得更好的顏色特征的方法[4]。2.1.2交通信號燈的檢測技術(shù) 交通信號燈檢測系統(tǒng)，通常是通過尋找圖像中交通燈的組成部分來實現(xiàn)的，組成部分包括燈泡，背板，以及燈柱。交通信號燈的檢測方法可以被分為兩類，基于模型的方法和基于學(xué)習(xí)的方法，除此以外，還有一種基于先驗知識的輔助的檢測技術(shù)?；谀Ｐ偷臋z測方法 一個簡單易用的顏色模型包含了顏色強(qiáng)度閾值，但是基于這種簡單模型的檢測器容易產(chǎn)生基于特定數(shù)據(jù)集的過擬合現(xiàn)象,其中，表現(xiàn)最好的是通過人工標(biāo)注的圖像得到的高斯像素分類器[5]。 亮斑檢測具有對抗顏色干擾的魯棒性，也是一種常用的檢測方法。常用的方法是提取灰度圖上的亮斑[6]，提取HSV顏色空間中的V通道滿足閾值的區(qū)域也有相同的作用[7]。 在使用顏色模型之后，可以使用形狀模型做進(jìn)一步的過濾。環(huán)形霍夫變換可以找到封閉的圓形，進(jìn)一步優(yōu)化的實心環(huán)形霍夫變換在交通信號燈檢測中取得了更好的效果[8]。大多數(shù)方法都會使用區(qū)塊(BLOB)分析的方法來降噪或是計算BLOB屬性，比如NienhüserD使用區(qū)塊的大小，長寬比，環(huán)形（是否封閉）和在世界坐標(biāo)系中的高度來分析區(qū)塊是否滿足特征要求[9]。基于學(xué)習(xí)的檢測方法 早期，基于學(xué)習(xí)的檢測方法有基于Haar特征的級聯(lián)分類器[5]，但是它甚至沒有高斯顏色分類器的效果好。后來，比較成功的檢測方法有基于HoG特征的SVM分類器[10]和基于顏色、紋理和像素位置的JointBoot分類器[11]。 隨著深度學(xué)習(xí)的發(fā)展，近年來用深度學(xué)習(xí)方法實現(xiàn)目標(biāo)檢測的方法越來越受到關(guān)注。常用于信號燈檢測的深度學(xué)習(xí)方法有SSD，F(xiàn)astR-CNN，F(xiàn)asterR-CNN和YOLO[12]。 基于學(xué)習(xí)的檢測方法的特點是需要大量的數(shù)據(jù)和計算，對數(shù)據(jù)量和運(yùn)行設(shè)備的要求較高，同時，它們的優(yōu)勢也非常明顯，在面對變化的環(huán)境時，魯棒性更高。輔助檢測 為了降低誤檢率，可以使用交通信號燈的GPS位置信息，在有信號燈的交叉路口處激活檢測系統(tǒng)[13]。此外，還可以在地圖上添加更多準(zhǔn)確的先驗位置信息，例如人工標(biāo)注出有交通信號燈的地方，讓路過的行駛車輛可以提前感知環(huán)境數(shù)據(jù)。輔助使用GPS信息的方法使得算法的檢錯率大大地降低了，但是過于依賴地圖信息會降低檢測算法的靈活性。 總的來說，基于模型的檢測方法通過設(shè)置閾值分割顏色，從而得到感興趣的區(qū)域，再由區(qū)塊來篩選候選區(qū)域；基于學(xué)習(xí)的方法更加靈活，可以用更多的特征信息來進(jìn)行檢測；通過獲取道路的先驗知識能夠排除錯誤的候選區(qū)域，從而較少計算損耗并降低檢錯率。2.1.3特征提取 顏色是最顯著地特征，色密度和顏色直方圖就常被提取作特征；形狀特征包含了長寬比，大小和面積；結(jié)構(gòu)特征是指交通信號燈組成部件的相對位置；通過信號燈的燈柱和背板，容易將其與背景環(huán)境區(qū)分開來，因此形狀和結(jié)構(gòu)特征也是很常用。 ZhangY采用了將顏色，形狀和結(jié)構(gòu)特征相結(jié)合的方法[7]進(jìn)行交通信號燈的檢測。其他常用的特征還有，2DGabor小波特征和LBP特征等。 單獨(dú)依賴顏色或形狀或結(jié)構(gòu)特征的系統(tǒng)會受到環(huán)境變化的極大影響，通過將多種特征進(jìn)行融合，可以增強(qiáng)算法的魯棒性。2.1.4交通信號燈的識別技術(shù) 一種極其簡單的對檢測出的信號燈進(jìn)行分類方法是，計算哪個顏色閾值內(nèi)的像素點個數(shù)最多，并依據(jù)顏色分布確定其所屬的類[14]。除此以外，還有基于2DICA降維的Gabor特征的最近鄰分類方法對箭頭形交通信號燈分類[1]，基于HoG的SVM分類器[15]，基于CNN的分類器[16]等方法。 成功的分類器非常依賴特征的質(zhì)量，為了獲得魯棒性，基于機(jī)器學(xué)習(xí)方法的需要訓(xùn)練大量的不同種類的數(shù)據(jù)。隨著深度學(xué)習(xí)的發(fā)展，基于CNN的識別算法獲得廣泛的應(yīng)用。2.1.5目標(biāo)追蹤算法 追蹤算法常用來降噪或者處理丟失的候選區(qū)域。短暫的追蹤算法被用來檢查前面的幀，并且判斷其是否在先前幀內(nèi)出現(xiàn)過，是否與當(dāng)前幀內(nèi)的候選區(qū)域有相同的特征?？偟膩碚f，常用的追蹤方法有兩種，相關(guān)性追蹤和點追蹤。在大多數(shù)情況下，相關(guān)性追蹤依賴和檢測器相同種類的特征，所以對檢測器沒有輔助作用；點追蹤能夠應(yīng)用額外的特征信息，對完善檢測器有幫助。2.2 交通信號燈檢測與識別技術(shù)難點 雖然交通信號燈的設(shè)計的初衷是為了易于辨認(rèn)，但是由于諸多物理、環(huán)境因素和攝像頭的影響，使得交通信號燈難以辨認(rèn)，給后續(xù)的檢測和識別帶來了很大的困難。 交通信號燈檢測和識別的難點包括： (1)交通信號燈的檢測目標(biāo)小。當(dāng)距離相對較遠(yuǎn)時，交通信號燈的畫面中尺寸就很小，特征變得模糊，加大了檢測的難度。 (2)交通信號燈受光線影響大。當(dāng)處在迎光位置時，由于交通信號燈的顏色變暗，圖案的輪廓變得模糊，特征變得不明顯，不利于檢測。 (3)背景環(huán)境復(fù)雜。特別是在城市中，交通信號燈所安裝和設(shè)置的環(huán)境復(fù)雜，受到復(fù)雜的房屋、樹木、廣告牌的影響，對交通信號的檢測十分不利。 (4)顏色范圍大。由于曝光過度的現(xiàn)象和攝像頭素質(zhì)的問題，使得檢測到的畫面上，交通信號燈的顏色會有很大的差異性，對顏色分割的操作步驟產(chǎn)生了很大的影響。2.3 本章小結(jié) 一個普遍的完整的交通信號燈檢測識別的流程主要由顏色分割、檢測、特征提取、識別和追蹤這五部分組成。其中檢測和識別的方法都分為基于模型的和基于學(xué)習(xí)這兩類。基于模型的方法，適應(yīng)性較差；基于學(xué)習(xí)的方法，需要大量的數(shù)據(jù)來進(jìn)行訓(xùn)練。顏色、形狀和結(jié)構(gòu)是信號燈的主要特征，可以利用顏色信息在色彩空間對圖像進(jìn)行顏色分割，利用形狀信息對交通信號燈候選區(qū)域進(jìn)行過濾，利用交通信號燈背板是一個黑色矩形框這一特點對候選區(qū)域進(jìn)行確認(rèn)，進(jìn)而對候選區(qū)域進(jìn)行狀態(tài)識別。采用目標(biāo)追蹤算法有利于去噪，降低算法的誤檢率。隨著數(shù)據(jù)集的不斷擴(kuò)大和計算能力的不斷提升，研究人員在深度學(xué)習(xí)領(lǐng)域進(jìn)行了越來越多的探索。

第三章 基于FasterR-CNN的交通信號燈檢測技術(shù) 在計算機(jī)視覺領(lǐng)域，目標(biāo)檢測一直是一個研究熱點和研究難點。由于計算機(jī)面對的是抽象的數(shù)字圖像信息，所以不能直接從圖像中得出物體的概念。此外，物體由于所處的光線環(huán)境和放置的角度的不同，在計算機(jī)中所呈現(xiàn)的樣子存在很大的差異性。傳統(tǒng)目標(biāo)檢測算法由于滑動窗口的高冗余和特征提取的局限性，正在逐步被采用深度學(xué)習(xí)的方法取代。與傳統(tǒng)方法相比，深度學(xué)習(xí)的方法有著較強(qiáng)的特征提取能力和學(xué)習(xí)能力。隨著卷積神經(jīng)網(wǎng)絡(luò)和候選區(qū)域(RegionProposal)思想的發(fā)展，深度學(xué)習(xí)的目標(biāo)檢測取得了重大的突破。本章介紹了基于FasterR-CNN的目標(biāo)檢測算法的發(fā)展，以及本文所應(yīng)用的PVA-Net目標(biāo)檢測框架。3.1 基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測算法的演進(jìn) 目標(biāo)檢測的難點是，目標(biāo)的大小、長寬比、位置不能確定。所以通過滑動窗口對整幅圖像進(jìn)行遍歷的方法，需要設(shè)置可能出現(xiàn)的所有大小和長寬比，必然會導(dǎo)致較高冗余。 采用提出RegionProposal的方法，可以利用圖像本身的紋理、顏色和邊緣等特征，預(yù)先估計目標(biāo)可能出現(xiàn)的位置，確保在選取較少窗口的條件下，有較高的召回率，這種方法大大減少了計算量，節(jié)省了時間。常用的提取候選區(qū)域的方法是SelectiveSearch。 提取出候選窗口后，需要對候選框區(qū)域進(jìn)行特征提取和識別。卷積神經(jīng)網(wǎng)絡(luò)在圖像識別和分類問題上，有著較高的靈活性和強(qiáng)大的學(xué)習(xí)能力，是解決識別問題最主要最有效的方法。因此，在提取出候選框后，用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類是不錯的選擇。 RossB.Girshick在2014年提出了“RegionProposal+CNN”的算法框架，在目標(biāo)檢測領(lǐng)域獲得了巨大的突破和成果，引領(lǐng)了基于深度學(xué)習(xí)進(jìn)行目標(biāo)檢測的潮流。3.1.1 R-CNN目標(biāo)檢測算法 R-CNN[17]是最早提出的結(jié)合了提取候選區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法。R-CNN算法的檢測流程如下： (1)輸入圖像 (2)采用SelectiveSearch方法提取候選區(qū)域 SelectiveSearch方法的原理是：基于顏色、紋理和邊緣特征將圖像分為很多個小塊，然后通過合并小塊的方法，提取出候選窗口，合并前后的每一塊都對應(yīng)著一個窗口，最后挑出所有窗口中最有可能是目標(biāo)的窗口作為最終候選窗口。用SelectiveSearch的方法提取出2000個左右的候選窗口，基本可以涵蓋圖像中目標(biāo)可能出現(xiàn)的位置。 (3)提取特征 首先對提取到的每個候選區(qū)域進(jìn)行尺寸歸一化，接著將圖片送入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征的提取，卷積神經(jīng)網(wǎng)絡(luò)的輸出作為最后的特征向量。經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，每一個候選區(qū)域都對應(yīng)著一個特征向量。 (4)分類和邊界回歸 首先，使用線性SVM分類器，對從上一步輸入的特征向量進(jìn)行分類。 其次，通過邊界回歸(Bounding-BoxRegression)的方法得到更精確的目標(biāo)區(qū)域。檢測目標(biāo)時，會產(chǎn)生多個子區(qū)域，邊界回歸的方法可以對檢測目標(biāo)進(jìn)行精確的定位和合并，避免多個檢出，提高檢測的準(zhǔn)確率。圖3.1R-CNN算法整體檢測流程R-CNN在將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到目標(biāo)檢測問題上取得了重大的突破，但是同時由于R-CNN的思想不太完善，還存在著幾個明顯的缺點： (1)重復(fù)計算量大。由于是先提取候選區(qū)域再將每一個候選區(qū)域分別送入卷積神經(jīng)網(wǎng)絡(luò)，而候選區(qū)域之間存在著大量重疊的區(qū)域，這就使得其中必然存在著大量的區(qū)域的重復(fù)計算，導(dǎo)致訓(xùn)練耗時長，速度慢。 (2)圖象變形。在進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)之前，需要對候選區(qū)域進(jìn)行歸一化，歸一化的操作會使得圖像拉伸變形，可能會導(dǎo)致特征信息的丟失。 (3)SVM分類器效果差。在樣本充足的情況下，傳統(tǒng)的SVM分類器效果不如深度學(xué)習(xí)網(wǎng)絡(luò)中的分類器。 (4)分段訓(xùn)練缺少整體性。由于特征提取、卷積神經(jīng)網(wǎng)絡(luò)和SVM分類器都是分開單獨(dú)訓(xùn)練的，訓(xùn)練過程繁瑣。圖3.2R-CNN算法整體檢測流程3.1.2 SPP-NET目標(biāo)檢測算法 SPP-NET[18]在R-CNN后被提出，SPP(SpatialPyramidPooling)表示空間金字塔池化，對R-CNN的發(fā)展有很大的貢獻(xiàn)作用。圖3.3傳統(tǒng)CNN結(jié)構(gòu)（上）和空間金字塔池化網(wǎng)絡(luò)結(jié)構(gòu)（下）SPP-NET有兩個主要的特點和改進(jìn)：通過采用SPP的方法實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的多尺度輸入 一般的卷積神經(jīng)網(wǎng)絡(luò)由于后接全連接層和分類器，需要進(jìn)行圖像的歸一化，滿足規(guī)定尺寸的輸入。將SPP加入到卷積神經(jīng)網(wǎng)絡(luò)中可以拜托圖像尺寸的限制，實現(xiàn)圖像的多尺度輸入。 如圖3.4所示，金字塔池化網(wǎng)絡(luò)結(jié)構(gòu)在卷積層與全連接層中間插入了SPP層，解決了輸入圖像尺寸限制的問題。當(dāng)向SPP層輸入特征圖時，通過使用不同的尺度對特征圖進(jìn)行劃分的金字塔池化的方法可以最終得到一個相同尺度的特征向量。例如，利用(4*4,2*2,1*1)這3個尺度對特征圖進(jìn)行劃分，最終可以得到16+4+1=21個塊，從這21個分塊中分別提取一個特征，就得到了統(tǒng)一的21維的特征向量。金字塔池化的具體操作如圖3.4所示，圖3.4SPP的具體結(jié)構(gòu)（256是conv5的卷積核數(shù)）只對原圖提取一次卷積特征 不同于R-CNN中的對每個候選區(qū)域做一次卷積運(yùn)算，SPP-Net只對原圖進(jìn)行一次卷積得到整張圖的特征圖。找出每個候選框在特征圖上的映射塊，將映射塊區(qū)域內(nèi)的特征作為候選區(qū)域的卷積特征輸入到SPP層中，這樣做減少了冗余的計算，節(jié)省了大量時間。 SPP-Net在R-CNN的基礎(chǔ)上有了很大的提高，對后續(xù)的發(fā)展有著深遠(yuǎn)的影響。3.1.3 FastR-CNN目標(biāo)檢測算法 FastR-CNN先將原圖送入卷積神經(jīng)網(wǎng)絡(luò)后，再進(jìn)行區(qū)域的劃分和后續(xù)的操作，提高了模型的檢測效率。同時還對R-CNN的數(shù)據(jù)傳輸方法做了一定整合，提升了性能。圖3.5FastR-CNN框架FastR-CNN檢測流程如下：(1)輸入任意尺寸的圖片到卷積神經(jīng)網(wǎng)絡(luò)中，得到特征圖；(2)在輸入圖片上用SelectiveSearch區(qū)域提取算法，獲得約2000個候選區(qū)域；(3)根據(jù)候選區(qū)域和特征圖的映射關(guān)系，提取出每個候選區(qū)域?qū)?yīng)的特征圖，接著在RoI(RegionofInterest)池化層中，生成每個候選區(qū)域?qū)?yīng)的特征向量。(4)將候選區(qū)域的特征向量輸入全連接層，輸出用于多任務(wù)學(xué)習(xí)的特征，并計算多任務(wù)的Loss。(5)通過非極大值抑制修整建議框，將修正后的窗口作為檢測結(jié)果。FastR-CNN的主要的兩個改進(jìn)點如下：RoI池化層SPP層包括多個不同的劃分尺度，RoI池化層只包含一種尺度，所以RoI池化層其實是SPP池化層的一個簡化的方法。先設(shè)定一個固定的空間尺度（例如，7*7），然后通過最大值池化的方法，將任意尺度的特征圖轉(zhuǎn)化成一個固定尺度的特征向量。 (2)多任務(wù)Loss層 全連接層的輸出包括兩個分支：一個是SoftmaxLoss，另一個是RegressionLoss。在FastR-CNN中，使用SoftmaxLoss函數(shù)替代了原本的線性SVM分類器，同時通過多任務(wù)損失函數(shù)將邊框回歸也加入到網(wǎng)絡(luò)之中，使得除去特征區(qū)域提取外的訓(xùn)練過程是端到端的。 然而，要將FastR-CNN應(yīng)用于實際中，還需要解決的是算法耗時長的問題。FastR-CNN的時間瓶頸在候選區(qū)域提取算法SelectiveSearch上，同時也未能實現(xiàn)真正意義上的端到端的訓(xùn)練和測試。3.1.4FasterR-CNN目標(biāo)檢測算法 在“RegionProposal+CNN”的這種目標(biāo)檢測算法框架中，所提取的候選區(qū)域的質(zhì)量至關(guān)重要。FastR-CNN采用的SelectiveSearch來選取候選區(qū)域，提取速度不夠快，使得應(yīng)用受到很大的限制。如果能夠?qū)崿F(xiàn)一種只提取幾百個或者更少且質(zhì)量高，召回率高的預(yù)選窗口，可以提高目標(biāo)檢測的效率和性能。RPN(RegionProposalNetworks)網(wǎng)絡(luò)滿足這樣的需求。圖3.6RPN網(wǎng)絡(luò)結(jié)構(gòu) RPN的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生候選區(qū)域，使得提取候選區(qū)域幾乎不會給檢測網(wǎng)絡(luò)的計算帶來消耗。只需要在最后的特征圖上用3*3的卷積核進(jìn)行卷積，由Anchor機(jī)制和邊框回歸的算法映射原圖得到多尺度多長寬比的候選區(qū)域。 RPN的核心要點內(nèi)容： (1)Anchor機(jī)制 Anchor的思想是由相同尺寸的輸出，倒推出不同尺寸的輸入。對所得的特征圖用一個3*3的卷積核再進(jìn)行一次卷積操作，對于每個3*3卷積核滑動得到的窗口，假設(shè)它來自9種不同的原始區(qū)域的池化，其中這9個區(qū)域在原圖中的中心是相同的。因此，可以根據(jù)不同的長寬比和不同的面積的9個Anchor，根據(jù)推導(dǎo)映射出它所對應(yīng)的原圖中的區(qū)域，這些區(qū)域就是我們想要提取的候選區(qū)域，這種映射的機(jī)制稱為Anchor。 圖3.7示意了對于3*3滑窗對應(yīng)的每個特征區(qū)域，預(yù)測3種輸入圖像尺度(1282,2562,5122)，3種長寬比(1:1,1:2,2:1)的候選區(qū)域。圖3.7Anchor示意圖 (2)Softmax判定是否為候選區(qū)域 經(jīng)過該卷積的輸出圖像大小為W*H*18，對應(yīng)了特征圖上每一個點都有9個Anchor，同時每個Anchor可能是前景區(qū)域和背景區(qū)域兩種可能，所有這些信息都保存在W*H*(9*2)大小的矩陣。通過Softmax分類獲得對應(yīng)前景區(qū)域的Anchor，并初步提取檢測目標(biāo)候選區(qū)域框。 由步驟(1)(2)可知，RPN網(wǎng)絡(luò)中利用Anchor和Softmax初步提取出前景區(qū)域。(3)邊框回歸(BoundingBoxRegression) 用向量(x,y,w,h)表示窗口，(x,y)表示窗口的中心點坐標(biāo)，w和h分別表示寬和高。在圖3.8中，紅框A表示的是前景區(qū)域的Anchor，綠框G表示的是目標(biāo)真實的位置(GroundTruth)。通過尋找一種關(guān)系，使得A經(jīng)過映射得到的回歸窗口G'，與真實窗口G更接近。定義A=(Ax,A圖3.8邊框回歸示意圖 將圖3.8中的A變換為G的有一種比較簡單的思路： 先平移： Gx'=Aw Gy'=Ah?d 再縮放： Gw'= Gh'= 通過觀察上面的式子，可以發(fā)現(xiàn)需要學(xué)習(xí)的是dx(A)，dy(A)，dw(A)， tx=(x-x ty=(y-ya tw=log(w/w th=log(h/h 線性回歸的問題是通過學(xué)習(xí)一組參數(shù)W，使得經(jīng)過運(yùn)算后輸入的特征X與真實值Y非常接近，即希望能夠滿足Y=WX。定義Φ為輸入X經(jīng)過卷積所獲得的特征圖，定義(tx,ty,tw, d*A= 其中Φ(A)是由對應(yīng)Anchor的特征圖組成，W表示的是需要學(xué)習(xí)的參數(shù)，d*(A)表示預(yù)測值（*表示x，y，w， Loss=iN( 綜上，函數(shù)優(yōu)化目標(biāo)就是： w*=argminw (4)Proposal層 在Proposal層，通過綜合[d 在上面所述的RPN的核心要點內(nèi)容基礎(chǔ)上，總結(jié)RPN的處理過程如下：(1)生成Anchor；(2)利用Softmax；分類器分類出前景Anchor；(3)利用邊界回歸的方式回歸精準(zhǔn)前景Anchor；(4)利用Proposal層生成用于后續(xù)操作的候選區(qū)域。 在結(jié)構(gòu)上，F(xiàn)asterR-CNN將特征提取、候選區(qū)域提取、邊界框回歸、分類這幾步操作整合在一個網(wǎng)絡(luò)中，提高了網(wǎng)絡(luò)的綜合性能，明顯加快了檢測速度。圖3.9FasterR-CNN網(wǎng)絡(luò)架構(gòu) FasterR-CNN[19]分為以下四個主要部分： (1)卷積層。FasterR-CNN采用“Conv+Relu+Pooling”的網(wǎng)絡(luò)結(jié)構(gòu)來提取圖像的特征，計算所得的特征圖被后續(xù)RPN層和RoI池化層共享。 (2)候選區(qū)域提取網(wǎng)絡(luò)(RPN)。RPN用于生成候選區(qū)域，通過Softmax判斷Anchor屬于前景還是背景，再利用邊界框回歸的方法修正Anchor，從而獲得更加精確的候選區(qū)域。 (3)RoI池化層。通過綜合圖像的特征圖和候選區(qū)域的信息，提取候選區(qū)域的特征圖，將其送入后續(xù)全連接層判定目標(biāo)類別。 (4)分類。利用候選區(qū)域的特征圖計算候選區(qū)域的類別，同時再次進(jìn)行邊界框回歸，從而獲得候選框的精確位置。3.2 本文使用的目標(biāo)檢測模型PVA-Net PVA-Net[20]是在FasterR-CNN基礎(chǔ)上改進(jìn)的深度學(xué)習(xí)目標(biāo)檢測模型，繼承FasterR-CNN“CNN+RegionProposal+RoIClassification”的思想。在PVA-Net中，最大的改變是在卷積神經(jīng)網(wǎng)絡(luò)提取特征的過程中添加了很多小技巧，從而使得整體效果有了顯著的提升。 PVA-Net的表示的含義是“PerformanceVSAccuracy”，意為在加速模型的性能，同時保持檢測的正確率，其性能的提升主要來源于在卷積神經(jīng)網(wǎng)絡(luò)中添加高效的基礎(chǔ)網(wǎng)絡(luò)，從而優(yōu)化模型，例如，C.ReLU、Inception、HyperNet以及深度網(wǎng)絡(luò)訓(xùn)練模塊。圖3.10PVA-Net網(wǎng)絡(luò)及結(jié)構(gòu)示意圖C.ReLU 在卷積神經(jīng)網(wǎng)絡(luò)的前幾層，神經(jīng)元的激活值恰好相反。C.ReLU通過把輸出通道減半，直接通過取反數(shù)的方法得到另外的一半激活值，從而使得運(yùn)算效率增加了一倍。(2)Inception 在Inception中，1*1的卷積核可以增強(qiáng)網(wǎng)絡(luò)的非線性，同時保持了跟上一層相同的感受野，對于目標(biāo)比較小的物體有較好的檢測效果；3*3的卷積核來、可以實現(xiàn)較大的物體目標(biāo)檢測。(3)HypeNet 通過將不同卷積階段不同尺度的卷積層級聯(lián)起來有助于進(jìn)行多尺度的目標(biāo)檢測。(4)深度網(wǎng)絡(luò)訓(xùn)練 在Inception層間加入Residual模塊，在ReLU激活層前加入BatchNormalization層，加速網(wǎng)絡(luò)收斂。同時根據(jù)PlateauDetection動態(tài)控制學(xué)習(xí)率。3.3 本章小結(jié) R-CNN的思路是一個比較基礎(chǔ)樸素的思路，先選定候選區(qū)域，然后利用卷積神經(jīng)網(wǎng)絡(luò)對每個候選區(qū)域進(jìn)行分類；SPP-Net運(yùn)用金字塔池化的方法，避免了輸入圖像的歸一化操作，防止在拉伸過程中圖像特征信息的丟失；FastR-CNN巧妙之處在于它回避了R-CNN中要對每個候選區(qū)域的卷積運(yùn)算，直接對全圖進(jìn)行卷積來提特征，獲得特征圖，再將候選區(qū)域的位置映射到特征圖中從而得到每個候選區(qū)域所對應(yīng)的特征，同時采用ROI池化層對特征維數(shù)歸一化。 FasterR-CNN針對FastR-CNN的局限進(jìn)行了改進(jìn)，主要優(yōu)化是在候選區(qū)域的提取操作上。Faster-RCNN采用RPN網(wǎng)絡(luò)進(jìn)行候選區(qū)域的提取，節(jié)省了在提取候選區(qū)域階段的時間開銷，RPN是一個多任務(wù)的網(wǎng)絡(luò)，在分類的同時也完成了邊界框回歸的任務(wù)。 最后，介紹了本文所采用的基于FasterR-CNN的目標(biāo)檢測模型PVA-Net。PVA-Net通過在卷積神經(jīng)網(wǎng)絡(luò)階段的改進(jìn)，使得模型的檢測效率明顯上升，滿足應(yīng)用場景的需要。

第四章 基于CNN的交通信號燈識別技術(shù) 通過上一章節(jié)基于FasterR-CNN的檢測模型，可以從復(fù)雜的環(huán)境中檢測出一整塊交通信號燈區(qū)域（包含亮燈圖案和黑色背景板）。由于交通信號圖案組合復(fù)雜且多變，所以直接識別一整塊背景板中的狀態(tài)極其繁瑣。通過圖像預(yù)處理的方法，將檢測所得的信號燈組合進(jìn)行圖案分割，分割成一塊塊近似正方形的單個信號燈圖案后，每一塊圖案的特征明顯易于識別。通過一個簡單的CNN，就可以有效地進(jìn)行信號燈狀態(tài)的識別，大大降低了識別模型的難度和復(fù)雜度。4.1 預(yù)處理過程 交通信號燈的檢測結(jié)果是以黑色背景板為邊界的區(qū)域，包含著一個或者多個待識別的交通信號燈圖案。為了降低識別的復(fù)雜度，首先通過圖像預(yù)處理的方法，在HSV顏色空間中的局部極小值處對黑色背景板進(jìn)行切割，獲得多個單獨(dú)的信號燈圖案，再由卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行狀態(tài)識別。4.1.1交通信號燈的類型判定 為了加強(qiáng)交通秩序的管理，減少交通事故的發(fā)生，道路交通信號燈被發(fā)明出來，以改善交通狀況。通過發(fā)出不同的顏色和圖案信號，交通信號燈有效地維持著交通秩序，提高行車安全。 在道路中，交通信號燈隨處可見，它們由一個個發(fā)光的信號圖案組成。為了進(jìn)行圖像的分割，需要先確定切割的方向。由于交通信號圖案的組合方式不同，有的較寬，有的較長，所以先將檢測到的交通信號燈，按照寬度(W)和高度(H)比分為兩種類型，豎型交通信號燈(W/H<1.5)和橫型交通信號燈(W/H>1.5)。圖4.1交通信號燈類型示意圖 交通信號燈的類型決定了切割的方向。豎型的交通信號燈由多個交通信號圖案在垂直方向組合而成，因此將水平橫向切割；橫型的交通信號燈由多個交通信號燈圖案在水平方向組合而成，因此將按垂直方向豎直切割。4.1.2基于HSV空間的圖像閾值分割 HSV顏色空間中，每個通道控制著不同的因素，三個通道之間相互獨(dú)立，提取顏色的效果好，因此，在圖像處理方面有著廣泛的應(yīng)用。此外，由于交通信號是發(fā)光體，在HSV中亮度(V)空間進(jìn)行特定的限制，更容易從環(huán)境中提取出發(fā)光目標(biāo)物體，進(jìn)而減少環(huán)境的干擾。因此，本文采用在HSV色彩空間對檢測結(jié)果進(jìn)行顏色分割。表4.1HSV顏色分量范圍黑灰白紅橙黃綠青藍(lán)紫hmin000015611263578100125hmax1801801801018025347799124155smin00043434343434343smax2554330255255255255255255255vmin04622146464646464646vmax46220255255255255255255255255 交通信號燈分為紅色，黃色，綠色這三種顏色，其中黃色的交通信號燈接近橙色，綠色的交通信號燈受鏡頭和光線的原因，呈現(xiàn)出的顏色接近青色。根據(jù)圖4.2，很容易根據(jù)顏色提取出這三種顏色的色調(diào)：紅色H∈0,10∪[156,180]，黃色和橙色H∈[11,34]，綠色和青色H∈ 通過HSV空間基于顏色特征的閾值分割，對輸入圖像進(jìn)行二值化處理，將閾值范圍內(nèi)的區(qū)域設(shè)置為白色（像素值設(shè)為255），閾值范圍外的區(qū)域設(shè)置為黑色（像素值設(shè)為0），從而將待識別的交通燈圖案區(qū)域與黑色燈箱背景區(qū)域區(qū)分出來。圖4.2HSV空間分割信號燈圖案4.1.3基于局部最小值的圖像切割 一個黑色背景板中，包含一個或者多個交通信號燈圖案。彩色的圖案之間都存在著黑色的間隙，通過這些黑色的間隙，我們可以將信號燈圖案進(jìn)行切割。假設(shè)有一個經(jīng)過二值化后豎型交通信號燈(Image)，首先計算每一行像素中白色像素點的個數(shù)，存成一個列向量。利用黑色間隙處一整行像素中白色像素個數(shù)為0的特征，找到合適的位置，在黑色間隙區(qū)域進(jìn)行切割，從而將一個完整的交通信號燈切割成多個只包含“單個”交通信號燈的圖案，具體算法如下： 找出切割的候選行號。計算豎型交通信號燈二值圖中每行白色像素點的個數(shù)，存入列向量A(A為W*1的列向量)中。根據(jù)該交通信號燈的較長的寬(W)和較短的高(H)之比(r=W/H)計算適應(yīng)此交通信號燈的步長，局部最小值的步長Step(Step=W/(r*2+2))。遍歷數(shù)組A，當(dāng)A[i]滿足A[i]≤A[j](j∈[0,W-1]∩[i-Step,i+Step])時，將行號i存入向量B中。向量B中存儲著A中滿足步長為Step要求的局部最小值的行號。篩選行號進(jìn)行切割。在進(jìn)行切割時，為了避免連續(xù)行號的無意義切割，不在交通信號燈頂部和底部的黑色區(qū)域進(jìn)行切割。只有在滿足width≥10，其中width=B[i+1]-B[i],i∈[0,B.size()-1])時才進(jìn)行實際交通信號燈的切割，切割出的圖案為Pattern，其中Pattern=Image.rowRange(A[B[i]],A[B[i+1]])。 切割出的單個圖案，特征明顯，相比未切割整個交通信號燈，更易于分類和識別。圖4.3信號燈切割示意圖4.2 卷積神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)發(fā)展之初，是一種全連接網(wǎng)絡(luò)。在計算機(jī)視覺領(lǐng)域，全連接網(wǎng)絡(luò)是不太適合做圖像識別任務(wù)的，主要因為全連接網(wǎng)絡(luò)的參數(shù)量大，容易丟失像素的位置信息，并且受網(wǎng)絡(luò)層數(shù)的限制。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了很多不同結(jié)構(gòu)的網(wǎng)絡(luò)，擁有不同的連接規(guī)則。卷積神經(jīng)網(wǎng)絡(luò)通過以下三個方法解決了全連接網(wǎng)絡(luò)的限制：(1)局部鏈接：每個神經(jīng)元只與小部分神經(jīng)元相連。(2)權(quán)值共享：一組連接可以共享一組權(quán)值。(3)下采樣：通過池化的方法減少樣本數(shù)。 下面我們就來詳細(xì)介紹，卷積神經(jīng)網(wǎng)絡(luò)是如何在圖像識別領(lǐng)域達(dá)到更好的學(xué)習(xí)效果的。4.2.1 卷積層 當(dāng)圖像的深度為1時，一個5*5的圖像，經(jīng)3*3的卷積核進(jìn)行卷積操作后，得到一個3*3的特征圖。圖4.4卷積層輸出值的計算 在圖像中，用xi,j表示第i行第j列的元素；在卷積核中，用wm,n表示第m行第n列權(quán)重，用wbai,j=f(m=0以a0,0a0,0=f=relu=relu1+0+1+0+1+0+0+0+1+0=4在進(jìn)行卷積運(yùn)算時，我們還需要注意步幅S（Stride，卷積核滑動的幅度）和填充P（Padding，在原圖像周圍補(bǔ)零的圈數(shù)）的大小。圖像大小，卷積核大小，步幅大小，填充大小，存在如下關(guān)系：W2=(W1-F+2P)/S+1H2=( 其中W1是圖像的寬度，H1是圖像的高度，W2W2=(W1-F+2P)/S+1=(5-3+2*0)/1+1=3 當(dāng)輸入圖像的深度大于1時，假設(shè)圖像的深度為D（D>1），這時卷積核的深度也為D。這時，卷積計算公式為：ai,j=f(d=0 其中，D表示圖像和卷積核的深度，F(xiàn)表示的是卷積核的大小，用xd,i,j表示圖像中第d層第i行第j列的元素，用wd,m,n表示卷積核中第d層第m行第n列權(quán)重，wb 在卷積神經(jīng)網(wǎng)絡(luò)的卷積計算過程中，每層神經(jīng)元只與上一層部分神經(jīng)元相連，體現(xiàn)了局部連接的思想；卷積核的權(quán)值對于上一層所有神經(jīng)元都是相同的，體現(xiàn)了權(quán)值共享的思想，參數(shù)量大大減少。4.2.2激活函數(shù) 激活函數(shù)，通過保留激活的神經(jīng)元并映射出來的方法，保持?jǐn)?shù)據(jù)原有的特征的同時去除了冗余?？梢园焉窠?jīng)網(wǎng)絡(luò)看作一種線性的表達(dá)，通過加入激活函數(shù)，可以引入非線性的部分增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力。 (1)Sigmoid激活函數(shù) Sigmoid函數(shù)是一個非線性函數(shù)，它的值域是(0,1)。Sigmoid函數(shù)能夠很好的表達(dá)“激活”的意思，未激活就是0，完全飽和的激活則是1。Sigmoid函數(shù)的定義如下：sigmoid圖4.5Sigmoid函數(shù)圖像 (2)Relu激活函數(shù) Relu函數(shù)的定義是：f Relu函數(shù)圖像如下圖所示：圖4.6Relu函數(shù)圖像 Relu激活函數(shù)是現(xiàn)在最常用的一種激活函數(shù)，它的主要優(yōu)點如下：計算速度快 Relu函數(shù)其實就是一個計算最大值的操作，算法簡單且計算量小。緩解梯度消失的問題 梯度的計算公式為?=σ'δx，（σ'是激活函數(shù)的導(dǎo)數(shù)），其中在進(jìn)行反向傳 由于Sigmoid激活函數(shù)σ'的最大值是1/4（如圖4.7），所以，每經(jīng)過一層神經(jīng)元乘以σ Relu函數(shù)的中表示被激活的神經(jīng)元的導(dǎo)數(shù)是1，因此在反向傳播中不會導(dǎo)致梯度值變小。因此，在神經(jīng)網(wǎng)絡(luò)中使用Relu激活函數(shù)可訓(xùn)練更深層的網(wǎng)絡(luò)。圖4.7Sigmoid函數(shù)倒數(shù)圖像4.2.3 池化層 池化的作用是下采樣，去掉特征圖中不重要的樣本信息，可以減少參數(shù)的個數(shù)。最大池化(MaxPooling)是最常用的一種池化方法，就是取n*n的樣本的最大值作為采樣后的樣本值。除了最大池化之外，常用的還有均值池化(MeanPooling)，就是取n*n個樣本的平均值作為樣本值。 對于深度為D(D>1)的特征圖，各層獨(dú)立地進(jìn)行池化操作，所以池化過的特征圖的深度仍然為D。圖4.8池化層輸出值計算4.2.4全連接層 全連接層的目的是為了高度提純特征，利于最后的分類或者回歸。全連接層實際上也是一種卷積層，在全連接層中卷積核與原數(shù)據(jù)的尺寸相同。在卷積神經(jīng)網(wǎng)絡(luò)的后期，經(jīng)過全連接層的操作，可以把二維特征圖轉(zhuǎn)化為一維特征向量。 全連接層的特征向量的計算公式為y=wTx（x為列向量，w的長度與x相同）。假設(shè)一個全連接層的輸入是50*11*11，全連接層的參數(shù)num_output的值為500，即4.2.5Dropout層 通過增加網(wǎng)絡(luò)層數(shù)的方法，可以提高網(wǎng)絡(luò)的分類能力和學(xué)習(xí)能力。然而，網(wǎng)絡(luò)層數(shù)越多就越容易產(chǎn)生過擬合的問題。為此，Dropout層被設(shè)計出來，有效地防止網(wǎng)絡(luò)過擬合。 在訓(xùn)練時，Dropout層會隨機(jī)地舍棄一些節(jié)點（輸出置0），也不更新對應(yīng)的權(quán)重，其余節(jié)點正常地參與訓(xùn)練。通常設(shè)定一個Dropout概率(p)，使得每個輸出節(jié)點以概率p置0（節(jié)點不工作，權(quán)重不更新）。 在訓(xùn)練中加入Dropout層后，由于隨機(jī)地舍棄一些節(jié)點，讓網(wǎng)絡(luò)去學(xué)習(xí)一些更普遍的共性，而不是學(xué)習(xí)某些訓(xùn)練樣本的特性。4.3 本文使用的卷積神經(jīng)網(wǎng)絡(luò)識別模型本文所使用的卷積神經(jīng)網(wǎng)絡(luò)模型，結(jié)構(gòu)如下：圖4.9本文采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型 卷神經(jīng)網(wǎng)絡(luò)模型包含了2個卷積層和2個全連接層，在每個卷積層中采用的是Relu激活函數(shù)，在網(wǎng)絡(luò)中加入了Dropout層增加網(wǎng)絡(luò)的非線性的特性防止產(chǎn)生過擬合的現(xiàn)象。 輸入尺寸為36*36（維度為(3,36,36))的圖像，經(jīng)過第一層卷積層后的維度為(96,17,17)，經(jīng)過第二層卷積層后的維度為(128,8,8)，經(jīng)過第一和第二層全連接層后的維度為(256)，經(jīng)過第三個全連接層的維度為(19)，經(jīng)過最后一個SoftmaxLoss層分類結(jié)果的維度為(1)。 通過一個實例，可以看清楚在卷積神經(jīng)網(wǎng)絡(luò)中，圖片特征的變化過程：圖4.10卷積神經(jīng)網(wǎng)絡(luò)識別示例 本文提出了富有創(chuàng)新性的交通信號燈識別的流程，具有適應(yīng)性強(qiáng)，運(yùn)行效率高，識別率高的優(yōu)點。圖4.11描述了交通信號燈識別完整的流程圖。圖4.11交通信號燈識別流程圖4.4 本章小結(jié) 本章首先介紹了對于交通信號燈檢測結(jié)果的預(yù)處理過程，通過判定交通信號燈的類型，在HSV空間中的顏色分割，圖像上的局部最小值切割，得到單個獨(dú)立的交通信號燈圖案。其次，介紹了卷積神經(jīng)網(wǎng)絡(luò)的概念，以卷積層、激活函數(shù)、池化層、全連接層、Dropout層為代表介紹了卷積神經(jīng)網(wǎng)絡(luò)常用的層和常用函數(shù)。最后，提出本文所采用的卷積神經(jīng)網(wǎng)絡(luò)模型，并用圖示模擬卷積過程，介紹交通信號燈識別的整體流程。

第五章 交通信號燈檢測與識別結(jié)果分析 本文第三章詳細(xì)介紹了基于FasterR-CNN的交通信號燈檢測模型，第四章詳細(xì)介紹了檢測結(jié)果預(yù)處理以及基于CNN的交通信號燈識別模型。本章在Calmcar交通數(shù)據(jù)集的基礎(chǔ)上，訓(xùn)練模型并分析模型的檢測和識別效果。5.1 CalmCar交通標(biāo)識數(shù)據(jù)集 CalmCarVehicleVision（蘇州天瞳威視電子科技有限公司）致力于開發(fā)基于深度學(xué)習(xí)的人工智能視覺系統(tǒng)，通過實時理解駕駛場景，實時分析駕駛行為，來實現(xiàn)輔助駕駛的功能。為了使產(chǎn)品適應(yīng)中國的道路狀況，公司每天安排數(shù)據(jù)采集人員在中國富有代表性的省市（包括北京、天津、蘇州、上海等地）進(jìn)行交通道路信息的視頻采集。同時，對于采集到的數(shù)據(jù)安排職員進(jìn)行人工標(biāo)注，標(biāo)注出的目標(biāo)包括交通信號燈、交通警示標(biāo)識牌、交通禁止標(biāo)識牌、交通指路標(biāo)識牌、交通指示標(biāo)識牌、交通旅游標(biāo)識牌、交通輔助標(biāo)識牌以及其他類標(biāo)識牌。最后，用標(biāo)注所得的樣本數(shù)據(jù)進(jìn)行公司各種檢測和識別模型的訓(xùn)練。本文中檢測和識別的模型就是在CalmCar交通標(biāo)識數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試的。 在CalmCar交通標(biāo)識數(shù)據(jù)集中，每張1280*1080的PNG圖像對應(yīng)著一個XML文件（用于存儲圖像中各種交通標(biāo)識的位置信息）。到目前為止，CalmCar交通標(biāo)識數(shù)據(jù)集分別包含了32592張圖像和32592個標(biāo)注文件，并且數(shù)據(jù)量隨著采集和標(biāo)注工作的進(jìn)行，正在不斷地擴(kuò)大。圖5.1CalmCar交通標(biāo)識數(shù)據(jù)集的樣本圖像和標(biāo)注示例5.1.1 CalmCar交通信號燈檢測數(shù)據(jù)集 為了訓(xùn)練出能夠較好的適應(yīng)中國道路交通狀況的交通標(biāo)識檢測模型，CalmCar公司建立了CalmCar交通標(biāo)識數(shù)據(jù)集，標(biāo)注出了每張采集到的道路圖像中的各種交通標(biāo)識的位置。 本文主要研究交通信號燈的檢測和識別，需要使用到CalmCar交通標(biāo)識數(shù)據(jù)集中的所有的采集圖像和“交通信號燈”這一類標(biāo)注信息。5.1.2CalmCar交通信號燈識別數(shù)據(jù)集 CalmCar交通信號燈識別數(shù)據(jù)集是在檢測數(shù)據(jù)集和檢測模型的基礎(chǔ)上，慢慢建立起來的。將訓(xùn)練好的交通信號燈檢測模型應(yīng)用到路況視頻文件上，檢測路況視頻文件每一幀上的交通信號燈，保存檢測結(jié)果為PNG圖片格式，然后對這些經(jīng)檢測結(jié)果進(jìn)行預(yù)處理操作，將檢測結(jié)果切割成單個的信號燈圖案，再進(jìn)行分工分類，將信號圖案按顏色和形狀分類，生成CalmCar交通信號燈識別數(shù)據(jù)集。 這里，之所以不直接用標(biāo)注的位置信息的交通信號燈進(jìn)行訓(xùn)練，是因為整個交通信號燈的檢測和識別是一個是順序的過程，在實時的檢測和識別中，是直接將檢測到的結(jié)果，傳遞到預(yù)處理和識別模型中的。而標(biāo)注的交通信號燈相當(dāng)于是人眼檢測的結(jié)果，與模型檢測的結(jié)果相比，雖然更標(biāo)準(zhǔn)更精確，但是卻不符合檢測模型的特性。 根據(jù)信號燈圖案的顏色和形狀，將信號燈圖案分為19類。由于黃色交通信號燈才出現(xiàn)的時間很短，樣本量相比于紅色與綠色的信號燈圖案偏少。所以在分類中，將相同形狀的黃色信號燈圖案與紅色信號燈圖案分成一類進(jìn)行訓(xùn)練，同時，由于黃色信號燈圖案與紅色信號燈圖案的語義也是一致的（出現(xiàn)黃燈時也判定為紅燈，保證了安全性），所以也將它們識別成一類。所以，根據(jù)上述的分類規(guī)則，分成的19類信號燈圖案包括：綠色返回箭頭圖案(g_back)、綠色進(jìn)度條形圖案(g_bar)、綠色圓形圖案(g_circle)、綠色向下箭頭圖案(g_down)、綠色向左箭頭圖案(g_left)、綠色行人圖案(g_man)、綠色數(shù)字(g_num)、綠色向右箭頭(g_right)、綠色向上箭頭圖案(g_up)和紅色返回箭頭圖案(r_back)、紅色進(jìn)度條形圖案(r_bar)、紅色圓形圖案(r_circle)、紅色向下箭頭圖案(r_down)、紅色向左箭頭圖案(r_left)、紅色行人圖案(r_man)、紅色數(shù)字(r_num)、紅色向右箭頭(r_right)、紅色向上箭頭圖案(r_up)以及未知圖案(unknown)。圖5.2交通信號燈圖案分類5.2 運(yùn)行環(huán)境 本次實驗的運(yùn)行環(huán)境和鏡頭參數(shù)情況如下表：表5.1運(yùn)行環(huán)境和鏡頭參數(shù)設(shè)備類型CPUInteli7-3.60GHz*8GPUGeforceGTX1070RAM16GiBDISKWESTDATA2TSENSOROV10640RESOLUTION1280*1080LENSE6.14mm5.3 實驗結(jié)果分析 在完成了模型的訓(xùn)練之后，對交通信號燈的檢測模型和識別模型分別進(jìn)行了測試和分析。5.3.1 交通信號燈檢測模型結(jié)果分析在實際道路視頻中進(jìn)行交通信號燈檢測，結(jié)果如下。圖5.3視頻檢測結(jié)果示例圖 通過分別在CalmCar交通標(biāo)識數(shù)據(jù)集上訓(xùn)練PVA-Net、ZF-Net和VGG-Net的交通信號燈檢測模型，對比3個模型的檢測平均正確率。表5.2測試結(jié)果對比模型mAP(%)ZF-Net72.96VGG1676.54PVA-Net88.25 從上表5.2可以看出，PVA-Net的檢測效率遠(yuǎn)遠(yuǎn)高于其他兩種檢測模型。隨著模型的不斷的迭代和完善，目前PVA-Net模型的交通信號燈檢測過程已經(jīng)非常穩(wěn)定。5.3.2 交通信號燈狀態(tài)識別模型結(jié)果分析在實際道路視頻中進(jìn)行交通信號燈檢測，結(jié)果如下。圖5.4視頻識別結(jié)果示例圖 下表對比了每一類交通信號圖案識別的準(zhǔn)確率。從表中可以看出，在18類交通信號圖案的識別結(jié)果中有11類的識別正確率在95%以上，有13類的識別正確率在90%以上，并且所有類別的識別正確率都在85%以上。 由此可見，通過基于局部最小值的預(yù)處理之后，用簡單的卷積神經(jīng)網(wǎng)絡(luò)模型，就可以對交通信號燈圖案進(jìn)行高效準(zhǔn)確的識別。圖5.5交通信號燈識別正確率5.4 本章小結(jié) 本章首先介紹了本文所采用的CalmCar交通標(biāo)識數(shù)據(jù)集。CalmCar交通標(biāo)識數(shù)據(jù)集采集于中國代表性省市道路并包含人工標(biāo)注信息的數(shù)據(jù)集。由于數(shù)據(jù)采集于中國典型城市，所以數(shù)據(jù)信息符合中國的道路交通狀況。本文中檢測和識別的模型就是在CalmCar交通標(biāo)識數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試的。其次，本章介紹了程序運(yùn)行的環(huán)境和攝像頭參數(shù)。最后，測試本文提出的交通信號燈檢測和識別的方法，通過實驗結(jié)果分析實驗方法的可行性。

第六章總結(jié)與展望6.1 本文總結(jié) 本文研究了交通信號燈的檢測和識別方法，從分析現(xiàn)有的檢測和識別技術(shù)入手，比較各種檢測和識別技術(shù)的優(yōu)劣。經(jīng)過閱讀廣泛的相關(guān)資料和分析現(xiàn)有的技術(shù)之后，提出了本文所采用的基于深度學(xué)習(xí)的交通信號燈的檢測和識別方法。首先用基于FasterR-CNN的模型進(jìn)行交通信號燈的檢測，其次對檢測結(jié)果進(jìn)行基于局部最小值的圖像切割，最后提出用于狀態(tài)識別的卷積神經(jīng)網(wǎng)絡(luò)模型。本文采用的數(shù)據(jù)集是CalmCar交通標(biāo)識數(shù)據(jù)集，通過在此數(shù)據(jù)集上訓(xùn)練和測試數(shù)據(jù)，證明了本文提出的交通信號燈檢測和識別方法進(jìn)的可行性。 本文主要工作及創(chuàng)新點如下： (1)基于FasterR-CNN的交通信號檢測技術(shù)的研究。通過闡述FasterR-CNN目標(biāo)檢測技術(shù)的演進(jìn)，介紹了FasterR-CNN在目標(biāo)檢測算法中的優(yōu)勢。本文最終采用基于FasterR-CNN的網(wǎng)絡(luò)PVA-Net對復(fù)雜環(huán)境中的交通信號燈進(jìn)行檢測。 (2)提出了基于局部最小值的信號燈切割方法。通過對檢測到的交通信號燈進(jìn)行切割，得到單獨(dú)的信號燈圖案。切割所得的信號燈圖案，特征明顯，易于分類降低了識別的難度。通過實驗結(jié)果的分析，經(jīng)過預(yù)處理后的信號燈識別，分類更加靈活，適用于識別各式各樣的交通信號燈。 (3)基于CNN的交通信號識別技術(shù)的研究。從采用卷積神經(jīng)網(wǎng)絡(luò)的識別方法，根據(jù)顏色和形狀對信號燈圖案進(jìn)行分類。通過對實驗結(jié)果的分析發(fā)現(xiàn)，相比于傳統(tǒng)的識別方法，基于卷積神經(jīng)網(wǎng)絡(luò)的識別方法在提取特征時更加靈活簡單，而且可以根據(jù)實際情況的需求增加交通信號燈圖案的類型，或增加新環(huán)境中的樣本，適應(yīng)性強(qiáng)，有著明顯優(yōu)勢。 (4)提出了基于深度學(xué)習(xí)的交通信號燈的檢測和識別方法，基于局部最小值的信號燈切割方法，這是本文在實驗方法上的創(chuàng)新。本文的實驗方法在檢測和識別上都采用了深度學(xué)習(xí)的方法，采用基于FasterR-CNN的方法進(jìn)行目標(biāo)檢測，用基于CNN的方法進(jìn)行識別，并且在識別之前采用基于局部最小值的信號燈分割的方法進(jìn)行切割，所得出的效果令人滿意，可以充分驗證本文所提出的上述方法的正確性。6.2 后續(xù)工作展望 然而，本文提出的方法也存在以下不足： (1)交通信號燈檢測的結(jié)果易受光照的影響。當(dāng)信號燈迎光時，由于光線強(qiáng)烈，導(dǎo)致原本的色彩不明顯而難以識別。 (2)目前，能夠檢測的范圍較近。距離遠(yuǎn)，會導(dǎo)致交通信號燈較小，特征不明顯，而無法被檢測到。 針對以上提出的問題，我會在今后的工作中加以改進(jìn)，直到能夠合格地應(yīng)用于輔助駕駛系統(tǒng)中。我相信隨著時間的推移和技術(shù)的發(fā)展，一定會出現(xiàn)很多高效的檢測或者識別的思想，不斷吸收新的更好的方法，提出新的思路，在原有基礎(chǔ)上做改進(jìn)。

參考文獻(xiàn)[1] CaiZ,LiY,GuM.Real-timerecognitionsystemoftrafficlightinurbanenvironment[C]//ComputationalIntelligenceforSecurityandDefenceApplications(CISDA),2012IEEESymposiumon.IEEE,2012:1-6.[2]HaltakovV,MayrJ,UngerC,etal.Semanticsegmentationbasedtrafficlightdetectionatdayandatnight[C]//GermanConferenceonPatternRecognition.Springer,Cham,2015:446-457.[3]GomezAE,AlencarFAR,PradoPV,etal.Trafficlightsdetectionandstateestimationusinghiddenmarkovmodels[C]//IntelligentVehiclesSymposiumProceedings,2014IEEE.IEEE,2014:750-755.[4]JohnV,YonedaK,QiB,etal.Trafficlightrecognitioninvaryingilluminationusingdeeplearningandsaliencymap[C]//IntelligentTransportationSystems(ITSC),2014IEEE17thInternationalConferenceon.IEEE,2014:2286-2291.[5]FrankeU,PfeifferD,RabeC,etal.Makingberthasee[C]//ComputerVisionWorkshops(ICCVW),2013IEEEInternationalConferenceon.IEEE,2013:214-221.[6]TrehardG,PollardE,BradaiB,etal.Trackingboth