基于單目相機(jī)的實(shí)時(shí)交通信號(hào)燈檢測(cè)與識(shí)別方法分析研究 通信工程管理專業(yè)

目錄前言 3第一章 緒論 41.1 研究背景及意義 41.2 卷積神經(jīng)網(wǎng)絡(luò)概述 51.3 本文的主要工作及創(chuàng)新點(diǎn) 61.4 文章結(jié)構(gòu) 6第二章 交通信號(hào)燈檢測(cè)與識(shí)別技術(shù) 82.1 研究現(xiàn)狀分析 82.1.1 顏色空間 82.1.2 交通信號(hào)燈的檢測(cè)技術(shù) 102.1.3 特征提取 112.1.4交通信號(hào)燈的識(shí)別技術(shù) 112.1.5目標(biāo)追蹤算法 112.2 交通信號(hào)燈檢測(cè)與識(shí)別技術(shù)難點(diǎn) 122.3 本章小結(jié) 12第三章 基于FasterR-CNN的交通信號(hào)燈檢測(cè)技術(shù) 133.1 基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測(cè)算法的演進(jìn) 133.1.1 R-CNN目標(biāo)檢測(cè)算法 133.1.2 SPP-NET目標(biāo)檢測(cè)算法 153.1.3 FastR-CNN目標(biāo)檢測(cè)算法 163.1.4FasterR-CNN目標(biāo)檢測(cè)算法 183.2 本文使用的目標(biāo)檢測(cè)模型PVA-Net 213.3 本章小結(jié) 22第四章 基于CNN的交通信號(hào)燈識(shí)別技術(shù) 244.1 預(yù)處理過程 244.1.1交通信號(hào)燈的類型判定 244.1.2基于HSV空間的圖像閾值分割 254.1.3基于局部最小值的圖像切割 264.2 卷積神經(jīng)網(wǎng)絡(luò) 274.2.1 卷積層 274.2.2激活函數(shù) 284.2.3 池化層 304.2.4全連接層 304.2.5Dropout層 314.3 本文使用的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型 314.4 本章小結(jié) 33第五章 交通信號(hào)燈檢測(cè)與識(shí)別結(jié)果分析 345.1CalmCar交通標(biāo)識(shí)數(shù)據(jù)集 345.1.1 CalmCar交通信號(hào)燈檢測(cè)數(shù)據(jù)集 355.1.2CalmCar交通信號(hào)燈識(shí)別數(shù)據(jù)集 355.2 運(yùn)行環(huán)境 365.3 實(shí)驗(yàn)結(jié)果分析 365.3.1 交通信號(hào)燈檢測(cè)模型結(jié)果分析 365.3.2 交通信號(hào)燈狀態(tài)識(shí)別模型結(jié)果分析 375.4 本章小結(jié) 38第六章總結(jié)與展望 396.1 本文總結(jié) 396.2 后續(xù)工作展望 40參考文獻(xiàn) 41致謝 41 摘要 目前，關(guān)于智能汽車和輔助駕駛系統(tǒng)(ADAS,AdvancedDriverAssistanceSystem)的研究非常熱門。為了實(shí)現(xiàn)智能化的駕駛，要求設(shè)備能夠進(jìn)行實(shí)時(shí)的駕駛環(huán)境分析和駕駛行為分析，進(jìn)而由分析所得的結(jié)果執(zhí)行輔助或者控制操作。交通信號(hào)燈，是道路交通必不可少的駕駛信號(hào)之一，對(duì)有效地指引車輛行駛，維持交通秩序，有著至關(guān)重要的作用。因此，智能汽車和輔助駕駛系統(tǒng)想要能夠?qū)崿F(xiàn)自身的功能，交通信號(hào)燈的檢測(cè)與識(shí)別是必不可少的組成部分。 本文深入地研究了交通信號(hào)燈的檢測(cè)和識(shí)別方法，分別提出了采用深度學(xué)習(xí)進(jìn)行檢測(cè)和識(shí)別的實(shí)現(xiàn)方式，對(duì)現(xiàn)實(shí)環(huán)境中的交通信號(hào)燈進(jìn)行實(shí)時(shí)地檢測(cè)和識(shí)別。本文采用基于FasterR-CNN的檢測(cè)模型，實(shí)時(shí)檢測(cè)交通信號(hào)燈；采用基于局部最小值的預(yù)處理方法，對(duì)檢測(cè)出的交通信號(hào)燈進(jìn)行切割，得到特征明顯的單個(gè)的信號(hào)燈圖案；最后采用基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型，進(jìn)行交通信號(hào)燈狀態(tài)的識(shí)別。本文所用到的數(shù)據(jù)都來自于CalmCar交通標(biāo)識(shí)數(shù)據(jù)集，采集自真實(shí)的中國(guó)典型城市的道路交通環(huán)境中，適合于分析中國(guó)交通道路狀況的相關(guān)應(yīng)用。 關(guān)鍵詞：深度學(xué)習(xí)；圖像識(shí)別；目標(biāo)檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)

AbstractAtpresent,theresearchonSmartCarandAdvancedDriverAssistanceSystem(ADAS)isverypopular.Inordertorealizeintelligentdriving,thedeviceisrequiredtoperformreal-timedrivingenvironmentanalysisanddrivingbehavioranalysis,andthenperformassistanceorcontroloperationsfromtheresultsoftheanalysis.Trafficlightsareoneoftheessentialsignalsforvehicles.Theyplayacrucialroleinguidingvehiclesandmaintainingtrafficorder.Therefore,toachievethefunctionsofSmartCarandADAS,thedetectionandrecognitionoftrafficlightsisanintegralpart.Thispaperdeeplyresearchesonthedetectionandrecognitionoftrafficlights,andproposesamethodofdetectionandrecognitionbasedonDeepLearningtodetectandrecognizetrafficlightsinreal-time.Inthispaper,thedetectionmodelbasedonFasterR-CNNisadoptedtodetecttrafficlightsinrealtime.Thepreprocessingmethodbasedonlocalminimumisusedtocutthedetectedtrafficlightstoobtainseveralsignalpatternswithuniquefeatures.Finally,theConvolutionalNeuralNetworkisusedtoidentifythestatusesoftrafficlights.ThedatasetusedinthispapercomesfromCalmCarTrafficSignalDataset.CalmCarTrafficSignalDatasetiscollectedfromrealroadenvironmentintypicalcitiesofChinawhichissuitabletobeappliedtoanalysetrafficconditionsinChina.Keywords:Deeplearning;Imagerecognition;Targetdetection;Convolutionalneuralnetwork

前言 隨著科技的發(fā)展，交通運(yùn)輸和駕駛安全問題得到了越來越多的關(guān)注。目前，智能汽車和先進(jìn)輔助駕駛系統(tǒng)是目前工業(yè)市場(chǎng)上非常熱門的研究重點(diǎn)，通過采用計(jì)算機(jī)視覺和雷達(dá)等技術(shù)實(shí)時(shí)有效地分析駕駛環(huán)境駕駛行為，為駕駛?cè)藛T提供智能化的幫助。在實(shí)際的駕駛場(chǎng)景中，交通信號(hào)燈通過一系列的不同圖案和顏色的指示燈的信號(hào)引導(dǎo)車流，維護(hù)交通秩序，確保行車安全，避免了交通擁堵和交通事故。因此，在智能汽車或者輔助駕駛系統(tǒng)中，對(duì)交通信號(hào)燈的檢測(cè)和識(shí)別是不可或缺的。交通信號(hào)燈的檢測(cè)和識(shí)別技術(shù)也因?yàn)楣I(yè)需求而有著重要的意義和良好的前景。 隨著深度學(xué)習(xí)的不斷研究和發(fā)展，深度學(xué)習(xí)在圖像識(shí)別專業(yè)領(lǐng)域內(nèi)取得的成果顯著，對(duì)交通信號(hào)燈的檢測(cè)和識(shí)別的方法帶來了影響。交通信號(hào)燈的檢測(cè)和識(shí)別正在逐步從傳統(tǒng)的方法走向深度學(xué)習(xí)的方法。傳統(tǒng)檢測(cè)和識(shí)別方法的局限性顯而易見，由于特征的局限性，不能夠適用于復(fù)雜多變的環(huán)境，缺乏靈活性和適應(yīng)性。隨著樣本數(shù)據(jù)量的增長(zhǎng)，深度學(xué)習(xí)方法可以靈活地學(xué)習(xí)不同環(huán)境下的特征，滿足目標(biāo)檢測(cè)和物體識(shí)別的需求。采用深度學(xué)習(xí)的方法進(jìn)行交通信號(hào)燈的檢測(cè)和識(shí)別，能夠有效地增強(qiáng)檢測(cè)和是識(shí)別能力，增加靈活性和擴(kuò)展性。 本文以交通信號(hào)燈為研究對(duì)象，研究了交通信號(hào)燈的檢測(cè)和識(shí)別方法。通過分析已有的交通信號(hào)燈的檢測(cè)和識(shí)別的技術(shù)，分析對(duì)比已有的檢測(cè)和識(shí)別技術(shù)的優(yōu)缺點(diǎn)，提出本文設(shè)計(jì)的基于深度學(xué)習(xí)的交通信號(hào)燈檢測(cè)和識(shí)別方法，并在采集于中國(guó)典型城市的CalmCar交通標(biāo)識(shí)數(shù)據(jù)集上進(jìn)行訓(xùn)練，最后對(duì)模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 本文主要工作及創(chuàng)新點(diǎn)如下： (1)基于FasterR-CNN的交通信號(hào)燈檢測(cè)技術(shù)的應(yīng)用。 (2)提出了基于局部最小值的信號(hào)燈切割方法，這是本文的創(chuàng)新點(diǎn)之一。 (3)基于CNN的交通信號(hào)識(shí)別技術(shù)的研究。

第一章 緒論 在本章緒論中，首先介紹了交通信號(hào)燈檢測(cè)和識(shí)別技術(shù)的研究背景和意義，其次簡(jiǎn)單地介紹了卷積神經(jīng)網(wǎng)絡(luò)的原理，并介紹了本文所采用的方法的主要工作和貢獻(xiàn)以及創(chuàng)新點(diǎn)，最后介紹了論文的結(jié)構(gòu)框架。研究背景及意義 城市不斷地發(fā)展擴(kuò)大，汽車的擁有量也在持續(xù)增加，隨著道路的不斷開發(fā)，交通狀況日益復(fù)雜，交通中存在的問題也在不斷的增加并加劇，比如不斷發(fā)生的交通事故以及嚴(yán)重影響人們生活和通行質(zhì)量的交通擁堵。隨著科技的發(fā)展，在圖像識(shí)別和控制領(lǐng)域的深入研究，越來越多的技術(shù)被應(yīng)用到汽車領(lǐng)域。近年來，處于研究重點(diǎn)和熱點(diǎn)的智能汽車和輔助駕駛系統(tǒng)就是一個(gè)典型的例子。 通過安裝多種傳感器和攝像頭，實(shí)時(shí)采集駕駛環(huán)境中的各種數(shù)據(jù)信息，智能汽車和輔助駕駛系統(tǒng)可以進(jìn)行各種信號(hào)的檢測(cè)或識(shí)別，從而實(shí)現(xiàn)諸如行車線檢測(cè)、偏離預(yù)警、疲勞駕駛警示等功能。無論是在智能汽車還是輔助駕駛系統(tǒng)中，對(duì)行駛過程中遇到的交通信號(hào)燈的檢測(cè)和識(shí)別的研究都是必不可少的。 通過實(shí)時(shí)地獲取并分析攝像頭捕捉的駕駛環(huán)境數(shù)據(jù)，檢測(cè)并識(shí)別交通信號(hào)燈的指示狀態(tài)，可以及時(shí)的提醒駕駛?cè)藛T前方的交通信號(hào)燈狀態(tài)，從而一定程度上彌補(bǔ)駕駛?cè)藛T的疏忽，避免因?yàn)轳{駛?cè)藛T主觀判斷不正確而引起的交通事故。因此，交通信號(hào)燈的檢測(cè)和識(shí)別必須具有較高的準(zhǔn)確性，具有實(shí)時(shí)識(shí)別能力，能夠在復(fù)雜的外部環(huán)境下，識(shí)別多種類型的交通信號(hào)燈。 交通信號(hào)燈檢測(cè)和識(shí)別的研究非常具有現(xiàn)實(shí)意義。交通信號(hào)燈向交通參與者們輸出重要的交通指示信號(hào)，提前識(shí)別交通信號(hào)燈有利于駕駛?cè)藛T提前采取措施并提前規(guī)劃路線，可以有效地防止交通交叉路口的事故的發(fā)生，彌補(bǔ)駕駛?cè)藛T的不足。另一方面，信號(hào)燈的檢測(cè)和識(shí)別可以有效地給色盲和色弱群體提供幫助，通過交通信號(hào)燈檢測(cè)和識(shí)別系統(tǒng)幫助他們識(shí)別道路上的交通信號(hào)燈讓弱勢(shì)群體在科學(xué)技術(shù)的支持下能夠進(jìn)行安全的駕駛。 因此，交通信號(hào)燈檢測(cè)和識(shí)別技術(shù)具有重要的意義，在智能汽車和輔助駕駛的發(fā)展中，有良好的應(yīng)用推廣前景，對(duì)有顏色分辨障礙的群體也充滿了人文關(guān)懷。1.2 卷積神經(jīng)網(wǎng)絡(luò)概述 深度學(xué)習(xí)在多個(gè)領(lǐng)域中都有著出色的成績(jī)，其中就包括了圖像識(shí)別、語音識(shí)別以及自然語言處理等領(lǐng)域。其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN,ConvolutionalNeuralNetwork)是研究最深入，應(yīng)用最廣泛的一中神經(jīng)網(wǎng)絡(luò)模型。早期，由于數(shù)據(jù)的缺乏，卷積神經(jīng)網(wǎng)絡(luò)取得的結(jié)果不令人滿意，易產(chǎn)生過擬合的現(xiàn)象。隨著數(shù)據(jù)集的擴(kuò)充和完善和計(jì)算能力的不斷提升，卷積神經(jīng)網(wǎng)絡(luò)在各種大賽上以優(yōu)異的結(jié)果獲得關(guān)注，也得到了更加深入的研究。目前，卷積神經(jīng)網(wǎng)絡(luò)獲得了廣泛的認(rèn)可，各種功能完善，性能出色的網(wǎng)絡(luò)，也不斷的出現(xiàn)，其中包括LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等。 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是相似的，主要由卷積層(Conv,ConvolutionalLayer)、池化層(Pool,PoolingLayer)和全連接層(FC,Fully-ConnectedLayer)組成。在卷積神經(jīng)網(wǎng)絡(luò)中，每一層提取前一層輸入數(shù)據(jù)的特征，得到對(duì)應(yīng)的特征圖，實(shí)現(xiàn)對(duì)特征的提取和加工。 一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以表示為：InputImage→Conv→Pool→Conv→Pool→FC→FC(式1.1) 卷積神經(jīng)網(wǎng)絡(luò)通過卷積層和池化層的卷積和池化操作進(jìn)行輸入數(shù)據(jù)的特征提取，通過梯度下降以及最小化損失函數(shù)的方法調(diào)節(jié)網(wǎng)絡(luò)中的權(quán)重，然后通過不斷地迭代來提高網(wǎng)絡(luò)的精度。在卷積神經(jīng)網(wǎng)絡(luò)中，低層的網(wǎng)絡(luò)主要由卷積層和池化層組成，用來得到輸入數(shù)據(jù)的特征圖，不斷提取和濃縮特征；高層的網(wǎng)絡(luò)由全連接層和分類器組成，其中分類的方法邏輯回歸，Softmax回歸和支持向量機(jī)。 在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層、池化層、全連接層的主要功能如下：卷積層卷積層通過卷積運(yùn)算，可以增強(qiáng)原圖的特征并且降低噪音。卷積層中包含了多個(gè)卷積核(ConvolutionalKernel)，不同的卷積核計(jì)算不同的特征圖。池化層池化層對(duì)傳入的數(shù)據(jù)進(jìn)行下采樣，從而較少參數(shù)個(gè)數(shù)并減少計(jì)算量。同時(shí)，池化保持圖像的平移、旋轉(zhuǎn)和尺度不變性，有效地避免產(chǎn)生過擬合，從而增強(qiáng)泛化能力。最大池化(MaxPooling)和均值池化(MeanPooling)是常用的池化方法。全連接層 全連接層對(duì)特征進(jìn)行提煉，接著將特征傳輸?shù)椒诸惼?，最終實(shí)現(xiàn)輸入數(shù)據(jù)的分類。1.3 本文的主要工作及創(chuàng)新點(diǎn) 本文以交通信號(hào)燈為研究對(duì)象，研究了交通信號(hào)燈的檢測(cè)和識(shí)別方法。通過分析現(xiàn)有的各種交通信號(hào)燈的檢測(cè)識(shí)別技術(shù)，對(duì)比各種檢測(cè)識(shí)別技術(shù)的優(yōu)缺點(diǎn)，提出了基于深度學(xué)習(xí)的交通信號(hào)燈的檢測(cè)和識(shí)別方法，并在采集于中國(guó)典型城市的CalmCar交通標(biāo)識(shí)數(shù)據(jù)集上進(jìn)行訓(xùn)練，最后對(duì)模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 本文主要工作及創(chuàng)新點(diǎn)如下： (1)基于FasterR-CNN的交通信號(hào)檢測(cè)技術(shù)的應(yīng)用。通過分析FasterR-CNN目標(biāo)檢測(cè)技術(shù)的發(fā)展過程，從最初的R-CNN，到SPP-Net，再到FastR-CNN，最后到FasterR-CNN，分析了FasterR-CNN在目標(biāo)檢測(cè)方法中明顯的優(yōu)勢(shì)。本文最終采用的是基于FasterR-CNN的網(wǎng)絡(luò)PVA-Net，實(shí)現(xiàn)復(fù)雜的城市環(huán)境中的交通信號(hào)燈的檢測(cè)。 (2)提出了基于局部最小值的信號(hào)燈切割方法，這是本文的創(chuàng)新點(diǎn)之一。本文通過切割檢測(cè)到的交通信號(hào)燈，得到單個(gè)獨(dú)立的交通信號(hào)燈圖案。切割所得的信號(hào)燈圖案，特征明顯，類型明確，降低了后續(xù)的識(shí)別的難度和復(fù)雜度。實(shí)驗(yàn)結(jié)果表明，進(jìn)行圖像切割的預(yù)處理后，增加了分類的靈活性，只需要增加模型的分類，就可以使得算法適用于各種各樣的交通信號(hào)燈圖案的識(shí)別，增加了算法的通用性。 (3)基于CNN的交通信號(hào)識(shí)別技術(shù)的研究。經(jīng)過預(yù)處理后，所得的信號(hào)燈圖案特征明顯且易于分類。通過卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，將信號(hào)燈圖案根據(jù)顏色和形狀進(jìn)行分類。實(shí)驗(yàn)表明，相比于傳統(tǒng)的識(shí)別方法，基于CNN的識(shí)別方法在特征提取方面靈活簡(jiǎn)單，可以根據(jù)實(shí)際環(huán)境的需求增加信號(hào)燈的類型，或增加新環(huán)境下的樣本，增強(qiáng)了適應(yīng)性，有著明顯優(yōu)勢(shì)。1.4 文章結(jié)構(gòu) 全文總共六章，各章的主要內(nèi)容安排如下： 第一章：緒論。本章介紹了交通信號(hào)燈檢測(cè)和識(shí)別的研究背景和意義、卷積神經(jīng)網(wǎng)絡(luò)的概述、本文主要工作及主要?jiǎng)?chuàng)新點(diǎn)以及文章結(jié)構(gòu)。 第二章：交通信號(hào)燈檢測(cè)識(shí)別技術(shù)。本章首先介紹了現(xiàn)有的交通信號(hào)燈檢測(cè)識(shí)別技術(shù)，分析了目前信號(hào)燈檢測(cè)和識(shí)別的研究現(xiàn)狀，并總結(jié)了交通信號(hào)燈檢測(cè)和識(shí)別過程中的難點(diǎn)。 第三章：基于FasterR-CNN的交通信號(hào)燈檢測(cè)技術(shù)。本章從基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測(cè)算法的演進(jìn)著筆，詳細(xì)闡述了從R-CNN到SPP-Net到FastR-CNN再到FasterR-CNN的發(fā)展過程，總結(jié)了FasterR-CNN在目標(biāo)檢測(cè)方法中的優(yōu)勢(shì)，介紹了本文所采用的基于FasterR-CNN的交通信號(hào)燈檢測(cè)方法PVA-Net。 第四章：基于CNN的交通信號(hào)燈識(shí)別技術(shù)。本章提出了一種新穎的交通信號(hào)燈預(yù)處理方法，對(duì)檢測(cè)得到的交通信號(hào)燈進(jìn)行基于局部最小值的信號(hào)燈圖案切割，并對(duì)切割后的圖案進(jìn)行識(shí)別，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了詳細(xì)的介紹，最后提出了基于CNN的交通信號(hào)燈識(shí)別方法。 第五章：通過實(shí)驗(yàn)分析本文在第三章和第四章所提出的交通信號(hào)燈的檢測(cè)和識(shí)別方法。 第六章：總結(jié)全文，對(duì)后續(xù)的工作進(jìn)行展望。

第二章 交通信號(hào)燈檢測(cè)與識(shí)別技術(shù) 本章介紹了交通信號(hào)燈檢測(cè)和識(shí)別流程各個(gè)步驟的實(shí)現(xiàn)方法以及研究現(xiàn)狀，并分析了交通信號(hào)燈檢測(cè)和識(shí)別的難點(diǎn)。2.1 研究現(xiàn)狀分析 關(guān)于交通信號(hào)燈的檢測(cè)和識(shí)別的研究在不斷地發(fā)展和進(jìn)步。交通信號(hào)燈作為一種交通標(biāo)識(shí)，有著醒目和簡(jiǎn)潔的特點(diǎn)，顏色鮮艷，圖案含義直觀明了。通過信號(hào)燈圖案的特點(diǎn)，可以從環(huán)境中分析定位出交通信號(hào)燈。隨著深度學(xué)習(xí)的深入研究，深度學(xué)習(xí)方法也逐漸運(yùn)用在信號(hào)燈檢測(cè)和識(shí)別領(lǐng)域。目前，交通信號(hào)燈的檢測(cè)和識(shí)別主要分為兩種方法：基于模型的識(shí)別算法和基于學(xué)習(xí)的識(shí)別算法。 本小結(jié)通過分析和總結(jié)大量現(xiàn)有文獻(xiàn)中的實(shí)現(xiàn)方法，從顏色分割、檢測(cè)、特征提取、識(shí)別和追蹤，這五個(gè)方面介紹了現(xiàn)有的技術(shù)。下面就從這五個(gè)方面依次介紹通信號(hào)燈檢測(cè)和識(shí)別的研究現(xiàn)狀。2.1.1顏色空間 顏色是交通信號(hào)燈最明顯的特征之一，對(duì)于圖像顏色的提取和分析可以有助于檢測(cè)和識(shí)別圖像中交通信號(hào)燈。一張圖片默認(rèn)存儲(chǔ)的顏色空間是RGB顏色空間，但是由于RGB顏色空間中三個(gè)通道的顏色相互聯(lián)系，不利于有效提取出某一種顏色，因此，在實(shí)際應(yīng)用中往往將圖像從RGB空間轉(zhuǎn)換到其他的顏色空間中，再進(jìn)行后續(xù)的處理。除此以外，在具體的操作中，不僅限于只用一種顏色空間，也可以通過不同顏色空間的組合的運(yùn)用來實(shí)現(xiàn)更好的顏色提取的效果。 下面介紹兩種常用的顏色空間模型：(1)HSV色彩空間模型 HSV分為三個(gè)通道，分別是色調(diào)(Hue)、飽和度(Saturation)、明度(Value)。在HSV色彩空間模型中，色調(diào)(Hue)的取值范圍是0°到360°。由于HSV空間中各個(gè)通道各司其職，控制著不同的因素，三個(gè)通道之間相互獨(dú)立，提取顏色的效果好，因此，在圖像處理方面有著有著廣泛的應(yīng)用。圖2.1HSV顏色空間模型(2)CIELAB色彩空間模型CIELAB色彩空間模型采用的是一種非常符合人的視覺感受的顏色表示方式，是一種基于生理的顏色表達(dá)方式。其中L表示亮度信息，A表示由紅色到綠色的顏色變化范圍，B表示由黃色到藍(lán)色的顏色變化范圍。CIELAB所能表達(dá)的顏色空間是最大的，包含了RGB顏色空間，所以將圖片從CIELAB空間轉(zhuǎn)換到RGB空間時(shí)，不會(huì)損失顏信息。圖2.2CIELAB色彩空間模型 在交通信號(hào)燈檢測(cè)和識(shí)別的算法中，RGB，HSV，CIELAB是常用的顏色空間，同時(shí)多種顏色空間的混用也是常用的方法。 CaiZ使用了RGB和YCbCr兩個(gè)顏色空間[1]，在定位信號(hào)燈背板時(shí)采用RGB空間，在檢測(cè)箭頭形交通信號(hào)燈時(shí)采用YCbCr空間。HaltakovV使用CIELab空間來提取用于檢測(cè)信號(hào)燈的特征，用RGB空間來提取用于識(shí)別信號(hào)燈的特征[2]。Gomez用灰度空間來尋來候選區(qū)域，隨后轉(zhuǎn)化到HSV空間來識(shí)別狀態(tài)[3]。 在交通信號(hào)燈檢測(cè)和識(shí)別的研究中，沒有偏向某一種顏色空間的趨勢(shì)，但是顏色和強(qiáng)度分開的顏色空間由于更容易區(qū)分顏色而更受歡迎。在近期的一些研究中，為了更好的將交通信號(hào)燈從環(huán)境中分割出來，GomezAE使用了結(jié)合多種顏色空間中的通道以獲得更好的顏色特征的方法[4]。2.1.2交通信號(hào)燈的檢測(cè)技術(shù) 交通信號(hào)燈檢測(cè)系統(tǒng)，通常是通過尋找圖像中交通燈的組成部分來實(shí)現(xiàn)的，組成部分包括燈泡，背板，以及燈柱。交通信號(hào)燈的檢測(cè)方法可以被分為兩類，基于模型的方法和基于學(xué)習(xí)的方法，除此以外，還有一種基于先驗(yàn)知識(shí)的輔助的檢測(cè)技術(shù)?；谀Ｐ偷臋z測(cè)方法 一個(gè)簡(jiǎn)單易用的顏色模型包含了顏色強(qiáng)度閾值，但是基于這種簡(jiǎn)單模型的檢測(cè)器容易產(chǎn)生基于特定數(shù)據(jù)集的過擬合現(xiàn)象,其中，表現(xiàn)最好的是通過人工標(biāo)注的圖像得到的高斯像素分類器[5]。 亮斑檢測(cè)具有對(duì)抗顏色干擾的魯棒性，也是一種常用的檢測(cè)方法。常用的方法是提取灰度圖上的亮斑[6]，提取HSV顏色空間中的V通道滿足閾值的區(qū)域也有相同的作用[7]。 在使用顏色模型之后，可以使用形狀模型做進(jìn)一步的過濾。環(huán)形霍夫變換可以找到封閉的圓形，進(jìn)一步優(yōu)化的實(shí)心環(huán)形霍夫變換在交通信號(hào)燈檢測(cè)中取得了更好的效果[8]。大多數(shù)方法都會(huì)使用區(qū)塊(BLOB)分析的方法來降噪或是計(jì)算BLOB屬性，比如NienhüserD使用區(qū)塊的大小，長(zhǎng)寬比，環(huán)形（是否封閉）和在世界坐標(biāo)系中的高度來分析區(qū)塊是否滿足特征要求[9]?；趯W(xué)習(xí)的檢測(cè)方法 早期，基于學(xué)習(xí)的檢測(cè)方法有基于Haar特征的級(jí)聯(lián)分類器[5]，但是它甚至沒有高斯顏色分類器的效果好。后來，比較成功的檢測(cè)方法有基于HoG特征的SVM分類器[10]和基于顏色、紋理和像素位置的JointBoot分類器[11]。 隨著深度學(xué)習(xí)的發(fā)展，近年來用深度學(xué)習(xí)方法實(shí)現(xiàn)目標(biāo)檢測(cè)的方法越來越受到關(guān)注。常用于信號(hào)燈檢測(cè)的深度學(xué)習(xí)方法有SSD，F(xiàn)astR-CNN，F(xiàn)asterR-CNN和YOLO[12]。 基于學(xué)習(xí)的檢測(cè)方法的特點(diǎn)是需要大量的數(shù)據(jù)和計(jì)算，對(duì)數(shù)據(jù)量和運(yùn)行設(shè)備的要求較高，同時(shí)，它們的優(yōu)勢(shì)也非常明顯，在面對(duì)變化的環(huán)境時(shí)，魯棒性更高。輔助檢測(cè) 為了降低誤檢率，可以使用交通信號(hào)燈的GPS位置信息，在有信號(hào)燈的交叉路口處激活檢測(cè)系統(tǒng)[13]。此外，還可以在地圖上添加更多準(zhǔn)確的先驗(yàn)位置信息，例如人工標(biāo)注出有交通信號(hào)燈的地方，讓路過的行駛車輛可以提前感知環(huán)境數(shù)據(jù)。輔助使用GPS信息的方法使得算法的檢錯(cuò)率大大地降低了，但是過于依賴地圖信息會(huì)降低檢測(cè)算法的靈活性。 總的來說，基于模型的檢測(cè)方法通過設(shè)置閾值分割顏色，從而得到感興趣的區(qū)域，再由區(qū)塊來篩選候選區(qū)域；基于學(xué)習(xí)的方法更加靈活，可以用更多的特征信息來進(jìn)行檢測(cè)；通過獲取道路的先驗(yàn)知識(shí)能夠排除錯(cuò)誤的候選區(qū)域，從而較少計(jì)算損耗并降低檢錯(cuò)率。2.1.3特征提取 顏色是最顯著地特征，色密度和顏色直方圖就常被提取作特征；形狀特征包含了長(zhǎng)寬比，大小和面積；結(jié)構(gòu)特征是指交通信號(hào)燈組成部件的相對(duì)位置；通過信號(hào)燈的燈柱和背板，容易將其與背景環(huán)境區(qū)分開來，因此形狀和結(jié)構(gòu)特征也是很常用。 ZhangY采用了將顏色，形狀和結(jié)構(gòu)特征相結(jié)合的方法[7]進(jìn)行交通信號(hào)燈的檢測(cè)。其他常用的特征還有，2DGabor小波特征和LBP特征等。 單獨(dú)依賴顏色或形狀或結(jié)構(gòu)特征的系統(tǒng)會(huì)受到環(huán)境變化的極大影響，通過將多種特征進(jìn)行融合，可以增強(qiáng)算法的魯棒性。2.1.4交通信號(hào)燈的識(shí)別技術(shù) 一種極其簡(jiǎn)單的對(duì)檢測(cè)出的信號(hào)燈進(jìn)行分類方法是，計(jì)算哪個(gè)顏色閾值內(nèi)的像素點(diǎn)個(gè)數(shù)最多，并依據(jù)顏色分布確定其所屬的類[14]。除此以外，還有基于2DICA降維的Gabor特征的最近鄰分類方法對(duì)箭頭形交通信號(hào)燈分類[1]，基于HoG的SVM分類器[15]，基于CNN的分類器[16]等方法。 成功的分類器非常依賴特征的質(zhì)量，為了獲得魯棒性，基于機(jī)器學(xué)習(xí)方法的需要訓(xùn)練大量的不同種類的數(shù)據(jù)。隨著深度學(xué)習(xí)的發(fā)展，基于CNN的識(shí)別算法獲得廣泛的應(yīng)用。2.1.5目標(biāo)追蹤算法 追蹤算法常用來降噪或者處理丟失的候選區(qū)域。短暫的追蹤算法被用來檢查前面的幀，并且判斷其是否在先前幀內(nèi)出現(xiàn)過，是否與當(dāng)前幀內(nèi)的候選區(qū)域有相同的特征?？偟膩碚f，常用的追蹤方法有兩種，相關(guān)性追蹤和點(diǎn)追蹤。在大多數(shù)情況下，相關(guān)性追蹤依賴和檢測(cè)器相同種類的特征，所以對(duì)檢測(cè)器沒有輔助作用；點(diǎn)追蹤能夠應(yīng)用額外的特征信息，對(duì)完善檢測(cè)器有幫助。2.2 交通信號(hào)燈檢測(cè)與識(shí)別技術(shù)難點(diǎn) 雖然交通信號(hào)燈的設(shè)計(jì)的初衷是為了易于辨認(rèn)，但是由于諸多物理、環(huán)境因素和攝像頭的影響，使得交通信號(hào)燈難以辨認(rèn)，給后續(xù)的檢測(cè)和識(shí)別帶來了很大的困難。 交通信號(hào)燈檢測(cè)和識(shí)別的難點(diǎn)包括： (1)交通信號(hào)燈的檢測(cè)目標(biāo)小。當(dāng)距離相對(duì)較遠(yuǎn)時(shí)，交通信號(hào)燈的畫面中尺寸就很小，特征變得模糊，加大了檢測(cè)的難度。 (2)交通信號(hào)燈受光線影響大。當(dāng)處在迎光位置時(shí)，由于交通信號(hào)燈的顏色變暗，圖案的輪廓變得模糊，特征變得不明顯，不利于檢測(cè)。 (3)背景環(huán)境復(fù)雜。特別是在城市中，交通信號(hào)燈所安裝和設(shè)置的環(huán)境復(fù)雜，受到復(fù)雜的房屋、樹木、廣告牌的影響，對(duì)交通信號(hào)的檢測(cè)十分不利。 (4)顏色范圍大。由于曝光過度的現(xiàn)象和攝像頭素質(zhì)的問題，使得檢測(cè)到的畫面上，交通信號(hào)燈的顏色會(huì)有很大的差異性，對(duì)顏色分割的操作步驟產(chǎn)生了很大的影響。2.3 本章小結(jié) 一個(gè)普遍的完整的交通信號(hào)燈檢測(cè)識(shí)別的流程主要由顏色分割、檢測(cè)、特征提取、識(shí)別和追蹤這五部分組成。其中檢測(cè)和識(shí)別的方法都分為基于模型的和基于學(xué)習(xí)這兩類。基于模型的方法，適應(yīng)性較差；基于學(xué)習(xí)的方法，需要大量的數(shù)據(jù)來進(jìn)行訓(xùn)練。顏色、形狀和結(jié)構(gòu)是信號(hào)燈的主要特征，可以利用顏色信息在色彩空間對(duì)圖像進(jìn)行顏色分割，利用形狀信息對(duì)交通信號(hào)燈候選區(qū)域進(jìn)行過濾，利用交通信號(hào)燈背板是一個(gè)黑色矩形框這一特點(diǎn)對(duì)候選區(qū)域進(jìn)行確認(rèn)，進(jìn)而對(duì)候選區(qū)域進(jìn)行狀態(tài)識(shí)別。采用目標(biāo)追蹤算法有利于去噪，降低算法的誤檢率。隨著數(shù)據(jù)集的不斷擴(kuò)大和計(jì)算能力的不斷提升，研究人員在深度學(xué)習(xí)領(lǐng)域進(jìn)行了越來越多的探索。

第三章 基于FasterR-CNN的交通信號(hào)燈檢測(cè)技術(shù) 在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)檢測(cè)一直是一個(gè)研究熱點(diǎn)和研究難點(diǎn)。由于計(jì)算機(jī)面對(duì)的是抽象的數(shù)字圖像信息，所以不能直接從圖像中得出物體的概念。此外，物體由于所處的光線環(huán)境和放置的角度的不同，在計(jì)算機(jī)中所呈現(xiàn)的樣子存在很大的差異性。傳統(tǒng)目標(biāo)檢測(cè)算法由于滑動(dòng)窗口的高冗余和特征提取的局限性，正在逐步被采用深度學(xué)習(xí)的方法取代。與傳統(tǒng)方法相比，深度學(xué)習(xí)的方法有著較強(qiáng)的特征提取能力和學(xué)習(xí)能力。隨著卷積神經(jīng)網(wǎng)絡(luò)和候選區(qū)域(RegionProposal)思想的發(fā)展，深度學(xué)習(xí)的目標(biāo)檢測(cè)取得了重大的突破。本章介紹了基于FasterR-CNN的目標(biāo)檢測(cè)算法的發(fā)展，以及本文所應(yīng)用的PVA-Net目標(biāo)檢測(cè)框架。3.1 基于RegionProposal的深度學(xué)習(xí)目標(biāo)檢測(cè)算法的演進(jìn) 目標(biāo)檢測(cè)的難點(diǎn)是，目標(biāo)的大小、長(zhǎng)寬比、位置不能確定。所以通過滑動(dòng)窗口對(duì)整幅圖像進(jìn)行遍歷的方法，需要設(shè)置可能出現(xiàn)的所有大小和長(zhǎng)寬比，必然會(huì)導(dǎo)致較高冗余。 采用提出RegionProposal的方法，可以利用圖像本身的紋理、顏色和邊緣等特征，預(yù)先估計(jì)目標(biāo)可能出現(xiàn)的位置，確保在選取較少窗口的條件下，有較高的召回率，這種方法大大減少了計(jì)算量，節(jié)省了時(shí)間。常用的提取候選區(qū)域的方法是SelectiveSearch。 提取出候選窗口后，需要對(duì)候選框區(qū)域進(jìn)行特征提取和識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別和分類問題上，有著較高的靈活性和強(qiáng)大的學(xué)習(xí)能力，是解決識(shí)別問題最主要最有效的方法。因此，在提取出候選框后，用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類是不錯(cuò)的選擇。 RossB.Girshick在2014年提出了“RegionProposal+CNN”的算法框架，在目標(biāo)檢測(cè)領(lǐng)域獲得了巨大的突破和成果，引領(lǐng)了基于深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)的潮流。3.1.1 R-CNN目標(biāo)檢測(cè)算法 R-CNN[17]是最早提出的結(jié)合了提取候選區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法。R-CNN算法的檢測(cè)流程如下： (1)輸入圖像 (2)采用SelectiveSearch方法提取候選區(qū)域 SelectiveSearch方法的原理是：基于顏色、紋理和邊緣特征將圖像分為很多個(gè)小塊，然后通過合并小塊的方法，提取出候選窗口，合并前后的每一塊都對(duì)應(yīng)著一個(gè)窗口，最后挑出所有窗口中最有可能是目標(biāo)的窗口作為最終候選窗口。用SelectiveSearch的方法提取出2000個(gè)左右的候選窗口，基本可以涵蓋圖像中目標(biāo)可能出現(xiàn)的位置。 (3)提取特征 首先對(duì)提取到的每個(gè)候選區(qū)域進(jìn)行尺寸歸一化，接著將圖片送入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征的提取，卷積神經(jīng)網(wǎng)絡(luò)的輸出作為最后的特征向量。經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，每一個(gè)候選區(qū)域都對(duì)應(yīng)著一個(gè)特征向量。 (4)分類和邊界回歸 首先，使用線性SVM分類器，對(duì)從上一步輸入的特征向量進(jìn)行分類。 其次，通過邊界回歸(Bounding-BoxRegression)的方法得到更精確的目標(biāo)區(qū)域。檢測(cè)目標(biāo)時(shí)，會(huì)產(chǎn)生多個(gè)子區(qū)域，邊界回歸的方法可以對(duì)檢測(cè)目標(biāo)進(jìn)行精確的定位和合并，避免多個(gè)檢出，提高檢測(cè)的準(zhǔn)確率。圖3.1R-CNN算法整體檢測(cè)流程R-CNN在將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到目標(biāo)檢測(cè)問題上取得了重大的突破，但是同時(shí)由于R-CNN的思想不太完善，還存在著幾個(gè)明顯的缺點(diǎn)： (1)重復(fù)計(jì)算量大。由于是先提取候選區(qū)域再將每一個(gè)候選區(qū)域分別送入卷積神經(jīng)網(wǎng)絡(luò)，而候選區(qū)域之間存在著大量重疊的區(qū)域，這就使得其中必然存在著大量的區(qū)域的重復(fù)計(jì)算，導(dǎo)致訓(xùn)練耗時(shí)長(zhǎng)，速度慢。 (2)圖象變形。在進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)之前，需要對(duì)候選區(qū)域進(jìn)行歸一化，歸一化的操作會(huì)使得圖像拉伸變形，可能會(huì)導(dǎo)致特征信息的丟失。 (3)SVM分類器效果差。在樣本充足的情況下，傳統(tǒng)的SVM分類器效果不如深度學(xué)習(xí)網(wǎng)絡(luò)中的分類器。 (4)分段訓(xùn)練缺少整體性。由于特征提取、卷積神經(jīng)網(wǎng)絡(luò)和SVM分類器都是分開單獨(dú)訓(xùn)練的，訓(xùn)練過程繁瑣。圖3.2R-CNN算法整體檢測(cè)流程3.1.2 SPP-NET目標(biāo)檢測(cè)算法 SPP-NET[18]在R-CNN后被提出，SPP(SpatialPyramidPooling)表示空間金字塔池化，對(duì)R-CNN的發(fā)展有很大的貢獻(xiàn)作用。圖3.3傳統(tǒng)CNN結(jié)構(gòu)（上）和空間金字塔池化網(wǎng)絡(luò)結(jié)構(gòu)（下）SPP-NET有兩個(gè)主要的特點(diǎn)和改進(jìn)：通過采用SPP的方法實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的多尺度輸入 一般的卷積神經(jīng)網(wǎng)絡(luò)由于后接全連接層和分類器，需要進(jìn)行圖像的歸一化，滿足規(guī)定尺寸的輸入。將SPP加入到卷積神經(jīng)網(wǎng)絡(luò)中可以拜托圖像尺寸的限制，實(shí)現(xiàn)圖像的多尺度輸入。 如圖3.4所示，金字塔池化網(wǎng)絡(luò)結(jié)構(gòu)在卷積層與全連接層中間插入了SPP層，解決了輸入圖像尺寸限制的問題。當(dāng)向SPP層輸入特征圖時(shí)，通過使用不同的尺度對(duì)特征圖進(jìn)行劃分的金字塔池化的方法可以最終得到一個(gè)相同尺度的特征向量。例如，利用(4*4,2*2,1*1)這3個(gè)尺度對(duì)特征圖進(jìn)行劃分，最終可以得到16+4+1=21個(gè)塊，從這21個(gè)分塊中分別提取一個(gè)特征，就得到了統(tǒng)一的21維的特征向量。金字塔池化的具體操作如圖3.4所示，圖3.4SPP的具體結(jié)構(gòu)（256是conv5的卷積核數(shù)）只對(duì)原圖提取一次卷積特征 不同于R-CNN中的對(duì)每個(gè)候選區(qū)域做一次卷積運(yùn)算，SPP-Net只對(duì)原圖進(jìn)行一次卷積得到整張圖的特征圖。找出每個(gè)候選框在特征圖上的映射塊，將映射塊區(qū)域內(nèi)的特征作為候選區(qū)域的卷積特征輸入到SPP層中，這樣做減少了冗余的計(jì)算，節(jié)省了大量時(shí)間。 SPP-Net在R-CNN的基礎(chǔ)上有了很大的提高，對(duì)后續(xù)的發(fā)展有著深遠(yuǎn)的影響。3.1.3 FastR-CNN目標(biāo)檢測(cè)算法 FastR-CNN先將原圖送入卷積神經(jīng)網(wǎng)絡(luò)后，再進(jìn)行區(qū)域的劃分和后續(xù)的操作，提高了模型的檢測(cè)效率。同時(shí)還對(duì)R-CNN的數(shù)據(jù)傳輸方法做了一定整合，提升了性能。圖3.5FastR-CNN框架FastR-CNN檢測(cè)流程如下：(1)輸入任意尺寸的圖片到卷積神經(jīng)網(wǎng)絡(luò)中，得到特征圖；(2)在輸入圖片上用SelectiveSearch區(qū)域提取算法，獲得約2000個(gè)候選區(qū)域；(3)根據(jù)候選區(qū)域和特征圖的映射關(guān)系，提取出每個(gè)候選區(qū)域?qū)?yīng)的特征圖，接著在RoI(RegionofInterest)池化層中，生成每個(gè)候選區(qū)域?qū)?yīng)的特征向量。(4)將候選區(qū)域的特征向量輸入全連接層，輸出用于多任務(wù)學(xué)習(xí)的特征，并計(jì)算多任務(wù)的Loss。(5)通過非極大值抑制修整建議框，將修正后的窗口作為檢測(cè)結(jié)果。FastR-CNN的主要的兩個(gè)改進(jìn)點(diǎn)如下：RoI池化層SPP層包括多個(gè)不同的劃分尺度，RoI池化層只包含一種尺度，所以RoI池化層其實(shí)是SPP池化層的一個(gè)簡(jiǎn)化的方法。先設(shè)定一個(gè)固定的空間尺度（例如，7*7），然后通過最大值池化的方法，將任意尺度的特征圖轉(zhuǎn)化成一個(gè)固定尺度的特征向量。 (2)多任務(wù)Loss層 全連接層的輸出包括兩個(gè)分支：一個(gè)是SoftmaxLoss，另一個(gè)是RegressionLoss。在FastR-CNN中，使用SoftmaxLoss函數(shù)替代了原本的線性SVM分類器，同時(shí)通過多任務(wù)損失函數(shù)將邊框回歸也加入到網(wǎng)絡(luò)之中，使得除去特征區(qū)域提取外的訓(xùn)練過程是端到端的。 然而，要將FastR-CNN應(yīng)用于實(shí)際中，還需要解決的是算法耗時(shí)長(zhǎng)的問題。FastR-CNN的時(shí)間瓶頸在候選區(qū)域提取算法SelectiveSearch上，同時(shí)也未能實(shí)現(xiàn)真正意義上的端到端的訓(xùn)練和測(cè)試。3.1.4FasterR-CNN目標(biāo)檢測(cè)算法 在“RegionProposal+CNN”的這種目標(biāo)檢測(cè)算法框架中，所提取的候選區(qū)域的質(zhì)量至關(guān)重要。FastR-CNN采用的SelectiveSearch來選取候選區(qū)域，提取速度不夠快，使得應(yīng)用受到很大的限制。如果能夠?qū)崿F(xiàn)一種只提取幾百個(gè)或者更少且質(zhì)量高，召回率高的預(yù)選窗口，可以提高目標(biāo)檢測(cè)的效率和性能。RPN(RegionProposalNetworks)網(wǎng)絡(luò)滿足這樣的需求。圖3.6RPN網(wǎng)絡(luò)結(jié)構(gòu) RPN的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生候選區(qū)域，使得提取候選區(qū)域幾乎不會(huì)給檢測(cè)網(wǎng)絡(luò)的計(jì)算帶來消耗。只需要在最后的特征圖上用3*3的卷積核進(jìn)行卷積，由Anchor機(jī)制和邊框回歸的算法映射原圖得到多尺度多長(zhǎng)寬比的候選區(qū)域。 RPN的核心要點(diǎn)內(nèi)容： (1)Anchor機(jī)制 Anchor的思想是由相同尺寸的輸出，倒推出不同尺寸的輸入。對(duì)所得的特征圖用一個(gè)3*3的卷積核再進(jìn)行一次卷積操作，對(duì)于每個(gè)3*3卷積核滑動(dòng)得到的窗口，假設(shè)它來自9種不同的原始區(qū)域的池化，其中這9個(gè)區(qū)域在原圖中的中心是相同的。因此，可以根據(jù)不同的長(zhǎng)寬比和不同的面積的9個(gè)Anchor，根據(jù)推導(dǎo)映射出它所對(duì)應(yīng)的原圖中的區(qū)域，這些區(qū)域就是我們想要提取的候選區(qū)域，這種映射的機(jī)制稱為Anchor。 圖3.7示意了對(duì)于3*3滑窗對(duì)應(yīng)的每個(gè)特征區(qū)域，預(yù)測(cè)3種輸入圖像尺度(1282,2562,5122)，3種長(zhǎng)寬比(1:1,1:2,2:1)的候選區(qū)域。圖3.7Anchor示意圖 (2)Softmax判定是否為候選區(qū)域 經(jīng)過該卷積的輸出圖像大小為W*H*18，對(duì)應(yīng)了特征圖上每一個(gè)點(diǎn)都有9個(gè)Anchor，同時(shí)每個(gè)Anchor可能是前景區(qū)域和背景區(qū)域兩種可能，所有這些信息都保存在W*H*(9*2)大小的矩陣。通過Softmax分類獲得對(duì)應(yīng)前景區(qū)域的Anchor，并初步提取檢測(cè)目標(biāo)候選區(qū)域框。 由步驟(1)(2)可知，RPN網(wǎng)絡(luò)中利用Anchor和Softmax初步提取出前景區(qū)域。(3)邊框回歸(BoundingBoxRegression) 用向量(x,y,w,h)表示窗口，(x,y)表示窗口的中心點(diǎn)坐標(biāo)，w和h分別表示寬和高。在圖3.8中，紅框A表示的是前景區(qū)域的Anchor，綠框G表示的是目標(biāo)真實(shí)的位置(GroundTruth)。通過尋找一種關(guān)系，使得A經(jīng)過映射得到的回歸窗口G'，與真實(shí)窗口G更接近。定義A=(Ax,A圖3.8邊框回歸示意圖 將圖3.8中的A變換為G的有一種比較簡(jiǎn)單的思路： 先平移： Gx'=Aw Gy'=Ah?d 再縮放： Gw'= Gh'= 通過觀察上面的式子，可以發(fā)現(xiàn)需要學(xué)習(xí)的是dx(A)，dy(A)，dw(A)， tx=(x-x ty=(y-ya tw=log(w/w th=log(h/h 線性回歸的問題是通過學(xué)習(xí)一組參數(shù)W，使得經(jīng)過運(yùn)算后輸入的特征X與真實(shí)值Y非常接近，即希望能夠滿足Y=WX。定義Φ為輸入X經(jīng)過卷積所獲得的特征圖，定義(tx,ty,tw, d*A= 其中Φ(A)是由對(duì)應(yīng)Anchor的特征圖組成，W表示的是需要學(xué)習(xí)的參數(shù)，d*(A)表示預(yù)測(cè)值（*表示x，y，w， Loss=iN( 綜上，函數(shù)優(yōu)化目標(biāo)就是： w*=argminw (4)Proposal層 在Proposal層，通過綜合[d 在上面所述的RPN的核心要點(diǎn)內(nèi)容基礎(chǔ)上，總結(jié)RPN的處理過程如下：(1)生成Anchor；(2)利用Softmax；分類器分類出前景Anchor；(3)利用邊界回歸的方式回歸精準(zhǔn)前景Anchor；(4)利用Proposal層生成用于后續(xù)操作的候選區(qū)域。 在結(jié)構(gòu)上，F(xiàn)asterR-CNN將特征提取、候選區(qū)域提取、邊界框回歸、分類這幾步操作整合在一個(gè)網(wǎng)絡(luò)中，提高了網(wǎng)絡(luò)的綜合性能，明顯加快了檢測(cè)速度。圖3.9FasterR-CNN網(wǎng)絡(luò)架構(gòu) FasterR-CNN[19]分為以下四個(gè)主要部分： (1)卷積層。FasterR-CNN采用“Conv+Relu+Pooling”的網(wǎng)絡(luò)結(jié)構(gòu)來提取圖像的特征，計(jì)算所得的特征圖被后續(xù)RPN層和RoI池化層共享。 (2)候選區(qū)域提取網(wǎng)絡(luò)(RPN)。RPN用于生成候選區(qū)域，通過Softmax判斷Anchor屬于前景還是背景，再利用邊界框回歸的方法修正Anchor，從而獲得更加精確的候選區(qū)域。 (3)RoI池化層。通過綜合圖像的特征圖和候選區(qū)域的信息，提取候選區(qū)域的特征圖，將其送入后續(xù)全連接層判定目標(biāo)類別。 (4)分類。利用候選區(qū)域的特征圖計(jì)算候選區(qū)域的類別，同時(shí)再次進(jìn)行邊界框回歸，從而獲得候選框的精確位置。3.2 本文使用的目標(biāo)檢測(cè)模型PVA-Net PVA-Net[20]是在FasterR-CNN基礎(chǔ)上改進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)模型，繼承FasterR-CNN“CNN+RegionProposal+RoIClassification”的思想。在PVA-Net中，最大的改變是在卷積神經(jīng)網(wǎng)絡(luò)提取特征的過程中添加了很多小技巧，從而使得整體效果有了顯著的提升。 PVA-Net的表示的含義是“PerformanceVSAccuracy”，意為在加速模型的性能，同時(shí)保持檢測(cè)的正確率，其性能的提升主要來源于在卷積神經(jīng)網(wǎng)絡(luò)中添加高效的基礎(chǔ)網(wǎng)絡(luò)，從而優(yōu)化模型，例如，C.ReLU、Inception、HyperNet以及深度網(wǎng)絡(luò)訓(xùn)練模塊。圖3.10PVA-Net網(wǎng)絡(luò)及結(jié)構(gòu)示意圖C.ReLU 在卷積神經(jīng)網(wǎng)絡(luò)的前幾層，神經(jīng)元的激活值恰好相反。C.ReLU通過把輸出通道減半，直接通過取反數(shù)的方法得到另外的一半激活值，從而使得運(yùn)算效率增加了一倍。(2)Inception 在Inception中，1*1的卷積核可以增強(qiáng)網(wǎng)絡(luò)的非線性，同時(shí)保持了跟上一層相同的感受野，對(duì)于目標(biāo)比較小的物體有較好的檢測(cè)效果；3*3的卷積核來、可以實(shí)現(xiàn)較大的物體目標(biāo)檢測(cè)。(3)HypeNet 通過將不同卷積階段不同尺度的卷積層級(jí)聯(lián)起來有助于進(jìn)行多尺度的目標(biāo)檢測(cè)。(4)深度網(wǎng)絡(luò)訓(xùn)練 在Inception層間加入Residual模塊，在ReLU激活層前加入BatchNormalization層，加速網(wǎng)絡(luò)收斂。同時(shí)根據(jù)PlateauDetection動(dòng)態(tài)控制學(xué)習(xí)率。3.3 本章小結(jié) R-CNN的思路是一個(gè)比較基礎(chǔ)樸素的思路，先選定候選區(qū)域，然后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)候選區(qū)域進(jìn)行分類；SPP-Net運(yùn)用金字塔池化的方法，避免了輸入圖像的歸一化操作，防止在拉伸過程中圖像特征信息的丟失；FastR-CNN巧妙之處在于它回避了R-CNN中要對(duì)每個(gè)候選區(qū)域的卷積運(yùn)算，直接對(duì)全圖進(jìn)行卷積來提特征，獲得特征圖，再將候選區(qū)域的位置映射到特征圖中從而得到每個(gè)候選區(qū)域所對(duì)應(yīng)的特征，同時(shí)采用ROI池化層對(duì)特征維數(shù)歸一化。 FasterR-CNN針對(duì)FastR-CNN的局限進(jìn)行了改進(jìn)，主要優(yōu)化是在候選區(qū)域的提取操作上。Faster-RCNN采用RPN網(wǎng)絡(luò)進(jìn)行候選區(qū)域的提取，節(jié)省了在提取候選區(qū)域階段的時(shí)間開銷，RPN是一個(gè)多任務(wù)的網(wǎng)絡(luò)，在分類的同時(shí)也完成了邊界框回歸的任務(wù)。 最后，介紹了本文所采用的基于FasterR-CNN的目標(biāo)檢測(cè)模型PVA-Net。PVA-Net通過在卷積神經(jīng)網(wǎng)絡(luò)階段的改進(jìn)，使得模型的檢測(cè)效率明顯上升，滿足應(yīng)用場(chǎng)景的需要。

第四章 基于CNN的交通信號(hào)燈識(shí)別技術(shù) 通過上一章節(jié)基于FasterR-CNN的檢測(cè)模型，可以從復(fù)雜的環(huán)境中檢測(cè)出一整塊交通信號(hào)燈區(qū)域（包含亮燈圖案和黑色背景板）。由于交通信號(hào)圖案組合復(fù)雜且多變，所以直接識(shí)別一整塊背景板中的狀態(tài)極其繁瑣。通過圖像預(yù)處理的方法，將檢測(cè)所得的信號(hào)燈組合進(jìn)行圖案分割，分割成一塊塊近似正方形的單個(gè)信號(hào)燈圖案后，每一塊圖案的特征明顯易于識(shí)別。通過一個(gè)簡(jiǎn)單的CNN，就可以有效地進(jìn)行信號(hào)燈狀態(tài)的識(shí)別，大大降低了識(shí)別模型的難度和復(fù)雜度。4.1 預(yù)處理過程 交通信號(hào)燈的檢測(cè)結(jié)果是以黑色背景板為邊界的區(qū)域，包含著一個(gè)或者多個(gè)待識(shí)別的交通信號(hào)燈圖案。為了降低識(shí)別的復(fù)雜度，首先通過圖像預(yù)處理的方法，在HSV顏色空間中的局部極小值處對(duì)黑色背景板進(jìn)行切割，獲得多個(gè)單獨(dú)的信號(hào)燈圖案，再由卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行狀態(tài)識(shí)別。4.1.1交通信號(hào)燈的類型判定 為了加強(qiáng)交通秩序的管理，減少交通事故的發(fā)生，道路交通信號(hào)燈被發(fā)明出來，以改善交通狀況。通過發(fā)出不同的顏色和圖案信號(hào)，交通信號(hào)燈有效地維持著交通秩序，提高行車安全。 在道路中，交通信號(hào)燈隨處可見，它們由一個(gè)個(gè)發(fā)光的信號(hào)圖案組成。為了進(jìn)行圖像的分割，需要先確定切割的方向。由于交通信號(hào)圖案的組合方式不同，有的較寬，有的較長(zhǎng)，所以先將檢測(cè)到的交通信號(hào)燈，按照寬度(W)和高度(H)比分為兩種類型，豎型交通信號(hào)燈(W/H<1.5)和橫型交通信號(hào)燈(W/H>1.5)。圖4.1交通信號(hào)燈類型示意圖 交通信號(hào)燈的類型決定了切割的方向。豎型的交通信號(hào)燈由多個(gè)交通信號(hào)圖案在垂直方向組合而成，因此將水平橫向切割；橫型的交通信號(hào)燈由多個(gè)交通信號(hào)燈圖案在水平方向組合而成，因此將按垂直方向豎直切割。4.1.2基于HSV空間的圖像閾值分割 HSV顏色空間中，每個(gè)通道控制著不同的因素，三個(gè)通道之間相互獨(dú)立，提取顏色的效果好，因此，在圖像處理方面有著廣泛的應(yīng)用。此外，由于交通信號(hào)是發(fā)光體，在HSV中亮度(V)空間進(jìn)行特定的限制，更容易從環(huán)境中提取出發(fā)光目標(biāo)物體，進(jìn)而減少環(huán)境的干擾。因此，本文采用在HSV色彩空間對(duì)檢測(cè)結(jié)果進(jìn)行顏色分割。表4.1HSV顏色分量范圍黑灰白紅橙黃綠青藍(lán)紫hmin000015611263578100125hmax1801801801018025347799124155smin00043434343434343smax2554330255255255255255255255vmin04622146464646464646vmax46220255255255255255255255255 交通信號(hào)燈分為紅色，黃色，綠色這三種顏色，其中黃色的交通信號(hào)燈接近橙色，綠色的交通信號(hào)燈受鏡頭和光線的原因，呈現(xiàn)出的顏色接近青色。根據(jù)圖4.2，很容易根據(jù)顏色提取出這三種顏色的色調(diào)：紅色H∈0,10∪[156,180]，黃色和橙色H∈[11,34]，綠色和青色H∈ 通過HSV空間基于顏色特征的閾值分割，對(duì)輸入圖像進(jìn)行二值化處理，將閾值范圍內(nèi)的區(qū)域設(shè)置為白色（像素值設(shè)為255），閾值范圍外的區(qū)域設(shè)置為黑色（像素值設(shè)為0），從而將待識(shí)別的交通燈圖案區(qū)域與黑色燈箱背景區(qū)域區(qū)分出來。圖4.2HSV空間分割信號(hào)燈圖案4.1.3基于局部最小值的圖像切割 一個(gè)黑色背景板中，包含一個(gè)或者多個(gè)交通信號(hào)燈圖案。彩色的圖案之間都存在著黑色的間隙，通過這些黑色的間隙，我們可以將信號(hào)燈圖案進(jìn)行切割。假設(shè)有一個(gè)經(jīng)過二值化后豎型交通信號(hào)燈(Image)，首先計(jì)算每一行像素中白色像素點(diǎn)的個(gè)數(shù)，存成一個(gè)列向量。利用黑色間隙處一整行像素中白色像素個(gè)數(shù)為0的特征，找到合適的位置，在黑色間隙區(qū)域進(jìn)行切割，從而將一個(gè)完整的交通信號(hào)燈切割成多個(gè)只包含“單個(gè)”交通信號(hào)燈的圖案，具體算法如下： 找出切割的候選行號(hào)。計(jì)算豎型交通信號(hào)燈二值圖中每行白色像素點(diǎn)的個(gè)數(shù)，存入列向量A(A為W*1的列向量)中。根據(jù)該交通信號(hào)燈的較長(zhǎng)的寬(W)和較短的高(H)之比(r=W/H)計(jì)算適應(yīng)此交通信號(hào)燈的步長(zhǎng)，局部最小值的步長(zhǎng)Step(Step=W/(r*2+2))。遍歷數(shù)組A，當(dāng)A[i]滿足A[i]≤A[j](j∈[0,W-1]∩[i-Step,i+Step])時(shí)，將行號(hào)i存入向量B中。向量B中存儲(chǔ)著A中滿足步長(zhǎng)為Step要求的局部最小值的行號(hào)。篩選行號(hào)進(jìn)行切割。在進(jìn)行切割時(shí)，為了避免連續(xù)行號(hào)的無意義切割，不在交通信號(hào)燈頂部和底部的黑色區(qū)域進(jìn)行切割。只有在滿足width≥10，其中width=B[i+1]-B[i],i∈[0,B.size()-1])時(shí)才進(jìn)行實(shí)際交通信號(hào)燈的切割，切割出的圖案為Pattern，其中Pattern=Image.rowRange(A[B[i]],A[B[i+1]])。 切割出的單個(gè)圖案，特征明顯，相比未切割整個(gè)交通信號(hào)燈，更易于分類和識(shí)別。圖4.3信號(hào)燈切割示意圖4.2 卷積神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)發(fā)展之初，是一種全連接網(wǎng)絡(luò)。在計(jì)算機(jī)視覺領(lǐng)域，全連接網(wǎng)絡(luò)是不太適合做圖像識(shí)別任務(wù)的，主要因?yàn)槿B接網(wǎng)絡(luò)的參數(shù)量大，容易丟失像素的位置信息，并且受網(wǎng)絡(luò)層數(shù)的限制。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了很多不同結(jié)構(gòu)的網(wǎng)絡(luò)，擁有不同的連接規(guī)則。卷積神經(jīng)網(wǎng)絡(luò)通過以下三個(gè)方法解決了全連接網(wǎng)絡(luò)的限制：(1)局部鏈接：每個(gè)神經(jīng)元只與小部分神經(jīng)元相連。(2)權(quán)值共享：一組連接可以共享一組權(quán)值。(3)下采樣：通過池化的方法減少樣本數(shù)。 下面我們就來詳細(xì)介紹，卷積神經(jīng)網(wǎng)絡(luò)是如何在圖像識(shí)別領(lǐng)域達(dá)到更好的學(xué)習(xí)效果的。4.2.1 卷積層 當(dāng)圖像的深度為1時(shí)，一個(gè)5*5的圖像，經(jīng)3*3的卷積核進(jìn)行卷積操作后，得到一個(gè)3*3的特征圖。圖4.4卷積層輸出值的計(jì)算 在圖像中，用xi,j表示第i行第j列的元素；在卷積核中，用wm,n表示第m行第n列權(quán)重，用wbai,j=f(m=0以a0,0a0,0=f=relu=relu1+0+1+0+1+0+0+0+1+0=4在進(jìn)行卷積運(yùn)算時(shí)，我們還需要注意步幅S（Stride，卷積核滑動(dòng)的幅度）和填充P（Padding，在原圖像周圍補(bǔ)零的圈數(shù)）的大小。圖像大小，卷積核大小，步幅大小，填充大小，存在如下關(guān)系：W2=(W1-F+2P)/S+1H2=( 其中W1是圖像的寬度，H1是圖像的高度，W2W2=(W1-F+2P)/S+1=(5-3+2*0)/1+1=3 當(dāng)輸入圖像的深度大于1時(shí)，假設(shè)圖像的深度為D（D>1），這時(shí)卷積核的深度也為D。這時(shí)，卷積計(jì)算公式為：ai,j=f(d=0 其中，D表示圖像和卷積核的深度，F(xiàn)表示的是卷積核的大小，用xd,i,j表示圖像中第d層第i行第j列的元素，用wd,m,n表示卷積核中第d層第m行第n列權(quán)重，wb 在卷積神經(jīng)網(wǎng)絡(luò)的卷積計(jì)算過程中，每層神經(jīng)元只與上一層部分神經(jīng)元相連，體現(xiàn)了局部連接的思想；卷積核的權(quán)值對(duì)于上一層所有神經(jīng)元都是相同的，體現(xiàn)了權(quán)值共享的思想，參數(shù)量大大減少。4.2.2激活函數(shù) 激活函數(shù)，通過保留激活的神經(jīng)元并映射出來的方法，保持?jǐn)?shù)據(jù)原有的特征的同時(shí)去除了冗余。可以把神經(jīng)網(wǎng)絡(luò)看作一種線性的表達(dá)，通過加入激活函數(shù)，可以引入非線性的部分增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力。 (1)Sigmoid激活函數(shù) Sigmoid函數(shù)是一個(gè)非線性函數(shù)，它的值域是(0,1)。Sigmoid函數(shù)能夠很好的表達(dá)“激活”的意思，未激活就是0，完全飽和的激活則是1。Sigmoid函數(shù)的定義如下：sigmoid圖4.5Sigmoid函數(shù)圖像 (2)Relu激活函數(shù) Relu函數(shù)的定義是：f Relu函數(shù)圖像如下圖所示：圖4.6Relu函數(shù)圖像 Relu激活函數(shù)是現(xiàn)在最常用的一種激活函數(shù)，它的主要優(yōu)點(diǎn)如下：計(jì)算速度快 Relu函數(shù)其實(shí)就是一個(gè)計(jì)算最大值的操作，算法簡(jiǎn)單且計(jì)算量小。緩解梯度消失的問題 梯度的計(jì)算公式為?=σ'δx，（σ'是激活函數(shù)的導(dǎo)數(shù)），其中在進(jìn)行反向傳 由于Sigmoid激活函數(shù)σ'的最大值是1/4（如圖4.7），所以，每經(jīng)過一層神經(jīng)元乘以σ Relu函數(shù)的中表示被激活的神經(jīng)元的導(dǎo)數(shù)是1，因此在反向傳播中不會(huì)導(dǎo)致梯度值變小。因此，在神經(jīng)網(wǎng)絡(luò)中使用Relu激活函數(shù)可訓(xùn)練更深層的網(wǎng)絡(luò)。圖4.7Sigmoid函數(shù)倒數(shù)圖像4.2.3 池化層 池化的作用是下采樣，去掉特征圖中不重要的樣本信息，可以減少參數(shù)的個(gè)數(shù)。最大池化(MaxPooling)是最常用的一種池化方法，就是取n*n的樣本的最大值作為采樣后的樣本值。除了最大池化之外，常用的還有均值池化(MeanPooling)，就是取n*n個(gè)樣本的平均值作為樣本值。 對(duì)于深度為D(D>1)的特征圖，各層獨(dú)立地進(jìn)行池化操作，所以池化過的特征圖的深度仍然為D。圖4.8池化層輸出值計(jì)算4.2.4全連接層 全連接層的目的是為了高度提純特征，利于最后的分類或者回歸。全連接層實(shí)際上也是一種卷積層，在全連接層中卷積核與原數(shù)據(jù)的尺寸相同。在卷積神經(jīng)網(wǎng)絡(luò)的后期，經(jīng)過全連接層的操作，可以把二維特征圖轉(zhuǎn)化為一維特征向量。 全連接層的特征向量的計(jì)算公式為y=wTx（x為列向量，w的長(zhǎng)度與x相同）。假設(shè)一個(gè)全連接層的輸入是50*11*11，全連接層的參數(shù)num_output的值為500，即4.2.5Dropout層 通過增加網(wǎng)絡(luò)層數(shù)的方法，可以提高網(wǎng)絡(luò)的分類能力和學(xué)習(xí)能力。然而，網(wǎng)絡(luò)層數(shù)越多就越容易產(chǎn)生過擬合的問題。為此，Dropout層被設(shè)計(jì)出來，有效地防止網(wǎng)絡(luò)過擬合。 在訓(xùn)練時(shí)，Dropout層會(huì)隨機(jī)地舍棄一些節(jié)點(diǎn)（輸出置0），也不更新對(duì)應(yīng)的權(quán)重，其余節(jié)點(diǎn)正常地參與訓(xùn)練。通常設(shè)定一個(gè)Dropout概率(p)，使得每個(gè)輸出節(jié)點(diǎn)以概率p置0（節(jié)點(diǎn)不工作，權(quán)重不更新）。 在訓(xùn)練中加入Dropout層后，由于隨機(jī)地舍棄一些節(jié)點(diǎn)，讓網(wǎng)絡(luò)去學(xué)習(xí)一些更普遍的共性，而不是學(xué)習(xí)某些訓(xùn)練樣本的特性。4.3 本文使用的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型本文所使用的卷積神經(jīng)網(wǎng)絡(luò)模型，結(jié)構(gòu)如下：圖4.9本文采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型 卷神經(jīng)網(wǎng)絡(luò)模型包含了2個(gè)卷積層和2個(gè)全連接層，在每個(gè)卷積層中采用的是Relu激活函數(shù)，在網(wǎng)絡(luò)中加入了Dropout層增加網(wǎng)絡(luò)的非線性的特性防止產(chǎn)生過擬合的現(xiàn)象。 輸入尺寸為36*36（維度為(3,36,36))的圖像，經(jīng)過第一層卷積層后的維度為(96,17,17)，經(jīng)過第二層卷積層后的維度為(128,8,8)，經(jīng)過第一和第二層全連接層后的維度為(256)，經(jīng)過第三個(gè)全連接層的維度為(19)，經(jīng)過最后一個(gè)SoftmaxLoss層分類結(jié)果的維度為(1)。 通過一個(gè)實(shí)例，可以看清楚在卷積神經(jīng)網(wǎng)絡(luò)中，圖片特征的變化過程：圖4.10卷積神經(jīng)網(wǎng)絡(luò)識(shí)別示例 本文提出了富有創(chuàng)新性的交通信號(hào)燈識(shí)別的流程，具有適應(yīng)性強(qiáng)，運(yùn)行效率高，識(shí)別率高的優(yōu)點(diǎn)。圖4.11描述了交通信號(hào)燈識(shí)別完整的流程圖。圖4.11交通信號(hào)燈識(shí)別流程圖4.4 本章小結(jié) 本章首先介紹了對(duì)于交通信號(hào)燈檢測(cè)結(jié)果的預(yù)處理過程，通過判定交通信號(hào)燈的類型，在HSV空間中的顏色分割，圖像上的局部最小值切割，得到單個(gè)獨(dú)立的交通信號(hào)燈圖案。其次，介紹了卷積神經(jīng)網(wǎng)絡(luò)的概念，以卷積層、激活函數(shù)、池化層、全連接層、Dropout層為代表介紹了卷積神經(jīng)網(wǎng)絡(luò)常用的層和常用函數(shù)。最后，提出本文所采用的卷積神經(jīng)網(wǎng)絡(luò)模型，并用圖示模擬卷積過程，介紹交通信號(hào)燈識(shí)別的整體流程。

第五章 交通信號(hào)燈檢測(cè)與識(shí)別結(jié)果分析 本文第三章詳細(xì)介紹了基于FasterR-CNN的交通信號(hào)燈檢測(cè)模型，第四章詳細(xì)介紹了檢測(cè)結(jié)果預(yù)處理以及基于CNN的交通信號(hào)燈識(shí)別模型。本章在Calmcar交通數(shù)據(jù)集的基礎(chǔ)上，訓(xùn)練模型并分析模型的檢測(cè)和識(shí)別效果。5.1 CalmCar交通標(biāo)識(shí)數(shù)據(jù)集 CalmCarVehicleVision（蘇州天瞳威視電子科技有限公司）致力于開發(fā)基于深度學(xué)習(xí)的人工智能視覺系統(tǒng)，通過實(shí)時(shí)理解駕駛場(chǎng)景，實(shí)時(shí)分析駕駛行為，來實(shí)現(xiàn)輔助駕駛的功能。為了使產(chǎn)品適應(yīng)中國(guó)的道路狀況，公司每天安排數(shù)據(jù)采集人員在中國(guó)富有代表性的省市（包括北京、天津、蘇州、上海等地）進(jìn)行交通道路信息的視頻采集。同時(shí)，對(duì)于采集到的數(shù)據(jù)安排職員進(jìn)行人工標(biāo)注，標(biāo)注出的目標(biāo)包括交通信號(hào)燈、交通警示標(biāo)識(shí)牌、交通禁止標(biāo)識(shí)牌、交通指路標(biāo)識(shí)牌、交通指示標(biāo)識(shí)牌、交通旅游標(biāo)識(shí)牌、交通輔助標(biāo)識(shí)牌以及其他類標(biāo)識(shí)牌。最后，用標(biāo)注所得的樣本數(shù)據(jù)進(jìn)行公司各種檢測(cè)和識(shí)別模型的訓(xùn)練。本文中檢測(cè)和識(shí)別的模型就是在CalmCar交通標(biāo)識(shí)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試的。 在CalmCar交通標(biāo)識(shí)數(shù)據(jù)集中，每張1280*1080的PNG圖像對(duì)應(yīng)著一個(gè)XML文件（用于存儲(chǔ)圖像中各種交通標(biāo)識(shí)的位置信息）。到目前為止，CalmCar交通標(biāo)識(shí)數(shù)據(jù)集分別包含了32592張圖像和32592個(gè)標(biāo)注文件，并且數(shù)據(jù)量隨著采集和標(biāo)注工作的進(jìn)行，正在不斷地?cái)U(kuò)大。圖5.1CalmCar交通標(biāo)識(shí)數(shù)據(jù)集的樣本圖像和標(biāo)注示例5.1.1 CalmCar交通信號(hào)燈檢測(cè)數(shù)據(jù)集 為了訓(xùn)練出能夠較好的適應(yīng)中國(guó)道路交通狀況的交通標(biāo)識(shí)檢測(cè)模型，CalmCar公司建立了CalmCar交通標(biāo)識(shí)數(shù)據(jù)集，標(biāo)注出了每張采集到的道路圖像中的各種交通標(biāo)識(shí)的位置。 本文主要研究交通信號(hào)燈的檢測(cè)和識(shí)別，需要使用到CalmCar交通標(biāo)識(shí)數(shù)據(jù)集中的所有的采集圖像和“交通信號(hào)燈”這一類標(biāo)注信息。5.1.2CalmCar交通信號(hào)燈識(shí)別數(shù)據(jù)集 CalmCar交通信號(hào)燈識(shí)別數(shù)據(jù)集是在檢測(cè)數(shù)據(jù)集和檢測(cè)模型的基礎(chǔ)上，慢慢建立起來的。將訓(xùn)練好的交通信號(hào)燈檢測(cè)模型應(yīng)用到路況視頻文件上，檢測(cè)路況視頻文件每一幀上的交通信號(hào)燈，保存檢測(cè)結(jié)果為PNG圖片格式，然后對(duì)這些經(jīng)檢測(cè)結(jié)果進(jìn)行預(yù)處理操作，將檢測(cè)結(jié)果切割成單個(gè)的信號(hào)燈圖案，再進(jìn)行分工分類，將信號(hào)圖案按顏色和形狀分類，生成CalmCar交通信號(hào)燈識(shí)別數(shù)據(jù)集。 這里，之所以不直接用標(biāo)注的位置信息的交通信號(hào)燈進(jìn)行訓(xùn)練，是因?yàn)檎麄€(gè)交通信號(hào)燈的檢測(cè)和識(shí)別是一個(gè)是順序的過程，在實(shí)時(shí)的檢測(cè)和識(shí)別中，是直接將檢測(cè)到的結(jié)果，傳遞到預(yù)處理和識(shí)別模型中的。而標(biāo)注的交通信號(hào)燈相當(dāng)于是人眼檢測(cè)的結(jié)果，與模型檢測(cè)的結(jié)果相比，雖然更標(biāo)準(zhǔn)更精確，但是卻不符合檢測(cè)模型的特性。 根據(jù)信號(hào)燈圖案的顏色和形狀，將信號(hào)燈圖案分為19類。由于黃色交通信號(hào)燈才出現(xiàn)的時(shí)間很短，樣本量相比于紅色與綠色的信號(hào)燈圖案偏少。所以在分類中，將相同形狀的黃色信號(hào)燈圖案與紅色信號(hào)燈圖案分成一類進(jìn)行訓(xùn)練，同時(shí)，由于黃色信號(hào)燈圖案與紅色信號(hào)燈圖案的語義也是一致的（出現(xiàn)黃燈時(shí)也判定為紅燈，保證了安全性），所以也將它們識(shí)別成一類。所以，根據(jù)上述的分類規(guī)則，分成的19類信號(hào)燈圖案包括：綠色返回箭頭圖案(g_back)、綠色進(jìn)度條形圖案(g_bar)、綠色圓形圖案(g_circle)、綠色向下箭頭圖案(g_down)、綠色向左箭頭圖案(g_left)、綠色行人圖案(g_man)、綠色數(shù)字(g_num)、綠色向右箭頭(g_right)、綠色向上箭頭圖案(g_up)和紅色返回箭頭圖案(r_back)、紅色進(jìn)度條形圖案(r_bar)、紅色圓形圖案(r_circle)、紅色向下箭頭圖案(r_down)、紅色向左箭頭圖案(r_left)、紅色行人圖案(r_man)、紅色數(shù)字(r_num)、紅色向右箭頭(r_right)、紅色向上箭頭圖案(r_up)以及未知圖案(unknown)。圖5.2交通信號(hào)燈圖案分類5.2 運(yùn)行環(huán)境 本次實(shí)驗(yàn)的運(yùn)行環(huán)境和鏡頭參數(shù)情況如下表：表5.1運(yùn)行環(huán)境和鏡頭參數(shù)設(shè)備類型CPUInteli7-3.60GHz*8GPUGeforceGTX1070RAM16GiBDISKWESTDATA2TSENSOROV10640RESOLUTION1280*1080LENSE6.14mm5.3 實(shí)驗(yàn)結(jié)果分析 在完成了模型的訓(xùn)練之后，對(duì)交通信號(hào)燈的檢測(cè)模型和識(shí)別模型分別進(jìn)行了測(cè)試和分析。5.3.1 交通信號(hào)燈檢測(cè)模型結(jié)果分析在實(shí)際道路視頻中進(jìn)行交通信號(hào)燈檢測(cè)，結(jié)果如下。圖5.3視頻檢測(cè)結(jié)果示例圖 通過分別在CalmCar交通標(biāo)識(shí)數(shù)據(jù)集上訓(xùn)練PVA-Net、ZF-Net和VGG-Net的交通信號(hào)燈檢測(cè)模型，對(duì)比3個(gè)模型的檢測(cè)平均正確率。表5.2測(cè)試結(jié)果對(duì)比模型mAP(%)ZF-Net72.96VGG1676.54PVA-Net88.25 從上表5.2可以看出，PVA-Net的檢測(cè)效率遠(yuǎn)遠(yuǎn)高于其他兩種檢測(cè)模型。隨著模型的不斷的迭代和完善，目前PVA-Net模型的交通信號(hào)燈檢測(cè)過程已經(jīng)非常穩(wěn)定。5.3.2 交通信號(hào)燈狀態(tài)識(shí)別模型結(jié)果分析在實(shí)際道路視頻中進(jìn)行交通信號(hào)燈檢測(cè)，結(jié)果如下。圖5.4視頻識(shí)別結(jié)果示例圖 下表對(duì)比了每一類交通信號(hào)圖案識(shí)別的準(zhǔn)確率。從表中可以看出，在18類交通信號(hào)圖案的識(shí)別結(jié)果中有11類的識(shí)別正確率在95%以上，有13類的識(shí)別正確率在90%以上，并且所有類別的識(shí)別正確率都在85%以上。 由此可見，通過基于局部最小值的預(yù)處理之后，用簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)模型，就可以對(duì)交通信號(hào)燈圖案進(jìn)行高效準(zhǔn)確的識(shí)別。圖5.5交通信號(hào)燈識(shí)別正確率5.4 本章小結(jié) 本章首先介紹了本文所采用的CalmCar交通標(biāo)識(shí)數(shù)據(jù)集。CalmCar交通標(biāo)識(shí)數(shù)據(jù)集采集于中國(guó)代表性省市道路并包含人工標(biāo)注信息的數(shù)據(jù)集。由于數(shù)據(jù)采集于中國(guó)典型城市，所以數(shù)據(jù)信息符合中國(guó)的道路交通狀況。本文中檢測(cè)和識(shí)別的模型就是在CalmCar交通標(biāo)識(shí)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試的。其次，本章介紹了程序運(yùn)行的環(huán)境和攝像頭參數(shù)。最后，測(cè)試本文提出的交通信號(hào)燈檢測(cè)和識(shí)別的方法，通過實(shí)驗(yàn)結(jié)果分析實(shí)驗(yàn)方法的可行性。

第六章總結(jié)與展望6.1 本文總結(jié) 本文研究了交通信號(hào)燈的檢測(cè)和識(shí)別方法，從分析現(xiàn)有的檢測(cè)和識(shí)別技術(shù)入手，比較各種檢測(cè)和識(shí)別技術(shù)的優(yōu)劣。經(jīng)過閱讀廣泛的相關(guān)資料和分析現(xiàn)有的技術(shù)之后，提出了本文所采用的基于深度學(xué)習(xí)的交通信號(hào)燈的檢測(cè)和識(shí)別方法。首先用基于FasterR-CNN的模型進(jìn)行交通信號(hào)燈的檢測(cè)，其次對(duì)檢測(cè)結(jié)果進(jìn)行基于局部最小值的圖像切割，最后提出用于狀態(tài)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型。本文采用的數(shù)據(jù)集是CalmCar交通標(biāo)識(shí)數(shù)據(jù)集，通過在此數(shù)據(jù)集上訓(xùn)練和測(cè)試數(shù)據(jù)，證明了本文提出的交通信號(hào)燈檢測(cè)和識(shí)別方法進(jìn)的可行性。 本文主要工作及創(chuàng)新點(diǎn)如下： (1)基于FasterR-CNN的交通信號(hào)檢測(cè)技術(shù)的研究。通過闡述FasterR-CNN目標(biāo)檢測(cè)技術(shù)的演進(jìn)，介紹了FasterR-CNN在目標(biāo)檢測(cè)算法中的優(yōu)勢(shì)。本文最終采用基于FasterR-CNN的網(wǎng)絡(luò)PVA-Net對(duì)復(fù)雜環(huán)境中的交通信號(hào)燈進(jìn)行檢測(cè)。 (2)提出了基于局部最小值的信號(hào)燈切割方法。通過對(duì)檢測(cè)到的交通信號(hào)燈進(jìn)行切割，得到單獨(dú)的信號(hào)燈圖案。切割所得的信號(hào)燈圖案，特征明顯，易于分類降低了識(shí)別的難度。通過實(shí)驗(yàn)結(jié)果的分析，經(jīng)過預(yù)處理后的信號(hào)燈識(shí)別，分類更加靈活，適用于識(shí)別各式各樣的交通信號(hào)燈。 (3)基于CNN的交通信號(hào)識(shí)別技術(shù)的研究。從采用卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，根據(jù)顏色和形狀對(duì)信號(hào)燈圖案進(jìn)行分類。通過對(duì)實(shí)驗(yàn)結(jié)果的分析發(fā)現(xiàn)，相比于傳統(tǒng)的識(shí)別方法，基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法在提取特征時(shí)更加靈活簡(jiǎn)單，而且可以根據(jù)實(shí)際情況的需求增加交通信號(hào)燈圖案的類型，或增加新環(huán)境中的樣本，適應(yīng)性強(qiáng)，有著明顯優(yōu)勢(shì)。 (4)提出了基于深度學(xué)習(xí)的交通信號(hào)燈的檢測(cè)和識(shí)別方法，基于局部最小值的信號(hào)燈切割方法，這是本文在實(shí)驗(yàn)方法上的創(chuàng)新。本文的實(shí)驗(yàn)方法在檢測(cè)和識(shí)別上都采用了深度學(xué)習(xí)的方法，采用基于FasterR-CNN的方法進(jìn)行目標(biāo)檢測(cè)，用基于CNN的方法進(jìn)行識(shí)別，并且在識(shí)別之前采用基于局部最小值的信號(hào)燈分割的方法進(jìn)行切割，所得出的效果令人滿意，可以充分驗(yàn)證本文所提出的上述方法的正確性。6.2 后續(xù)工作展望 然而，本文提出的方法也存在以下不足： (1)交通信號(hào)燈檢測(cè)的結(jié)果易受光照的影響。當(dāng)信號(hào)燈迎光時(shí)，由于光線強(qiáng)烈，導(dǎo)致原本的色彩不明顯而難以識(shí)別。 (2)目前，能夠檢測(cè)的范圍較近。距離遠(yuǎn)，會(huì)導(dǎo)致交通信號(hào)燈較小，特征不明顯，而無法被檢測(cè)到。 針對(duì)以上提出的問題，我會(huì)在今后的工作中加以改進(jìn)，直到能夠合格地應(yīng)用于輔助駕駛系統(tǒng)中。我相信隨著時(shí)間的推移和技術(shù)的發(fā)展，一定會(huì)出現(xiàn)很多高效的檢測(cè)或者識(shí)別的思想，不斷吸收新的更好的方法，提出新的思路，在原有基礎(chǔ)上做改進(jìn)。

參考文獻(xiàn)[1] CaiZ,LiY,GuM.Real-timerecognitionsystemoftrafficlightinurbanenvironment[C]//ComputationalIntelligenceforSecurityandDefenceApplications(CISDA),2012IEEESymposiumon.IEEE,2012:1-6.[2]HaltakovV,MayrJ,UngerC,etal.Semanticsegmentationbasedtrafficlightdetectionatdayandatnight[C]//GermanConferenceonPatternRecognition.Springer,Cham,2015:446-457.[3]GomezAE,AlencarFAR,PradoPV,etal.Trafficlightsdetectionandstateestimationusinghiddenmarkovmodels[C]//IntelligentVehiclesSymposiumProceedings,2014IEEE.IEEE,2014:750-755.[4]JohnV,YonedaK,QiB,etal.Trafficlightrecognitioninvaryingilluminationusingdeeplearningandsaliencymap[C]//IntelligentTransportationSystems(ITSC),2014IEEE17thInternationalConferenceon.IEEE,2014:2286-2291.[5]FrankeU,PfeifferD,RabeC,etal.Makingberthasee[C]//ComputerVisionWorkshops(ICCVW),2013IEEEInternationalConferenceon.IEEE,2013:214-221.[6]TrehardG,PollardE,BradaiB,etal.Trackingboth