基于卷積神經(jīng)網(wǎng)絡(luò)的中國(guó)車牌自動(dòng)識(shí)別方法設(shè)計(jì)與實(shí)現(xiàn)分析有俺就 計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)

目錄28858摘要 131375Abstract 218580第一章緒論 345801.1研究意義 3124281.2國(guó)內(nèi)外研究現(xiàn)狀 3263011.2.1卷積神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 3184001.2.2定位算法研究現(xiàn)狀 4109501.2.3識(shí)別算法研究現(xiàn)狀 4314461.3研究?jī)?nèi)容和結(jié)構(gòu)安排 4156931.4人工神經(jīng)網(wǎng)絡(luò) 5149661.5卷積神經(jīng)網(wǎng)絡(luò) 6247631.5.1卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 653761.5.1卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) 7192371.6車牌識(shí)別系統(tǒng) 75963第二章定位算法 9288692.1車牌的采集和預(yù)處理 9198452.2車牌特征以及位置選定 11212332.2.1Roberts算子邊緣檢測(cè) 11107772.2.2定位車牌大致位置 12325242.2.3精確定位車牌 1632482第三章分割算法 1865303.1預(yù)處理 18308953.2固定分割 1855483.3字符歸一化 1930741第四章基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別算法 20107324.1卷積神經(jīng)網(wǎng)絡(luò) 20147564.1.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳播 20188064.1.2卷積神經(jīng)網(wǎng)絡(luò)的反向傳播 2143474.2網(wǎng)絡(luò)訓(xùn)練與測(cè)試 21311464.2.1網(wǎng)絡(luò)結(jié)構(gòu) 21218444.2.2網(wǎng)絡(luò)參數(shù)調(diào)整 22181504.3車牌識(shí)別 2621362第五章總結(jié)與期望 2832054參考文獻(xiàn) 2930757致謝 30摘要本論文主要是基于卷積神經(jīng)網(wǎng)絡(luò)的中國(guó)車牌自動(dòng)識(shí)別算法的設(shè)計(jì)與實(shí)現(xiàn)。構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行識(shí)別是一種穩(wěn)定可靠的方法，能夠有很高的識(shí)別精準(zhǔn)度，因此得到了較為廣泛的應(yīng)用。本論文用邊緣檢測(cè)的定位方法大致定位出車輛車牌的位置，再用藍(lán)點(diǎn)掃描截取圖像的方式定位出車牌，然后將車牌的固定位置分割，截取出車牌中的七個(gè)字符，最后將七個(gè)字符輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中進(jìn)行識(shí)別。本論文按照這樣的方法，用了三個(gè)章節(jié)分別表達(dá)了定位、分割以及識(shí)別。在測(cè)試過程中，定位算法測(cè)試的100張車牌均能準(zhǔn)確定位，識(shí)別算法在50張車牌測(cè)試中，350個(gè)字符能夠準(zhǔn)確識(shí)別302個(gè)字符。最后，本論文做出了一些總結(jié)和期望。關(guān)鍵詞：中國(guó)車牌識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)，圖像定位與分割A(yù)bstractThisthesisisdesignedandachievedbasedonconvolutionalneuralnetworkinChina'slicenseplaterecognitionalgorithm.Convolutionalneuralnetworkforidentificationhasbeenwidelyappliedowingtoitsstable,reliableandhighrecognitionaccuracy.Inthisthesis,thelocationofvehiclelicenseplateisroughlylocatedusingthelocationmethodofedgedetectionfirstly.Secondly,thelicenseplateislocatedbyinterceptingtheimageusingbluepointscanning.Thirdly,thefixedpositionofthelicenseplateissegmentedandsevencharactersinthelicenseplateareintercepted.Finally,thesevencharactersareinputintothetrainedvolumeneuralnetworktorecognize.Accordingtothismethod,thisstudyusesthreechapterstodemonstratelocation,segmentationandrecognition,respectively.Intheprocessoftesting,the100licenseplatesinthelocationalgorithmcanbeaccuratelylocated.In50licenseplatetestsoftherecognitionalgorithm,350characterscanidentify302charactersaccurately.Attheendofthispaper,wemakeasummaryandprospect.Keywords:Chineselicenseplaterecognition，Convolutionalneuralnetwork，Imagepositioningandsegmentation

緒論1.1研究意義伴隨中國(guó)經(jīng)濟(jì)的飛速發(fā)展，人民的生活水平日益提高?，F(xiàn)如今的城市機(jī)動(dòng)車數(shù)量已經(jīng)是一個(gè)非常龐大的數(shù)字，并且仍然在高速上漲。這樣的情況也給城市機(jī)動(dòng)車管理增加了不小的壓力。不管是小區(qū)停車場(chǎng)還是車輛違章監(jiān)控，其中所需要的處理事件規(guī)模已經(jīng)遠(yuǎn)遠(yuǎn)大于人力負(fù)荷，所以，車輛智能管理系統(tǒng)的研究發(fā)展勢(shì)在必行。車輛牌照作為每個(gè)車輛獨(dú)一無二的“身份證”，隨著模式識(shí)別技術(shù)的發(fā)展，車牌字符識(shí)別已成為智能交通系統(tǒng)的重要組成部分，它可以從復(fù)雜的背景中準(zhǔn)確地提取、識(shí)別汽車牌照、車輛類型等信息，在交通控制和監(jiān)視中占有很重要的地位，具有廣泛的應(yīng)用前景【1】。本論文在車牌識(shí)別部分主要應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行字符識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域目前已經(jīng)取得了許多令人矚目的研究成果，其研究意義主要體現(xiàn)在三個(gè)方面:理論研究挑戰(zhàn)、特征表達(dá)研究、應(yīng)用價(jià)值【2】。在本論文中，意義主要體現(xiàn)在這三者中的應(yīng)用價(jià)值，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于車牌識(shí)別系統(tǒng)能夠?yàn)樯鐣?huì)帶來管理上的便利。1.2國(guó)內(nèi)外研究現(xiàn)狀1.2.1卷積神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀卷積神經(jīng)網(wǎng)絡(luò)作為一種深度學(xué)領(lǐng)域，如:行人檢測(cè)、行為識(shí)別、人體姿勢(shì)識(shí)別等。近期，卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)一步向更深層次的人工智能發(fā)展，如:自然語言處理、語音識(shí)別等。最近，由Google開發(fā)的人工智能圍棋程序Alphago成功利用了卷積神經(jīng)網(wǎng)絡(luò)分析圍棋盤面信息，并且在挑戰(zhàn)賽中接連戰(zhàn)勝了圍棋歐洲冠軍和世界冠軍，引起了廣泛的關(guān)注。從當(dāng)前的研究趨勢(shì)來看，卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用前景充滿了可能性【2】。1.2.2定位算法研究現(xiàn)狀車牌定位算法是車輛智能管理系統(tǒng)的熱門研究課題。早在20世紀(jì)90年代，國(guó)外就開始了對(duì)定位算法的深入研究?？紤]到車牌的形狀一般為矩形且寬高比值已知，車牌定位問題可以被轉(zhuǎn)化為用邊緣檢測(cè)算法尋找圖像中可能的矩形【3】。由于一些國(guó)家對(duì)車牌的顏色有所規(guī)定，一些發(fā)表的工作是通過處理顏色來定位車牌的，如ERLee等人將圖像從RGB空間轉(zhuǎn)化到HLS空間，用神經(jīng)網(wǎng)絡(luò)輸出每個(gè)像素值的顏色，利用車牌的寬高比和顏色密度來確定車牌區(qū)域【3】。我國(guó)智能化車輛管理系統(tǒng)起步比較晚，但發(fā)展得很快。上海交通大學(xué)的郭捷等提出了一種基于顏色和紋理分析相結(jié)合的車牌定位算法。用該算法對(duì)60張不同復(fù)雜背景的彩色車牌照片進(jìn)行定位實(shí)驗(yàn),成功率達(dá)到95%以上【4】。1.2.3識(shí)別算法研究現(xiàn)狀車牌識(shí)別一般分為基于灰度圖像識(shí)別方法和基于彩色圖像識(shí)別方法這兩類方法?；诨叶葓D像的車牌識(shí)別方法是將采集到的彩色圖形進(jìn)行灰度處理，然后再進(jìn)行車牌定位、字符分割和字符識(shí)別等步驟；基于彩色圖像的車牌識(shí)別方法是利用采集得到的彩色圖像直接進(jìn)行車牌定位、字符分割和字符識(shí)別等【5】。我們國(guó)家車牌的識(shí)別因?yàn)橛袧h字的關(guān)系，所以不能直接使用國(guó)外的車牌識(shí)別方法。同時(shí)因?yàn)闈h字較為復(fù)雜、車牌的顏色和樣式都有很多種，給很多應(yīng)用于國(guó)外的識(shí)別技術(shù)增添了障礙，需要我們國(guó)家自主研發(fā)。查閱了很多的國(guó)內(nèi)車牌識(shí)別文獻(xiàn)，其中已經(jīng)有了很多成熟高效的方法。曾泉使用BP神經(jīng)網(wǎng)絡(luò)的方法選取了260張不同環(huán)境下的車牌來進(jìn)行字符識(shí)別，結(jié)果表明在結(jié)果整體識(shí)別率上到達(dá)了95.2%【6】；陳瑋，曹志廣等人使用模塊匹配的方法，同時(shí)又在基于歐拉數(shù)的模板匹配上做了一定程度上的改進(jìn)，讓識(shí)別準(zhǔn)確率到達(dá)了96.67%，并且識(shí)別時(shí)間只有0.559s【7】；彭清，季桂樹等人用CNN提取隱層特征后，進(jìn)行SVM分類，將800個(gè)測(cè)試樣本進(jìn)行識(shí)別，其準(zhǔn)確率達(dá)到了97.00%【8】。1.3研究?jī)?nèi)容和結(jié)構(gòu)安排本論文在整個(gè)程序的設(shè)計(jì)編寫上分為三個(gè)章節(jié)，一般來說，車牌的識(shí)別與一般的圖像識(shí)別還是有較大的區(qū)別。車牌的形狀方正，易于檢測(cè)定位，但又因?yàn)榕臄z角度的不同，所定位的車牌又會(huì)有扭曲變化的難度。所以我將車牌識(shí)別分為了三步，也就是車牌的定位、定位后車牌當(dāng)中的字符塊的分割以及當(dāng)字符塊分割后作為獨(dú)立個(gè)體的字符塊識(shí)別。本論文第二章會(huì)用邊緣檢測(cè)后，再用藍(lán)點(diǎn)掃描記錄橫縱坐標(biāo)定位車牌位置；第三章會(huì)用固定位置分割截取車牌內(nèi)的七個(gè)字符，同時(shí)進(jìn)行歸一化處理；第四章會(huì)基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建識(shí)別模塊，其中涉及網(wǎng)絡(luò)的構(gòu)建、參數(shù)的選擇以及最后車牌識(shí)別的結(jié)果統(tǒng)計(jì)。1.4人工神經(jīng)網(wǎng)絡(luò)1.4.1人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1943年，美國(guó)的心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.A.Pitts在論文《神經(jīng)活動(dòng)中所蘊(yùn)含思想的邏輯活動(dòng)》中，提出了一個(gè)非常簡(jiǎn)單的神經(jīng)元模型，即M－P模型。該模型將神經(jīng)元當(dāng)作一個(gè)功能邏輯器件來對(duì)待，從而開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究【9】。以比較形象的角度上看，其原理就像現(xiàn)實(shí)中生物身體內(nèi)的一個(gè)神經(jīng)系統(tǒng)--通過建立無數(shù)個(gè)神經(jīng)元，再通過神經(jīng)互相進(jìn)行感知交流傳遞“信息”，其中就包括了傳遞信息和反饋調(diào)整兩個(gè)方面。不同的神經(jīng)元，不同的連接方式構(gòu)成了許多用途多樣的網(wǎng)絡(luò)。在工程和學(xué)術(shù)界，將其定義為人工神經(jīng)網(wǎng)絡(luò)或者類神經(jīng)網(wǎng)絡(luò)。圖SEQ圖\*ARABIC1.1人工神經(jīng)網(wǎng)絡(luò)(1.1)(1.2)如圖1.1所示，其中x代表各個(gè)輸入量；w為各個(gè)神經(jīng)元的權(quán)值；f為傳輸（傳遞）函數(shù)；t為輸出。通過公式（1.1），（1.2）可知，單個(gè)輸入神經(jīng)元的作用是在求出輸入向量，然后經(jīng)過權(quán)值向量的內(nèi)積計(jì)算之后，通過傳遞函數(shù)得到一個(gè)標(biāo)量輸出t。1.5卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)【2】是近年來發(fā)展起來的，一種高效準(zhǔn)確的識(shí)別方法。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的其中一個(gè)分支，他作為一種深度前饋的人工神經(jīng)網(wǎng)絡(luò)，已經(jīng)得到了廣泛的應(yīng)用。在20世紀(jì)60年代，Hubel和Wiesel在研究動(dòng)物腦皮層的部分神經(jīng)元時(shí)發(fā)現(xiàn)了其獨(dú)特的網(wǎng)絡(luò)連接結(jié)構(gòu)，并且這樣的結(jié)構(gòu)可以很大程度的降低網(wǎng)絡(luò)反饋的多樣復(fù)雜性，從而他們提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。在現(xiàn)如今的識(shí)別系統(tǒng)中，卷積神經(jīng)網(wǎng)絡(luò)憑借其出色的高效識(shí)別功能，已經(jīng)得到了廣泛的認(rèn)可。目前，很多的國(guó)內(nèi)外學(xué)者都致力于研究卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化，比方說激活函數(shù)、卷積核等等。圖1.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖在卷積神經(jīng)網(wǎng)絡(luò)中，如圖1.2所示，我們一般將其分為輸入層、卷積層、池化層、全連接層以及輸出層。與BP網(wǎng)絡(luò)不同的是，在卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中最主要的是特征提取層，即由卷積層和他的子采樣層構(gòu)成了一個(gè)特征提取器。也就是說，在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，通常情況下一個(gè)神經(jīng)元只與部分神經(jīng)元連接，這樣就避免了類似BP網(wǎng)絡(luò)每一層都是全連接，大大的降低了訓(xùn)練的難度。1.5.1卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)的與其他網(wǎng)絡(luò)比較起來，它的每個(gè)神經(jīng)元因?yàn)橛芯矸e池化層的構(gòu)建，所以有著很獨(dú)特的優(yōu)越性，即權(quán)值的共享大大減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)個(gè)數(shù)，很大程度上降低了訓(xùn)練的難度以及網(wǎng)絡(luò)的復(fù)雜性；網(wǎng)絡(luò)結(jié)構(gòu)也與圖像結(jié)構(gòu)更加搭配，在圖像的特征提取和圖像識(shí)別上有著不錯(cuò)的效果。1.6車牌識(shí)別系統(tǒng)伴隨著經(jīng)濟(jì)的發(fā)展，中國(guó)的車輛數(shù)量在近幾十年來已經(jīng)上漲到了一個(gè)非常龐大的數(shù)量，面對(duì)這樣的情況，政府相關(guān)部門已經(jīng)對(duì)車輛的管理采取了很多方法，非常重視這一問題。在經(jīng)歷了上個(gè)世紀(jì)末的起步階段之后，車牌識(shí)別技術(shù)已日趨走向成熟，并開始在交通、公安、路政、停車場(chǎng)、安防、門禁、智能小區(qū)等許多領(lǐng)域得到了廣泛的應(yīng)用。車牌識(shí)別系統(tǒng)簡(jiǎn)單地說是一種以特定目標(biāo)為對(duì)象的專用視覺系統(tǒng)，它能夠從一幅圖像中提取分割并識(shí)別出車輛牌照，運(yùn)用先進(jìn)的圖像處理、模式識(shí)別和人工智能技術(shù)，通過對(duì)圖像的采集和處理完成車輛牌照的自動(dòng)識(shí)別，識(shí)別結(jié)果可按需求分別包括車牌的字符、數(shù)字、牌照?qǐng)D像，以至牌照顏色、坐標(biāo)、字體顏色等【1】。一般地，生活當(dāng)中的車牌常見的有小型汽車號(hào)牌藍(lán)底白字和大型汽車牌號(hào)黃底黑字。本論文主要研究的是小型汽車號(hào)牌，查閱相關(guān)文獻(xiàn)后得知，小型汽車是藍(lán)底白字，大小為的車牌【10】。定位算法2.1車牌的采集和預(yù)處理一般來說，中國(guó)車牌的字符顏色與背景顏色搭配有：白底紅字、黃底黑字、藍(lán)底白字等等。本文主要研究的是對(duì)于生活中最常見的小型汽車牌照，也就是藍(lán)底白字的車牌。因?yàn)檐嚺频纳侍卣髋c其背景的色彩特征有很大的差別，所以當(dāng)我們使用不同的色彩通道，就能夠讓我們的牌照和其他的背景區(qū)分出來。對(duì)本文研究的藍(lán)底車牌來說，當(dāng)我們使用藍(lán)色的B通道時(shí)，牌照的區(qū)域就是一個(gè)亮矩形。就個(gè)人經(jīng)驗(yàn)來說，雖然顏色掃描區(qū)分能夠簡(jiǎn)單方便的得到一個(gè)較為準(zhǔn)確的車牌圖像，但是我們?cè)谂臄z車輛的時(shí)候會(huì)發(fā)現(xiàn)——圖像當(dāng)中會(huì)有很多藍(lán)色或者相近顏色的“噪聲”干擾我們的掃描定位，甚至當(dāng)車輛本身是藍(lán)色或者相近顏色的時(shí)候，這個(gè)掃描顏色的程序就會(huì)出現(xiàn)重大失敗。通過觀察與分析，我將定位的方法設(shè)計(jì)為：預(yù)先的對(duì)圖像進(jìn)行處理和篩選去噪，將車牌的位置先大致作出劃分，之后再進(jìn)行我們的色彩特征區(qū)分工作。圖2-SEQ圖\*ARABIC\s11車牌定位結(jié)構(gòu)圖我們采集到的圖片是一個(gè)包括車牌的車輛前端或者車輛尾部的彩色照片，在預(yù)處理中，首先是將整個(gè)彩色圖片灰度化。將彩色圖片灰度化，我用到了以下的幾個(gè)公式： （2.1）（2.2）將公式（2.1）、（2.2）帶入程序中，并用MATLAB的figure函數(shù)將圖片展示出來：圖2.2采集的車牌彩色原圖圖2.3彩色原圖灰度化圖2.4灰度圖灰度直方圖2.2車牌特征以及位置選定2.2.1Roberts算子邊緣檢測(cè)在本文的預(yù)處理當(dāng)中，以及將原圖像轉(zhuǎn)化為灰度圖表示。不同圖像因?yàn)榛叶鹊牟煌@些圖像的邊界處一般就會(huì)有明顯的邊緣，然后我們可以利用這個(gè)特點(diǎn)來分割圖像。在實(shí)際的圖像處理的應(yīng)用當(dāng)中，我們有很多的算子來對(duì)圖像進(jìn)行邊緣檢測(cè)。在本文的應(yīng)用中，我選擇了Roberts算子。Roberts邊緣檢測(cè)算子是一種利用局部差分算子尋找邊緣的算子，Robert算子圖像處理后結(jié)果邊緣不是很平滑。經(jīng)分析,由于Robert算子通常會(huì)在圖像邊緣附近的區(qū)域內(nèi)產(chǎn)生較寬的響應(yīng)，故采用上述算子檢測(cè)的邊緣圖像常需做細(xì)化處理[11]。表2.1Roberts交叉算子模板Roberts交叉算子模板10010-1-10（2.3）（2.4）（2.5）（2.6）設(shè)圖像的梯度幅度為公式（2.3），然后根據(jù)Robert交叉算子模板去計(jì)算，可以得到運(yùn)算結(jié)果（2.4）、（2.5）以及（2.6）。當(dāng)最后（2.6）的結(jié)果大于某一個(gè)閾值時(shí)，那我們就可以判定即為邊緣點(diǎn)。選擇Roberts算子在于其計(jì)算簡(jiǎn)單高效，因?yàn)槲宜鶓?yīng)用的方面在于車牌檢測(cè)，車牌的形狀方正，而Roberts算子在檢測(cè)垂直邊緣時(shí)效果較好，定位精確度高。圖2.5Roberts算子邊緣檢測(cè)圖2.5是我用MATLAB對(duì)車牌灰度化圖像進(jìn)行邊緣檢測(cè)的結(jié)果，從結(jié)果可以看出，能夠顯示車輛輪廓以及能夠檢測(cè)出車牌位置，但同時(shí)其中也有一些場(chǎng)景的噪聲輪廓邊緣。接下來將進(jìn)行去噪處理來定位出車牌位置。2.2.2定位車牌大致位置2.2.2.1圖像腐蝕在邊緣檢測(cè)后，我對(duì)圖像2.5進(jìn)行分析，圖像當(dāng)中有很多干擾信息。所以我對(duì)圖像做了腐蝕處理。腐蝕主要用于形態(tài)學(xué)中除去圖像的某些部分。腐蝕的本質(zhì)就是用結(jié)構(gòu)算子覆蓋的所有像素點(diǎn)的最小值代替中心位置的像素值【12】。圖2.6腐蝕處理后的圖像腐蝕處理的作用【13】有三：邊緣檢測(cè)，將形態(tài)骨架進(jìn)行提?。粚?duì)原圖像進(jìn)行了濾波，出去了一部分的噪聲；從圖2.6中我們可以觀察到，除了車牌和車標(biāo)之外，其余部分的車輛輪廓已經(jīng)變得很微小，為接下來的篩選工作做了一些準(zhǔn)備。2.2.2.2圖像平滑圖像平滑的主要目的是減少圖像噪聲【14】。圖像在采集的過程中，可能會(huì)出現(xiàn)在某些地方亮度過大，而在另外一處地方亮度又過小的情況，這種明暗變化較大的區(qū)域，會(huì)出現(xiàn)一些亮點(diǎn)，也就是噪聲。而為了抑制或過濾這樣的噪聲，讓圖像的亮度變化變得比較平穩(wěn)，這種方法就是圖像平滑。圖2.7平滑處理后的圖像實(shí)際上，對(duì)圖像作平滑處理，相當(dāng)于是用一個(gè)低通濾波器過濾了圖像，雖然能抑制一部分的噪聲，但會(huì)對(duì)圖像的邊緣造成模糊化。不同的平滑算法適應(yīng)于特定類型的噪聲模型，實(shí)際應(yīng)用中應(yīng)該根據(jù)實(shí)際圖像中包含的噪聲情況靈活地選取適當(dāng)?shù)钠交惴ā?5】。在本文的應(yīng)用中，考慮了邊緣模糊化這一點(diǎn)，在之后的掃描處理中，會(huì)讓模糊化變成一種優(yōu)點(diǎn)，讓車牌圖像信息不丟失。2.2.2.3圖像去除較小對(duì)象通過對(duì)圖2.7的分析觀察，我們可以清楚的看到，在圖像當(dāng)中的信息已經(jīng)只剩下車牌、車標(biāo)以及一些較小的干擾噪聲。對(duì)比圖像信息的大小，我們可以得出當(dāng)前圖像中車牌所占的比例是最大的。當(dāng)我們對(duì)圖像當(dāng)中的白點(diǎn)面積進(jìn)行判定，當(dāng)其面積大于某一個(gè)閾值的時(shí)候，我們就可以將其視作車牌。圖2.8圖像去除較小對(duì)象流程圖在MATLAB中，利用函數(shù)可以實(shí)現(xiàn)去除圖像當(dāng)中的較小對(duì)象，其中的面積2000像素是我選定的一個(gè)參考值，可以根據(jù)自己所應(yīng)用的環(huán)境條件來進(jìn)行調(diào)整。圖2.9圖像經(jīng)過去除較小對(duì)象處理后得到的車牌圖像經(jīng)過去除較小對(duì)象處理后，得到圖2.9。從中我們已經(jīng)能夠得到車牌的一個(gè)大致位置信息。因?yàn)樵谥暗倪吘墮z測(cè)、腐蝕以及平滑處理當(dāng)中，信息會(huì)有一定的缺失和模糊，所以在圖2.9當(dāng)中所顯示的車牌并不能夠精確的代表車牌的真實(shí)位置。2.2.3精確定位車牌在本文章節(jié)2.1當(dāng)中本論文就論述了掃描藍(lán)色車牌的基本思路，但在實(shí)際的操作當(dāng)中，現(xiàn)實(shí)場(chǎng)景會(huì)有藍(lán)色的噪聲干擾以及車輛本身就有可能會(huì)是藍(lán)色的，直接對(duì)圖像進(jìn)行藍(lán)點(diǎn)掃描的話，會(huì)有很多的錯(cuò)誤率，更不適合實(shí)際應(yīng)用。所以我對(duì)圖像做了很多的處理，以此來分析出車牌的大致位置，縮小圖像的掃描范圍。用這樣的辦法，我們就可以在車牌大致的范圍當(dāng)中，進(jìn)行藍(lán)點(diǎn)掃描，精確的定位車牌位置，同時(shí)大幅度地降低錯(cuò)誤概率。圖2.10藍(lán)點(diǎn)掃描定位車牌通過分別對(duì)車牌x軸和y軸的確定，以此來確定車牌的準(zhǔn)確位置。在實(shí)際操作中，考慮到會(huì)有一些誤差，所以對(duì)掃描的結(jié)果做出了一些校正，即分別對(duì)掃描出的x軸和y軸的數(shù)值做出加減2到6的調(diào)整，以此來減少實(shí)際遇到的誤差。圖2.11定位后截取的彩色車牌圖片通過對(duì)坐標(biāo)的確定和一定調(diào)整，將所得到的坐標(biāo)帶入到原圖像當(dāng)中，即可得到車牌的信息。在用來測(cè)試的100張車牌圖片中，所有圖片均能夠準(zhǔn)確定位。

第三章分割算法3.1預(yù)處理在分割這一步當(dāng)中，很大程度上是在為之后的識(shí)別模塊在做準(zhǔn)備工作。在第二章的定位算法當(dāng)中，本論文通過的是藍(lán)點(diǎn)掃描來進(jìn)行定位截取車牌圖片，也即最后獲取的是一張彩色的，易于人眼觀察的車牌圖片。但對(duì)于計(jì)算機(jī)識(shí)別來說，我只需要獲取字符的輪廓來進(jìn)行識(shí)別就行，彩色會(huì)增加我們的誤差。所以，我在分割這一步中，先對(duì)車牌做了二值化處理。圖3.1車牌二值化圖片如圖3.1所示，這是將圖2.11的原車牌圖像進(jìn)行了二值化處理。從兩幅圖的對(duì)比中，我們不難看出，二值化后的車牌信息變得更加明顯，凸顯了每一個(gè)字符塊的輪廓，同時(shí)也簡(jiǎn)化了我們車牌所表達(dá)的矩陣信息，即其中只含有1和0的表達(dá)。3.2固定分割一般地，對(duì)車牌的分割有很多種算法，比方說垂直投影法、模塊匹配法等等。每種方法都很實(shí)用，有其各自的優(yōu)點(diǎn)。但對(duì)于本論文來說，獲取的圖片信息清晰且位置明確，所以沒有用到這些分割方法。本論文根據(jù)定位到的車牌信息，采用的是固定分割的辦法來對(duì)每個(gè)字符進(jìn)行分割。圖3.2車牌字符分割如圖3.2所示，這是對(duì)圖3.1二值化后的車牌進(jìn)行固定分割的結(jié)果。其中不難看出，如果我們獲取的車牌有一定的扭曲變形，那對(duì)分割這一步的影響是非常大的。所以在應(yīng)用到實(shí)際生活時(shí)，需要根據(jù)面對(duì)的環(huán)境條件作出算法調(diào)整。在本論文中，獲取的車牌無扭曲變形，所以用固定位置分割能快速有效的得出所需要的字符塊。3.3字符歸一化在本論文第二章節(jié)的研究中，在對(duì)車牌的處理中，都是對(duì)輸入的車牌圖片進(jìn)行直接處理。在2.2.3小節(jié)中，對(duì)于每一個(gè)車牌圖片來說，其最后掃描出的車牌其實(shí)也是有所區(qū)別的，即并不是統(tǒng)一標(biāo)準(zhǔn)的矩陣表達(dá)。本論文將分割這一部分也視作是對(duì)車牌識(shí)別之前所做的預(yù)處理工作。定位和分割并不需要很嚴(yán)格的統(tǒng)一標(biāo)準(zhǔn)，但識(shí)別不同，它需要嚴(yán)謹(jǐn)?shù)膱D像表達(dá)才能提升圖像識(shí)別的精準(zhǔn)度。所以在分割環(huán)節(jié)的末尾，本論文將每一個(gè)分割出的字符塊都統(tǒng)一歸一化為的標(biāo)準(zhǔn)圖形。基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別算法4.1卷積神經(jīng)網(wǎng)絡(luò)4.1.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳播圖4.1卷積神經(jīng)網(wǎng)絡(luò)如圖4.1所示，這是一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)示意圖。其中的、代表卷積層，、代表池化層。卷積層和池化層的一般含義在本論文第一章1.2節(jié)卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介中有定義表達(dá)，這里就不再繼續(xù)贅述。在卷積層當(dāng)中，輸入的圖像表達(dá)為一個(gè)二維矩陣，經(jīng)過一個(gè)可訓(xùn)練的大小可定義的矩陣來對(duì)輸入矩陣進(jìn)行卷積計(jì)算。一般地，我們會(huì)在卷積計(jì)算過程中加入一個(gè)偏置量。這樣就得到了我們的卷積層。不過在當(dāng)中的輸入是原圖像矩陣，而在之后的卷積層的輸入是經(jīng)過池化的特征映射圖矩陣【16】。在池化層當(dāng)中，卷積層的圖像將輸入池化層。在卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，池化層的處理方式有很多種，一般地思路是通過大小的池化矩陣將輸入矩陣的值做池化處理，將對(duì)應(yīng)的4個(gè)像素通過池化矩陣進(jìn)行加權(quán)，再加入一個(gè)偏置量，然后將4個(gè)像素化為一個(gè)像素的值放入激活函數(shù)計(jì)算得到池化層和。在本論文中，用到的常用的最大池化，即輸出一個(gè)最大的像素。在全連接層當(dāng)中，按照一般人工神經(jīng)網(wǎng)絡(luò)當(dāng)中的思路去計(jì)算，參照第一章公式（1.1）、（1.2）計(jì)算得出。4.1.2卷積神經(jīng)網(wǎng)絡(luò)的反向傳播在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，反向傳播是一個(gè)很關(guān)鍵的步驟，很多參數(shù)的調(diào)整更新都是在反向傳播當(dāng)中實(shí)現(xiàn)。圖SEQ圖\*ARABIC4.2神經(jīng)網(wǎng)絡(luò)訓(xùn)練如圖4.2所示，這是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的基本流程。在本論文4.1.1小節(jié)中講述了前向傳播的一些簡(jiǎn)單流程，當(dāng)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候，我們會(huì)對(duì)輸出的參數(shù)進(jìn)行判別，在根據(jù)其誤差進(jìn)行反向傳播，調(diào)整各層的各個(gè)參數(shù)。不斷的迭代最后達(dá)到一個(gè)比較理想的效果。4.2網(wǎng)絡(luò)訓(xùn)練與測(cè)試4.2.1網(wǎng)絡(luò)結(jié)構(gòu)圖4.3卷積池化層本論文在網(wǎng)絡(luò)構(gòu)建時(shí)，如圖4.3所示，在輸入層之后，分別加了兩層卷積層和池化層，卷積層在先，池化層在后，分別用、和、表示。其中、皆為大小的卷積核，設(shè)了兩個(gè)輸出通道，設(shè)了四個(gè)輸出通道。圖4.4全連接層和輸出層在圖4.3的基礎(chǔ)上，網(wǎng)絡(luò)將輸入的車牌進(jìn)行特征提取之后，設(shè)立三個(gè)全連接層，輸出層也包括在其中，分別用、、表示。其中設(shè)了120個(gè)輸出節(jié)點(diǎn)，設(shè)了85個(gè)輸出節(jié)點(diǎn)，輸出層設(shè)了45個(gè)輸出節(jié)點(diǎn)，也即將訓(xùn)練數(shù)據(jù)分為了45類。4.2.2網(wǎng)絡(luò)參數(shù)調(diào)整4.2.2.1迭代次數(shù)、學(xué)習(xí)率調(diào)整在設(shè)定網(wǎng)絡(luò)參數(shù)時(shí)，首先將學(xué)習(xí)率調(diào)整為1，慣性系數(shù)設(shè)定為0.5，同時(shí)因?yàn)橐^察誤差與迭代次數(shù)之間的大致關(guān)系，所以將迭代周期設(shè)定為比較大的值300方便觀察。圖4.5迭代次數(shù)和均方誤差關(guān)系如圖4.5所示，其中x軸net.epochs代表的是迭代次數(shù)，y軸net.err代表的是均方誤差。比對(duì)后發(fā)現(xiàn)：誤差越低越好，且隨著迭代次數(shù)的增大，誤差會(huì)越來越快的減小。其中在迭代次數(shù)到100次左右時(shí)，均方誤差已經(jīng)是小于0.1了。圖4.6學(xué)習(xí)率為0.5時(shí)的均方誤差變化圖4.7學(xué)習(xí)率為1時(shí)的均方誤差變化圖4.6和圖4.7是在其他參數(shù)不變，調(diào)整了學(xué)習(xí)率后的對(duì)比。我將迭代次數(shù)設(shè)為150，當(dāng)完成訓(xùn)練時(shí)，學(xué)習(xí)率為0.5的網(wǎng)絡(luò)錯(cuò)誤率為7.63%。學(xué)習(xí)率為1的網(wǎng)絡(luò)錯(cuò)誤率為5.58%。在均方差相差不大時(shí)，學(xué)習(xí)率的變化對(duì)錯(cuò)誤率還是會(huì)起到一定的影響。經(jīng)過對(duì)比后，本論文將學(xué)習(xí)率設(shè)置為1、迭代次數(shù)設(shè)置為300，這樣可以大大加快均方誤差的收斂，同時(shí)也能降低我們的錯(cuò)誤率。但在比對(duì)參數(shù)影響時(shí)，本論文會(huì)將迭代次數(shù)設(shè)置為150加快訓(xùn)練速度，方便比對(duì)。4.2.2.2網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整圖4.8將全連接層F2輸出通道由85減少到60如圖4.8所示，這是在其他參數(shù)不變的情況下，將的輸出通道由85減少到60時(shí)的均方誤差變化，其中x軸net.epochs代表的是迭代次數(shù)，y軸net.err代表的是均方誤差，迭代周期在150次后的錯(cuò)誤率為。我們將圖4.8和圖4.7所示，當(dāng)?shù)妮敵鐾ǖ罍p少時(shí)，錯(cuò)誤率有一定的減少，同時(shí)均方誤差變得更加平滑。圖4.9將全連接層F2輸出通道由85增加到100如圖4.9所示，這是在其他參數(shù)不變的情況下，將的輸出通道由85增加到100時(shí)候的誤差變化，其中x軸net.epochs代表的是迭代次數(shù)，y軸net.err代表的是均方誤差，在迭代150次后的錯(cuò)誤率為。相較與圖4.7、圖4.8，均方誤差曲線變得陡峭、錯(cuò)誤率在連接數(shù)大于85之后沒有特別明顯的變化。表4.1學(xué)習(xí)率為1，迭代次數(shù)為150時(shí)全連接層F2通道數(shù)目對(duì)網(wǎng)絡(luò)的影響輸出通道數(shù)目6585100均方誤差變化曲線更為平緩中等幅度變化曲線更為陡峭錯(cuò)誤率3.27%5.58%5.51%經(jīng)過對(duì)比之后，本論文將輸出通道設(shè)置為120不變，的輸出通道改變?yōu)?5。輸出通道仍然為45個(gè)類別。4.3車牌識(shí)別車牌字符圖片的預(yù)處理和歸一化都在定位分割中得以完成，所以在網(wǎng)絡(luò)訓(xùn)練完成后，直接將車牌字符輸入到訓(xùn)練好的網(wǎng)絡(luò)數(shù)據(jù)集當(dāng)中進(jìn)行比對(duì)，最后就能輸出完成識(shí)別的字符。圖4.10車牌識(shí)別結(jié)果如圖4.10所示，紅字部分就是識(shí)別結(jié)果，與下方的字符圖片一一對(duì)應(yīng)。圖4.11車牌識(shí)別結(jié)果2圖4.12車牌識(shí)別錯(cuò)誤結(jié)果如圖4.11所示，這是另一個(gè)車牌的識(shí)別結(jié)果圖。實(shí)驗(yàn)結(jié)果較為理想，但有時(shí)候也會(huì)出現(xiàn)失誤，如圖4.12所示，當(dāng)車牌出現(xiàn)一定程度的扭曲時(shí)，分割的時(shí)候就會(huì)讓文字出現(xiàn)一定的偏移，同時(shí)車牌的邊界也會(huì)進(jìn)入到字符圖片當(dāng)中干擾識(shí)別。表4.2抽取50張車牌測(cè)試統(tǒng)計(jì)結(jié)果測(cè)試車牌數(shù)錯(cuò)一個(gè)字符錯(cuò)兩個(gè)字符完全識(shí)別車牌5016826字符3501616302選取了50張車牌圖片進(jìn)行識(shí)別，其中有16張車牌識(shí)別錯(cuò)誤1個(gè)字符，8張車牌識(shí)別錯(cuò)誤2個(gè)字符，26張車牌識(shí)別完全正確?？偣?50個(gè)字符，錯(cuò)誤32個(gè)字符?？偨Y(jié)與期望本次畢業(yè)設(shè)計(jì)是自己第一次接觸