基于SVM與ANN技術(shù)的車(chē)牌識(shí)別1

基于SVM與ANN技術(shù)的車(chē)牌識(shí)別

賈文其參考博客及書(shū)籍：1、Raby?Draby~-博客頻道-CSDN.NET/raby_gyl/article/details/174722712、《MasteringOpenCVwithPracticalComputerVisionProjects》通過(guò)車(chē)牌的自動(dòng)檢測(cè)與識(shí)別，向大家介紹一下圖像的分割和特征提取即模式識(shí)別與圖像處理的基礎(chǔ)內(nèi)容，以及兩個(gè)重要的模式識(shí)別算法：支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)。主要目的主要內(nèi)容車(chē)牌檢測(cè)車(chē)牌字符的識(shí)別車(chē)牌檢測(cè)就是檢測(cè)車(chē)牌在整個(gè)圖像幀中的位置。當(dāng)一個(gè)圖像中的車(chē)牌用支持向量機(jī)算法檢測(cè)到時(shí)，接著我們對(duì)車(chē)牌的字符進(jìn)行識(shí)別。在車(chē)牌識(shí)別中，我們用人工神經(jīng)網(wǎng)絡(luò)算法來(lái)識(shí)別出車(chē)牌上的字母數(shù)字的字符。車(chē)牌檢測(cè)與車(chē)牌字符的識(shí)別車(chē)牌樣本選取環(huán)境離車(chē)前方2-3米左右，在白天正常的光線下，并且不是平行與地面而是與車(chē)牌的有個(gè)小角度的傾斜情況下（因?yàn)楹茈y做到拍攝出的車(chē)牌沒(méi)有傾斜）拍攝車(chē)牌照片。車(chē)牌樣本攝像機(jī)的選用如果我們使用一個(gè)帶有紅外線投影結(jié)構(gòu)和濾波的攝像機(jī)重新獲取，將得到一個(gè)非常高質(zhì)量的照片以用來(lái)分割和隨后的檢測(cè)和識(shí)別車(chē)牌數(shù)字。也即照片不依賴(lài)于任何光線環(huán)境，如下圖所示：由于硬件限制，我們沒(méi)有使用紅外線攝像，而是使用常規(guī)的攝像。這樣做，以至于很難得到一個(gè)最好的結(jié)果，其最終車(chē)牌的檢測(cè)錯(cuò)誤率和字符的識(shí)別錯(cuò)誤率很相對(duì)高一些，但是無(wú)論何種攝像機(jī)，對(duì)車(chē)牌的處理過(guò)程是一樣的。車(chē)牌規(guī)格我們使用西班牙最普通（使用最多）的車(chē)牌，其大小是520*110mm。兩種字符（數(shù)字和字母）的間距是41mm。數(shù)字和數(shù)字之前（或者字母和字母之間）距離是14mm。第一組字符含有四個(gè)數(shù)字。另外一組含有三個(gè)字母，其中不包括元音字母：A，E，I，O，U和N，Q。所有的字符大小為45*77。這些數(shù)據(jù)對(duì)于字符分割很重要，以這些尺寸為依據(jù)來(lái)大致確定區(qū)域是否是車(chē)牌或者字符區(qū)域，如下是一個(gè)車(chē)牌圖。車(chē)牌檢測(cè)與車(chē)牌字符識(shí)別車(chē)牌檢測(cè)——檢測(cè)出一個(gè)圖像幀中的車(chē)牌。

第一步（分割），應(yīng)用不同的濾波器，形態(tài)學(xué)操作，輪廓算法，獲取所有可能的車(chē)牌部分。第二步（分類(lèi)），我們采用支持向量機(jī)(SVM)分類(lèi)得出我們所需要的車(chē)牌部分。（一）車(chē)牌圖像分割分割是把一幅圖像分割成許多部分的過(guò)程。這個(gè)過(guò)程可以簡(jiǎn)化圖像分析，使特征提取更容易。車(chē)牌部分的一個(gè)重要特征是在車(chē)牌中有高數(shù)量的垂直邊緣（也就是垂直邊緣比較多），假定照片是從前面拍的，車(chē)牌沒(méi)有旋轉(zhuǎn)，并且沒(méi)有視覺(jué)上的扭曲。我們將sobel濾波得到垂直邊緣特征可以作為分割的第一步，來(lái)排除那些沒(méi)有垂直邊緣的區(qū)域。在尋找垂直邊緣之前，我們需要把彩色圖像轉(zhuǎn)換為灰度圖像，因?yàn)椴噬珗D像在我們的任務(wù)中沒(méi)有幫助，并且用線性濾波的方法來(lái)移除來(lái)自相機(jī)或者外界對(duì)圖像的噪聲。如果我們不應(yīng)用去噪方法，我們將得不到許多的垂直邊緣，將會(huì)產(chǎn)生檢測(cè)失敗?；叶然熬€性濾波后效果Sobel濾波后效果Sobel濾波后，我們應(yīng)用一個(gè)閾值濾波器來(lái)獲得一個(gè)二值圖像，閾值通過(guò)Otsu方法獲得。Otsu算法又稱(chēng)大津算法，需要一個(gè)8位圖像作為輸入，該方法自動(dòng)的獲取圖像最佳的閾值。二值化后效果接下來(lái)，通過(guò)應(yīng)用一個(gè)閉操作（先膨脹,再腐蝕），我們能夠去掉每個(gè)垂直邊緣線的空白黑色部分。并且連接含有邊緣數(shù)量很多的所有區(qū)域。在這一步，我們得到可能的含有車(chē)牌的區(qū)域。閉操作后效果連通域輪廓最小外接矩形我們基于面積和寬高比，對(duì)于檢查到的所有外接矩形區(qū)域做一下確認(rèn)。如果寬高比大于為520/110=4.727272（車(chē)牌寬除以車(chē)牌高）（允許帶有40%的誤差）和邊界在15像素到125像素高的區(qū)域，我們才認(rèn)為可能是一個(gè)車(chē)牌區(qū)域。這些值可以根據(jù)圖像的大小和相機(jī)的位置進(jìn)行估算。

去除干擾區(qū)域后剩余6塊外接矩形對(duì)僅剩下的6塊區(qū)域，我們利用車(chē)牌的白色背景屬性可以進(jìn)一步改善。所有的車(chē)牌都有統(tǒng)一的背景顏色。我們可以使用漫水填充算法來(lái)獲得這些剩余旋轉(zhuǎn)矩陣的精確篩選。所謂漫水填充，簡(jiǎn)單來(lái)說(shuō)，就是自動(dòng)選中了和種子點(diǎn)相連的區(qū)域，接著將該區(qū)域替換成指定的顏色，這是個(gè)非常有用的功能,經(jīng)常用來(lái)標(biāo)記或者分離圖像的一部分進(jìn)行處理或分析.漫水填充也可以用來(lái)從輸入圖像獲取掩碼區(qū)域,掩碼會(huì)加速處理過(guò)程,或者只處理掩碼指定的像素點(diǎn).尋找種子點(diǎn)隨機(jī)選取每個(gè)區(qū)域十個(gè)種子點(diǎn)為了下一步輪廓尋找、最小外接矩形的獲取以及篩選合適大小的輪廓做準(zhǔn)備，我們對(duì)圖像漫水填充時(shí)，只對(duì)黑色背景的二值掩碼區(qū)域進(jìn)行填充，不對(duì)原彩色圖進(jìn)行填充，填充顏色為白色。掩碼填充效果掩碼填充效果掩碼填充效果掩碼填充效果掩碼填充效果掩碼填充效果因?yàn)槭褂密?chē)牌，車(chē)牌有邊界，漫水填充不會(huì)超過(guò)車(chē)牌的邊界，而對(duì)于其他區(qū)域（檢查出來(lái)的矩形）漫水填充會(huì)占據(jù)很多區(qū)域，形成的矩形也很大，再對(duì)矩形進(jìn)行大小判別時(shí)，可能就會(huì)被丟棄，得到更可能是車(chē)牌的區(qū)域。因此我們?cè)谠瓐D上標(biāo)記出僅剩的三塊可能車(chē)牌區(qū)域。僅剩3塊可能的車(chē)牌區(qū)域?qū)⑦@三塊區(qū)域提取出來(lái)后，先進(jìn)行適當(dāng)?shù)男D(zhuǎn)，然后把所有的圖像調(diào)整為統(tǒng)一的大小，對(duì)其采用直方圖均衡化最終效果如下。車(chē)牌分類(lèi)我們預(yù)處理和分割圖像的所有可能部分之后，我們現(xiàn)在需要判別每一個(gè)分割部分是不是一個(gè)車(chē)牌。為這樣做，我們使用SVM算法。支持向量機(jī)是一個(gè)模式識(shí)別算法，它是監(jiān)督學(xué)習(xí)算法的一份子，最初創(chuàng)建是為了二值分類(lèi)的。有監(jiān)督的學(xué)習(xí)是一種機(jī)器學(xué)習(xí)算法，它通過(guò)標(biāo)簽數(shù)據(jù)的使用進(jìn)行學(xué)習(xí)。我們需要一些帶有標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練這個(gè)算法。每一個(gè)數(shù)據(jù)集需要有一個(gè)類(lèi)別。SVM創(chuàng)建一個(gè)或多個(gè)超平面，用來(lái)區(qū)分每類(lèi)數(shù)據(jù)。一個(gè)典型的例子是2維點(diǎn)集，它定義了兩個(gè)類(lèi)。SVM尋找最優(yōu)線來(lái)區(qū)分每個(gè)類(lèi)。訓(xùn)練SVM分類(lèi)器，簡(jiǎn)單來(lái)說(shuō)在二維空間里就是求解這樣一個(gè)線性函數(shù)，g(x)=wx+b，x是輸入的特征，g（x）是輸出的分類(lèi)的類(lèi)別，我們已知了輸入特征與輸出類(lèi)別，來(lái)訓(xùn)練求解w和b的最優(yōu)的值，獲得這兩個(gè)值后也就獲得了這個(gè)分類(lèi)的數(shù)學(xué)模型，接著就可對(duì)新樣本進(jìn)行預(yù)測(cè)。尋找訓(xùn)練分類(lèi)器所需特征在任一分類(lèi)之前的第一個(gè)任務(wù)是訓(xùn)練我們的分類(lèi)器。我們用大小為144*33的75張車(chē)牌和35非車(chē)牌來(lái)訓(xùn)練我們的系統(tǒng)。我們?cè)谙旅娴膱D中能看到數(shù)據(jù)的一些樣本。為機(jī)器學(xué)習(xí)的SVM算法訓(xùn)練的數(shù)據(jù)存儲(chǔ)在一個(gè)N*M的矩陣中，N表示樣本數(shù)，M表示特征數(shù)。類(lèi)別存儲(chǔ)在另外一個(gè)大小為N*1的矩陣中。用0或者1表示無(wú)車(chē)牌和有車(chē)牌類(lèi)別。我們將以上存儲(chǔ)了已經(jīng)處理好和準(zhǔn)備好的所有圖像的數(shù)據(jù)，寫(xiě)成xml文件保存起來(lái)輸入到分類(lèi)器中進(jìn)行訓(xùn)練。創(chuàng)建和訓(xùn)練分類(lèi)器Opencv為支持向量機(jī)算法定義了CvSVM類(lèi)。我們用訓(xùn)練的數(shù)據(jù)、類(lèi)別和參數(shù)數(shù)據(jù)來(lái)初始化它并用CvSVM類(lèi)中的train（）函數(shù)訓(xùn)練我們的分類(lèi)器。CvSVM

svmClassifier(SVM_TrainingData,

SVM_Classes,

Mat(),

Mat(),

SVM_p