基于-FPGA車(chē)牌識(shí)別系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

1、-基于FPGA車(chē)牌識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)摘 要：本文對(duì)傳統(tǒng)的以通用數(shù)字信號(hào)處理器(dsp)為核心的車(chē)牌識(shí)別系統(tǒng)進(jìn)展了改良，介紹了一種新的基于fpga車(chē)牌識(shí)別系統(tǒng)。該系統(tǒng)主要通過(guò)攝像頭采集汽車(chē)車(chē)牌圖像，經(jīng)過(guò)fpga核心處理器對(duì)圖像進(jìn)展處理，識(shí)別出車(chē)牌號(hào)，并通過(guò) lcd 顯示。經(jīng)過(guò)調(diào)試運(yùn)行，該系統(tǒng)實(shí)現(xiàn)了車(chē)牌識(shí)別的功能，可運(yùn)用于工程實(shí)踐。關(guān)鍵詞：fpga；車(chē)牌識(shí)別；圖像預(yù)處理；模板匹配【abstract】based on the traditional dsp, measurement was improved. the article mainly studies the design and re

2、alization of vlpr based on fpga. the system acquisitions the auto plate image through ccd and processes it in the fpga chip, then recognizes the plate and displays on the lcd. it realizes the function of vlpr after being debugged, and this can be used in the engineering projects.【key words】fpga; vlp

3、r; image processing; module match 0 引 言智能交通系統(tǒng)已成為當(dāng)前交通管理開(kāi)展的重要方向,而車(chē)輛牌照識(shí)別是計(jì)算機(jī)視覺(jué)與模式識(shí)別在智能交通領(lǐng)域應(yīng)用的重要研究課題之一,有著廣泛的實(shí)際應(yīng)用前景1。傳統(tǒng)的車(chē)輛牌照識(shí)別大多以pc平臺(tái)上的純軟件算法或dsp處理器為核心來(lái)實(shí)現(xiàn)。由pc機(jī)構(gòu)建的系統(tǒng)非小型化,在系統(tǒng)實(shí)時(shí)性的方面存在缺乏,主要用于前期算法的研究;而以通用的數(shù)字信號(hào)處理器(dsp)為核心的車(chē)牌識(shí)別系統(tǒng)外圍電路設(shè)計(jì)復(fù)雜,開(kāi)發(fā)調(diào)試?yán)щy,系統(tǒng)的可擴(kuò)展性和升級(jí)性較差。本文所構(gòu)建的車(chē)牌字符系統(tǒng)基于fpga平臺(tái),具有并行運(yùn)算能力強(qiáng)、接口邏輯豐富等特性,為構(gòu)建實(shí)時(shí)、便攜的車(chē)牌字符

4、識(shí)別系統(tǒng)提供了一種有效、可行的解決方案。 1 系統(tǒng)概述系統(tǒng)的整體設(shè)計(jì)流程如下列圖1所示。本系統(tǒng)主要采用*ilin*公司的virte*-2 pro開(kāi)發(fā)板為實(shí)驗(yàn)平臺(tái),根據(jù)該系統(tǒng)實(shí)現(xiàn)的功能,將系統(tǒng)劃分為硬、軟件兩局部,硬件局部包括車(chē)牌采集和a/d轉(zhuǎn)換、車(chē)牌預(yù)處理等;軟件局部主要是在spartan-3e fpga上使用microblaze軟核系統(tǒng)開(kāi)發(fā)，并使用多模板匹配算法對(duì)車(chē)牌進(jìn)展識(shí)別,最后識(shí)別結(jié)果在lcd上顯示。 2 系統(tǒng)硬件方案設(shè)計(jì)本系統(tǒng)主要由ccd攝像頭、圖像采集板、*c2vp30芯片、*ccace 芯片、以及l(fā)cd 顯示器等組成。系統(tǒng)的工作原理是：由攝像機(jī)輸出的模擬視頻信號(hào)通過(guò)圖像采集板進(jìn)展模

5、數(shù)轉(zhuǎn)換以及轉(zhuǎn)換成相應(yīng)圖像格式進(jìn)展存儲(chǔ)，然后從存儲(chǔ)器中將信號(hào)送至*c2vp30 芯片進(jìn)展車(chē)牌圖像處理，最終在 lcd 上以文本的形式顯示出由攝像頭拍攝的車(chē)牌。 3 軟件算法設(shè)計(jì)與實(shí)現(xiàn)通過(guò)車(chē)牌軟件算法的研究，并運(yùn)用計(jì)算機(jī)仿真及fpga集成開(kāi)發(fā)環(huán)境ise編程實(shí)現(xiàn)車(chē)牌識(shí)別功能。3.1 車(chē)牌定位技術(shù)車(chē)牌定位是車(chē)牌識(shí)別技術(shù)的核心技術(shù),本文所采用的車(chē)牌定位方法流程圖如圖3所示。車(chē)牌定位算法步驟如下:(1)輸入采集到的彩色圖片(2)把彩色圖片轉(zhuǎn)化為256色灰度級(jí)的dib位圖灰度圖像(3)用基于空間分布的最大類(lèi)間二值化方法將灰度圖像二值化(4)對(duì)二值化圖像進(jìn)展中值濾波處理(5)采用邊緣檢測(cè)算子來(lái)實(shí)現(xiàn)車(chē)牌區(qū)域和背

6、景的別離(6)對(duì)處理后的圖像進(jìn)展逐行逐列掃描,確定車(chē)牌的上下左右邊界,并返回車(chē)牌所在位置,假設(shè)不存在車(chē)牌則返回失敗。 圖像的灰度化在車(chē)牌識(shí)別技術(shù)中將圖像進(jìn)展灰度化處理，不僅不會(huì)大量損失車(chē)牌信息，并且由于灰度圖像包含的信息量比彩色圖像要小得多，處理起來(lái)也不必考慮車(chē)牌顏色不同的情況，既簡(jiǎn)化了處理過(guò)程又不會(huì)影響識(shí)別精度?；叶然瘓D像可根據(jù)以下公式進(jìn)展2：v= r×0.3+g×0.6+b×0.1式中 r、g、b 分別是讀取的紅、綠、藍(lán)的分量值，v 是計(jì)算出的每個(gè)像素的灰度值。然后，將像素的 r、g、b 三分量的值都設(shè)為 v 重新寫(xiě)回存，實(shí)現(xiàn)彩色圖像向灰度圖像(如圖4所示)的

7、轉(zhuǎn)化。3.1.2 圖像的二值化圖像的二值化(如圖5所示)就是把灰度圖像變成黑白圖像?；叶葓D像的二值化就是選取一個(gè)閾值，當(dāng)灰度值大于該閾值時(shí)令其為白點(diǎn)，否則為黑點(diǎn)。根據(jù)閾值選取的不同，二值化的算法分為固定閾值和自適應(yīng)閾值。一般來(lái)說(shuō)，固定閾值容易導(dǎo)致車(chē)牌信息喪失，產(chǎn)生錯(cuò)誤的識(shí)別結(jié)果，所以自適應(yīng)閾值的靈活性比固定閾值的處理效果要好。在本系統(tǒng)中實(shí)現(xiàn)了一種稱(chēng)為雙峰法的自適應(yīng)閾值選擇方法3。雙峰法的原理是根據(jù)圖像由前景和背景組成，而前后二景都形成頂峰，在雙峰之間的最低谷就是圖像的閾值所在。但是自適應(yīng)閾值可能會(huì)產(chǎn)生許多噪聲點(diǎn)。圖4 灰度圖圖5 二值圖3.1.3 中值濾波灰度圖像本身含有較多的噪點(diǎn)，再加上二值

8、化處理后的圖像可能產(chǎn)生的噪點(diǎn)，為了克制圖像的模糊,消除干擾和孤立噪聲，需要進(jìn)展濾波處理，濾波有很多種不同的方法，本文采用了中值濾波方法。在fpga中實(shí)現(xiàn)中值濾波,出于實(shí)際處理速度、處理效果和器件資源考慮,本文選用3×3鄰域窗口?？紤]到fpga強(qiáng)大的并行處理數(shù)據(jù)能力,此處設(shè)計(jì)一種對(duì)3×3鄰域中九個(gè)數(shù)據(jù)一起處理的方法。圖6為本文在fpga中設(shè)計(jì)實(shí)現(xiàn)快速中值濾波的框圖4。 邊緣檢測(cè)邊緣檢測(cè)5的最大好處就是能夠突出邊緣區(qū)域，并使背景圖像中無(wú)關(guān)的局部暗淡，實(shí)現(xiàn)車(chē)牌區(qū)域和背景的別離。本系統(tǒng)采用了水平差分算法，它利用圖像后一列像素減去前一列像素，從而得到邊緣圖像。為此設(shè)計(jì)了一個(gè)水平模板算

9、子，即tm= 1,1,1,1,1,1,1。它是一個(gè)7×1 向量，使用該算子與圖像進(jìn)展卷積，取平均值然后再與原圖像進(jìn)展差分運(yùn)算，當(dāng)差分值大于*一門(mén)限值就認(rèn)為它是邊緣目標(biāo)，否則是背景6。3.1.5 車(chē)牌邊界確實(shí)定1)定位牌照的上下邊界：從灰度圖的第1行開(kāi)場(chǎng)掃描，記錄該行中灰度變化大于*一預(yù)設(shè)閾值的點(diǎn)的個(gè)數(shù)，如果其個(gè)數(shù)大于點(diǎn)數(shù)閾值，則認(rèn)為該行可能包含圖像。觀察標(biāo)志變量，如果其值為假，則置為真，否則繼續(xù)。如果其個(gè)數(shù)小于點(diǎn)數(shù)閾值，也觀察標(biāo)志，假設(shè)為假則檢測(cè)繼續(xù)，假設(shè)為真，則將另一個(gè)變量值加1，如果新值大于行數(shù)閾值，則認(rèn)為上面找到的高變化區(qū)域與下面無(wú)聯(lián)系了，然后看它的高度是否符合車(chē)牌的條件，假設(shè)

10、是則認(rèn)為是車(chē)牌區(qū)域，否則將所有標(biāo)志位復(fù)位，從下一行重新開(kāi)場(chǎng)。2)定位牌照的左右邊界:在找到車(chē)牌的上下限后,利用二值圖像在豎直方向上的投影作為特征,從左到右尋找目標(biāo)的中心點(diǎn)坐標(biāo)。車(chē)牌定位效果如圖7所示:圖7 切割后的車(chē)牌圖像3.2 車(chē)牌字符分割車(chē)牌圖像的分割即把車(chē)牌的整體區(qū)域分割成單字符區(qū)域,以便后續(xù)進(jìn)展識(shí)別。車(chē)牌分割的難點(diǎn)在于噪聲和字符粘連,斷裂對(duì)字符的影響。本文主要采用了先驗(yàn)知識(shí),垂直投影等方法將字符分開(kāi)。在充分利用圖像本身的特點(diǎn)的前提下,引進(jìn)的先驗(yàn)知識(shí)不受字符的粘連和斷裂的影響,有很好的預(yù)分割效果,以致最后的綜合分割效果較好,為字符的識(shí)別做好了準(zhǔn)備。首先對(duì)車(chē)牌圖片進(jìn)展水平方向的投影,去除水

11、平邊框,然后再進(jìn)展垂直方向的投影。通過(guò)分析車(chē)牌投影可以得知,投影中最大值峰所對(duì)應(yīng)的是車(chē)牌中的第二個(gè)字符和第三個(gè)字符之間的間隔,第二大峰中心距離對(duì)應(yīng)的是車(chē)牌字符的寬度,以此類(lèi)推就可以對(duì)車(chē)牌進(jìn)展分割。圖8是字符分割后的結(jié)果。3.3 車(chē)牌字符識(shí)別字符識(shí)別的最終目的是用計(jì)算機(jī)代替人眼將圖像中的字符自動(dòng)識(shí)別出來(lái)，識(shí)別算法要解決的最主要問(wèn)題就是提高識(shí)別正確率和識(shí)別速度。首先將標(biāo)準(zhǔn)模板入庫(kù),按國(guó)家車(chē)牌標(biāo)準(zhǔn)的大小、字體、字符間距等打印出數(shù)樣品,其前景、背景清晰,字符沒(méi)有斷續(xù),很少噪聲、且包含了所有可能的車(chē)牌字符,作為"標(biāo)準(zhǔn)車(chē)牌,用以采樣制作標(biāo)準(zhǔn)字符矩陣庫(kù)。把每一"標(biāo)準(zhǔn)車(chē)牌分割出來(lái)的字符歸一

12、化7,接著將歸一化后的模板矩陣存入fpga中作為標(biāo)準(zhǔn)模板庫(kù),根據(jù)實(shí)驗(yàn)情況,模板越大識(shí)別率越高,但同時(shí)會(huì)帶來(lái)運(yùn)算數(shù)據(jù)量的大大增加,于是在綜合考慮準(zhǔn)確度和microblaze軟核的工作效率后采用20×15bit大小的數(shù)組作為標(biāo)準(zhǔn)模板。當(dāng)車(chē)牌上的待識(shí)別字符歸一化以后,依次與標(biāo)準(zhǔn)庫(kù)中的模板進(jìn)展匹配,即矩陣對(duì)應(yīng)位依次做差,分別計(jì)算總的一樣像素個(gè)數(shù),則有最大一樣數(shù)目的那一組數(shù)認(rèn)為是相似度最大,則用此時(shí)的標(biāo)準(zhǔn)模板所對(duì)應(yīng)的數(shù)字或字母作為最終識(shí)別的結(jié)果。 4 測(cè)量結(jié)果實(shí)驗(yàn)結(jié)果說(shuō)明,提出的方法能夠很好地實(shí)現(xiàn)車(chē)牌的定位,并且定位準(zhǔn)確。在pal制式的ccd攝像頭、*ilin* virte*-2 pro開(kāi)發(fā)板

13、和lcd的實(shí)驗(yàn)環(huán)境下,隨機(jī)選取20車(chē)牌進(jìn)展檢測(cè),在不同的光照條件下,正確檢測(cè)出的字符率到達(dá)了90%以上,在光照較好的情況下,識(shí)別率到達(dá)94%以上,且平均識(shí)別時(shí)間不到0.1秒,完全滿足實(shí)時(shí)性的需求。 5 分析與討論本系統(tǒng)設(shè)計(jì)的車(chē)牌識(shí)別技術(shù)存在以下問(wèn)題:1破舊車(chē)牌識(shí)別難度較大：由于車(chē)牌經(jīng)過(guò)長(zhǎng)時(shí)間的使用,不可防止會(huì)出現(xiàn)磨損現(xiàn)象,再加上路面上行駛的車(chē)輛不可能都是標(biāo)準(zhǔn)干凈的車(chē)牌，致使本系統(tǒng)不能較好的識(shí)別此類(lèi)車(chē)牌。2攝像機(jī)技術(shù)有待進(jìn)一步提高：由于有些圖片亮度過(guò)高或車(chē)牌區(qū)域過(guò)于模糊,本系統(tǒng)不能較好的實(shí)現(xiàn)車(chē)牌的準(zhǔn)確定位。 6 結(jié)論本文通過(guò)軟件與硬件設(shè)計(jì)的結(jié)合，在fpga集成開(kāi)發(fā)環(huán)境ise軟件中分別對(duì)圖像進(jìn)展灰

14、度化、二值化、定位、分割及識(shí)別等，最終在lcd上顯示出車(chē)牌字符。系統(tǒng)具有視頻圖像采集實(shí)時(shí),車(chē)牌定位分割準(zhǔn)確和識(shí)別誤差低等特點(diǎn)。這種基于ise技術(shù)的片上系統(tǒng)設(shè)計(jì)方法具有硬件設(shè)計(jì)靈活,可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn),它彌補(bǔ)了傳統(tǒng)pc機(jī)系統(tǒng)和dsp系統(tǒng)設(shè)計(jì)的缺乏，有效地降低了系統(tǒng)軟硬件設(shè)計(jì)的難度，縮短了開(kāi)發(fā)周期，并提高了設(shè)計(jì)的可靠性。但從實(shí)驗(yàn)結(jié)果來(lái)看,這種方法有待進(jìn)一步的改良。同時(shí)，車(chē)牌定位和字符識(shí)別的算法對(duì)于污染嚴(yán)重的車(chē)牌有待進(jìn)一步的改良，這將是下一步著重解決的問(wèn)題。參考文獻(xiàn)1 勇,吳勇,周芳.對(duì)我國(guó)智能交通系統(tǒng)(its)開(kāi)展的探討j.交通與平安,2006,49(1):48-50.2 何斌，馬天予，王運(yùn)堅(jiān)等.visual c+ 數(shù)字圖像處理.第一版.：人民郵電，20013 王茜,中,莉.一種基于自適應(yīng)