基于FPGA的車牌識別系統(tǒng).ppt

1、基于FPGA車牌識別系統(tǒng),指導老師：翟建芳 小組成員：鄒玉龍茍旭博 于洋李少華,項目背景,隨著經(jīng)濟與生活水平的提高，車輛的數(shù)目日益增多，對車輛的自動化管理顯得日益重要。 總體上看，對車輛的管理，已經(jīng)成為國家交通運輸?shù)闹匾獌?nèi)容。 傳統(tǒng)的車輛管理系統(tǒng)是在對圖像進行采集后進行存儲，之后傳送至計算機內(nèi)進行人工識別。 如果單靠人工進行管理，浪費了大量的精力與物力。 很顯然，傳輸圖像有許多多余，而且這種工作對于人類來說很枯燥與無價值。,項目產(chǎn)品特點,本系統(tǒng)采用FPGA來做車牌自動識別，能在以下幾個方面應用并體現(xiàn)出優(yōu)越性： 停車場亂停車輛：在交通不是繁忙地段可以傳輸文字。 車輛的追蹤：可以根據(jù)該車輛在數(shù)據(jù)庫

2、的信息，查出該車出現(xiàn)過位置 節(jié)約存儲空間 節(jié)約人力資源 體積小，可靠性高,理論基礎,模式識別、數(shù)字圖像處理、數(shù)字信號處理以及概率統(tǒng)計理論基礎，通過FPGA的靈活編程實現(xiàn)自己計算方法。通過功能仿真、綜合后仿真和時序仿真后，確保編寫出的模塊正確性，就可以把編寫好的各個功能模塊下載到FPGA內(nèi)部或者片外的配置器件中。,硬件平臺,FPGA(現(xiàn)場可編程邏輯陣列) 本系統(tǒng)采用Xilinx公司SPARTAN-3E和Virtex-5進行測試，Virtex中嵌入了PowerPC處理器，在SPARTAN-3E上使用Microblaze軟核系統(tǒng)開發(fā)，在Virtex-5中實現(xiàn)軟件硬件化。,開發(fā)流程,FPGA系統(tǒng)開發(fā)流

3、程可分為軟件與硬件，從硬件寄存器操作和算法程序代碼編寫兩方面進行開發(fā)。,軟件平臺,*)Xilinx ISE：仿真，對算法、關鍵路徑、流水線、有限狀態(tài)機等優(yōu)化，軟核與EDK的應用。 *)Synplify：綜合下載到FPGA *)Modelsim：功能仿真 *)Xilinx AccelDSP:數(shù)字信號處理工具 *)Xilinx platform studio(XPS):在集成環(huán)境GUI中創(chuàng)建完成嵌入式設計 *)Xilinx software development kit(SDK):對XPS的一些補充，包括中斷定時器控制等 *)可編程網(wǎng)表構造(platform generator):以及驗證測試軟

4、件,系統(tǒng)功能確定,圖像數(shù)據(jù)傳送到FPGA上，通過算法實現(xiàn)將車牌上字符顯示在LCD上,研發(fā)預期成果,系統(tǒng)指標,性能：以O（n）=1s實現(xiàn)識別功能。 成本：spartan-3e(700元) virtex-5(10290元)； 開發(fā)人員費用（0元）； 模式識別、數(shù)字圖像處理視頻（0元）； 相關FPGA書籍以及網(wǎng)絡資源（0元）； 功耗：本身傳輸字符小容量并且使用交流電。 功耗因素影響較弱。 可靠性：達到60%識別率，車牌傾斜角度不超過10度內(nèi)， 可以成功識別。,系統(tǒng)階段產(chǎn)品時間,階段分析,階段一：理論調(diào)研 對車牌涉及的圖像、算法、模式識別、FPGA、總線協(xié)議知識進行調(diào)研作為理論基礎。 階段二：分割字符

5、 將圖像數(shù)據(jù)輸入FPGA中，基于常用的垂直投影算法，使用變換的分割閾值，經(jīng)過迭代循環(huán)，達到字符分割。 階段三：識別 車牌上的字符由字母，數(shù)字，漢字構成。由模式識別中的聚類來看一共是26+10+34個聚類中心，對采集來的數(shù)據(jù)進行濾波等處理后進行聚類 結構匹配，由于已知是70個聚類，所以采用K均值聚類法來進行分類決策 算法：在FPGA上使用軟核對其進行K均值迭代計算，將樣本與已經(jīng)有的聚類通過最小距離進行匹配。這里K中聚類的數(shù)目、初始值、模塊集合分布會影響算法速度，如果可以優(yōu)化出能快速選中相鄰的聚類，可以大大的提高實時要求。 階段四：定位 車牌的提取，采用多個特征（顏色分量，灰度圖，形狀大?。┻M行對

6、車牌的定位提取出車牌圖像，F(xiàn)PGA上并行處理后給出決策判定。 階段五（*）：傳輸 通過通信協(xié)議進行對經(jīng)過處理的圖像數(shù)據(jù)與PC的互聯(lián)。,關鍵技術分析,字符分割：將背景中有意義的單個字符提取出來，為識別打下基礎。 字符分割技術有許多比如：車牌區(qū)域紋理特征、數(shù)學形態(tài)學、Hough變換都能分割字符。 本系統(tǒng)字符分割流程：二值化-搜索字符邊界-執(zhí)行分割 由于字符塊在豎直方向上的投影必然在字符間取得局部最小，因此字符 正確分割位置應該在上述局部最小值附近，所以采用垂直投影方法實現(xiàn)。 這里是基于車牌已經(jīng)定位情況。明確白色灰度值255，黑色灰度值0。 分割流程：二值化-搜索字符邊界-執(zhí)行分割 *)二值化：將灰

7、度圖像選取一個適當?shù)拈撝底優(yōu)楹诎讏D像，可以根據(jù)需求 設置不同的閾值以便進行分割。 *)尋找字符邊框：豎直掃描圖像出現(xiàn)灰度值連續(xù)超過某個定值，確定上下 邊界；橫向掃描圖像出現(xiàn)灰度值連續(xù)超過某個定值，確定左右邊界。也 可以采用Hough變換（原坐標系下對應的線在參數(shù)左邊系下呈現(xiàn)成點）求得。 *)字符分割：垂直投影就是豎直邊界內(nèi)掃描，小于某個定值即進行分割。,字符識別：由于涉及模式識別、圖像處理、人工智能、計算機 等學科，識別方法多種多樣。 主要識別方法有：統(tǒng)計識別、結構識別、神經(jīng)網(wǎng)絡字符識別、模板匹配字符識別。由于圖像環(huán)境復雜，統(tǒng)計和 結構識別兩種傳統(tǒng)方法并不可靠，目前主要采用后兩類。 *)神經(jīng)網(wǎng)

8、絡字符識別具有良好容錯、分類、并行 處理能力，但是為 了保證識別率需要大量樣本，這就需要長時間學習。 *)模板匹配字符識別相對算法簡單，速度較快主要有簡單模板匹配、 外圍輪廓匹配、投影序列匹配、外圍輪廓投影匹配等。 本系統(tǒng)主要研究神經(jīng)網(wǎng)絡和模板匹配兩種方法。目前掌握知識還有所欠缺，邊做邊學。,關鍵技術分析,關鍵技術分析,車牌定位：車牌圖像中并不只包含車牌，還有車身、背景以及噪聲。 目的：在復雜環(huán)境中準確快速找出車牌位置。 方法：水平灰度特征提取、邊緣檢測定位、車牌顏色特征提取、 Hough變換定位、小波變換、數(shù)學形態(tài)學等理論方法。 由于水平灰度特征對車體顏色依賴性、邊緣檢測后續(xù)工作依然復雜、小

9、波變換在FPGA上實現(xiàn)難度等特點，并且由于理論到實踐以及代碼實現(xiàn)有所差別，本系統(tǒng)將測試主要使用顏色特征提取，也將實驗Hough變換定位或者更多的方法進行實驗。 其中顏色特征提取根據(jù)每個顏色都是由RGB分量構成而RGB與灰度圖關系轉換成灰度圖像，由于車牌大部分是藍白和黑黃所以設定特定的閾值來進行局部二值化后，從底部開始水品掃描，由于字符的存在，通過黑白變化的次數(shù)來確定字符上下界。,階段開發(fā)管理,實現(xiàn)客戶需要主要功能：即識別車牌。 開發(fā)中，每2周開次30分鐘例行會議，每周4人輪流寫份周報，提高交流溝通。 第二階段完成能交付客戶識別字符功能，與用戶交流（根據(jù)用戶需求看能否省略如疆等字符識別），給予充

10、足時間對主要需求進行測試。 第三階段完成交付客戶車牌定位功能，根據(jù)進度分析用戶是否需要變更或者額外功能。,風險估計,1、管理和設計風險（40%） 類似的成熟產(chǎn)品已經(jīng)出現(xiàn)，需要在別人的基礎上面，做得更好。 項目的時間很有限，需要完成的工作比較重。 2、技術風險（50%） 需要學習模式識別、數(shù)字圖像處理、數(shù)字信號處理以及概率統(tǒng)計理論基礎課程和FPGA，以及一些軟件的使用。 需要攻克一些技術難點。 文字和圖像定位技術。 文字和圖像分割技術。 文字和圖像提取技術。 文字和圖像存儲技術。 將文字和圖像數(shù)據(jù)和FPGA關聯(lián)的技術。 模糊識別，排除環(huán)境干擾等等的技術。 節(jié)省流量技術。 3、保證產(chǎn)品的穩(wěn)定性與識別率（10%）,任務分解，成員分工,工程開發(fā)避免不了人力分配，考慮到考試等外界因素，在我們這次系統(tǒng)開發(fā)中兩個人負責一個功能模塊，不但防止人員變動造成產(chǎn)品延期，也能促進成員對系統(tǒng)整體了解。,當前進度,按照課本以及相關FPGA書籍上測試程序在開發(fā)板上實驗（包括點亮LED、LCD庫內(nèi)字符顯示、開關控制LED和LCD），加深對FPGA了