基于人工神經(jīng)網(wǎng)絡(luò)的光學字符識別系統(tǒng)及硬件實現(xiàn)

1、1基于人工神經(jīng)網(wǎng)絡(luò)的光基于人工神經(jīng)網(wǎng)絡(luò)的光學字符識別系統(tǒng)及硬件學字符識別系統(tǒng)及硬件實現(xiàn)實現(xiàn)貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所2選題背景及意義選題背景及意義o 人工神經(jīng)網(wǎng)絡(luò)目前已經(jīng)廣泛地用來解決模式識別和人工神經(jīng)網(wǎng)絡(luò)目前已經(jīng)廣泛地用來解決模式識別和人工智能領(lǐng)域的一些復雜問題。由于人工神經(jīng)網(wǎng)絡(luò)人工智能領(lǐng)域的一些復雜問題。由于人工神經(jīng)網(wǎng)絡(luò)的非線性以及并行性和魯棒性等特點，在上述領(lǐng)域，的非線性以及并行性和魯棒性等特點，在上述領(lǐng)域，其取得了以往傳統(tǒng)算法無法獲得的成功。其取得了以往傳統(tǒng)算法無法獲得的成功。o 由于人工神經(jīng)網(wǎng)絡(luò)等新技術(shù)的引入，由于人工神經(jīng)網(wǎng)絡(luò)等新技術(shù)的引入，從上世紀

2、從上世紀70年年代以來，光學字符識別技術(shù)逐漸走向成熟。對于脫代以來，光學字符識別技術(shù)逐漸走向成熟。對于脫機印刷體字符的識別，目前已經(jīng)有了很高的識別率；機印刷體字符的識別，目前已經(jīng)有了很高的識別率；對于小規(guī)模的手寫體字符識別，也已經(jīng)走向?qū)嵱?。對于小?guī)模的手寫體字符識別，也已經(jīng)走向?qū)嵱谩?o 當前，由于半導體加工工藝的進步，微處理器的體當前，由于半導體加工工藝的進步，微處理器的體積越來越小，速度越來越快。這使得構(gòu)建能夠替代積越來越小，速度越來越快。這使得構(gòu)建能夠替代PCPC機功能而體積更小、造價更低的硬件平臺成為可機功能而體積更小、造價更低的硬件平臺成為可能。能。 貴州大學計算機軟件與理論研究所貴

3、州大學計算機軟件與理論研究所3選題背景及意義選題背景及意義o 小規(guī)模光學字符識別系統(tǒng)應(yīng)用廣泛，有著巨大的小規(guī)模光學字符識別系統(tǒng)應(yīng)用廣泛，有著巨大的商業(yè)前景。如：郵政編碼識別、汽車照牌識別、商業(yè)前景。如：郵政編碼識別、汽車照牌識別、交通標示識別、產(chǎn)品編碼識別等。交通標示識別、產(chǎn)品編碼識別等。o 能夠處理視頻的嵌入式設(shè)備也有著廣泛的應(yīng)用前能夠處理視頻的嵌入式設(shè)備也有著廣泛的應(yīng)用前景。如視頻監(jiān)控、視頻通訊、機器視覺系統(tǒng)等。景。如視頻監(jiān)控、視頻通訊、機器視覺系統(tǒng)等。貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所4研究了人工神經(jīng)網(wǎng)絡(luò)及光學字符識別的基本理論、一般方法：研究了人工神經(jīng)網(wǎng)絡(luò)及光

4、學字符識別的基本理論、一般方法：對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展、現(xiàn)狀、理論做了深入的研究。重點研究對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展、現(xiàn)狀、理論做了深入的研究。重點研究了了BP網(wǎng)絡(luò)的原理、特點、應(yīng)用方法。研究了脫機光學字符識別的方法、網(wǎng)絡(luò)的原理、特點、應(yīng)用方法。研究了脫機光學字符識別的方法、理論。重點研究了基于理論。重點研究了基于K-L變換的字符圖像的特征抽取方法。變換的字符圖像的特征抽取方法。o研究了基于研究了基于ARM技術(shù)的嵌入式系統(tǒng)的構(gòu)造、設(shè)計：技術(shù)的嵌入式系統(tǒng)的構(gòu)造、設(shè)計：通過實際動手，研究了基于通過實際動手，研究了基于ARM技術(shù)的處理器的基本構(gòu)造、使用技術(shù)的處理器的基本構(gòu)造、使用方法；使用并比較了三星方法；

5、使用并比較了三星4510b、atmel at91rm9200芯片的性芯片的性能；掌握了高頻印刷版的設(shè)計工藝。能；掌握了高頻印刷版的設(shè)計工藝。o研究了研究了Linux操作系統(tǒng)的結(jié)構(gòu)及移植方法：操作系統(tǒng)的結(jié)構(gòu)及移植方法：本文的嵌入式系統(tǒng)使用本文的嵌入式系統(tǒng)使用ucLinux或或Linux操作系統(tǒng)。通過對操作操作系統(tǒng)。通過對操作系統(tǒng)的移植及對其代碼研究，掌握了在系統(tǒng)的移植及對其代碼研究，掌握了在ARM系統(tǒng)上移植系統(tǒng)上移植ucLinux操操作系統(tǒng)和作系統(tǒng)和Linux操作系統(tǒng)的方法、步驟。操作系統(tǒng)的方法、步驟。本文所做的主要工作與創(chuàng)新之處貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所5o實

6、現(xiàn)了圖像處理函數(shù)庫：實現(xiàn)了圖像處理函數(shù)庫：針對脫機光學字符處理的應(yīng)用需要，實現(xiàn)了一套高效的圖像處理針對脫機光學字符處理的應(yīng)用需要，實現(xiàn)了一套高效的圖像處理函數(shù)庫，包含圖像轉(zhuǎn)換、圖像抽取、圖像調(diào)整、圖像變換、圖像濾波、函數(shù)庫，包含圖像轉(zhuǎn)換、圖像抽取、圖像調(diào)整、圖像變換、圖像濾波、邊緣檢測、輪廓跟蹤、輪廓檢測、簡單幾何形狀識別幾大類。邊緣檢測、輪廓跟蹤、輪廓檢測、簡單幾何形狀識別幾大類。o實現(xiàn)了實現(xiàn)了BP人工神經(jīng)網(wǎng)絡(luò)函數(shù)庫：人工神經(jīng)網(wǎng)絡(luò)函數(shù)庫：實現(xiàn)了基于矩陣運算的實現(xiàn)了基于矩陣運算的BP神經(jīng)網(wǎng)絡(luò)算法。能夠利用神經(jīng)網(wǎng)絡(luò)算法。能夠利用Matlab生成生成的網(wǎng)絡(luò)數(shù)據(jù)進行快速的運算。的網(wǎng)絡(luò)數(shù)據(jù)進行快速的運

7、算。 o掌握了利用掌握了利用Matlab工具構(gòu)建人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法：工具構(gòu)建人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法：Matlab包含了能強大的人工神經(jīng)網(wǎng)絡(luò)工具箱。包含了能強大的人工神經(jīng)網(wǎng)絡(luò)工具箱。BP神經(jīng)網(wǎng)絡(luò)的規(guī)神經(jīng)網(wǎng)絡(luò)的規(guī)模、激活函數(shù)的選擇，直接影響了模、激活函數(shù)的選擇，直接影響了BP神經(jīng)網(wǎng)絡(luò)的效果。而神經(jīng)網(wǎng)絡(luò)的效果。而BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的規(guī)模、激活函數(shù)的選擇，目前并沒有完善的理論做支持，必須通過的規(guī)模、激活函數(shù)的選擇，目前并沒有完善的理論做支持，必須通過實驗來確定其規(guī)?；蛘呒せ詈瘮?shù)。另外，實驗來確定其規(guī)?；蛘呒せ詈瘮?shù)。另外，BP神經(jīng)網(wǎng)絡(luò)的訓練算法也必神經(jīng)網(wǎng)絡(luò)的訓練算法也必須通過實驗來選取一種最佳的方

8、案。須通過實驗來選取一種最佳的方案。 由于由于Matlab工具具有可視化效工具具有可視化效果、果、Matlab具有完善的訓練算法，因此，我們使用具有完善的訓練算法，因此，我們使用Matlab來確定網(wǎng)來確定網(wǎng)絡(luò)規(guī)模、結(jié)構(gòu)，并使用絡(luò)規(guī)模、結(jié)構(gòu)，并使用Matlab訓練訓練BP網(wǎng)絡(luò)。網(wǎng)絡(luò)。本文所做的主要工作與創(chuàng)新之處貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所6o實現(xiàn)了小規(guī)模光學字符識別算法：實現(xiàn)了小規(guī)模光學字符識別算法：利用利用K-L變換，完成字符圖像的特征抽取，利用變換，完成字符圖像的特征抽取，利用BP網(wǎng)絡(luò)，以網(wǎng)絡(luò)，以K-L變換抽變換抽取的特征為輸入，完成光學字符識別。文中利用美國

9、取的特征為輸入，完成光學字符識別。文中利用美國USPS數(shù)據(jù)庫，訓練了手數(shù)據(jù)庫，訓練了手寫體阿拉伯數(shù)字識別網(wǎng)絡(luò)，識別率高于寫體阿拉伯數(shù)字識別網(wǎng)絡(luò)，識別率高于92%。o對樣本的每個分類，單獨構(gòu)造一個對樣本的每個分類，單獨構(gòu)造一個BP神經(jīng)網(wǎng)絡(luò)分類器：神經(jīng)網(wǎng)絡(luò)分類器：通常，在構(gòu)造通常，在構(gòu)造BP神經(jīng)網(wǎng)絡(luò)分類器時，輸出層節(jié)點數(shù)目等于分類的數(shù)目，神經(jīng)網(wǎng)絡(luò)分類器時，輸出層節(jié)點數(shù)目等于分類的數(shù)目，輸出層每個節(jié)點就對應(yīng)于一個分類。本文中對每個分類都構(gòu)造一個輸出層每個節(jié)點就對應(yīng)于一個分類。本文中對每個分類都構(gòu)造一個BP網(wǎng)絡(luò)分網(wǎng)絡(luò)分類器，每個分類器輸出層包含一個節(jié)點，表示樣本為本分類的概率。這樣的類器，每個分類器輸

10、出層包含一個節(jié)點，表示樣本為本分類的概率。這樣的設(shè)計，大大降低了設(shè)計，大大降低了BP網(wǎng)絡(luò)的訓練難度。網(wǎng)絡(luò)的訓練難度。o利用阿拉伯數(shù)字的拓撲結(jié)構(gòu)。使用利用阿拉伯數(shù)字的拓撲結(jié)構(gòu)。使用2級分類器，提高了識別率：級分類器，提高了識別率：在初級網(wǎng)絡(luò)識別結(jié)果的基礎(chǔ)上，進一步利用阿拉伯數(shù)字的拓撲結(jié)構(gòu)，成在初級網(wǎng)絡(luò)識別結(jié)果的基礎(chǔ)上，進一步利用阿拉伯數(shù)字的拓撲結(jié)構(gòu)，成像特征，構(gòu)建了第像特征，構(gòu)建了第2級分類器。第二級級分類器。第二級BP網(wǎng)絡(luò)分類器的加入，大大提高的數(shù)網(wǎng)絡(luò)分類器的加入，大大提高的數(shù)字的識別率。字的識別率。 o實現(xiàn)了用于郵件自動分揀機的郵政編碼識別裝置：實現(xiàn)了用于郵件自動分揀機的郵政編碼識別裝置：綜

11、合上述的研究工作，文中實現(xiàn)了一個郵政編碼識別裝置。該裝置能夠綜合上述的研究工作，文中實現(xiàn)了一個郵政編碼識別裝置。該裝置能夠識完成郵編的定位、郵編抽取、識別等系列工作。配合郵件自動分揀機的其識完成郵編的定位、郵編抽取、識別等系列工作。配合郵件自動分揀機的其他物理動作單元，完成郵件的自動分揀工作。他物理動作單元，完成郵件的自動分揀工作。本文所做的主要工作與創(chuàng)新之處貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所7n 技術(shù)概述技術(shù)概述o 技術(shù)詳解技術(shù)詳解 o 應(yīng)用前景應(yīng)用前景內(nèi)容提要貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所8人工神經(jīng)網(wǎng)絡(luò)及BP網(wǎng)絡(luò)o神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究的背

12、景工作始于神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究的背景工作始于19世紀末和世紀末和20世紀初。它源于世紀初。它源于物理學、心理學和神經(jīng)生物學的跨學科研究物理學、心理學和神經(jīng)生物學的跨學科研究 。人工神經(jīng)網(wǎng)絡(luò)的第人工神經(jīng)網(wǎng)絡(luò)的第一個實際應(yīng)用出現(xiàn)在一個實際應(yīng)用出現(xiàn)在20世紀世紀50年代后期，年代后期，F(xiàn)rank Rosenblatt提出了提出了感知機網(wǎng)絡(luò)和學習規(guī)則感知機網(wǎng)絡(luò)和學習規(guī)則 。o神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學上的神經(jīng)元模型是和神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學上的神經(jīng)元模型是和在生物學上的神經(jīng)細胞對應(yīng)的?；蛘哒f，人工神經(jīng)網(wǎng)絡(luò)理論是用在生物學上的神經(jīng)細胞對應(yīng)的?；蛘哒f，人工神經(jīng)網(wǎng)絡(luò)理論是用神經(jīng)元這種

13、抽象的數(shù)學模型來描述客觀世界的生物細胞的神經(jīng)元這種抽象的數(shù)學模型來描述客觀世界的生物細胞的。oBP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，或被稱為多層感知機。嚴神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，或被稱為多層感知機。嚴格地說，這種神經(jīng)網(wǎng)絡(luò)之所以被稱為格地說，這種神經(jīng)網(wǎng)絡(luò)之所以被稱為BP神經(jīng)網(wǎng)絡(luò)，并非由于其網(wǎng)神經(jīng)網(wǎng)絡(luò)，并非由于其網(wǎng)絡(luò)結(jié)構(gòu)，而是由于其連接權(quán)值的訓練是基于一種叫做誤差反向傳絡(luò)結(jié)構(gòu)，而是由于其連接權(quán)值的訓練是基于一種叫做誤差反向傳播的算法播的算法(backpropagation)。BP算法實質(zhì)是求取誤差函數(shù)的最小算法實質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函值

14、問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負梯度方向修改權(quán)系數(shù)。數(shù)的負梯度方向修改權(quán)系數(shù)。貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所9光學字符識別o光學字符識別（光學字符識別（Optical Character Recognition，OCR）技術(shù)出現(xiàn)）技術(shù)出現(xiàn)于上個世紀于上個世紀50年代。它是屬于模式識別（年代。它是屬于模式識別（Pattern Recognition，PR）領(lǐng)域的一個重要分支。）領(lǐng)域的一個重要分支。50多年以來，光學字符識別技術(shù)隨著多年以來，光學字符識別技術(shù)隨著模式識別和人工智能研究的發(fā)展而逐步趨于成熟模式識別和人工智能研究的發(fā)展而逐步趨于

15、成熟 。字符識別包含。字符識別包含聯(lián)機識別和脫機識別兩種。本文研究對象為脫機識別。聯(lián)機識別和脫機識別兩種。本文研究對象為脫機識別。o結(jié)構(gòu)模式識別方法是人們最初用來進行手寫字符識別研究的方法，結(jié)構(gòu)模式識別方法是人們最初用來進行手寫字符識別研究的方法，早期的研究主要集中在如何準確地抽取基元、輪廓、特征點等能早期的研究主要集中在如何準確地抽取基元、輪廓、特征點等能夠反映字符結(jié)構(gòu)信息的特征上。然而，單純采用結(jié)構(gòu)模式識別方夠反映字符結(jié)構(gòu)信息的特征上。然而，單純采用結(jié)構(gòu)模式識別方法的脫機手寫字符識別系統(tǒng)，識別率較低，這就促使人們將目光法的脫機手寫字符識別系統(tǒng)，識別率較低，這就促使人們將目光轉(zhuǎn)向了統(tǒng)計模式識

16、別方法。轉(zhuǎn)向了統(tǒng)計模式識別方法。o統(tǒng)計法具有良好的抗噪聲、抗干擾的性能，其魯棒性主要體現(xiàn)在統(tǒng)計法具有良好的抗噪聲、抗干擾的性能，其魯棒性主要體現(xiàn)在統(tǒng)計特征的抽取和模式匹配方法上。用于脫機手寫字符識別的統(tǒng)統(tǒng)計特征的抽取和模式匹配方法上。用于脫機手寫字符識別的統(tǒng)計特征，根據(jù)特征抽取區(qū)域的不同可粗略地分為全局統(tǒng)計特征和計特征，根據(jù)特征抽取區(qū)域的不同可粗略地分為全局統(tǒng)計特征和局部統(tǒng)計特征兩大類。局部統(tǒng)計特征兩大類。 貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所10光學字符識別o全局統(tǒng)計特征是將整個字符點陣作為研究對象，從整體上抽取特全局統(tǒng)計特征是將整個字符點陣作為研究對象，從整體上抽取

17、特征。常用的是全局變換特征：對字符圖象進行各種變換，利用變征。常用的是全局變換特征：對字符圖象進行各種變換，利用變換系數(shù)作為特征，常用的變換有換系數(shù)作為特征，常用的變換有Fourier變換、變換、Hadamard變變換、換、DCT變換、變換、Walsh變換、變換、Rapid變換、變換、K-L變換等。另外還變換等。另外還有：不變矩（有：不變矩（Moment）特征、筆畫穿透數(shù)目特征、全局筆畫方）特征、筆畫穿透數(shù)目特征、全局筆畫方向特征、背景特征。向特征、背景特征。o局部統(tǒng)計特征是將字符點陣圖象分割成不同區(qū)域或網(wǎng)格，在各個局部統(tǒng)計特征是將字符點陣圖象分割成不同區(qū)域或網(wǎng)格，在各個小區(qū)域內(nèi)分別抽取統(tǒng)計特

18、征，主要包括局部筆畫方向特征、細胞小區(qū)域內(nèi)分別抽取統(tǒng)計特征，主要包括局部筆畫方向特征、細胞特征、相補特征、方向線素特征、特征、相補特征、方向線素特征、GaborGabor特征、四角特征。特征、四角特征。o根據(jù)抽取特征的不同，可以選用不同的匹配方法，常用的統(tǒng)計匹根據(jù)抽取特征的不同，可以選用不同的匹配方法，常用的統(tǒng)計匹配方法有模板匹配、相關(guān)匹配、樹分類器等。常用的距離度量有配方法有模板匹配、相關(guān)匹配、樹分類器等。常用的距離度量有歐氏距離、城市塊距離、馬氏距離等歐氏距離、城市塊距離、馬氏距離等。 貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所11準備樣本o 針對特定的應(yīng)用，準備樣本集。

19、并利用圖像處理技術(shù)，針對特定的應(yīng)用，準備樣本集。并利用圖像處理技術(shù)，將樣本標準化。將樣本標準化。例：美國郵政服務(wù)（USPS）數(shù)據(jù)庫貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所12對樣本做主分量分析（PCA）o 計算樣本集的主分量（特征圖），準備計算樣本集的主分量（特征圖），準備K-LK-L變換矩陣變換矩陣例：美國郵政服務(wù)（USPS）數(shù)據(jù)庫的特征圖貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所13抽取樣本的特征o 利用前面計算的利用前面計算的K-LK-L變換矩陣，計算每個樣本圖的特征變換矩陣，計算每個樣本圖的特征例：本文的數(shù)字識別研究中，利用K-L變換將16X16點

20、陣的圖像變換為維度為32或20的特征向量。貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所14訓練BP網(wǎng)絡(luò)分類器o 利用樣本集對應(yīng)的特征向量集，在利用樣本集對應(yīng)的特征向量集，在MatlabMatlab中設(shè)計、訓中設(shè)計、訓練練BPBP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)例：本文的數(shù)字識別研究中，構(gòu)造了10個20,20,16,8,1、輸出層使用purelin函數(shù)，其他層使用logsig函數(shù)的BP神經(jīng)網(wǎng)絡(luò)。貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所15圖像采集o 利用攝像頭采集大小適中、亮度適中的信封圖像利用攝像頭采集大小適中、亮度適中的信封圖像貴州大學計算機軟件與理論研究所貴州大學計算機

21、軟件與理論研究所16郵政編碼的定位o 利用郵政編碼邊框的顏色信息，分割出郵政編碼邊框圖利用郵政編碼邊框的顏色信息，分割出郵政編碼邊框圖像像貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所17郵政編碼的定位o 輪廓提取，并使用輪廓提取，并使用HoughHough變換，檢測出郵政編碼的具體變換，檢測出郵政編碼的具體位置位置貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所18郵政編碼圖像的提取o 提取出郵政編碼圖像，并根據(jù)圖像傾角，進行姿勢校正提取出郵政編碼圖像，并根據(jù)圖像傾角，進行姿勢校正貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所19灰度化o 將圖像灰度化將圖像灰度化貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所20二值化o 將圖像二值化將圖像二值化貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所21筆畫粗細調(diào)整o 將圖像中的文字筆畫粗細做調(diào)整將圖像中的文字筆畫粗細做調(diào)整貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所22圖像標準化并識別o 將圖像標準化為將圖像標準化為16X1616X16大小，并識別大小，并識別貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所23貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理論研究所24貴州大學計算機軟件與理論研究所貴州大學計算機軟件與理