基于特征提取人工神經(jīng)網(wǎng)絡(luò)和自組織映射網(wǎng)絡(luò)的手寫字母數(shù)字識(shí)別

基于特征提取人工神經(jīng)網(wǎng)絡(luò)和改進(jìn)型自組織映射網(wǎng)絡(luò)的手寫字母數(shù)字識(shí)別簡(jiǎn)介本文提出了一種手寫字母和數(shù)字識(shí)別的新方法。本文使用特征來(lái)表示手寫字母的相對(duì)拓?fù)浣Y(jié)構(gòu)，這些特征包括：行的終點(diǎn)、角、聯(lián)結(jié)點(diǎn)、交叉點(diǎn)、不同特征點(diǎn)之間的線段、孤立的圓。這些特征的提取通過(guò)多層相互聯(lián)結(jié)的人工神經(jīng)網(wǎng)絡(luò)提取。標(biāo)準(zhǔn)樣本的特征點(diǎn)通過(guò)自組織神經(jīng)網(wǎng)絡(luò)（SOM）映射到樣本上。通過(guò)比較與標(biāo)準(zhǔn)樣本的特征分布的相似度來(lái)識(shí)別樣本的特征。改進(jìn)型的SOM有如下幾點(diǎn)優(yōu)點(diǎn)：1.因?yàn)橐粋€(gè)特征被分類到幾個(gè)組中所以它的特征點(diǎn)會(huì)很少。2.為了找到合適的特征點(diǎn)，SOM網(wǎng)絡(luò)從不同的環(huán)形區(qū)域組建。3.特征點(diǎn)同時(shí)從樣本和標(biāo)準(zhǔn)樣本的提取。4.會(huì)從不同的行特征提取相鄰的點(diǎn)。這些改進(jìn)會(huì)使SOM網(wǎng)絡(luò)更加穩(wěn)定，組建網(wǎng)絡(luò)更加快速。計(jì)算機(jī)訪真顯示，提出的方法能夠識(shí)別大量的不同的樣本。1引言手寫字母的識(shí)別是人工神經(jīng)網(wǎng)絡(luò)非常重要的一個(gè)就用。因?yàn)閭鹘y(tǒng)的計(jì)算方法無(wú)法很好的達(dá)到識(shí)別目標(biāo)，科學(xué)家希望人工神經(jīng)網(wǎng)絡(luò)在此方面能夠表現(xiàn)得更好些，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)是通過(guò)模擬人的大腦對(duì)信息的處理方式來(lái)對(duì)數(shù)據(jù)進(jìn)行處理。但是要模擬出人的信息處理方式并不是件容易的事，這方面的知識(shí)太少。然而仍然提出了有許多與人大腦信息處理方式相接近的人工神經(jīng)網(wǎng)絡(luò)感知識(shí)是第一個(gè)用于模試識(shí)別網(wǎng)絡(luò)模型。近年來(lái)，提出了許多與bp神經(jīng)網(wǎng)絡(luò)及SOM網(wǎng)絡(luò)相似的網(wǎng)絡(luò)模型。其中的一些通過(guò)不同的網(wǎng)絡(luò)模型從手寫字母中提取大量的特征，這此特征又被用于神經(jīng)網(wǎng)絡(luò)的模式識(shí)別。另一種方法則是輸入特征真接作用于神經(jīng)網(wǎng)絡(luò)，特征提取和模式識(shí)別的過(guò)程則在網(wǎng)絡(luò)中同時(shí)完成。本文中，我們提出了一種新的手寫字母數(shù)字的識(shí)別方法。本文中的系統(tǒng)由特征提取網(wǎng)絡(luò)和改進(jìn)的SOM網(wǎng)絡(luò)組成。為表示出相近的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，我們只保留關(guān)鍵的特征。本文提出了幾個(gè)對(duì)SOM的改進(jìn)，以便使som網(wǎng)絡(luò)能夠更好的應(yīng)用于手寫字母的識(shí)別。同時(shí)我們做了字母和數(shù)字識(shí)別的的訪真。2手寫數(shù)字，字母的特征特征的提取是手寫數(shù)字、字母識(shí)別過(guò)程中很重要的一個(gè)環(huán)節(jié)。因此我們提出了以下幾種特征：行的終點(diǎn)。小于等于90度的角。聯(lián)結(jié)點(diǎn)（像T型的）。十字交叉點(diǎn)（十）孤立圓中的一個(gè)任意點(diǎn)兩個(gè)特征點(diǎn)之間的中點(diǎn)中點(diǎn)表示了兩個(gè)特征點(diǎn)之間的線段。圖1中分別表示了這些不同的特征?！穑捍頍o(wú)效區(qū)域?！瘛睢铮捍碛行^(qū)域。更進(jìn)一步，★代表特征點(diǎn)，☆代表兩個(gè)特征之間的中點(diǎn)。（a）行的終點(diǎn)（b1）（b2）小于等于90度的角，（c）聯(lián)結(jié)點(diǎn)，（d）十字交叉點(diǎn)，（e）兩個(gè)特征之間的中點(diǎn)，（f）孤立圓中的一個(gè)任意點(diǎn)和中點(diǎn)。3特征提取神經(jīng)網(wǎng)絡(luò)3.1結(jié)構(gòu)框圖圖2是特征提取網(wǎng)絡(luò)的結(jié)構(gòu)框圖。手寫字母輸入到Ⅰ層。在Ｆ層，F(xiàn)1層提取行的終點(diǎn)，F(xiàn)2層會(huì)提取物征：小于90度的角、聯(lián)結(jié)點(diǎn)、十字交叉點(diǎn)，F(xiàn)3層則提取由兩角直線組成的90度的角。在TR層有一個(gè)神經(jīng)網(wǎng)絡(luò)，用于從特征點(diǎn)開(kāi)始跟蹤模式的每行。通過(guò)統(tǒng)計(jì)從同一特征點(diǎn)開(kāi)始跟蹤點(diǎn)的數(shù)目來(lái)確定它的特征。同時(shí)兩條跟蹤路線的相交點(diǎn)則認(rèn)為是一兩個(gè)特征的中點(diǎn)。3.2F層的特征提取本文中所說(shuō)的模式被認(rèn)為是標(biāo)準(zhǔn)的模式，事實(shí)上要獲得很好的標(biāo)準(zhǔn)模式必須要有些預(yù)處理。一個(gè)模式首先從Ⅰ層輸入，它的輸出只有0或1。第Ⅰ層中的第i個(gè)神經(jīng)元到F層的第j個(gè)神經(jīng)元的連接權(quán)W（IF）由下式?jīng)Q定：每個(gè)神經(jīng)元單元有8個(gè)鄰接單元如圖：Ⅰ層到F層的連接，單元●有8個(gè)鄰接單元○（a）F1層神經(jīng)網(wǎng)絡(luò)通過(guò)控制神經(jīng)元的輸入是不否等于9，是否激活，提取行的終點(diǎn)。（b）F2神經(jīng)網(wǎng)絡(luò)候選的特征點(diǎn)通過(guò)使用等式1中的連接權(quán)值，位于特征點(diǎn)右側(cè)或鄰接的單元有最大的輸入，這些單元至少有3個(gè)鄰接單元，當(dāng)這些單元的輸入大于等于11時(shí)則會(huì)激活這些單元。如圖：◆：輸入大于等于11的單元。競(jìng)爭(zhēng)學(xué)習(xí)在初始時(shí)由于可能有多個(gè)單元處于激活狀態(tài)，此情況通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)來(lái)挑選出合適的單元。每一個(gè)單元都和它的鄰接單元相連接,并且有一個(gè)自循環(huán)。假設(shè)鄰接單元中的第ｉ個(gè)單元到第ｊ個(gè)單元之間的連接權(quán)是由下式?jīng)Q定的：式中：，其中Ｖf2i(n)和Ｖf2j(n)是輸出。Ｖf2j(n)是初使輸出由下式?jīng)Q定上：Vij是第Ⅰ層的輸出。當(dāng)n>=1時(shí)第j個(gè)單元的輸出由下式?jīng)Q定上：其中:0<η<ε。如果一個(gè)單元的輸出值比與它相連的單元閾值要大，則此單元接收正輸入，否則此單元接收負(fù)輸入。通過(guò)重復(fù)上述的步驟，如果某個(gè)單元在n=0時(shí)有最大輸入，或者位于所有活動(dòng)單元的中心，則比單元會(huì)被選定。（c）F3神經(jīng)網(wǎng)絡(luò)如圖所于的90度角是不能在F2層網(wǎng)絡(luò)中提取出來(lái)的：因?yàn)樗挥袃蓚€(gè)鄰接的單元。這樣的90度角將在F3層網(wǎng)絡(luò)中提取出來(lái)。下圖是各層的連接關(guān)系：

1，

2，

3，

4，是F3層的輸入，它們接收第I層的輸出，對(duì)就為（①②）（①③）（②④）（③④）。如果這些單元的輸入是2輸出是1，那么它們就會(huì)被激活?！騿卧ㄟ^(guò)連接權(quán)WtF3j=8和Waf3kj=1接收★單元和

k的輸出并且通過(guò)Wif3ij=-8接收○k的輸入?？煽闯鯳iF3j+Waf3kj=9，所以當(dāng)◎k=9時(shí)，此單元?jiǎng)t是激活的。3.3TR層的標(biāo)準(zhǔn)模式跟蹤正如前面所介紹的F2網(wǎng)絡(luò)從特征點(diǎn)提取唯一的特征，它們的特征通過(guò)TR層的模式跟蹤來(lái)確定。TR層的網(wǎng)絡(luò)是一個(gè)互相連接的人工神經(jīng)網(wǎng)絡(luò)。它的第i個(gè)單元通過(guò)權(quán)值Wtij和第j個(gè)單元相連接。更進(jìn)一步，它接收第I層的第F層的輸出作為輸入，通過(guò)權(quán)值WiTij和Wftij，它們的值由下式?jīng)Q定：下圖表示了這種關(guān)系：○單元是◎T單元的鄰接單元，它們通過(guò)權(quán)值Wtij相連。在初使?fàn)顟B(tài)，標(biāo)準(zhǔn)的模式單元從第I層接收輸入8。更進(jìn)一步如果輸入特征和標(biāo)標(biāo)準(zhǔn)的模式單元一致，那么它將從F層接收入輸入1。從而8+1=9，通過(guò)設(shè)置它的閾值為9，則只有合適的特征單元才能激活，它們成為了起始的單元。下一步，激活的單元通過(guò)連接權(quán)Wtij向它們鄰接單元輸出1。因此鄰接單元的輸入變成了9。然而激活單元通過(guò)模式行傳遞，為了跟蹤一行有兩個(gè)激活單元的行，每一個(gè)活動(dòng)單元在兩個(gè)時(shí)間段保持激活狀態(tài)。3.4M層網(wǎng)絡(luò)確定特征和中點(diǎn)行終點(diǎn)，角，連接點(diǎn)，十字交叉點(diǎn)，分別有一，二，三，四個(gè)跟蹤點(diǎn)。跟蹤點(diǎn)的個(gè)數(shù)在M層確定。M層接收第I層，F(xiàn)層，TR層的輸出作為輸入。如下圖所示：○D1，○D2檢測(cè)包含兩個(gè)激活單元的跟蹤點(diǎn)。它們分別通過(guò)權(quán)值Wtd1ij=0.5和權(quán)值Wtd2ij=1.5接收單元①和單元②的輸入。通過(guò)設(shè)置此單元的閾值為2，只有當(dāng)檢測(cè)到跟蹤點(diǎn)時(shí)它們才會(huì)被激活?！餏單元用于統(tǒng)計(jì)跟蹤點(diǎn)的數(shù)目。它分別通過(guò)權(quán)值Wffij=10接和權(quán)值Wdfkj=1接收單元

F和單元

DK的輸出。當(dāng)它的輸出大于等于11時(shí)將會(huì)被激活。它的輸入是跟蹤點(diǎn)的數(shù)目加10，并且會(huì)被起直接傳遞到M層的

M單元?！餻單元檢測(cè)兩上跟蹤點(diǎn)交匯處的中點(diǎn)。為了避免把特征點(diǎn)當(dāng)成中點(diǎn)對(duì)待，此單元通過(guò)權(quán)值Wffij=-10和一個(gè)大的抑制連接接收第F層

f的輸出。此單元同時(shí)也分別通過(guò)權(quán)值Wifjj=8，Wtpjj=1和Wdpkj=1接收第I層

i單元，第TR層

T單元和○Dk單元的輸出。更進(jìn)一步它通過(guò)繼承連接關(guān)系接收○單元的輸出。當(dāng)它的輸出等于10時(shí)此單元會(huì)被激活，并且輸出10到M層的

M單元。

M單元有兩個(gè)來(lái)自于○F單元和○P單元的輸入。因此，如果它的輸入等于10，則

M單元代表的是中點(diǎn)。另一方面，如輸入等于或者大于11，

M單元?jiǎng)t代表了特征點(diǎn)，此輸入減10是跟蹤點(diǎn)的個(gè)數(shù)，并且決定的些特征。3.5孤立圓的提取孤立的圓，在前面的過(guò)程中沒(méi)有到它的特征，因此也不能在F層中提取出來(lái)。在TR層的跟蹤過(guò)程之后，一個(gè)圓單位會(huì)被隨機(jī)的提取出來(lái)。在此單元中圓開(kāi)始被跟蹤提取，并且中點(diǎn)也將會(huì)被確定。4特征點(diǎn)的分布式映射4.1標(biāo)準(zhǔn)模式的選擇使用P(m)和Q分別代表標(biāo)準(zhǔn)樣本和輸入樣本。它們的特征點(diǎn)分別用(α,β,...)和(a,b,...)代表。α和a代表行的終點(diǎn)，依此類推。標(biāo)準(zhǔn)樣本能過(guò)下面的公式近似選?。篘（α）和N（a）代表分別α和a的特征點(diǎn)的個(gè)數(shù)。它們都是P和Q向量的一個(gè)元素。分子中的||表示向量的規(guī)一值。4.2改進(jìn)型SOM網(wǎng)絡(luò)P(m)和Q的特征點(diǎn)都被分布到同一個(gè)平面上。為了簡(jiǎn)化，將會(huì)使用一個(gè)N*N的矩陣來(lái)表示平面。每個(gè)特征點(diǎn)都分配在此矩陣之中，它們的坐標(biāo)用（i，j）表示。映身到P(m)上的特征點(diǎn)都被映射到時(shí)相應(yīng)的Q上。因?yàn)闃?biāo)準(zhǔn)的模式保存了合適的拓?fù)浣Y(jié)構(gòu)，這些約束用于映射。第1步：從一個(gè)區(qū)域選出坐標(biāo)為（1，j）（N，j）（i，1）（1，N）的特征點(diǎn)（1<=I,j<=N），這些區(qū)域叫做第1區(qū)域（1st-regin）。下圖是一個(gè)例子：為了避免在映射過(guò)程中的振動(dòng)，特征點(diǎn)會(huì)同時(shí)從兩個(gè)模式中提取。第2步：當(dāng)α中的一個(gè)元素αm被選擇，相就的a中的特征am也會(huì)被選取。此點(diǎn)以αn表示，它可以在第1區(qū)域中找到。另一方面，如果αn是第一個(gè)從第1區(qū)域選取的，那么相應(yīng)的am也會(huì)從a中選取。以下的過(guò)程與此類似。第3步：選擇那些通過(guò)標(biāo)準(zhǔn)模式連接到αm的特征點(diǎn)作為αm的鄰接點(diǎn)。我們把它們稱為第一階鄰接點(diǎn)。下一個(gè)特征點(diǎn)叫做第二階鄰接點(diǎn)。第r階鄰接點(diǎn)為αmrk。第4步：把αm向an移動(dòng)d(αm)個(gè)距離。同樣的，把第r階αr向ar移動(dòng)d(αmrk)個(gè)距離。移動(dòng)的距離按如下規(guī)律減?。和ㄟ^(guò)使用第2步中鄰接點(diǎn)和權(quán)值的距離移動(dòng)，P(m)中相似的拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)能夠保存在網(wǎng)絡(luò)映射中。第5步：在相同的區(qū)域中選擇另外一個(gè)特征點(diǎn)，重復(fù)第2到第4步之間的過(guò)程。如果第一個(gè)區(qū)域中的特征點(diǎn)被選擇完，則從下一個(gè)區(qū)域中選擇特征點(diǎn)，也就是第二個(gè)區(qū)域：(2，j)，(N-1，j)，(i，2)，(i，N-1)，2<=I,j<=N-1。同樣的在此區(qū)域中重復(fù)第2到第4步的過(guò)程。因此映射的區(qū)逐步向內(nèi)部中心變小，如上圖，向中心移動(dòng)的區(qū)域?？梢酝ㄟ^(guò)設(shè)置一個(gè)變量可以方便人選擇出合適的特征點(diǎn)坐標(biāo)對(duì)。當(dāng)?shù)竭_(dá)區(qū)域的中心，映射處理過(guò)程返回到第1步，不斷的重復(fù)上述過(guò)程，直到網(wǎng)絡(luò)達(dá)到時(shí)一個(gè)合適的收斂值。4.3模式識(shí)別在特征點(diǎn)映射之后，通過(guò)以下式的近似計(jì)算來(lái)從向量P(m)和Q中分辨出樣本所對(duì)應(yīng)的正確的字符。在上式中，每一個(gè)變量的值按如果方式取值：如果αm是精確的映射到an上，則(αm,an)=1,αm=0,an=0并且rmn=1。如果αm與an只是相近，則(αm,an)=1,αm=0,an=0并且rmn>1。rmn是αm與an之間距離的比例系數(shù)。如果沒(méi)有合適的特征與和αm與an相近則(αm,an)=0,αm=1,an=1，[β]N,D和[γ]N,D與前面的[]N，D與α和a的操作一樣。如果P(m)的特征分布完全映射到Q上，則C的近似值為1，否則小于1。5訪真5.1特征提取本例中使用打印表上16*16點(diǎn)陣字母和數(shù)字作為標(biāo)準(zhǔn)模板。下圖顯示了標(biāo)準(zhǔn)樣本特征提取的結(jié)果：●：行終點(diǎn)，◆：角，T：連接點(diǎn)，十：十字交叉點(diǎn)，▼：第1中點(diǎn)，▲：第2中點(diǎn)。本例中太短的線并沒(méi)有檢測(cè)中點(diǎn)，這個(gè)可以通過(guò)增加點(diǎn)陣來(lái)改進(jìn)。盡管有些特征點(diǎn)會(huì)偏向左邊，但是可通過(guò)SOM網(wǎng)絡(luò)進(jìn)行補(bǔ)償。5.2特征點(diǎn)映射下圖是一個(gè)樣本的特征點(diǎn)實(shí)例：此樣本的特征點(diǎn)通過(guò)式9提取，包含模式4，5，N，Z和z。為了能連續(xù)的移動(dòng)特征點(diǎn)，在處理過(guò)程中使用了一個(gè)32*32的矩陣。下圖是一個(gè)特征點(diǎn)映射的網(wǎng)絡(luò)的實(shí)例（使用N，Z，5作為標(biāo)準(zhǔn)模式）：分別使用虛線和實(shí)線來(lái)分別表示樣本和映射的網(wǎng)絡(luò)。這些線并不是精確的和樣本模式一樣。模