模式識別課程論文(共12頁)

1、模式識別(m sh sh bi)課程設(shè)計模式識別(m sh sh bi)中基于概率統(tǒng)計(tngj)的 Bayes 算法分析學(xué)號：1102100119班級：自動化111班姓名：許世堅 首先對模式識別所用到的理論(lln)、研究背景、研究(ynji)現(xiàn)狀及典型應(yīng)用(yngyng)進行全面的闡述;其次,探討了如何提取數(shù)字字符的特征值,并對各種分類器的設(shè)計方法及其優(yōu)缺點進行了比較;最后采用了以模板庫為基礎(chǔ)的基于二值數(shù)據(jù)的Bayes分類實現(xiàn)的識別方法,并以VC+作為編程工具實現(xiàn)了具有友好的圖形用戶界面的自由手寫體數(shù)字識別系統(tǒng)。給出了部分實現(xiàn)算法的代碼。實現(xiàn)了對字體數(shù)字的識別。 下面介紹闡述模式識別中用到

2、的Bayes算法理論，研究背景及其典型應(yīng)用，在典型應(yīng)用中，探討提取數(shù)字字符bayes算法分類器的設(shè)計方法并比較其優(yōu)缺點，給出其算法的C+實現(xiàn)，利用VC+實現(xiàn)編程工具實現(xiàn)圖形界面。 模式識別就是機器識別,計算機識別或者機器自動識別，目的在于讓機器自動識別事物，如手寫數(shù)字的識別，智能交通管理信號的識別，文字識別，語音識別等。模式識別這個學(xué)科的目的就是讓機器能做人類能做的事情，具備人類所具有的對各種事物與現(xiàn)象進行分析，描述與判斷的部分能力。模式識別是直觀的，無所不在。人與動物具有模式識別的能力是非常平常的事情，但是對計算機來說實現(xiàn)模式識別是非常困難的。讓機器能夠識別，分類需要研究識別的 方法。而模式

3、識別可以概括為兩個類型，一個是直接形象的，例如圖片，相片，圖案，字符圖案等；另外的就是無知覺形象而只有數(shù)據(jù)或信號的波形，如語音，聲音，心電圖，地震波等。Bayes決策(juc)所討論的問題：基于最小錯誤率的Bayes決策指出機器自動識別出現(xiàn)(chxin)錯分類的條件，錯分類的可能性如何計算，如何實現(xiàn)使錯分類實現(xiàn)可能性最??；基于最小錯誤風(fēng)險的Bayes決策，引入了風(fēng)險與損失概念，希望做到使風(fēng)險最小，減小危害大的錯分類情況。錯分類造成損失不一樣，不同的錯誤分類造成的損失也是不一樣的，不同的錯誤分類造成的損失會不相同，后一種錯誤更加可怕，因此就考慮減小因錯誤分類造成的危害損失。2.Bayes算法(s

4、un f)若已知總共有M類物體，以及各類在這d維特征空間的統(tǒng)計分布，具體說來就是已知各類別wi=1,2,M的先驗概率P（wi）及類條件概率密度函數(shù)P（X|wi）。對于待測樣品，Bayes公式可以計算出該樣品分屬于各類別的概率，叫做后驗概率，看X屬于哪個類的可能性最大，就把X歸于可能性最大的那個類，后驗概率作為識別對象歸屬的依據(jù)。Bayes公式如下： 識別的狀態(tài)就是一個隨機變量，而某種狀態(tài)出現(xiàn)概率是可以估計的。Bayes公式體現(xiàn)了先驗概率，類概率密度函數(shù)，后驗概率三者之間的關(guān)系。2.1先驗概率P（wi） 先驗概率P（wi）針對M個事件出現(xiàn)的可能性而言，不考慮其他條件。例如由統(tǒng)計資料表明總藥品數(shù)為

5、n，其中(qzhng)正常藥品數(shù)為n1，異常藥品數(shù)為n2，則 稱P（w1）和P(w2)為先驗概率。顯然在一般情況下正常藥品所占比例比較大，即P（w1）P(w2)，僅按照先驗概率來決策(juc)，就會把所有藥品都劃歸為正常藥品，并沒有達到將正常藥品與異常藥品區(qū)分開的目的。這表明先驗概率所提供的信息太少。2.2類條件(tiojin)概率密度函數(shù)P（X/wi）是指在已知某類別的特征空間中，出現(xiàn)特征值X的概率密度，即第wi類樣品它的屬性X是如何分布的。 在工程上很多的問題中，統(tǒng)計數(shù)據(jù)往往滿足正態(tài)分布規(guī)律。正態(tài)分布簡單，分析方便，參量少，是一種適宜的數(shù)學(xué)模型。如果采用正態(tài)密度函數(shù)是作為類條件概率密度的函

6、數(shù)形式，則函數(shù)內(nèi)的參數(shù)如期望方差是未知的，那么問題就變成了如何利用大量樣品對這些參數(shù)進行估計，只要估計出這些參數(shù)，類條件概率密度函數(shù)P（X|wi）也就可以確定了。單變量正態(tài)分布概率密度函數(shù)為： 其中：u為數(shù)學(xué)(shxu)期望（均值）；為方差(fn ch)。多維正態(tài)密度(md)函數(shù)為：其中：S為N維協(xié)方差矩陣；S-1為S的逆矩陣=（u1,u2,un）為N維均值向量；X=（x1,x2,xN）為N維特征向量在大多數(shù)情況下，類條件概率密度函數(shù)是可以采用多維變量的正太概率密度函數(shù)來模擬，即：2.3后驗概率后驗概率是指呈現(xiàn)狀態(tài)X時，該樣品分屬各類別的概率，這個概率值可以作為識別對象歸屬的依據(jù)。由于屬于不同

7、類的待識別對象存在著呈現(xiàn)相同的觀察值的可能，即所觀察到的某一樣品的特征向量為X，而在類中有不止一類可能呈現(xiàn)這一值，它屬于各類的概率可用P（wi|X）表示?？梢岳肂ayes公式來計算這條件概率，稱之為狀態(tài)的后驗概率：P(wi|X)是表示(biosh)在X出現(xiàn)條件下，樣品為wi類的概率。2.4 P(w1|X)和P（w2|X）與P(X|w1)和P（X|w2）的區(qū)別(qbi) P(w1|X)和P（w2|X）是在同一條件下，比較(bjio)w1與w2出現(xiàn)的概率，如P(w1|X)P（w2|X）,則可能的以下結(jié)論，在X條件下，事件w1出現(xiàn)的可能性比事件w2出現(xiàn)的可能性大。 P(w1|X)與P（w2|X）都

8、是指各自條件下出現(xiàn)X的可能性，兩者之間沒有聯(lián)系，比較兩者沒有意義。P(w1|X)與P（w2|X）是在不同條件下討論問題，不能因為P(w1|X)P（w2|X）,就認為X是第一類事物的可能性較大。3算法的實現(xiàn)3.1基于最小錯誤率Bayes分類實現(xiàn)數(shù)字樣品的識別實現(xiàn)： 在手寫的數(shù)字識別中屬于多類情況，每類樣品呈正態(tài)分布。（1）求出每一類手寫數(shù)字樣品的均值 Ni代表wi類的樣品個數(shù)，n代表特征數(shù)目。（2）求每一類(y li)的協(xié)方差矩陣 L代表(dibio)樣品在wi類中的序號，其中l(wèi)=0,1,2，Ni。Xlj代表(dibio)wi類的第L個樣品，第J個特征值。代表wi類的Ni個樣品第j個特征的平均值

9、。Xlk代表wi類的第l個樣品，第K個特征值。代表wi類的Ni個樣品第K個特征的平均值。Wi類的協(xié)方差矩陣為：（3）計算出每一類的協(xié)方差矩陣的逆矩陣Si-1以及協(xié)方差矩陣的行列式|Si|。（4）求出每一類的先驗概率： 其中P(wi)為類別為數(shù)字i的先驗概率，Ni為數(shù)字i的樣品數(shù)，N為樣品總數(shù)。（5）將各個數(shù)帶入判別函數(shù)（6）判別函數(shù)最大值所對應(yīng)就是手寫(shuxi)數(shù)字的類別。3.2基于(jy)最小風(fēng)險的Bayes分類實現(xiàn)（1）求出每一類手寫(shuxi)數(shù)字樣品的均值。 Nj代表wi類的樣品個數(shù)，n代表特征數(shù)目。（2）求每一類的協(xié)方差矩陣。 Wi類的協(xié)方差矩陣為（3）計算出每一類協(xié)方差矩陣的

10、逆矩陣以及協(xié)方差矩陣行列式.（4）求出每一類的先驗概率 其中P（wi）為類別為數(shù)字i的先驗概率，Ni為數(shù)字i的樣品數(shù)，N為樣品總數(shù)。（5）定義(dngy)損失數(shù)組為loss1010.設(shè)初值為 （6）計算每一類(y li)損失riski：（7）找出最小損失所對應(yīng)的類，該類即是待測樣品(yngpn)所屬的類別。附錄：/最小錯誤率Bayes分離器算法實現(xiàn)int Classfication:BayesLeastError() double X25;/待測樣品 double Xmeans25;/樣品的均值 double S2525;/協(xié)方差矩陣 double S_2525;/S的逆矩陣 double P

11、w；/先驗概率、 double hx10;/判別函數(shù) int i，j,k,n; for(n=0;n10;n+)/循環(huán)類別9 int num=paternn.number;/樣品的個數(shù) /* * *Functions:求樣品(yngpn)的平均值 * */ for(i=0;i25;i+) Xmeansi=0.0; for(k=0;knum;k+) for(i=0;i0.1?1.0:0.0; for(i=0;i25:i+) Xmeansi/=(double)num; /* * *Functions:求協(xié)方差矩陣(j zhn) * */ double mode20025; for(i=0;inum;

12、i+) for(j=0;j0.1?1.04:0.0; for(i=0;i25;i+) for(j=0;j25;j+) double s=0.0; for(k=0;knum;k+) s=s+(modeki-Xmeansi*(modekj-Xmeansj); s=s/(double)(num-1); Sij=s; /* * *Functions:求先驗概率 * */ int total=0; for(i=0;i10;i+) total+=paterni.number; Pw=(double)num/(double)total; /* * *Functions:求S的逆矩陣(j zhn) * */

13、/ for(i=0;i25;i+) for(j=0;j25;j+) S_ij=Sij; double(*p)25=S_; brinv(*p,25); /* * *Functions:求S的行列式 * */ double (*pp)25=S; double DetS; DetS=bsdet(*pp,25); /* * *Functions:求判別函數(shù) * */ for(i=0;i0.1?1.0:0.0; for(i=0;i25;i+) Xi-=Xmeansi; double t25; for(i=0;i25;i+) ti=0; brmul(X,S_,25,t); double t1=brmul(t,X,25);/矩陣(j zhn)A與矩陣(j zhn)B的乘積矩陣C=AB double t2=log(Pw); double t3=log(DetS+1); hxn=-t1/2+t2-t3/2; /* * *Functions:判別函數(shù)的最大值 * */ double maxval=hx0; int number=0; for(n=1;nmaxval) maxval=hxn; nu