功告成模式識(shí)別

1、模式識(shí)別作業(yè)報(bào)告一、實(shí)驗(yàn)?zāi)康?用FAMALE.TXT和MALE.TXT的數(shù)據(jù)作為訓(xùn)練樣本集，建立Bayes分類(lèi)器，用測(cè)試樣本數(shù)據(jù)對(duì)該分類(lèi)器進(jìn)行測(cè)試。調(diào)整特征、分類(lèi)器等方面的一些因素，考察它們對(duì)分類(lèi)器性能的影響，從而加深對(duì)所學(xué)內(nèi)容的理解和感性認(rèn)識(shí)。二、基本要求1) 應(yīng)用單個(gè)特征進(jìn)行實(shí)驗(yàn)：以身高或者體重?cái)?shù)據(jù)作為特征，在正態(tài)分布假設(shè)下利用最大似然法或者貝葉斯估計(jì)法估計(jì)分布密度參數(shù)，建立最小錯(cuò)誤率Bayes分類(lèi)器，寫(xiě)出得到的決策規(guī)則，將該分類(lèi)器應(yīng)用到測(cè)試樣本，考察測(cè)試錯(cuò)誤情況。在分類(lèi)器設(shè)計(jì)時(shí)可以考察采用不同先驗(yàn)概率（如0.5對(duì)0.5, 0.75對(duì)0.25, 0.9對(duì)0.1等）進(jìn)行實(shí)驗(yàn)，考察對(duì)決策規(guī)則和

2、錯(cuò)誤率的影響。2）應(yīng)用兩個(gè)特征進(jìn)行實(shí)驗(yàn)：同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，分別假設(shè)二者在正態(tài)分布假設(shè)下估計(jì)概率密度，建立最小錯(cuò)誤率Bayes分類(lèi)器，寫(xiě)出得到的決策規(guī)則，將該分類(lèi)器應(yīng)用到訓(xùn)練/測(cè)試樣本，考察訓(xùn)練/測(cè)試錯(cuò)誤情況。比較相關(guān)假設(shè)和不相關(guān)假設(shè)下結(jié)果的差異。在分類(lèi)器設(shè)計(jì)時(shí)可以考察采用不同先驗(yàn)概率（如0.5vs0.5,0.75vs0.25,0.9vs0.1等）進(jìn)行實(shí)驗(yàn)，決策考察對(duì)和錯(cuò)誤率的影響。3) 自行給出一個(gè)決策表，采用最小風(fēng)險(xiǎn)的Bayes決策重復(fù)上面的某個(gè)或全部實(shí)驗(yàn)。三、實(shí)驗(yàn)步驟及前期準(zhǔn)備實(shí)驗(yàn)一：首先，以兩個(gè)訓(xùn)練樣本身高數(shù)據(jù)作為特征，利用最大似然法分別算出均值的最大似然估計(jì)和方差的最大似

3、然估計(jì)，分別帶入到假設(shè)模型一維正態(tài)分布中得出類(lèi)條件概率密度，通過(guò)結(jié)合不同的先驗(yàn)概率計(jì)算出后驗(yàn)概率并對(duì)test1和test2進(jìn)行基于最小錯(cuò)誤率的Bayes決策，待測(cè)樣本屬于后驗(yàn)概率較大的一方。最后考察測(cè)試錯(cuò)誤情況及對(duì)決策和錯(cuò)誤率的影響。實(shí)驗(yàn)二：采用身高和體重?cái)?shù)據(jù)作為特征量，在協(xié)方差相等和不相等的條件下分別計(jì)算出它們的判別函數(shù)，將原模型以及test1和test2的樣本特征分別帶入兩個(gè)判別函數(shù)中，比較其大小，待測(cè)樣本的類(lèi)別屬于大者，然后考察測(cè)試錯(cuò)誤情況及對(duì)決策和錯(cuò)誤率的影響。實(shí)驗(yàn)三原理：基于試驗(yàn)一，利用已有兩個(gè)訓(xùn)練樣本的后驗(yàn)概率，然后計(jì)算條件期望損失，比較二者大小，待測(cè)樣本屬于小者。實(shí)驗(yàn)中所需要用到

4、的知識(shí)：1、 正態(tài)分布的分布形式：，其中=，。2、 最大似然法計(jì)算正態(tài)分布的參數(shù)：，。3、bayes公式 ； 基于最小錯(cuò)誤率的Bayes決策規(guī)則： 若>，則x屬于；反之則x屬于。4、先驗(yàn)概率：從以往的數(shù)據(jù)分析中得到的經(jīng)驗(yàn)值；即根據(jù)大量統(tǒng)計(jì)確定某類(lèi)事物出現(xiàn)的比例。5、類(lèi)條件概率密度函數(shù)：同一類(lèi)事物的各個(gè)屬性都有一定的變化范圍，在這些變化范圍內(nèi)的分布概率用一種函數(shù)形式表示，則稱為類(lèi)條件概率密度函數(shù)。6、后驗(yàn)概率：得到信息之后，對(duì)以往數(shù)據(jù)加以修正的概率（一般也是條件概率）；或一個(gè)具體事物屬于某種類(lèi)別的概率。7、基于最小風(fēng)險(xiǎn)的Bayes決策：若條件風(fēng)險(xiǎn)則x屬于；反之則x屬于。四、試驗(yàn)流程圖提取樣

5、本特征向量參數(shù)估計(jì)得概率密度函數(shù)設(shè)計(jì)分類(lèi)器建立決策函數(shù)求取協(xié)方差矩陣代入變量參數(shù)值代入決策函數(shù)，求出判決結(jié)果求出相應(yīng)決策的風(fēng)險(xiǎn)比較風(fēng)險(xiǎn)大小得出最終決策結(jié)果五、實(shí)驗(yàn)結(jié)果（一）、最大似然估計(jì)1、 先驗(yàn)概率相等（輸入0.5vs0.5）最小錯(cuò)誤率的Bayes決策規(guī)則：若>，則x屬于；反之則x屬于；在此條件下，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=5.71%，error2=9%，error總=14.71%。2、 先驗(yàn)概率不相等最小錯(cuò)誤率的Bayes決策規(guī)則：若（女）>（男），則x屬于；反之則x屬于；當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error

6、1=11.43%，error2=22.00%，error總=33.43%。當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=8.57%，error2=6.67%，error總=15.24%。當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=20%，error2=49%，error總=69%。當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=11.43%，error2=5.67%，error總=17.1%。當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=8.57%，error2=10.67%，error總=19.2

7、4%。當(dāng)，帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率error1=5.71%，error2=6.67%，error總=12.38%。表一 用最大似然估計(jì)建立的基于最小錯(cuò)誤率的Bayes決策對(duì)test1和test2測(cè)試錯(cuò)誤率情況0.75|0.250.25|0.750.6|0.40.4|0.60.9|0.10.1|0.90.5|0.5Error111.43%8.57%8.57%5.71%20%11.43%5.71%Error222.00%6.67%10.67%6.67%49%5.67%9%error總33.43%15.24%19.24%12.38%69%17.1%14.71%3、 結(jié)論從

8、上表可以看出，在先驗(yàn)概率相等與否對(duì)決策和錯(cuò)誤率有影響。（1） 先驗(yàn)概率兩極越分化嚴(yán)重時(shí)，錯(cuò)誤率越高，但其中也有波動(dòng)，；（2） 當(dāng)男女生訓(xùn)練樣本先驗(yàn)概率對(duì)調(diào)時(shí)，女生先驗(yàn)概率大時(shí)，錯(cuò)誤率大，原因可能是兩個(gè)測(cè)試樣本的女生數(shù)量相對(duì)比較多，不確定性比較大造成的。（二）、貝葉斯估計(jì)1、先驗(yàn)概率相等（輸入0.5vs0.5）：（1）協(xié)方差矩陣不相等時(shí)：決策函數(shù)：；;X表示對(duì)應(yīng)的特征向量；1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error1=12%，error2=12%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error3=28.6%，error4=10.67%

9、。（2） 協(xié)方差矩陣相等時(shí)：判決函數(shù) ；，1）首先對(duì)模型本身進(jìn)行測(cè)試可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error5=8%，error6=16%，與協(xié)方差矩陣不相等時(shí)1）中相比結(jié)果差距較大，可知協(xié)方差矩陣是否相等對(duì)分類(lèi)錯(cuò)誤率有一定的影響。2）帶入測(cè)試樣本集合test1與test2計(jì)算，error7=2.86%，error8=9.67%。從上述可看出，當(dāng)協(xié)方差矩陣相等或者不相等時(shí)，雖然判決函數(shù)不同，分類(lèi)錯(cuò)誤率也是有所不同的，但對(duì)于同一樣本二者在整體決策結(jié)果上相對(duì)一致。2、 先驗(yàn)概率不相等時(shí) 當(dāng)（1）協(xié)方差矩陣不相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為err

10、or1=26%，error2=6%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error3=8.57%， error4=4.67%。（2）協(xié)方差矩陣相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error5=46%，error6=0。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error7=17.14%， error8=6%。 當(dāng)（1）協(xié)方差矩陣不相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error1=2%，error2=28%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為e

11、rror3=14.29%， error4=20.33%。（2）協(xié)方差矩陣相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error5=2%，error6=46%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error7=17.14%， error8=31.33%。當(dāng)（1）協(xié)方差矩陣不相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error1=2%，error2=40%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error3=20%， error4=33.33%。（2）協(xié)方差矩陣相等時(shí)：1）首先對(duì)模型

12、本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error5=2%，error6=84%。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error7=40%， error8=64%。當(dāng)（1）協(xié)方差矩陣不相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error1=48%，error2=0。 2）帶入測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error3=11.43%， error4=5.67%。（2）協(xié)方差矩陣相等時(shí)：1）首先對(duì)模型本身進(jìn)行測(cè)試：可得訓(xùn)練樣本集合1與2的分類(lèi)錯(cuò)誤率分別為error5=86%，error6=0。 2）帶入

13、測(cè)試樣本test1與test2后得，分類(lèi)的錯(cuò)誤率則為error7=28.57%， error8=14.33%。表二 采用最小錯(cuò)誤率的Bayes決策對(duì)模型本身以及test1和test2測(cè)試錯(cuò)誤率情況0.5|0.50.25|0.750.75|0.250.9|0.10.1|0.9Error1總24%32%30%42%59.43%Error2總39.27%13.24%34.62%53.33%91.67%Error3總24%46%48%86%86%Error4總12.5%23.14%48.47%100.4%42.9%注：1）為女生先驗(yàn)概率，為男生先驗(yàn)概率。 2）Error1總為協(xié)方差不等時(shí)對(duì)模型男女測(cè)試

14、的總錯(cuò)誤率，Error2總為協(xié)方差不等時(shí)對(duì)test1和test2測(cè)試的總錯(cuò)誤率，Error3總為協(xié)方差相等時(shí)對(duì)模型男女測(cè)試的總錯(cuò)誤率，Error4總為協(xié)方差相等時(shí)對(duì)test1和test2測(cè)試的總錯(cuò)誤率。3、結(jié)論綜合上述結(jié)果，可看出，當(dāng)協(xié)方差矩陣相等或者不相等，先驗(yàn)概率是否相等對(duì)錯(cuò)誤率都有影響。（1)先驗(yàn)概率兩極分化越嚴(yán)重，錯(cuò)誤率越高。 (2）當(dāng)男女生訓(xùn)練樣本先驗(yàn)概率對(duì)調(diào)時(shí)，女生先驗(yàn)概率大時(shí)，錯(cuò)誤率大，原因可能是兩個(gè)測(cè)試樣本的女生數(shù)量相對(duì)比較多，不確定性比較大造成的。 (3)（三）、最小風(fēng)險(xiǎn)的估計(jì)：決策表設(shè)計(jì)： 損失 狀態(tài) (男生) （女生） 決策 0 b c 0 則對(duì)于決策(歸為男生）和（歸為

15、女生）的風(fēng)險(xiǎn)分別為：1、當(dāng)先驗(yàn)概率相等時(shí)(0.5/0.5)： 由類(lèi)條件概率以及先驗(yàn)概率可得測(cè)試樣本集合test1和test2的后驗(yàn)概率，可得決策所造成的風(fēng)險(xiǎn)為,對(duì)于具體的損失比較二者大小即可作出決策判斷。當(dāng)b=0.5,c=0.5,相應(yīng)錯(cuò)誤率為error1=5.71%，error2=9%;當(dāng)b= 5 ,c=5,相應(yīng)錯(cuò)誤率為error1=5.71%，error2=9%;當(dāng)b=0.1,c=10.相應(yīng)錯(cuò)誤率為error1=28.57%，error2=13.33%當(dāng)b=10,c=0.1.相應(yīng)錯(cuò)誤率為error1=57.14%，error2=83.33%.當(dāng)b=0.1,c=100.相應(yīng)錯(cuò)誤率為error1

16、=31.43%，error2=14.67%2、 當(dāng)先驗(yàn)概率不等時(shí)：PX1(男生）=0.25，PX2（女生）=0.75，對(duì)于具體的損失比較二者大小即可作出決策判斷。當(dāng)b=0.5,c=0.5.相應(yīng)錯(cuò)誤率為error1=11.43%，error2=22%.當(dāng)b=5,c=5.相應(yīng)錯(cuò)誤率為error1=11.43%，error2=22%.當(dāng)b=0.1,c=10.相應(yīng)錯(cuò)誤率為error1=22.86%，error2=8%.當(dāng)b=0.1,c=100.相應(yīng)錯(cuò)誤率為error1=28.57%，error2=13.33%.PX1=0.75，PX2=0.25，當(dāng)b=0.5,c=0.5.相應(yīng)錯(cuò)誤率為error1=8.

17、57%，error2=6.67%.當(dāng)b=5,c=5.相應(yīng)錯(cuò)誤率為error1=8.57%，error2=6.67%.當(dāng)b=0.1,c=10.相應(yīng)錯(cuò)誤率為error1=28.57%，error2=13.33%.當(dāng)b=0.1,c=100.相應(yīng)錯(cuò)誤率為error1=42.86%，error2=16.67%.PX1=0.9.PX2=0.1當(dāng)b=0.5,c=0.5.相應(yīng)錯(cuò)誤率為error1=11.43%，error2=5.67%.當(dāng)b=5,c=5.相應(yīng)錯(cuò)誤率為error1=11.43%，error2=5.67%.當(dāng)b=0.1,c=10.相應(yīng)錯(cuò)誤率為error1=28.57%，error2=14%.當(dāng)b=

18、0.1,c=100.相應(yīng)錯(cuò)誤率為error1=42.86%，error2=16.67%.PX1=0.1.PX2=0.9當(dāng)b=0.5,c=0.5.相應(yīng)錯(cuò)誤率為error1=20%，error2=49%.當(dāng)b=5,c=5.相應(yīng)錯(cuò)誤率為error1=20%，error2=49%.當(dāng)b=0.1,c=10.相應(yīng)錯(cuò)誤率為error1=11.43%，error2=5.67%.當(dāng)b=0.1,c=100.相應(yīng)錯(cuò)誤率為error1=28.57%，error2=13.33%.b|cError總| 0.5|0.50.25|0.750.75|0.250.9|0.10.1|0.90.5|0.514.71%33.43%15.24%17.1%69%5|514.7%33.43%15.24%17.1%69%0.1|1041.9%30.86%41.90%42.57%17.1%0.1|10046.1%41.90%59.53%59.53%41.9%表三 采用最小風(fēng)險(xiǎn)的Bayes決策對(duì)test1和test2測(cè)試錯(cuò)