用身高與體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)報(bào)告

1、用身高和體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)報(bào)告姓 名：劉懿郴范英胡亮班 級(jí)： 9391學(xué) 號(hào)： 2009302308學(xué)號(hào)：2009302316學(xué)號(hào)：20093023191、 基本要求用FAMALE.TX和MALE.TXT勺數(shù)據(jù)作為訓(xùn)練樣本集，建立Bayes分類器，用測(cè)試樣本數(shù)據(jù)對(duì)該分類器進(jìn)行測(cè)試。調(diào)整特征、分類器等方面的一些因素，考察它們對(duì)分類器性能的影響，從而加深對(duì)所學(xué)內(nèi)容的理解和感性認(rèn)識(shí)。2、具體做法( 1)應(yīng)用兩個(gè)特征進(jìn)行實(shí)驗(yàn)：同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，分別假設(shè)二者相關(guān)或不相關(guān)，在正態(tài)分布假設(shè)下估計(jì)概率密度，建立最小錯(cuò)誤率Bayes分類器， 寫出得到的決策規(guī)則，將該分類器應(yīng)用到訓(xùn)練/測(cè)試樣

2、本，考察訓(xùn)練 / 測(cè)試錯(cuò)誤情況。比較相關(guān)假設(shè)和不相關(guān)假設(shè)下結(jié)果的差異。在分類器設(shè)計(jì)時(shí)可以考察采用不同先驗(yàn)概率(如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs.0.1 等)進(jìn)行實(shí)驗(yàn)，考察對(duì)決策和錯(cuò)誤率的影響。(2)自行給出一個(gè)決策表，采用最小風(fēng)險(xiǎn)的Bayes決策重復(fù)上面的實(shí)驗(yàn)。3、實(shí)驗(yàn)原理已知樣本服從正態(tài)分布，1fl T 11(1)M-而時(shí)印一盧7)花)園 、所以可以用最大似然估計(jì)來估計(jì)以和2兩個(gè)參數(shù)自42(馬-祖*廣勾?.fc = 1樣本類分為男生丐和女生外兩類，利用最大似然估計(jì)分別估計(jì)出男生樣本 的小, “ 和女生樣本的怩，4,然后將數(shù)據(jù)帶入(1)公式分別計(jì)算兩者的類

3、條 件概率密度pkiW和pGJ嗎)，然后根據(jù)貝葉斯公式pal巧加回)p® 16 =加®)計(jì)算出兩類的后驗(yàn)概率向叼卜)和p®|h)實(shí)驗(yàn)一：對(duì)于兩類情況，我們可以僅定義一個(gè)判別函數(shù):gW = g2(x)-g1(x)其中 g1 xDP X 2 P 2g2 X = P 2 X P X i P i 1并將決策規(guī)則表小為如果 g X >0,則決策叱.g X <0,則決策"1。實(shí)驗(yàn)二：我們定義一個(gè)決策表如下圖損失犬態(tài)%0620R（%1） = £ A產(chǎn)® I 幻-Alzp（wz|x）我們定義判別函數(shù)5（X）= R（a11x） - R（a2

4、x）并將決策規(guī)則表小為如果 g x >0,則決策嗎 .g x <0,則決策網(wǎng)。實(shí)驗(yàn)流程圖4、實(shí)驗(yàn)結(jié)果利用matlab我們計(jì)算出了 male.txt和female.txt的均值和協(xié)方差173.9200 ，20.7536 23.0582 和 162.840065.5020123.0582 59.8982252.596043.934415.525415.525431.1285這樣我們可以利用公式和判別函數(shù)與決策規(guī)則對(duì)訓(xùn)練/測(cè)試樣本集進(jìn)行分類，結(jié)果如下：（ 1 ） 當(dāng) 體重和身高相關(guān)的時(shí)候先驗(yàn)概率test1test2男性pw1性pW2性判斷正確性判斷錯(cuò)珊判斷正酈判斷鐲翻率錯(cuò)誤率男性判斷曲觸

5、判斷錯(cuò)觸判斷正堿判斷般睫率車0.10.913715080%20%15397491 67.30%0.40.6191150 #2.90%21139491 86.70%0.50.5191150 #2.90%21931491 89.30%0.60.4200141 #2.90%2302046492%0.90.1200114 # 11.40%24643812 94.70%對(duì)于 test1 測(cè)試集，總體來說，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加 （女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先驗(yàn)概率的增加，將男性判

6、斷為女性的概率越來越少，甚至沒有；而把女性判別為男性的概率越來越大）而對(duì)于test1 測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減小（也就是隨著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越大；而把女性判別為男性的概率越來越?。?2）當(dāng)體重和身高不相關(guān)的時(shí)候先驗(yàn)概率test1test2男性pwi性pw姓判斷如隨判斷鐐踐判斷夜確判斷服舉錯(cuò)誤率男性判斷的«判斷籍i判斷奶嘴判和翻案錯(cuò)0.10.9173150 91.40%8.60%19357491 80.70%10.4

7、0.6200150100% 0%21733491 80.70%10.50.5200141 97.10%2.90%22327482 90.30%0.60.4200141 97.10%2.90%22624482 91.30%0.90.1200123 91.40%8.60%2428428 94.70%對(duì)于 test1 測(cè)試集，總體來說，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越少，甚至沒有；而把女性判別為男性的概率越來越大）

8、而對(duì)于test1 測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越大；而把女性判別為男性的概率越來越?。?3）當(dāng)體重和身高相關(guān)的時(shí)候先驗(yàn)概率test1test2男性pWd生p岫生判斷姍瞰H制斷做率錯(cuò)誤率男性判斷些判斷錯(cuò)判斷些判制率錯(cuò)誤率0.10.91010150 #28.60%114136500 #45.30%0.40.6155150 #14.30%17476491 #25.70%0.50.5155150 #14.3

9、0%19159491 80% 20%0.60.4192141 # 8.60%20446491 #15.70%0.90.1200123 # 8.60%2428446 # 4.70%對(duì)于 test1 測(cè)試集，總體來說，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加 （女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越少，甚至沒有；而把女性判別為男性的概率越來越大）而對(duì)于test1 測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或

10、者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越大；而把女性判別為男性的概率越來越?。?）當(dāng)體重和身高不相關(guān)的時(shí)候先驗(yàn)概率test1test2男性p的性pW2性判斷量踴判斷鐳惺判斷如翻判斷ffiB率錯(cuò)誤率男性判斷更懶判斷喋假判斷她郵U斷豳降錯(cuò)誤率0.10.913715080% 20%15694500 68.70% 31%0.40.6182150 94.30%5.70%20545491 84.70%15.30%0.50.5191150 97.10%2.90%2064449185% 15%0.60.4191150 97

11、.10%2.90%21040491 86.30%13.70%0.90.1200141 97.10%2.90%23515464 93.70%6.30%對(duì)于 test1 測(cè)試集，總體來說，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加 （女性先驗(yàn)概率的減少）先增大后減小，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越少，甚至沒有；而把女性判別為男性的概率越來越大）而對(duì)于test1 測(cè)試集，對(duì)樣本集的判斷正確率隨著男性的先驗(yàn)概率的增加（女性先驗(yàn)概率的減少）而不斷增加，而對(duì)于男性或者女性的的個(gè)體判別隨著男性的先

12、驗(yàn)概率的增加而正確率不斷增加或不斷減?。ㄒ簿褪请S著男性先驗(yàn)概率的增加，將男性判斷為女性的概率越來越大；而把女性判別為男性的概率越來越?。? .結(jié)果總體分析由實(shí)驗(yàn)結(jié)果可知，對(duì)測(cè)試集的測(cè)試數(shù)據(jù)表明，最小錯(cuò)誤率的貝葉斯分類器在假設(shè)兩特征相關(guān)的情況下，男生類與女生類的先驗(yàn)概率與事實(shí)越接近既各為0.5時(shí)其準(zhǔn)確率越高，當(dāng)男生的先驗(yàn)概率大于女生時(shí)，容易將女生誤判為男生，當(dāng)男生的先驗(yàn)概率小于女生時(shí)，容易將男生誤判為女生，在假設(shè)兩特征不相關(guān)時(shí)分類器對(duì)先驗(yàn)概率依賴較小且準(zhǔn)確率較高。而對(duì)樣本集的測(cè)試數(shù)據(jù)則表明女生先驗(yàn)概率大于男生時(shí)分類器的準(zhǔn)確率較高， 假設(shè)兩類特征不相關(guān)時(shí)其準(zhǔn)確率變化不大，但女生先驗(yàn)概率較大時(shí)對(duì)男

13、生的誤判較多，男生的先驗(yàn)概率較大時(shí)對(duì)女生的誤判較多。最小風(fēng)險(xiǎn)的貝葉斯分類器假設(shè)兩類特征相關(guān)時(shí)，男生類與女生類的先驗(yàn)概率與事實(shí)接近既各為0.5時(shí)其準(zhǔn)確率較高，由于男生誤判為女生的損失較大，所以男生的先驗(yàn)概率越大則將女生誤判為男生的概率越高，準(zhǔn)確率則較低，女生的先驗(yàn)概率較高時(shí)分類器準(zhǔn)確率較高，假設(shè)兩類特征相關(guān)時(shí)，情況與不相關(guān)時(shí)類似，說明最小風(fēng)險(xiǎn)的貝葉斯分類器對(duì)先驗(yàn)概率依賴程度較高而對(duì)特征之間是否相互獨(dú)立關(guān)系不大。另外，對(duì)樣本集的分類測(cè)試正確率明顯低于測(cè)試集，分析認(rèn)為是由于樣本分布并不十分近似正態(tài)分布，且數(shù)據(jù)分布比較分散，而測(cè)試集的數(shù)據(jù)卻恰好較嚴(yán)格服從正態(tài)分布且數(shù)據(jù)分布比較集中。6 .實(shí)驗(yàn)心得通過實(shí)

14、驗(yàn)更加深刻地理解了貝葉斯分類器的設(shè)計(jì)過程以及模式識(shí)別的流程，通過實(shí)驗(yàn)了解了所學(xué)知識(shí)的實(shí)用價(jià)值，明白了最大似然估計(jì)，最小錯(cuò)誤率的貝葉斯分類器與最小風(fēng)險(xiǎn)的貝葉斯分類器的優(yōu)缺點(diǎn)與適用情況。通過討論解決實(shí)驗(yàn)中遇到的問題，明白了書中的公式不止需要記憶，還需要理解，明白了團(tuán)隊(duì)分工協(xié)作的重要性。7 .相關(guān)實(shí)驗(yàn)代碼( 1)當(dāng)體重和身高相關(guān)的最小錯(cuò)誤率分類期代碼clear all ;pw1=input('?D e u ? e ? e ? 6 名 o'pw2=input('? 6 u 心？ 6 ? 6 ? 6 名 o'male1=0;female1=0;error11=0;erro

15、r12=0;male2=0;female2=0;error21=0;error22=0;%2a6 ?立士？t1Ht1W=textread( 'E: ' o e y? § ? u ? £ e ? e ? ± e? £ e ?e ?±ee 心?e test1.僅%f %f %*s' );t2Ht2W=textread( 'E: ' o e y? § ? u ? £ e ? e ? ± e? £ e ?e ?±ee 心?e test2.tX%f %f %*s&#

16、39; );HW1=t1H t1W;HW1=HW1'HW2=t2H t2W;HW2=HW2'number1=length(HW1) ;%test1 015?20)e ynumber2=length(HW2) ;%test2(50,250)6 yfor n=1:20a=HW1(:,n);u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.058259.8982;%?Duu12=162.8400;52.5960;thgema12=43.9344 15.5254;15.525431.1285;% ?udet11=det(thegema1

17、1);det12=det(thgema12);p(11)=1/(2*pi)*(det11A0.5)*exp(-1/2*(a-u11)7thegema11)*(a-u11);p(12)=1/(2*pi)*(det12A0.5)*exp(-1/2*(a-u12)7thgema12)*(a-u12);pz=p(11)*pw1+p(12)*pw2;p11=(p(11)*pw1)/pz;p12=(p(12)*pw2)/pz;g=p11-p12;if (g>0)%? 士？ ？° 15? e ?e ?De umale1=male1+1;elseerror11=error11+1;endend

18、male1error11for n=21:number1a=HW1(:,n);u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.058259.8982;%?Duu12=162.8400;52.5960;thgema12=43.9344 15.5254;15.525431.1285;% ?udet11=det(thegema11);det12=det(thgema12);p(11)=1/(2*pi)*(det11A0.5)*exp(-1/2*(a-u11)'/thegema11)*(a-u11);p(12)=1/(2*pi)*(det12

19、A0.5)*exp(-1/2*(a-u12)'/thgema12)*(a-u12);pz=p(11)*pw1+p(12)*pw2;p11=(p(11)*pw1)/pz;p12=(p(12)*pw2)/pz;g=p11-p12;if (g<0)%? 士？ test1o o 20? e ?femalefemale1=female1+1;elseerror12=error12+1;endendfemale1error12for n=1:50a=HW2(:,n);u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.058259.8982;%

20、?Duu12=162.8400;52.5960;thgema12=43.9344 15.5254;15.525431.1285;% ?udet11=det(thegema11);det12=det(thgema12);p(11)=1/(2*pi)*(det11A0.5)*exp(-1/2*(a-u11)7thegema11)*(a-u11);p(12)=1/(2*pi)*(det12A0.5)*exp(-1/2*(a-u12)7thgema12)*(a-u12);pz=p(11)*pw1+p(12)*pw2;p11=(p(11)*pw1)/pz;%maleo ? e ? ep12=(p(12)

21、*pw2)/pz;%femaleo ? e ? eg=p11-p12;%test2°? 50?afemaleif (g<0)%?D?2?e ?femalefemale2=female2+1;elseerror21=error21+1;endendfemale2error21for n=51:number2a=HW2(:,n);u11=173.9200;65.5020;thegema11=20.7536 23.0582;23.058259.8982;%?Duu12=162.8400;52.5960;thgema12=43.9344 15.5254;15.525431.1285;% ?udet1