模式識別實驗報告(一二)(共17頁)

1、信息(xnx)與通信工程學(xué)院模式識別(m sh sh bi)實驗報告班級： 姓名： 學(xué)號： 日 期： 2011年12月 實驗(shyn)一、Bayes分類器設(shè)計一、實驗(shyn)目的：1.對模式識別有一個(y )初步的理解2.能夠根據(jù)自己的設(shè)計對貝葉斯決策理論算法有一個深刻地認(rèn)識3.理解二類分類器的設(shè)計原理二、實驗條件：matlab軟件三、實驗原理： 最小風(fēng)險貝葉斯決策可按下列步驟進行：1)在已知，i=1,，c及給出待識別的的情況下，根據(jù)貝葉斯公式計算出后驗概率：j=1,，x 2)利用計算出的后驗概率及決策表，按下面的公式計算出采取,i=1,，a的條件風(fēng)險,i=1,2,a3)對(2)中得到的

2、a個條件風(fēng)險值,i=1,，a進行比較，找出使其條件風(fēng)險最小的決策，即則就是最小風(fēng)險貝葉斯決策。四、實驗內(nèi)容 假定某個局部區(qū)域細(xì)胞識別中正常（）和非正常（）兩類先驗概率分別為正常狀態(tài)：P（）=0.9；異常狀態(tài)：P（）=0.1?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221

3、 -1.1186 4.2532 已知先驗概率是的曲線如下圖：類條件概率分布正態(tài)分布分別為（-2，0.25）（2,4）試對觀察(gunch)的結(jié)果進行分類。五、實驗(shyn)步驟：1.用matlab完成分類器的設(shè)計(shj)，說明文字程序相應(yīng)語句，子程序有調(diào)用過程。2.根據(jù)例子畫出后驗概率的分布曲線以及分類的結(jié)果示意圖。3.最小風(fēng)險貝葉斯決策，決策表如下：狀態(tài)決策106210重新設(shè)計程序，完成基于最小風(fēng)險的貝葉斯分類器，畫出相應(yīng)的后驗概率的分布曲線和分類結(jié)果,并比較兩個結(jié)果。六、實驗代碼1.最小錯誤率貝葉斯決策(m1.m)x=-3.9847 -3.5549 -1.2401 -0.9780 -0

4、.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 0.7431 -0.4221 -1.1186 4.2532 pw1=0.9; pw2=0.1;e1=-2; a1=0.5;e2=2;a2=2;m=numel(x); %得到待測細(xì)胞個數(shù)pw1_x=zeros(1,m); %存放對w1的后驗概率矩陣pw2_x=zeros(1,m); %存放對w2的后驗概率(gil)矩陣results=zeros(1,m);%存

5、放比較(bjio)結(jié)果矩陣for i = 1:m%計算(j sun)在w1下的后驗概率 pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) ;%計算在w2下的后驗概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) ;endfor i = 1:m if pw1_x(i)pw2_x(i) %比較兩類后驗概率 result(i)=0;%正常細(xì)胞 else result(i

6、)=1;%異常細(xì)胞 endenda=-5:0.05:5; %取樣本點以畫圖n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);for j=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);%計算每個樣本點對w1的后驗概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);endfigure(1)

7、;hold onplot(a,pw1_plot,co,a,pw2_plot,r-.);for k=1:m if result(k)=0 plot(x(k),-0.1,cp); %正常細(xì)胞用五角星表示 else plot(x(k),-0.1,r*); %異常細(xì)胞用*表示 end;end;legend(正常細(xì)胞后驗概率曲線,異常細(xì)胞后驗概率曲線,正常細(xì)胞,異常細(xì)胞);xlabel(樣本細(xì)胞的觀察值);ylabel(后驗概率);title(后驗概率分布曲線);grid onreturn %實驗內(nèi)容仿真：x = -3.9847, -3.5549,-1.2401,-0.9780, -0.7932, -2

8、.8531,-2.7605, -3.7287, -3.5414 , -2.2692,-3.4549,-3.075,-3.9934,2.8792,-0.9780,0.7932,1.1882 ,3.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186, 4.2532 disp(x);pw1=0.9;pw2=0.1;result=bayes(x,pw1,pw2);2.最小風(fēng)險(fngxin)貝葉斯決策(m2.m)x=-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.

9、2692 -3.4549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 0.7431 -0.4221 -1.1186 4.2532 pw1=0.9; pw2=0.1;m=numel(x); %得到(d do)待測細(xì)胞個數(shù)R1_x=zeros(1,m); %存放(cnfng)把樣本X判為正常細(xì)胞所造成的整體損失R2_x=zeros(1,m);%存放把樣本X判為異常細(xì)胞所造成的整體損失result=zeros(1,m); %存放比較結(jié)果e1=-2;a1=0.5;e2=2;a2=2;%類條件概率分布px_w1:（-

10、2，0.25） px_w2（2,4）r11=0;r12=2;r21=4;r22=0;%風(fēng)險決策表for i=1:m %計算兩類風(fēng)險值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2); R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpd

11、f(x(i),e2,a2)+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfor i=1:m if R2_x(i)R1_x(i)%第二類比第一類風(fēng)險大 result(i)=0;%判為正常細(xì)胞（損失較小），用0表示 else result(i)=1;%判為異常細(xì)胞，用1表示 end enda=-5:0.05:5 ;%取樣本點以畫圖n=numel(a);R1_plot=zeros(1,n);R2_plot=zeros(1,n);for j=1:n R1_plot(j)=r11*pw1*

12、normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2) R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a

13、(j),e2,a2)%計算各樣本(yngbn)點的風(fēng)險以畫圖endfigure(1);hold onplot(a,R1_plot,co,a,R2_plot,r-.);for k=1:m if result(k)=0 plot(x(k),-0.1,cp);%正常(zhngchng)細(xì)胞用五角星表示 else plot(x(k),-0.1,r*);%異常細(xì)胞(xbo)用*表示 end;end;legend(正常細(xì)胞,異常細(xì)胞,Location,Best);xlabel(細(xì)胞分類結(jié)果);ylabel(條件風(fēng)險);title(風(fēng)險判決曲線);grid onreturn%實驗內(nèi)容仿真：x = -3.98

14、47, -3.5549,-1.2401,-0.9780, -0.7932, -2.8531,-2.7605, -3.7287, -3.5414 , -2.2692,-3.4549,-3.075,-3.9934,2.8792,-0.9780,0.7932,1.1882 ,3.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186, 4.2532 disp(x);pw1=0.9;pw2=0.1;result=bayes(x,pw1,pw2);七、實驗結(jié)果1.最小錯誤率貝葉斯決策后驗概率(gil)曲線與判決顯示在上圖中后驗概率曲線：帶紅色虛線曲線是判決(pnju)為

15、異常細(xì)胞的后驗概率曲線青色實線曲線(qxin)是為判為正常細(xì)胞的后驗概率曲線根據(jù)最小錯誤概率準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角星代表判決為正常細(xì)胞，*號代表異常細(xì)胞各細(xì)胞分類結(jié)果（0為判成正常細(xì)胞，1為判成異常細(xì)胞）：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 12. 最小風(fēng)險貝葉斯決策 風(fēng)險(fngxin)判決曲線如上圖所示：帶紅色虛線曲線是異常細(xì)胞的條件(tiojin)風(fēng)險曲線；青色圓圈曲線是正常細(xì)胞的條件風(fēng)險曲線根據(jù)貝葉斯最小風(fēng)險判決(pnju)準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角星代表判決為正常細(xì)胞，*號代表異常細(xì)胞各細(xì)胞分類結(jié)果（0為判成

16、正常細(xì)胞，1為判成異常細(xì)胞）：1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 1八、實驗分析由最小錯誤率的貝葉斯判決和基于最小風(fēng)險的貝葉斯判決得出的圖形中的分類結(jié)果可看出，樣本-3.9934、-3.9847在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”，分類結(jié)果完全相反。分析可知在最小風(fēng)險的貝葉斯判決中，影響結(jié)果的因素多了一個“損失”。在第一張圖中，這兩個樣本點下兩類決策的后驗概率相差很小，當(dāng)結(jié)合最小風(fēng)險貝葉斯決策表進行計算時，“損失”起了主導(dǎo)作用，導(dǎo)致了相反的結(jié)果的出現(xiàn)。同時，最小錯誤率貝葉斯決策就是在0-1損失函數(shù)條件下的最小風(fēng)險貝葉斯決

17、策，即前者是后者的特例。九、實驗心得通過本次實驗，我對模式識別有了一個初步的理解，開始對模式識別的相關(guān)知識從書本上轉(zhuǎn)移到了實踐中，并跟據(jù)自己的設(shè)計對貝葉斯決策理論算法有一個深刻地認(rèn)識，同時也理解二類分類器的設(shè)計原理。同時，之前只學(xué)過淺顯的Matlab知識，用Matlab實現(xiàn)數(shù)值計算的能力又一次得到了訓(xùn)練，對以后的學(xué)習(xí)和實驗都有極大的幫助。實驗二、基于(jy)Fisher準(zhǔn)則線性分類器設(shè)計一、實驗(shyn)目的：1.進一步了解分類器的設(shè)計(shj)概念2.能夠根據(jù)(gnj)自己的設(shè)計對線性分類器有更深刻地認(rèn)識3.理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理及Lagrande乘子求解的原

18、理二、實驗條件：matlab軟件三、實驗原理：線性判別函數(shù)的一般形式可表示成 其中 根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向W的函數(shù)為： 上面的公式是使用Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個d維的向量。向量就是使Fisher準(zhǔn)則函數(shù)達極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線

19、性判別函數(shù)加權(quán)向量W的確定(qudng)方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量 的計算方法，但是(dnsh)判別函數(shù)中的另一項尚未確定，一般可采用以下幾種(j zhn)方法確定如或者 或當(dāng)與已知時可用當(dāng)W0確定之后，則可按以下規(guī)則分類，使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。四、實驗內(nèi)容：已知有兩類數(shù)據(jù)和二者的概率已知=0.6， =0.4。中數(shù)據(jù)點的坐標(biāo)對應(yīng)一一如下： 數(shù)據(jù)：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.56

20、22 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.771

21、4 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0

22、.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點的對應(yīng)(duyng)的三維坐標(biāo)為x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.931

23、3 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808

24、0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本(yngb

25、n)點分布如下圖：五、實驗(shyn)步驟：1.把數(shù)據(jù)作為樣本，根據(jù)(gnj)Fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評價投影方向的函數(shù)，并在圖形表示出來。并在實驗報告中表示出來，并求使取極大值的。用matlab完成Fisher線性分類器的設(shè)計，程序的語句要求有注釋。2.根據(jù)上述的結(jié)果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，畫出其在上的投影。3.回答如下問題，分析

26、一下的比例因子對于Fisher判別函數(shù)沒有影響的原因。六、實驗代碼(m3.m)x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2

27、099;x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0

28、.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548;%將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%計算(j sun)第一類的樣本均值向量m1m1(1)=mean(x1);m1(2)=

29、mean(x2);m1(3)=mean(x3);%計算第一類樣本(yngbn)類內(nèi)離散度矩陣S1S1=zeros(3,3);for i=1:36 S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i);end%w2的數(shù)據(jù)(shj)點坐標(biāo)x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7

30、909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.712

31、6 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379

32、0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;x4=x4(:);x5=x5(:);x6=x6(:);%計算(j sun)第二類的樣本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計算第二類樣本(yngbn)類內(nèi)離散度矩陣S2S2=zeros(3,3);for i=1:36 S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i);end%總類內(nèi)離散(lsn)度矩陣SwSw=zeros(3,3

33、);Sw=S1+S2;%樣本類間離散度矩陣SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最優(yōu)解WW=Sw-1*(m1-m2)%將W變?yōu)閱挝幌蛄恳苑奖阌嬎阃队癢=W/sqrt(sum(W.2);%計算一維Y空間中的各類樣本均值M1及M2for i=1:36 y(i)=W*x1(i) x2(i) x3(i);endM1=mean(y);for i=1:36 y(i)=W*x4(i) x5(i) x6(i);endM2=mean(y);%利用當(dāng)P(w1)與P(w2)已知時的公式計算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%計算將樣本投影到最佳方向上以后的新坐標(biāo) X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3); %得到投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2; %得到新坐標(biāo)%繪制樣本點figure(1);plot3(x1,x2,x3,r*); %第一類hold onplot3(x4,x5,x6,gp) ; %第二類legend(第一類點,第二類點);title(Fisher線性判別曲線);W1=5*W; %畫出