模式識別實驗報告-實驗一-Bayes分類器設(shè)計

1、實驗一 Bayes分類器設(shè)計【實驗?zāi)康摹繉δＪ阶R別有一個初步的理解，能夠根據(jù)自己的設(shè)計對貝葉斯決策理論算法有一個深刻地認識，理解二類分類器的設(shè)計原理?！緦嶒炘怼孔钚★L險貝葉斯決策可按下列步驟進行：(1)在已知，i=1,，c及給出待識別的的情況下，根據(jù)貝葉斯公式計算出后驗概率：j=1,，x (2)利用計算出的后驗概率及決策表，按下面的公式計算出采取,i=1,，a的條件風險,i=1,2,a(3)對(2)中得到的a個條件風險值,i=1,，a進行比較，找出使其條件風險最小的決策，即則就是最小風險貝葉斯決策?！緦嶒瀮?nèi)容】假定某個局部區(qū)域細胞識別中正常（）和非正常（）兩類先驗概率分別為正常狀態(tài)：P（）=

2、0.9；異常狀態(tài)：P（）=0.1?，F(xiàn)有一系列待觀察的細胞，其觀察值為：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知類條件概率是的曲線如下圖：類條件概率分布正態(tài)分布分別為N（-2，0.25）、N（2,4）試對觀察的結(jié)果進行分類。【實驗要求】1) 用matlab完成基于最

3、小錯誤率的貝葉斯分類器的設(shè)計，要求程序相應(yīng)語句有說明文字，要求有子程序的調(diào)用過程。2) 根據(jù)例子畫出后驗概率的分布曲線以及分類的結(jié)果示意圖。3) 如果是最小風險貝葉斯決策，決策表如下：最小風險貝葉斯決策表：狀態(tài)決策104220請重新設(shè)計程序，完成基于最小風險的貝葉斯分類器，畫出相應(yīng)的條件風險的分布曲線和分類結(jié)果,并比較兩個結(jié)果。【實驗程序】u 最小錯誤率貝葉斯決策 分類器設(shè)計x=-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.879

4、2 -0.9780 0.7932 1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 pw1=0.9 ; pw2=0.1e1=-2; a1=0.5e2=2;a2=2m=numel(x) %得到待測細胞個數(shù)pw1_x=zeros(1,m) %存放對w1的后驗概率矩陣pw2_x=zeros(1,m) %存放對w2的后驗概率矩陣results=zeros(1,m) %存放比較結(jié)果矩陣for i = 1:m%計算在w1下的后驗概率 pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i)

5、,e1,a1)+pw2*normpdf(x(i),e2,a2)%計算在w2下的后驗概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)endfor i = 1:m if pw1_x(i)pw2_x(i) %比較兩類后驗概率 result(i)=0 %正常細胞 else result(i)=1 %異常細胞 endenda=-5:0.05:5 %取樣本點以畫圖n=numel(a)pw1_plot=zeros(1,n)pw2_plot=zeros(1,n)for j=1:npw1_pl

6、ot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)%計算每個樣本點對w1的后驗概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)endfigure(1)hold onplot(a,pw1_plot,k-,a,pw2_plot,r-.)for k=1:m if result(k)=0 plot(x(k),-0.1,b*) %正常細胞用*表示 else plot(

7、x(k),-0.1,rp) %異常細胞用五角星表示 end;end;legend(正常細胞后驗概率曲線,異常細胞后驗概率曲線,正常細胞,異常細胞)xlabel(樣本細胞的觀察值)ylabel(后驗概率)title(后驗概率分布曲線)grid onreturn ; 實驗內(nèi)容仿真x = -3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1

8、.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 disp(x)pw1=0.9pw2=0.1result=bayes(x,pw1,pw2)u 最小風險貝葉斯決策 分類器設(shè)計function R1_x,R2_x,result=danger(x,pw1,pw2)m=numel(x) %得到待測細胞個數(shù)R1_x=zeros(1,m) %存放把樣本X判為正常細胞所造成的整體損失R2_x=zeros(1,m) %存放把樣本X判為異常細胞所造成的整體損失result=zeros(1,m) %存放比較結(jié)果e1=-

9、2a1=0.5e2=2a2=2%類條件概率分布px_w1:（-2，0.25） px_w2（2,4）r11=0r12=2r21=4r22=0%風險決策表for i=1:m %計算兩類風險值 R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*nor

10、mpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)endfor i=1:m if R2_x(i)R1_x(i)%第二類比第一類風險大 result(i)=0 %判為正常細胞（損失較?。?，用0表示 else result(i)=1 %判為異常細胞，用1表示 end enda=-5:0.05:5 %取樣本點以畫圖n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)for j=1

11、:n R1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2) R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j

12、),e1,a1)+pw2*normpdf(a(j),e2,a2) %計算各樣本點的風險以畫圖endfigure(1)hold onplot(a,R1_plot,b-,a,R2_plot,g*-)for k=1:m if result(k)=0 plot(x(k),-0.1,b)%正常細胞用上三角表示 else plot(x(k),-0.1,go)%異常細胞用圓表示 end;end;legend(正常細胞,異常細胞,Location,Best)xlabel(細胞分類結(jié)果)ylabel(條件風險)title(風險判決曲線)grid onreturn 實驗內(nèi)容仿真x = -3.9847 , -3.5

13、549 ,-1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 disp(x)pw1=0.9pw2=0.1R1_x,R2_x,result=danger(x,pw1,pw2)【實驗結(jié)果和數(shù)據(jù)】u 最小錯誤率貝葉斯決策后驗概率曲線與判

14、決結(jié)果在一張圖上：后驗概率曲線如圖所示，帶*的綠色曲線為判決成異常細胞的后驗概率曲線；另一條平滑的藍色曲線為判為正常細胞的后驗概率曲線。根據(jù)最小錯誤概率準則，判決結(jié)果見曲線下方，其中“上三角”代表判決為正常細胞，“圓圈”代表異常細胞。各細胞分類結(jié)果：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 10為判成正常細胞，1為判成異常細胞圖1 基于最小錯誤率的貝葉斯判決u 最小風險貝葉斯決策風險判決曲線如圖2所示，其中帶*的綠色曲線代表異常細胞的條件風險曲線；另一條光滑的藍色曲線為判為正常細胞的條件風險曲線。根據(jù)貝葉斯最小風險判決準則，判決結(jié)果見曲線下方，

15、其中“上三角”代表判決為正常細胞，“圓圈“代表異常細胞。各細胞分類結(jié)果：1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 1其中，0為判成正常細胞，1為判成異常細胞圖2 基于最小風險的貝葉斯判決【實驗分析】由最小錯誤率的貝葉斯判決和基于最小風險的貝葉斯判決得出的圖形中的分類結(jié)果可以看出，樣本-3.9934、-3.9847在前者中被分為“正常細胞”，在后者中被分為“異常細胞”，分類結(jié)果截然不同。因為在給予最小風險的貝葉斯判決中，影響決策結(jié)果的因素多了一個“損失”?？梢钥闯觯趫D1中，這兩個樣本點下兩類決策的后驗概率相差很小，當結(jié)合最小風險貝葉斯決策表進行

16、計算時，“損失”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯誤率貝葉斯決策就是在0-1損失函數(shù)條件下的最小風險貝葉斯決策，即前者是后者的特例。實驗二 基于Fisher準則線性分類器設(shè)計【實驗?zāi)康摹勘緦嶒炛荚谧屚瑢W(xué)進一步了解分類器的設(shè)計概念，能夠根據(jù)自己的設(shè)計對線性分類器有更深刻地認識，理解Fisher準則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理?！緦嶒灄l件】Matlab軟件【實驗原理】線性判別函數(shù)的一般形式可表示成 其中 根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向

17、W的函數(shù)為： 上面的公式是使用Fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個d維的向量。向量就是使Fisher準則函數(shù)達極大值的解，也就是按Fisher準則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準則函數(shù)極大的d維向量 的計算方法，但是判別函數(shù)中的另一項尚未確定，一般可采用以下幾種方法確定如或者 或當與已知時可用當W0確定之后，則可按以下規(guī)則分類，使用Fisher

18、準則方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用?！緦嶒灣绦颉縡unction fisher%w1中數(shù)據(jù)點的坐標x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.72

19、26 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;x3

20、 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548;%將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%計算第一

21、類的樣本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%計算第一類樣本類內(nèi)離散度矩陣S1S1=zeros(3,3);for i=1:36 S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i);end%w2的數(shù)據(jù)點坐標x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.261

22、4 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150

23、0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.

24、8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;x4=x4(:);x5=x5(:);x6=x6(:);%計算第二類的樣本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計算第二類樣本類內(nèi)離散度矩陣S2S2=zeros(3,3);for i=1:36 S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i);end%總類內(nèi)離散度矩陣SwSw=zeros(3,3

25、);Sw=S1+S2;%樣本類間離散度矩陣SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最優(yōu)解WW=Sw-1*(m1-m2)%將W變?yōu)閱挝幌蛄恳苑奖阌嬎阃队癢=W/sqrt(sum(W.2);%計算一維Y空間中的各類樣本均值M1及M2for i=1:36 y(i)=W*x1(i) x2(i) x3(i);endM1=mean(y)for i=1:36 y(i)=W*x4(i) x5(i) x6(i);endM2=mean(y)%利用當P(w1)與P(w2)已知時的公式計算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-

26、2);%計算將樣本投影到最佳方向上以后的新坐標 X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3);%得到投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標%繪制樣本點figure(1)plot3(x1,x2,x3,r*) %第一類hold onplot3(x4,x5,x6,bp) %第二類legend(第一類點,第二類點)title(Fisher線性判別曲線)W1=5*W; %畫出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,