基于Fisher準(zhǔn)則線性分類器設(shè)計

1、北京郵電大學(xué)實驗報告題目:模式識別 班級： 專業(yè)： 姓名： 序號： 實驗二、基于fisher準(zhǔn)則線性分類器設(shè)計2.1實驗類型：設(shè)計型：線性分類器設(shè)計（fisher準(zhǔn)則）2.2實驗?zāi)康模罕緦嶒炛荚谧屚瑢W(xué)進一步了解分類器的設(shè)計概念，能夠根據(jù)自己的設(shè)計對線性分類器有更深刻地認(rèn)識，理解fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及l(fā)agrande乘子求解的原理。2.3實驗條件：matlab軟件，pc機2.4實驗原理：線性判別函數(shù)的一般形式可表示成 其中 根據(jù)fisher選擇投影方向w的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向w

2、的函數(shù)為： 上面的公式是使用fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個d維的向量。向量就是使fisher準(zhǔn)則函數(shù)達極大值的解，也就是按fisher準(zhǔn)則將d維x空間投影到一維y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量w的確定方法，并討論了使fisher準(zhǔn)則函數(shù)極大的d維向量 的計算方法，但是判別函數(shù)中的另一項尚未確定，一般可采用以下幾種方法確定如或者或當(dāng)與已知時可用當(dāng)w0確定之后，則可按以下規(guī)則分類，使用fisher準(zhǔn)則

3、方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。2.5實驗內(nèi)容：已知有兩類數(shù)據(jù)和二者的概率已知=0.6， =0.4。中數(shù)據(jù)點的坐標(biāo)對應(yīng)一一如下： 數(shù)據(jù)：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137

4、-0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.161

5、4 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點的對應(yīng)的三維坐標(biāo)為x2 = 1.4010 1.2301

6、 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0

7、.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1

8、408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本點分布如下圖：2.6實驗要求：1) 請把數(shù)據(jù)作為樣本，根據(jù)fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評價投影方向的函數(shù)，并在圖形表示出來。并在實驗報告中表示出來，并求使取極大值的。用matlab完成fisher線

9、性分類器的設(shè)計，程序的語句要求有注釋。2) 根據(jù)上述的結(jié)果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其在上的投影。3) 回答如下問題，分析一下的比例因子對于fisher判別函數(shù)沒有影響的原因。2.7實驗代碼和實驗結(jié)果分類器設(shè)計和分類結(jié)果x1=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407

10、-0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;y1=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.

11、4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.412

12、9 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548;x2=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.31482.0353 2.6030 1.

13、2327 2.1465 1.5673 2.9414; y2=1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;z2=0.6210 1.3656 0

14、.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;%數(shù)據(jù)錄入，整合為矩陣k=0;for i=1:6 for j=1:6 k=k+1; w1(:,k)=x1(i,j);y1(i,

15、j);z1(i,j); w2(:,k)=x2(i,j);y2(i,j);z2(i,j); endend%計算均值向量m1和m2m1=mean(w1,2);m2=mean(w2,2);%計算離散度矩陣for i=1:36 s1=(w1(:,i)-m1)*(w1(:,i)-m1); s2=(w2(:,i)-m2)*(w2(:,i)-m2);endsw=s1+s2;%計算閥值w0w_new=transpose(inv(sw)*(m1-m2);m1_new=w_new*m1;m2_new=w_new*m2;pw1=0.6; pw2=0.4;e=exp(1);w0=(m1_new+m2_new)/2-l

16、og(pw1/pw2)/log(e)/(36+36-2);%分類判斷x=1 1.2 2.0 1.2 0.23 1.5 1.0 0.9 1.5 2.33 0.6 0.55 0.68 0.89 1.43;m=0; n=0;result1=; result2=;for i=1:5 y(i)=w_new*x(:,i); if y(i)w0 m=m+1; result1(:,m)=x(:,i); else n=n+1; result2(:,n)=x(:,i); endend%結(jié)果顯示 display(屬于第一類的點)result1display(屬于第二類的點)result2scatter3(w1(1,

17、:),w1(2,:),w1(3,:),+r),hold onscatter3(w2(1,:),w2(2,:),w2(3,:),sg),hold onscatter3(result1(1,:),result1(2,:),result1(3,:),k),hold onscatter3(result2(1,:),result2(2,:),result2(3,:),bd)title(樣本點及實驗點的空間分布圖)legend(樣本點w1,樣本點w2,屬于第一類的實驗點,屬于第二類的實驗點)實驗結(jié)果分類結(jié)果如下：畫出其在w上的投影x1 =0.2331 1.5207 0.6499 0.7757 1.0524

18、 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099; x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.511

19、8 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604; x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869

20、 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548; %將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:); x2=x2(:); x3=x3(:); %計算第一類的樣本均值向量m1 m1(1)=mean(x1); m1(2)=mean(x2); m1(3)=mean(x3); %計算第一類樣本類內(nèi)離散度矩陣s1 s1=zeros(3,3); for i=1:36 s1=s1

21、+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i); end %w2的數(shù)據(jù)點坐標(biāo) x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198

22、 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414; x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679

23、1.1288; x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458; x4=x4(:); x5=x5(:); x6=x6(:); %計算第二

24、類的樣本均值向量m2 m2(1)=mean(x4); m2(2)=mean(x5); m2(3)=mean(x6); %計算第二類樣本類內(nèi)離散度矩陣s2 s2=zeros(3,3); for i=1:36 s2=s2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i); end %總類內(nèi)離散度矩陣sw sw=zeros(3,3); sw=s1+s2; %樣本類間離散度矩陣sb sb=zeros(3,3); sb=(m1-m2)*(m1-m2); %最優(yōu)解w w=sw-1*(m1-m2); %

25、將w變?yōu)閱挝幌蛄恳苑奖阌嬎阃队?w=w/sqrt(sum(w.2); %計算一維y空間中的各類樣本均值m1及m2 for i=1:36 y(i)=w*x1(i) x2(i) x3(i); end m1=mean(y) for i=1:36 y(i)=w*x4(i) x5(i) x6(i); end m2=mean(y) %利用當(dāng)p(w1)與p(w2)已知時的公式計算w0 p1=0.6;p2=0.4; w0=-(m1+m2)/2+(log(p2/p1)/(36+36-2); %計算將樣本投影到最佳方向上以后的新坐標(biāo) x1=x1*w(1)+x2*w(2)+x3*w(3); x2=x4*w(1)+x5*w(2)+x6*w(3);%得到投影長度 xx1=w(1)*x1;w(2)*x1;w(3)*x1; xx2=w(1)*x2;w(2)*x2;w(3)*x2;%得到新坐標(biāo) %繪制樣本點 figure(1) plot3(x1,x2,x3,r*) %第一類 hold on plot3(x4,x