基于Fisher準則線性分類器設計

1、北京郵電大學實驗報告題目:模式識別 班級： 專業(yè)： 姓名： 序號： 實驗二、基于fisher準則線性分類器設計2.1實驗類型：設計型：線性分類器設計（fisher準則）2.2實驗目的：本實驗旨在讓同學進一步了解分類器的設計概念，能夠根據自己的設計對線性分類器有更深刻地認識，理解fisher準則方法確定最佳線性分界面方法的原理，以及l(fā)agrande乘子求解的原理。2.3實驗條件：matlab軟件，pc機2.4實驗原理：線性判別函數的一般形式可表示成 其中 根據fisher選擇投影方向w的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內樣本投影盡可能密集的要求，用以評價投影方向w

2、的函數為： 上面的公式是使用fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個d維的向量。向量就是使fisher準則函數達極大值的解，也就是按fisher準則將d維x空間投影到一維y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權和的權值。以上討論了線性判別函數加權向量w的確定方法，并討論了使fisher準則函數極大的d維向量 的計算方法，但是判別函數中的另一項尚未確定，一般可采用以下幾種方法確定如或者或當與已知時可用當w0確定之后，則可按以下規(guī)則分類，使用fisher準則

3、方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。2.5實驗內容：已知有兩類數據和二者的概率已知=0.6， =0.4。中數據點的坐標對應一一如下： 數據：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137

4、-0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.161

5、4 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數據點的對應的三維坐標為x2 = 1.4010 1.2301

6、 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0

7、.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1

8、408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數據的樣本點分布如下圖：2.6實驗要求：1) 請把數據作為樣本，根據fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內樣本投影盡可能密集的要求，求出評價投影方向的函數，并在圖形表示出來。并在實驗報告中表示出來，并求使取極大值的。用matlab完成fisher線

9、性分類器的設計，程序的語句要求有注釋。2) 根據上述的結果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數據分類相應的結果圖，要求畫出其在上的投影。3) 回答如下問題，分析一下的比例因子對于fisher判別函數沒有影響的原因。2.7實驗代碼和實驗結果分類器設計和分類結果x1=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407

10、-0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;y1=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.

11、4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.412

12、9 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548;x2=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.31482.0353 2.6030 1.

13、2327 2.1465 1.5673 2.9414; y2=1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;z2=0.6210 1.3656 0

14、.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;%數據錄入，整合為矩陣k=0;for i=1:6 for j=1:6 k=k+1; w1(:,k)=x1(i,j);y1(i,

15、j);z1(i,j); w2(:,k)=x2(i,j);y2(i,j);z2(i,j); endend%計算均值向量m1和m2m1=mean(w1,2);m2=mean(w2,2);%計算離散度矩陣for i=1:36 s1=(w1(:,i)-m1)*(w1(:,i)-m1); s2=(w2(:,i)-m2)*(w2(:,i)-m2);endsw=s1+s2;%計算閥值w0w_new=transpose(inv(sw)*(m1-m2);m1_new=w_new*m1;m2_new=w_new*m2;pw1=0.6; pw2=0.4;e=exp(1);w0=(m1_new+m2_new)/2-l

16、og(pw1/pw2)/log(e)/(36+36-2);%分類判斷x=1 1.2 2.0 1.2 0.23 1.5 1.0 0.9 1.5 2.33 0.6 0.55 0.68 0.89 1.43;m=0; n=0;result1=; result2=;for i=1:5 y(i)=w_new*x(:,i); if y(i)w0 m=m+1; result1(:,m)=x(:,i); else n=n+1; result2(:,n)=x(:,i); endend%結果顯示 display(屬于第一類的點)result1display(屬于第二類的點)result2scatter3(w1(1,

17、:),w1(2,:),w1(3,:),+r),hold onscatter3(w2(1,:),w2(2,:),w2(3,:),sg),hold onscatter3(result1(1,:),result1(2,:),result1(3,:),k),hold onscatter3(result2(1,:),result2(2,:),result2(3,:),bd)title(樣本點及實驗點的空間分布圖)legend(樣本點w1,樣本點w2,屬于第一類的實驗點,屬于第二類的實驗點)實驗結果分類結果如下：畫出其在w上的投影x1 =0.2331 1.5207 0.6499 0.7757 1.0524

18、 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099; x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.511

19、8 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604; x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869

20、 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548; %將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:); x2=x2(:); x3=x3(:); %計算第一類的樣本均值向量m1 m1(1)=mean(x1); m1(2)=mean(x2); m1(3)=mean(x3); %計算第一類樣本類內離散度矩陣s1 s1=zeros(3,3); for i=1:36 s1=s1

21、+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i); end %w2的數據點坐標 x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198

22、 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414; x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679

23、1.1288; x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458; x4=x4(:); x5=x5(:); x6=x6(:); %計算第二

24、類的樣本均值向量m2 m2(1)=mean(x4); m2(2)=mean(x5); m2(3)=mean(x6); %計算第二類樣本類內離散度矩陣s2 s2=zeros(3,3); for i=1:36 s2=s2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i); end %總類內離散度矩陣sw sw=zeros(3,3); sw=s1+s2; %樣本類間離散度矩陣sb sb=zeros(3,3); sb=(m1-m2)*(m1-m2); %最優(yōu)解w w=sw-1*(m1-m2); %

25、將w變?yōu)閱挝幌蛄恳苑奖阌嬎阃队?w=w/sqrt(sum(w.2); %計算一維y空間中的各類樣本均值m1及m2 for i=1:36 y(i)=w*x1(i) x2(i) x3(i); end m1=mean(y) for i=1:36 y(i)=w*x4(i) x5(i) x6(i); end m2=mean(y) %利用當p(w1)與p(w2)已知時的公式計算w0 p1=0.6;p2=0.4; w0=-(m1+m2)/2+(log(p2/p1)/(36+36-2); %計算將樣本投影到最佳方向上以后的新坐標 x1=x1*w(1)+x2*w(2)+x3*w(3); x2=x4*w(1)+x5*w(2)+x6*w(3);%得到投影長度 xx1=w(1)*x1;w(2)*x1;w(3)*x1; xx2=w(1)*x2;w(2)*x2;w(3)*x2;%得到新坐標 %繪制樣本點 figure(1) plot3(x1,x2,x3,r*) %第一類 hold on plot3(x4,x