FISHER線性判別MATLAB實(shí)現(xiàn)

1、Fishe嚷性判別上機(jī)實(shí)驗(yàn)報(bào)告班級：學(xué)號：姓名：Fisher線性判別分析的基本思想：選擇一個(gè)投影方向(線性變換，線性組合)， 將高維問題降低到一維問題來解決，同時(shí)變換后的一維數(shù)據(jù)滿足每一類內(nèi)部的樣本 盡可能聚集在一起，不同類的樣本相隔盡可能地遠(yuǎn)。Fisher線性判別分析，就是通過給定的訓(xùn)練數(shù)據(jù)，確定投影方向 M口閾值w0, 即確定線性判別函數(shù)，然后根據(jù)這個(gè)線性判別函數(shù)，對測試數(shù)據(jù)進(jìn)行測試，得到測 試數(shù)據(jù)的類別。線性判別函數(shù)的一般形式可表示成g (X) =WTX +w°其中<WdFisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影

2、盡可能密集的要求。如下為具體步驟：(1) W的確定mi x, i =1,2各類樣本均值向量miNixXi樣本類內(nèi)離散度矩陣Si和總類內(nèi)離散度矩陣SwS 二(x mj(x mi)T, i1,2樣本類間離散度矩陣SbG =(m 現(xiàn))(m m2)T在投影后的一維空間中，各類樣本均值mi'= W Tmi樣本類內(nèi)離散度和總類內(nèi)離散度Si' = wtS w Sw' = wTSwW樣本類間離散度Sb' = WTSbWFisher準(zhǔn)則函數(shù)為maxjF (W)= "一嗎Si &(2)閾值的確定W。是個(gè)常數(shù)，稱為閾值權(quán)，對于兩類問題的線性分類器可以采用下屬決策規(guī)則

3、：g(x) =g1(x) -g2(x)令貝U：如果g(x)>0,則決策內(nèi)W ；如果g(x)<0,則決策內(nèi)W2;如果g(x)=0,則可將x 任意分到某一類，或拒絕。(3) Fisher線性判別的決策規(guī)則Fisher準(zhǔn)則函數(shù)滿足兩個(gè)性質(zhì)：1 .投影后，各類樣本內(nèi)部盡可能密集，即總類內(nèi)離散度越小越好。2 .投影后，各類樣本盡可能離得遠(yuǎn)，即樣本類間離散度越大越好。根據(jù)這個(gè)性質(zhì)確定準(zhǔn)則函數(shù)，根據(jù)使準(zhǔn)則函數(shù)取得最大值，可求出W w = §-1向-mJ。這就是Fisher判別準(zhǔn)則下的最優(yōu)投影方向。最后得到?jīng)Q策規(guī)則g(x)=w(x-：(m+m2)大于或小于 10gpWxw，則 lW2對于

4、某一個(gè)未知類別的樣本向量x,如果y=W x>y0,則xGwl；否則xGw2。二數(shù)據(jù)描述1.1 ris 數(shù)據(jù)IRIS數(shù)據(jù)集以鶯尾花的特征作為數(shù)據(jù)來源，數(shù)據(jù)集包含150個(gè)數(shù)據(jù)集，有4 維，分為 3 類，每類 50 個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含4 個(gè)屬性，是在數(shù)據(jù)挖掘、數(shù)據(jù)分類中非常常用的測試集、訓(xùn)練集。1 .sonar 數(shù)據(jù)Sonar數(shù)據(jù)集包含208個(gè)數(shù)據(jù)集，有60維，分為2類，第一類為98個(gè)數(shù)據(jù)，第二類為 110 個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含60 個(gè)屬性，是在數(shù)據(jù)挖掘、數(shù)據(jù)分類中非常常用的測試集、訓(xùn)練集。三實(shí)驗(yàn)結(jié)果以及源代碼1.Iris( 1)代碼：clccleardata=xlsread( 'I

5、ris' );Iris1=data(1:50,1:4);Iris2=data(51:100,1:4);Iris3=data(101:150,1:4);%類均值向量m1 = mean(Iris1);m2 = mean(Iris2);m3 = mean(Iris3);%各類內(nèi)離散度矩陣51 = zeros(4);52 = zeros(4);53 = zeros(4);for i=1:1:30s1 = s1 + (Iris1(i,:) - m1)'*(Iris1(i,:) - m1);endfor i=1:1:30s2 = s2 + (Iris2(i,:) - m2)'*(I

6、ris2(i,:) - m2);endfor i=1:1:30s3 = s3 + (Iris3(i,:) - m3)'*(Iris3(i,:) - m3);end%總類內(nèi)離散矩陣sw12 = s1 + s2;sw13 = s1 + s3;sw23 = s2 + s3;%投影方向w12 = (sw12A-1)*(m1 - m2)')'w13 = (sw13A-1)*(m1 - m3)')'；w23 = (sw23A-1)*(m2 - m3)')'%判別函數(shù)以及閾值T (即 w0 )T12 = -0.5 * (m1 + m2)*inv(sw1

7、2)*(m1 - m2)'T13 = -0.5 * (m1 + m3)*inv(sw13)*(m1 - m3)'T23 = -0.5 * (m2 + m3)*inv(sw23)*(m2 - m3)'kind1 = 0;kind2 = 0;kind3 = 0;newiris1=;newiris2=;newiris3=;for i=31:50x = Iris1(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 >

8、; 0)newiris1=newiris1;x;kind1=kind1+1;elseif (g12 < 0)&(g23 > 0) newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0) newiris3=newiris3;x;endendfor i=31:50x = Iris2(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 > 0)newiris1=

9、newiris1;x;elseif (g12 < 0)&(g23 > 0)kind2=kind2+1;newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0)newiris3=newiris3;x;endendfor i=31:50x = Iris3(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 > 0)newiris1=newiris1;x;else

10、if (g12 < 0)&(g23 > 0)newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0)kind3=kind3+1;newiris3=newiris3;x;endendcorrect=(kind1+kind2+kind3)/60;fprintf( 'n 綜合正確率： %.2f%nn' ,correct* 100);( 2)實(shí)驗(yàn)結(jié)果：綜合正確率=96.67%2.Sonar( 1)代碼：clccleardata=xlsread( 'sonar' );Sonar1=data(1:9

11、8,1:60);Sonar2=data(99:208,1:60);%類均值向量m1 = mean(Sonar1);m2 = mean(Sonar2);%各類內(nèi)離散度矩陣s1 = zeros(60);s2 = zeros(60);for i=1:1:70s1 = s1 + (Sonar1(i,:) - m1)'*(Sonar1(i,:) - m1);endfor i=1:1:80s2 = s2 + (Sonar2(i,:) - m2)'*(Sonar2(i,:) - m2);end%總類內(nèi)離散矩陣sw12 = s1 + s2;%投影方向w12 = (sw12A-1)*(m1 - m2)')'%判別函數(shù)以及閾值T (即w0 )T12 = -0.5 * (m1 + m2)*inv(sw12)*(m1 - m2)'kind1 =0;kind2 =0;newsonar1=;newsonar2=;for i=71:98x = Sonar1(i,:);g12 = w12 * x' + T12;if g12 > 0newsonar1=newsonar1;x;kind1=kind1+1;elsenewsonar2=newsonar2;x;endendfor i=81:110x = Sonar2(i,:);g12 = w12 * x&