模式識別大作業(yè)—Fisher_最近鄰.doc

姓名： 學(xué)號：題目對sonar和wdbc中數(shù)據(jù)(如表1所示)進(jìn)行分類，并將實(shí)驗(yàn)結(jié)果填入表2。不降維方法用鄰近法，降維用fisher判別：表1 實(shí)驗(yàn)數(shù)據(jù)類別數(shù)特征維數(shù)樣本個數(shù)wdbc230=357=212sonar260=98 =110 解：表2實(shí)驗(yàn)結(jié)果（準(zhǔn)確率）不降維降維wdbc0.950720.93283sonar0.686080.72499一、Fisher線性判別Fisher判別法的基本思想是尋找一個最好的投影方向，在這個方向的直線上，d維樣本的投影能分開的最好。問題是如何根據(jù)實(shí)際情況找到這條最好的、最易于分類的投影線。這就是fisher法所要解決的基本問題。一維空間的Fisher線性判別函數(shù)為： =,i=1,2 其中，和是兩個樣本的均值，分別為各類樣本的的類內(nèi)離散度。投影方向?yàn)椋?（4） （5）在Fisher判決函數(shù)中，分子反應(yīng)了映射后兩類中心的距離平方，該值越大，類間可分性越好；分母反應(yīng)了兩類的類內(nèi)的離散度，其值越小越好；從總體上講，的值越大越好，在這種可分性評價標(biāo)準(zhǔn)下，使達(dá)到最大值的即為最佳投影方向。以上所做的全部工作都是將d維空間的樣本集映射成一維樣本集，然后，我們只需要再確定一個閾值,將投影點(diǎn)與閾值比較，便可作出決策。本程序中，采用的是閾值=（）/ 2然后再根據(jù)決策規(guī)則比較投影與閾值大小就可判斷屬于什么類型。Fisher線性判別的主要優(yōu)點(diǎn)是簡單，容易實(shí)現(xiàn)，且計算量和存儲量小。二、Fisher線性判別流程圖分別取50組類別1和類別2的樣本進(jìn)行訓(xùn)練通過決策規(guī)則，計算得到和決策面閾值構(gòu)成fisher判別函數(shù)分別計算測試樣本識別的準(zhǔn)確率選取剩下類別1和類別2的樣本進(jìn)行測試是否大于閾值？類別1的個數(shù)加1類別2的個數(shù)加1三、Fisher線性判別實(shí)驗(yàn)結(jié)果 因?yàn)檫x擇訓(xùn)練樣本具有隨機(jī)性，所以進(jìn)行多次實(shí)驗(yàn)，求取判別準(zhǔn)確率的平均值。表一：sonar（fisher） 表二：wdbc(fisher)運(yùn)行次數(shù)準(zhǔn)確率10.927520.942430.929640.955250.925460.910470.957480.933990.9254100.9211平均準(zhǔn)確率0.93283運(yùn)行次數(shù)準(zhǔn)確率10.692320.769230.751340.787350.713060.707870.684580.669090.7665100.7225平均準(zhǔn)確率0.7263四、最近鄰法其基本思想是在訓(xùn)練樣本中找到測試樣本的最近鄰，然后根據(jù)這個最近鄰樣本的類別來決定測試樣本的類別，鄰近法算法所選擇的鄰居都是已經(jīng)正確分類的對象。該算法在分類時的不足主要有：如果樣本數(shù)目太少，樣本的分布可能會帶有很大的偶然性，不一定能很好地代表數(shù)據(jù)內(nèi)的分布情況，此時就會影響最近鄰法的性能。該方法的另一個不足之處是計算量較大，因?yàn)閷γ恳粋€待分類的文本都要計算它到全體已知樣本的距離，才能求得它的最近鄰點(diǎn)。如果寫成判別函數(shù)的形式，類的判別函數(shù)可以寫作 決策規(guī)則為各類的判別函數(shù)比較大小，即 五、最近鄰法判別流程圖將測試樣本的類別判定為最近訓(xùn)練樣本的類別分別取50組類別1和類別2的樣本作為訓(xùn)練樣本選取剩下類別1和類別2的樣本作為測試樣本計算出距每個測試樣本最近的訓(xùn)練對象分別測試樣本識別的準(zhǔn)確率六、最近鄰法判別實(shí)驗(yàn)結(jié)果 表三 ：sonar（最近鄰） 表四：wdbc(最近鄰)運(yùn)行次數(shù)準(zhǔn)確率10.647820.675030.725640.685050.713060.695670.624580.723790.7522100.6687平均準(zhǔn)確率0.6911運(yùn)行次數(shù)準(zhǔn)確率10.970120.888130.955240.933950.931860.972370.97448190.9646100.9168平均準(zhǔn)確率0.95072七、實(shí)驗(yàn)總結(jié)用fisher線性判別分析方法對sonar和wdbc的識別率分別是0.72499和0.93283；而用近鄰法得到的識別率分別為0.63055和0.95072。因此在此兩組數(shù)據(jù)中fisher線性判別的識別率要稍微高于近鄰法，主要原因可能是這兩種類型的點(diǎn)相對集中，存在交疊的情況導(dǎo)致的。在這個分類實(shí)驗(yàn)中fisher判別有著較高的識別率，但不一定適用于所有數(shù)據(jù)分類。因此要根據(jù)具體的應(yīng)用場合來選擇合適的分類方法。經(jīng)過幾個晚上的艱苦奮斗，努力學(xué)習(xí)，不斷請教前輩大神和上網(wǎng)查詢，不斷調(diào)試程序，最終才得以成功運(yùn)行，我對這幾種判別方法有了更深層次的認(rèn)識，同時對matlab這個強(qiáng)大的數(shù)值計算軟件應(yīng)用的也更加熟練，山重水復(fù)疑無路，柳暗花明又一村，自己的能力也就是在不斷的發(fā)現(xiàn)錯誤，改正錯誤中得到了提升。八、實(shí)驗(yàn)matlab代碼 （1）sonar數(shù)據(jù)分類clear all; A=xlsread(C:UserslisaiDesktopsonar);%將數(shù)據(jù)存入到A中for m=1:10 %程序隨機(jī)運(yùn)行10次 disp(sprintf(第%d次測試結(jié)果,m); k=0;%k用來保存兩類數(shù)據(jù)個數(shù) for c=1:208 if A(c,61)=1 k=k+1; B(k)=c; end end D=A(B,:);%將1類數(shù)據(jù)存入到D中 out=randperm(k); data=out(1:50); x1=D(data,1:60); %隨機(jī)從1類數(shù)據(jù)中選取50個訓(xùn)練樣本 x11=D(data,:); k=0; %以下同上類似，不再贅述 for h=1:208 if A(h,61)=2 k=k+1; L(k)=h; end end E=A(L,:); out1=randperm(k); data1=out1(1:50); x2=E(data1,1:60); x22=E(data1,:); D(data,:)=;%在全部1類數(shù)據(jù)中刪除訓(xùn)練樣本數(shù)據(jù) E(data1,:)=;%在全部2類數(shù)據(jù)中刪除訓(xùn)練樣本數(shù)據(jù) m1=mean(x1);%求1訓(xùn)練樣本均值 m2=mean(x2);%求2訓(xùn)練樣本均值 s1=(x1-ones(50,1)*m1)*(x1-ones(50,1)*m1);%1訓(xùn)練樣本類內(nèi)離散度矩陣S1 s2=(x2-ones(50,1)*m2)*(x2-ones(50,1)*m2);%2訓(xùn)練樣本類內(nèi)離散度矩陣S1 sw=s1+s2; %總類內(nèi)離散度矩陣Sw w=inv(sw)*(m1-m2);%最優(yōu)投影方向 y1=w*x1;y2=w*x2;%求訓(xùn)練樣本投影 m11=mean(y1,2);%各個訓(xùn)練樣本投影后的平均值 m22=mean(y2,2); th=(m11+m22)./2; %閾值 w1=0; w2=0; right1=0; right2=0; right3=0; G=D;E;%將刪除訓(xùn)練樣本后的M，B類樣本組合在一起 for n=1:108 xn=G(n,1:60); xn1=G(n,:); yn=w*xn; if ynth w1=w1+1; if xn1(:,61)=1 %匹配上的話正確的個數(shù)加一 right1=right1+1; end else w2=w2+1; if xn1(:,61)=2 right2=right2+1; end end end right=(right1+right2)/108; disp(測試樣本判定準(zhǔn)確的個數(shù)為：); disp (right1+right2); disp(fisher判別準(zhǔn)確率是：); disp(right); U=x11;x22;%將樣本組合在一起 min=inf,0;%初始化最小值 for i=1:108 for j=1:100 d=sqrt(sum(G(i,1:60)-U(j,1:60).2); if min(1)d min(1)=d; min(2)=U(j,61);%找到最小距離對應(yīng)的類 end end if min(2)=G(i,61) %判斷是否與已知類一樣 right3=right3+1; end end rightt=right3/108; disp(測試樣本判定準(zhǔn)確的個數(shù)為：); disp(right3) disp(最近鄰判別準(zhǔn)確率) disp(rightt);end某次程序運(yùn)行結(jié)果：（2）wdbc數(shù)據(jù)分類clear all;B=importdata(C:UserslisaiDesktopwdbc.txt);%將數(shù)據(jù)存入到B中A=B.data; %將數(shù)據(jù)域存入到A中Y=B.textdata; %將非數(shù)據(jù)域存入到Y(jié)中for m=1:10 %程序隨機(jī)運(yùn)行10次 disp(sprintf(第%d次測試結(jié)果,m); k=0; %k用來保存兩類數(shù)據(jù)個數(shù) for c=1:569 str1=M; str3=B.textdata(c,2); if strcmp(str1,str3)=1 k=k+1; C(k)=c; end end D=A(C,:); %將M類數(shù)據(jù)存入到D中 DD=Y(C,:); %相應(yīng)的將M類數(shù)據(jù)域?qū)?yīng)的非數(shù)據(jù)域存入到DD中，以下有類似情況 out=randperm(k); data=out(1:50); x1=D(data,1:30);%隨機(jī)從M類數(shù)據(jù)中選取50個訓(xùn)練樣本 x1test=DD(data,:); %上述所選樣本對應(yīng)的非數(shù)據(jù)域 k=0; %以下同上類似，不再贅述 for h=1:569 str2=B; str3=B.textdata(h,2); if strcmp(str3,str2)=1 k=k+1; L(k)=h; end end E=A(L,:); EE=Y(L,:); out1=randperm(k); data1=out1(1:50); x2=E(data1,1:30); x2test=EE(data1,:); D(data,:)=;%在全部M類數(shù)據(jù)中刪除訓(xùn)練樣本數(shù)據(jù) DD(data,:)=;%在全部M類非數(shù)據(jù)域中刪除樣本數(shù)據(jù)對應(yīng)的非數(shù)據(jù)域 E(data1,:)=;%在全部B類數(shù)據(jù)中刪除訓(xùn)練樣本數(shù)據(jù) EE(data1,:)=;%在全部B類非數(shù)據(jù)域中刪除樣本數(shù)據(jù)對應(yīng)的非數(shù)據(jù)域 m1=mean(x1);%求M訓(xùn)練樣本均值 m2=mean(x2);%求B訓(xùn)練樣本均值 s1=(x1-ones(50,1)*m1)*(x1-ones(50,1)*m1); %M訓(xùn)練樣本類內(nèi)離散度矩陣S1 s2=(x2-ones(50,1)*m2)*(x2-ones(50,1)*m2); %B訓(xùn)練樣本類內(nèi)離散度矩陣S2 sw=s1+s2; %總類內(nèi)離散度矩陣Sw w=inv(sw)*(m1-m2);%最優(yōu)投影方向 y1=w*x1;y2=w*x2;%求訓(xùn)練樣本投影 m11=mean(y1,2); %各個訓(xùn)練樣本投影后的平均值 m22=mean(y2,2); th=(m11+m22)./2; %閾值 right1=0; right2=0; right3=0; G=D;E; %將刪除訓(xùn)練樣本后的M，B類樣本組合在一起 GG=DD;EE; %與上敵對應(yīng)的非數(shù)據(jù)域 for n=1:469 xn=G(n,1:30); str4=GG(n,2); yn=w*xn; %匹配上的話正確的個數(shù)加一 if ynth if strcmp(str4,str1)=1 right1=right1+1; end else if strcmp(str4,str1)=0 right2=right2+1; end end end right=(right1+right2)/469; disp(測試樣本判定準(zhǔn)確的個數(shù)為：); disp (right1+right2); disp(fisher判別準(zhǔn)確率是：); disp(right); U=x1;x2;%將樣本組合在一起 UU=x1test;x2test;%對應(yīng)的非數(shù)據(jù)域組合在一起 min=inf; %初始化最小值 fo