fisher判別法

1、實驗1Fisher線性判別實驗一、實驗目的應用統(tǒng)計方法解決模式識別問題的困難之一是維數(shù)問題，在低維空間行得通的方法，在高維空間往往行不通。因此，降低維數(shù)就成為解決實際問題的關鍵。Fisher的方法，實際上涉及維數(shù)壓縮。如果要把模式樣本在高維的特征向量空間里投影到一條直線上，實際上就是把特征空間壓縮到一維，這在數(shù)學上容易辦到。問題的關鍵是投影之后原來線性可分的樣本可能變得混雜在一起而無法區(qū)分。在一般情況下，總可以找到某個最好的方向，使樣本投影到這個方向的直線上是最容易分得開的。如何找到最好的直線方向，如何實現(xiàn)向最好方向投影的變換，是Fisher法要解決的基本問題。這個投影變換就是我們尋求的解向量

2、w*本實驗通過編制程序體會Fisher線性判別的基本思路，理解線性判別的基本思想，掌握Fisher線性判別問題的實質(zhì)。二、實驗原理1.線性投影與Fisher準則函數(shù)各類在d維特征空間里的樣本均值向量:M，丄x，i，1,2(4.52)inkixkeXi通過變換w映射到一維特征空間后，各類的平均值為：(4.53)m，y，i，1,2inki$k尹映射后，各類樣本“類內(nèi)離散度”定義為：一m)2i，i，1,2(4.54)顯然，我們希望在映射之后，兩類的平均值之間的距離越大越好，而各類的樣本類內(nèi)離散度越小越好。因此，定義Fisher準則函數(shù):J(w)，F(xiàn)|m一m|212s2s212(4.55)使Jf最大的

3、解w*就是最佳解向量，也就是Fisher的線性判別式。2求解w*從J(w)的表達式可知，它并非w的顯函數(shù)，必須進一步變換。F已知：m，丄y，i，1,2,依次代入(4.5-1)和(4.5-2),有:inki$k需m，wtx，wt(丄x)，wtM，i，1,2inknkiixeXixeX.kiki(4.5-6)所以：Im一mI2，|wtM-wtMlb，|wt(M一M)lb121212，wt(M一M)(M一M)tw，wtSw1212b(4.5-7)其中：S，(MM)(MM)tb1212(4.5-8)S是原d維特征空間里的樣本類內(nèi)離散度矩陣，表示兩類均值向量之間的離散度大小,因此，Sb越大越容易區(qū)分。將

4、(4.5-6)m，wTM和(4.5-2)M，丄x代入(4.5-4)S2式中:iiinkixeX.ki其中：因此：S2，(wtx-wtM)2ikixeX-_.ki，wt乙(xM)(xM)twkikixeX.ki=wtSwiS，(xM)(xM)t，i，1,2ikikix，XkiS2+S2，wt(S+S)w=wtSw1212w(4.5-9)(4.5-10)(4.5-11)顯然：S，S+Sw12(4.5-12)S稱為原d維特征空間里，樣本“類內(nèi)離散度”矩陣。iS是樣本“類內(nèi)總離散度”矩陣。w為了便于分類，顯然S越小越好，也就是S越小越好。iw將上述的所有推導結果代入J(w)表達式：F可以得到：w*S1

5、(MM),w12其中，Y，是一個比例因子，不影響w*的方向，可以刪除，從而得到最后解:(4.5-18)w*=S1(MM)w12W*就使Jf（w）取得最大值，w*可使樣本由d維空間向一維空間映射，其投影方向最好。w*=S_1（MM）是一個Fisher線性判斷式。w12這個向量指出了相對于Fisher準則函數(shù)最好的投影線方向。3.Fisher算法步驟由Fisher線性判別式w*=S1（MM）求解向量w*的步驟：w12把來自兩類w/w的訓練樣本集X分成w和w兩個子集X和X。121212由M=x，i=1,2，計算M。inkiixkeXii=1,2。由S=(xM)(xM)T計算各類的類內(nèi)離散度矩陣S,i

6、kikii計算類內(nèi)總離散度矩陣Sw-S1+S2。計算S的逆矩陣S-1。ww由w*=S1（MM）求解w*。w124算法優(yōu)缺點分析優(yōu)點：（1）一般對于線性可分的樣本，總能找到一個投影方向，使得降維后樣本仍然線性可分，而且可分性更好即不同類別的樣本之間的距離盡可能遠，同一類別的樣本盡可能集中分布。（2）Fisher方法可直接求解權向量w*；（3）Fisher的線性判別式不僅適用于確定性模式分類器的訓練，而且對于隨機模式也是適用的，F(xiàn)isher還可以進一步推廣到多類問題中去缺點：（1）如果M=M，w*=0，則樣本線性不可分；M豐M，未必線性可分；S1212w不可逆，未必不可分。（2）對線性不可分的情況

7、，F(xiàn)isher方法無法確定分類三、實驗結果分析(1)訓練樣本程序確定投影方向clear%wl類訓練樣本，10組，每組為行向量。w1=-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;.0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063;%w2類訓練樣本，10組，每組為行向量。w2=0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.

8、41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;.-0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49;%w1=load(xxx1.txt);%w2=load(xxx2.txt);xx1=-0.7,0.58,0.089;%測試數(shù)據(jù)xxl,為列向量。xx2=0.047,-0.4,1.04;%測試數(shù)據(jù)xx2，為列向量。m1=mean(w1,1);%w1類樣本均值向量，為列向量sw1=cov(w1,1);%wl類樣本類內(nèi)離散度矩陣m2=mean(w2,1);%w2類樣

9、本均值向量，為列向量sw2=cov(w2,1);%w2類樣本類內(nèi)離散度矩陣sw=sw1+sw2;%總類內(nèi)離散度矩陣w=inv(sw)*(m1-m2);%投影方向y0=(w*m1+w*m2)/2;%閾值y0figure(1)fori=1:10plot3(w1(i,1),w1(i,2),w1(i,3),g+)holdonplot3(w2(i,1),w2(i,2),w2(i,3),ro)endxlabel(x軸);ylabel(y軸);title(原始訓練數(shù)據(jù)w1,w2三維分布圖);z1=w*w1;z2=w*w2;figure(2)fori=1:10plot3(z1(i)*w(1),z1(i)*w(

10、2),z1(i)*w(3),g+)holdonplot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),ro)endxlabel（x軸）;ylabel（y軸）；title（訓練數(shù)據(jù)w1,w2線性分類效果圖）;holdoffy1=w*xx1;ify1y0fprintf（測試數(shù)據(jù)xxl屬于wl類n）;elsefprintf（測試數(shù)據(jù)xx1屬于w2類n）;endy2=w*xx2;ify2y0fprintf（測試數(shù)據(jù)xx2屬于w1類n）;elsefprintf（測試數(shù)據(jù)xx2屬于w2類n）;end結果如下：原始訓練數(shù)據(jù)w1,w2三維分布圖4-3-122-1-0-1.5-1-0.5訓

11、練數(shù)據(jù)w1,w2線性分類效果圖十+-十2020002040測試數(shù)據(jù)xxl屬于wl類測試數(shù)據(jù)xx2屬于w2類(2)對樣本數(shù)據(jù)w3中的10個樣本數(shù)據(jù)進行fisher判別法分類(程序及結果)程序如下：clear%w1類訓練樣本，10組，每組為行向量。wl=-0.4,0.58,0.089;-0.3l,0.27,-0.04;-0.38,0.055,-0.035;-0.l5,0.53,0.0ll;-0.35,0.47,0.034;.0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063;%w

12、2類訓練樣本，10組，每組為行向量。w2=0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;.-0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49;%w3為待分類樣本數(shù)據(jù)，10組，每組為列向量。w3=1.58,2.32,-5.8;0.67,1.58,-4.78;1.04,1.01,-3.63;-1.49,2.18,-3.39;-0.41,1.21,-4.73;.1.39,3.61,2.87

13、;1.2,1.4,-1.89;-0.92,1.44,-3.22;0.45,1.33,-4.38;-0.76,0.84,-1.96;m1=mean(w1,1);%wl類樣本均值向量，為列向量sw1=cov(w1,1);%w1類樣本類內(nèi)離散度矩陣m2=mean(w2,1);%w2類樣本均值向量，為列向量sw2=cov(w2,1);%w2類樣本類內(nèi)離散度矩陣sw=sw1+sw2;%總類內(nèi)離散度矩陣1000-1000-150w=inv(sw)*(m1-m2);%投影方向y0=(w*ml+w*m2)/2%閾值yO%wl,w2,w3原始數(shù)據(jù)三維分布圖figure(3)fori=1:1Oplot3(w1(i

14、,1),w1(i,2),w1(i,3),g+)holdonplot3(w2(i,1),w2(i,2),w2(i,3),ro)holdonplot3(w3(1,i),w3(2,i),w3(3,i),bp)endxlabel(x軸);ylabel(y軸);title(訓練wl,w2/樣本w3原始數(shù)據(jù)三維分布圖);%wl,w2,w3數(shù)據(jù)線性投影分類效果圖z1=w*w1;z2=w*w2;z3=w*w3;figure(4)fori=1:1Oplot3(z1(i)*w(1),z1(i)*w(2),z1(i)*w(3),g+)holdonplot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),ro)holdonplot3(z3(i)*w(1),z3(i)*w(2),z3(i)*w(3),bp)endxlabel(x軸);ylabel(y軸);title(訓練wl,w2/樣本w3數(shù)據(jù)線性投影分類效果圖);holdofffori=1:1Oy(i)=w*w3(:,i);ify(i)yOfprintf(樣本數(shù)據(jù)%d屬于w1類n,i);elsefprintf(樣本數(shù)據(jù)4屬于w2類n,i);endend1000-1000-150-4-訓練w1,w2/樣本w3原始數(shù)據(jù)三維分布圖1