fisher算法及其matlab實(shí)現(xiàn)

1、Fisher判別法講解以及matlab代碼實(shí)現(xiàn) 兩類的線形判別問題可以看作是把所有樣本都投影到一個方向上，然后在這 個一維空間中確定一個分類的閾值。過這個預(yù)置點(diǎn)且與投影方向垂直的超平面就 是兩類的分類面。 第一個問題，如何確定投影方向？ 這里只討論兩類分類的問題.訓(xùn)練樣本集是X=x1,x2.xn,每個樣本是一個d維 向量，其中第一類 w1= Xi， x2 . xii,第二類 w2= xi ， x2 . x?2 。我們 要尋求一個投影方向w（w也是一個d維向量），投影以后樣本變成：yi = WTXi（y 是一個標(biāo)量），i=1.n 在原樣本空間中，類均值為： 1 i=1,2（一共兩類的均值） mi

2、 Xj ni xj wi （ps.mi是一個d*1的矩陣，假設(shè)每個維度是一個變量值，mi中的每一維度就 是這些變量值的均值，如下圖所示： 算一 第一類均值 xl x2 ml 身高 150 160 155 樂重 80 95 87.5 特別注明：有些例子給的矩陣是這樣的: 地點(diǎn) 樣品號 水體 底泥 AS Pb AS Pb 甲地 1 2. 79 匸3 13. 35 陽6 2 4. 67 12. 31 22. 31 47. 2 3 16. 81 28. 82 62.15 4 3. 54 7. 58 15. 29 43. 2 5 19 16.12 2 mii N i y j wi yi 丄 Ni x T

3、 w xj w T w mi i=1,2 故類內(nèi)離散度不再是一個矩陣，而是一個值 Si (yi mJ2 yj Wi i=1，2 總類內(nèi)離散度為: S ww S11 S11 類間離散度: (miimu)2 要使得需求的方向投影能在投影后兩類能盡可能的分開, 聚集，可表示成如下準(zhǔn)則，即fisher準(zhǔn)則： 而各類內(nèi)部又盡可能的 max J (w) Sbb 將公式代入并通過拉格朗日求極值的方法，可得 投影方向: 1 wSw (mmJ (w是一個d*1的矩陣，或者說亦是一個d維向量) 閾值可表示為： W。m22) 最后將待確定樣本代入 g(x)wTx w0 判斷g(x)的符號和哪個類相同，確定其屬于哪個

4、類別 例子(注意表格中所給的樣本維度和公式中變量維度的問題) 代碼已經(jīng)運(yùn)行無誤 A C D E F H tl 胃病類型 鉤藍(lán)蛋白 藍(lán)色反應(yīng) 乙酸 硫化物 歸類 2 228 134 20 11 1 3 245 134 10 40 1 4 胃病 200 167 12 27 1 Ls 170 150 7 8 1 Le 100 167 20 14 1 7 r iso 117 7 6 2 s 120 133 10 26 2 160 100 5 10 2 10 非胃病 1S5 115 5 19 r 2 11 170 125 $ 4 2 12 165 142 5 3 2 13 1S5 10S 2 12 2

5、14 225 125 7 14 15 耒知樣 100 nr 7 2 16 130 100 6 12 17 18 ); 這個例子沒有用到 不用轉(zhuǎn)置成樣 代碼: %讀取excel中特定單元格的數(shù)據(jù) w12=xlsread(模式識別理論學(xué)習(xí)胃病分類問題.xls , C2:F16 %分別選取類1和類2、測試樣本的數(shù)據(jù) w1=w12(1:5,:); w2=w12(6:12,:); sample=w12(13:15,:); %計(jì)算類1和類2的樣本數(shù) r1=size(w1,1); r2=size(w2,1); r3=size(sample,1); %計(jì)算類1和類2的均值(矩陣) m1=mea n( w1);

6、 m2=mea n( w2); %各類類內(nèi)離散度矩陣(協(xié)方差矩陣) s1=cov(w1)*(r1-1); s2=cov(w2)*(r2-1); %總類內(nèi)離散度矩陣 sw=s1+s2; %投影向量的計(jì)算公式 w=i nv(sw)*(m1-m2); %計(jì)算投影后的一位空間內(nèi)，各類的均值 y1=w*m1; y2=w*m2; %計(jì)算閾值 w0=-1/2*(y1+y2); %和類相同符號被歸為同類 for i=1:r3 y(i)=sample(i,:)*w+w0; if y(i)*(w*w1(1,:)+w0)0 y(i)=1; else y(i)=2; end End 判斷得岀第一個待測樣本屬于類1，第

7、二，三個待測樣本屬于類2 如果想進(jìn)一步知道樣本矩陣是如何轉(zhuǎn)置得到最后結(jié)果的，可看下面這個例子， matlab內(nèi)置的cov協(xié)方差函數(shù)(用cov可以直接用樣本數(shù)據(jù)直接進(jìn)行矩陣運(yùn)算, 本維度向量)，所以要進(jìn)行轉(zhuǎn)置后代入fisher 準(zhǔn)則公式求解. A E C D E F i n 2.79 7. 8 13. 85 49. 6 F 4 2 乳67 12.31 22. 31 47,8 5 甲地 3 4.63 16.81 28.82 62.15 6 4 X 54 7.58 15. 29 43* 2 7 5 4. g 16.12 23. 29 兔7 8 1 1-06 1.22 2-13 20l 6 g 2 0

8、. 8 4.06 3” 85 2L 1 10 乙地 3 0 3. 5 11. 4 0 li 4 2. 4 143 7. 9 33. 2 12 5 5.1 4.43 22. 4 54.6 13 未知樣本 1 2. 4 14,3 7.9 33.2 14 2 5.1 4. 43 22.4 54.6 15 4.10G r 12.124 21.712 S9. 29 16 x=xlsread(模式識別理論學(xué)習(xí)污染水域問題.xls , C3:F14); x1=x(1:5,:); x2=x(6:10,:); sample=x(11:12,:); m1=zeros(size(x1,1),1); %求類內(nèi)離散度矩陣 m1=mea n( x1,2) m2=mea n(x2,2) %求類內(nèi)離散度矩陣 s1=zeros(size(x1,1),size(x1,1); for i=1:size(x1,2) s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1); end s2=zeros(size(x2,1),size(x2,1); for i=1:size(x2,2) S2=s2+(x2(:,i)-m2)*(x2(:,i)-m2); end sw=s1+s2;