fisher算法及其matlab實現(xiàn)

1、Fisher判別法講解以及matlab代碼實現(xiàn)兩類的線形判別問題可以看作是把所有樣本都投影到一個方向上，然后在這個一維空間中確定一個分類的閾值。過這個預置點且與投影方向垂直的超平面就是兩類的分類面。第一個問題，如何確定投影方向？這里只討論兩類分類的問題訓練樣本集是X=x1,x2.xn,每個樣本是一個d維.一一,11一1222向量，其中第一類w1=X1,X2.Xn1,第二類w2=X1,X2.Xn2o我們要尋求一個投影方向w（w也是一個d維向量），投影以后樣本變成：yi=WTXi（y是一個標量），i=1.n在原樣本空間中，類均值為:（ps.mi是一個d*1的矩陣，假設每個維度是一個變量值，mi中的

2、每一維度就是這些變量值的均值，如下圖所示：第一類樣本第一類樣本第一類均值第一類均值xlz2ml身高身高150160155體重體重809587.5圖1特別注明：有些例子給的矩陣是這樣的:地點地點樣品號樣品號水體水體底泥底泥ASPbASPb甲地甲地12.797.813.8549.624.6712.3122.3147.834.6316.8128.8262.1543.5一5815.2943.254.916.1228.2958.7miXjniXjwii=1,2（一共兩類的均值）乙地乙地1L061.222.1820.620.84.063.8527.1303.51L4042.414.37.933.255.1

3、4.4322.454.6圖2這里的單個樣本是1*d的矩陣，要注意計算的時候將其轉置，不然套用日sher算法公式的時候就會發(fā)現(xiàn)最后得到的矩陣維數不對。定義各類類內的離散度矩陣為：(類內離散度矩陣其實就是類協(xié)方差矩陣，類在多于一個樣本，且樣本維度1時是一個矩陣)S一(Xj_mi)(Xj-mi)TXjwi(因為，Xj是一個d*1的矩陣，也可稱作d維向量，甲也是一個d*1的矩陣,所以最后得到的S一定是一個d*d的矩陣)(在用matlab計算的時候直接用cov(wi)即可得到想要的協(xié)方差矩陣， 故直接計算不探究細節(jié)時圖2可直接cov算協(xié)方差，不用根據公式轉置來轉置去，不過matlab中算的協(xié)方差被縮小了

4、(n1-1)倍，計算時Si=cov(w1)*(n1-1)總的類內離散度矩陣：Sw=S1s2類間離散度矩陣定義為:Sb=(mi-m2)(m-m2)T在投影以后的一維空間里，兩類的均值分別是;mNiyiyjwiiXjwimii=i,2故類內離散度不再是一個矩陣，而是一個值i”(ymii相yjwi總類內離散度為:Sww二SiiSii類間離散度：2Sbb二(mil-hi)要使得需求的方向投影能在投影后兩類能盡可能的分開,聚集，可表示成如下準則，即日sher準則：maxJ(w)=-SbSww將公式代入并通過拉格朗日求極值的方法，可得投影方向：i,、w=Sw(m,-m2)（w是一個d*1的矩陣，或者說亦是

5、一個d維向量）閾值可表小為:1.W0:-2(miim22)最后將待確定樣本代入g(x);wTxw0判斷g（x）的符號和哪個類相同，確定其屬于哪個類別。例子（注意表格中所給的樣本維度和公式中變量維度的問題代碼已經運行無誤而各類內部又盡可能的ABCDEFGH1胃病類型胃病類型銅藍蛋白銅藍蛋白藍色反應藍色反應乙酸乙酸硫化物硫化物歸類歸類2228134201113245134104014胃病胃病200167122715170150?S161001672014171501177628120133102629160100510210非胃病非胃病1851155192111701256421216514253

6、21318510S21221422512571415未知樣未知樣1001171216130100612171S代碼:%讀取 excel 中特定單元格的數據w12=xlsread(模式識別理論學習胃病分類問題.xls,C2:F16);%分別選取類 1 和類 2、測試樣本的數據w1=w12(1:5,:);w2=w12(6:12,:);sample=w12(13:15,:);%計算類 1 和類 2 的樣本數r1=size(w1,1);r2=size(w2,1);r3=size(sample,1);%計算類 1 和類 2 的均值(矩陣)m1=mean(w1);m2=mean(w2);%各類類內離散度矩

7、陣(協(xié)方差矩陣)s1=cov(w1)*(r1-1);s2=cov(w2)*(r2-1);%總類內離散度矩陣sw=s1+s2;%投影向量的計算公式w=inv(sw)*(m1-m2);%計算投影后的一位空間內，各類的均值y1=w*m1;y2=w*m2;%計算閾值w0=-1/2*(y1+y2);附口類相同符號被歸為同類fori=1:r3y(i)=sample(i,:)*w+w0;ify(i)*(w*w1(1,:)+w0)0y(i)=1;elsey(i)=2;endEnd判斷得出第一個待測樣本屬于類 1,第二，三個待測樣本屬于類 2如果想進一步知道樣本矩陣是如何轉置得到最后結果的，可看下面這個例子，這

8、個例子沒有用到matlab 內置的 cov 協(xié)方差函數(用 cov 可以直接用樣本數據直接進行矩陣運算，不用轉置成樣本維度向量)，所以要進行轉置后代入 fisher 準則公式求解.3ABCIDEF甲地甲地P12.797.813.8549.6r424.6712.3122.3147.85r34.6316.8128,3262.15643.547,5815,2943.2785I916,122&2958.7乙地乙地11.061.222.1820.6920,84.063.8527.110r301511.401142.414,37.933.21255.14.4322.454.613未知樣本未知樣本1

9、2.414.37.933.2142k5J4.4322.4r54.6J154.10612.12421.71252.2916x=xlsread(模式識別理論學習污染水域問題.xls,C3:F14);x1=x(1:5,:);x2=x(6:10,:);sample=x(11:12,:);m1=zeros(size(x1,1),1);%求類內離散度矩陣m1=mean(x1,2)m2=mean(x2,2)%求類內離散度矩陣s1=zeros(size(x1,1),size(x1,1);fori=1:size(x1,2)s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1);ends2=zeros(size(x2,1),size(x2,1);fori=1:size(x2,2)s2=s2+(x2(:,i)-m2)*(x2(