Fisher分類器(算法及程序)

1、 3.5Fisher分類器(FisherLinearDiscriminant)Fisher判別法是歷史上最早提出的判別方法之一，其基本思想是將n類m維數(shù)據(jù)集盡可能地投影到一個方向（一條直線），使得類與類之間盡可能分開。從形式上看，該方法就是所謂的一種降維處理方法。為簡單起見，我們以兩類問題叫和2的分類來說明Fisher判別法的原理，如圖3.4所示。設數(shù)據(jù)陣為XwRNxm,叫共有%個樣本，込共有N個樣本，N=N+N2。兩個類別在輸入空間的均值向量為圖3.4,Fisher判別法幾何原理示意圖“2=1N11N2工xpX如1乞XPXP如2eRmeRm(3.37)設有一個投影方向帀=（W，w2,，wm）

2、reRm,這兩個均值向量在該方向的投影為“=wT“1=丄工wTXeR1N1X叭P1“2=WT“2=丄乞WTXeR122Np2Xew2p2在w方向，兩均值之差為丁/、“1-“2二W-“2丿類似地，樣本總均值向量在該方向的投影為1N“=WT“=EWTXeR1N=1定義類間散度(Between-classscatter)平方和SS為BSSB=N1“丄+N2“2-“1=為Nj&.-“=N1F“1-+N2=wTn1(“1-“)“i-“&+N2=wTSBw(3.38)(3.39)(3.40)(3.41)其中(3.42)Sb=N1(fi1-p)0-py+N2(fi2-“)%-“y=彳Nj-p)p丄j=1定義

3、類j的類內散度(Within-classscatter)平方和為(3.43)SS”=ivTx-p)=工WTx-wTp.WjpjpjpeNjpeNj兩個類的總的類內散度誤差平方和為ssw=為SS.=S工WTx一wTp.)Wwjpjj=1j=1peNj=wT為工G一p.)(-p)p廠Jp廠J_j=1peNJ=WTSwW(3.44)其中，(3.45)Sw工以p-“兒-“jj=1pwNj我們的目的是使類間散度平方和SSB與類內散度平方和SS的比Bw值為最大，即maxJ(w)=谿SS(3.46)圖3.5a,Fisher判別法類間散度平方和（分子）的幾何意義oo.wpplpxp1xp2十土vp2叫類k、%

4、類圖3.5b,Fisher判別法類內散度平方和（分母）的幾何意義圖3.5給出了類間散度平方和SB與類內散度平方和SE的幾何意義。根據(jù)圖3.5a，類間散度平方和SB的另一種表示方式為SSB二*-fl2丄=vT片-wT%)=WT(%-%2)%1-%2Fw=wTSBw(3.47)這里SB=-%2溝1-%2P(3.48)可以證明，(3.48)與(3.42)只相差一個系數(shù)。簡單證明如下：由于如1、+工XpXp如2丿N1%1+N2%N(3.49)/%-n%1+n%斗1N丿%-N1%1+N2%2YI2N丿+等(%2-%1溝2-%1片(3.50)由(3.42)得SB=N1(%1-%)%-%Y+N2(%2-%)

5、%2-%片=N1f%1-N%+N2(%2-也=等(%1-%2)Q%2”=NN2(%1-%2溝1-%2片這說明，(3.48)與(3.42)只相差一個與樣本數(shù)有關的常數(shù)。根據(jù)圖3.5b，類內散度平方和SSE的另一種表示方式為Sv22p2XpE21-片)2+工(SSEpxeo.p1(S-A)(p-訃+工。p-2)(p-“200(3.57)不定如果wTX_0為0，則判別公式為確定。的一些經(jīng)驗公式為(1)取兩個類別均值在w方向投影的簡單平均_wT(“+“2)(3.58)(2)考慮樣本數(shù)的兩個類別均值在w方向投影的平均 (3.59)0_幣T他片+N2“2）N或(3.60)0=WT32A+N1月2）N（3）

6、考慮類方差的兩個類別均值在w方向投影的平均(3.61)0=W&2“1+C1“2丿C1+C2或(3.62)0=wTq“1+c1“2丿C1+C2這里，、b2分別為兩個類別在W方向投影的均方差。當然，當類內散度陣SW不可逆時，F(xiàn)isher判別法失效例5在研究地震預報中，遇到沙基液化問題，選擇了下列7個有關的因素：x1：震級，x2：震中距（公里），X3：水深（米），x4：土深（米）x5：貫入值，x6：最大地面加速度（10-2N/m2）,x7:地震持續(xù)時間（秒）具體數(shù)據(jù)如表1所示。x1X2X3X4X5X6X7類別序號6.6391.06.06.00.1220I16.6391.06.0120.1220I26

7、.1471.06.06.00.0812I36.1471.06.0120.0812I48.4322.07.5190.3575I57.26.01.07.0280.3030I68.41133.56.0180.1575I77.5521.06.0120.1640I87.5523.57.56.00.1640I98.31130.07.5350.12180I107.81721.03.5140.2145I117.81721.53.0150.2145II128.4321.05.04.00.3575II138.4322.09.0100.3575II148.4322.54.0100.3575II156.3114.57

8、.53.00.2015II167.08.04.54.59.00.2530II177.08.06.07.54.00.2530II187.08.01.56.01.00.2530II198.31611.54.04.00.0870II208.31610.52.51.00.0870II217.26.03.54.0120.3030II227.26.01.03.03.00.3030II237.26.01.06.05.00.3030II245.56.02.53.07.00.1818II258.41133.54.56.00.1575II268.41133.54.58.00.1575II277.5521.06.0

9、6.00.1640II287.5521.07.58.00.1640II298.3970.06.05.00.15180II308.3972.56.05.00.15180II318.3890.06.0100.16180II328.3561.56.0130.25180II337.81721.03.56.00.2145II347.82831.04.56.00.1845II35解，設數(shù)據(jù)文件名為d:a.txt，用Matlab實現(xiàn)的源程序如下loadd:ss.txt;a=ss;m=mean(a(1:12,:);m(2:2,:)=mean(a(13:35,:);ssb=(m(1:1,:)-m(2:2,:)*

10、(m(1:1,:)-m(2:2,:);ssw=zeros(7,7);fori=1:12,ssw=ssw+(a(i:i,:)-m(1:1,:)*(a(i:i,:)-m(1:1,:);endfori=13:35,ssw=ssw+(a(i:i,:)-m(2:2,:)*(a(i:i,:)-m(2:2,:);endw=inv(ssw)*(m(1:1,:)-m(2:2,:);result=a*w;theta=w*(m(1:1,:)+m(2:2,:)/2;fori=1:35,result(i:i,2:2)=theta;result(i:i,3:3)=i;end投影方向向量為w=(0.0202,-0.0001

11、,-0.0175,0.0156,0.0160,-0.7333,-0.0016)T分類閾值為8=0.1358。決策面方程為兀：l(x)=0.0202x1-0.0001x2-0.0175x3+0.0156x4+0.0160 x5-0.7333x6-0.0016x7-0.1358=0.分類結果為序號WTX0=0.1358(3.58)0=0.1007(3.59)0=0.1709(3.60)0=0.1567(3.61)0=0.1149(3.62)10.181220.277230.212540.308550.174960.416370.247580.232590.1160*100.4551110.1745120.173913-0.0866140.054215