判別分析fisher判別等

1、判別分析方法(Discriminant analysis)判別分析fisher判別等第1頁Discriminant analysis判別分析 用于判別樣本所屬類型統(tǒng)計分析方法 基因識別：依據(jù)某一DNA序列核苷酸組分、信號特征等指標(biāo)，判別是否編碼蛋白序列？ 醫(yī)學(xué)診療：某一病人肺部存在陰影，判別: 肺結(jié)核？良性腫瘤？肺癌？ 人類考古學(xué)：依據(jù)頭蓋骨特征，判別：民族、性別、生活年代？ 股票分析預(yù)測： 氣象分析預(yù)測： 自然災(zāi)害分析預(yù)測： 判別分析fisher判別等第2頁Discriminant analysis判別分析問題 設(shè)有k個m維總體G1, G2, , Gk， (1). 它們分布特征已知，能夠表示

2、為F1(x), F2(x), , Fk(x) (2). 或者知道來自各個總體樣本（訓(xùn)練樣本）。 對于給定一個未知樣本X（檢測樣本），判別X屬于哪個總體。多元、復(fù)雜、高度綜合統(tǒng)計分析問題判別分析fisher判別等第3頁Discriminant analysis Fisher判別法 距離判別法 Bayes判別法 逐步判別法 訓(xùn)練樣本訓(xùn)練集檢測樣本檢測集判別準(zhǔn)則判別效率學(xué)習(xí)檢測評價判別分析fisher判別等第4頁距離判別法距離判別基本思想樣本與哪一類總體距離最近，就判別它屬于哪一類總體。Discriminant analysis判別分析fisher判別等第5頁馬氏（Mahalanobis）距離定義：

3、Mahalanobis距離設(shè)總體G為n維變量，即含有n個屬性指標(biāo)(x1, x2, , xn)。已知總體G中 t個樣本Xk (xk1, xk2, , xkn)，k=1, 2, , t?？傮w均值可用樣本均值預(yù)計：則對于任一點X(x1, x2, , xn) ，定義它與總體GMahalanobis距離為：Discriminant analysis判別分析fisher判別等第6頁其中，矩陣S(sij)nn為：矩陣S稱為協(xié)方差矩陣（covariance matrix），反應(yīng)屬性指標(biāo)中第i個分量與第j個分量相關(guān)性。尤其地，當(dāng)n=1時， Mahalanobis距離為：Discriminant analysis

4、判別分析fisher判別等第7頁xp(x)xp(x)|x-|G1:N(,1)G2:N(,2)Discriminant analysis判別分析fisher判別等第8頁兩類總體距離判別已知：考慮含有n個屬性兩類總體G1、G2， 已知G1p個訓(xùn)練樣本， G2q個訓(xùn)練樣本：問題：對于未知樣本點X(x1, x2, , xn)，判別其類型？Discriminant analysis判別分析fisher判別等第9頁G1、G2總體均值依據(jù)樣本均值預(yù)計得到：分別求出總體G1、G2協(xié)方差矩陣S(1)、S(2)：Discriminant analysis判別分析fisher判別等第10頁對于任一新樣本X(x1,

5、x2, , xn)，分別計算它到總體G1、G2Mahalanobis距離：Discriminant analysis判別分析fisher判別等第11頁結(jié)構(gòu)判別函數(shù)W(X)：判別準(zhǔn)則為：Discriminant analysis判別分析fisher判別等第12頁特例：考慮n=1兩類正態(tài)總體：G1：N(1, 1)G2：N(2, 2)p(x)xG1:N(1,1)G2:N(2,2)12Discriminant analysis判別分析fisher判別等第13頁不妨設(shè)2 1 ， 2 1 ，且檢測值滿足2 x 1 ，則：其中于是，判別準(zhǔn)則為：Discriminant analysis判別分析fisher判

6、別等第14頁p(x)xG1:N(1,1)G2:N(2,2)12*Discriminant analysis判別分析fisher判別等第15頁已知：考慮含有n個屬性m類總體Gl ( l = 1, 2, , m) ，每類總體已知tl (l=1, 2, , m)個訓(xùn)練樣本：問題：對于未知樣本點X(x1, x2, , xn)，判別其類型？多類總體距離判別Discriminant analysis判別分析fisher判別等第16頁類似地，分別計算點X(x1, x2, , xn)到每一類GlMahalanobis距離d2(X, Gl )。其中Discriminant analysis判別分析fisher判

7、別等第17頁比較找到其中最小距離：點X(x1, x2, , xn)到類Gi距離d2(X, Gi )最小，最終判別點X(x1, x2, , xn)屬于第 i 類。Discriminant analysis判別分析fisher判別等第18頁Discriminant analysisBayes判別法Bayes判別基本思想 在p維空間中找出一個分法，使得平均損失最小D1D2DjG1, G2 Gk判別分析fisher判別等第19頁Discriminant analysis目標(biāo)函數(shù)（平均損失）假定屬于第i類,把它判為第j類造成損失為造成這一損失概率為D1D2DjG1, G2 Gk判別分析fisher判別等

8、第20頁Discriminant analysis判別準(zhǔn)則假如取能使平均損失到達(dá)最小判別函數(shù)D1D2DjG1, G2 Gk判別分析fisher判別等第21頁Discriminant analysisFisher線性判別法Fisher判別基本思想 將 m組n維數(shù)據(jù)投影到某一個方向，使得投影后組與組之間盡可能地分開。判別分析fisher判別等第22頁平面上兩類數(shù)據(jù)訓(xùn)練樣本散點圖（兩組數(shù)據(jù)樣本在平面上存在一個合理分界限L）x1x2L: c1x1+c2x2c=0令：F(x1,x2)=c1x1+c2x2 F(x1,x2): 判別函數(shù) c：判別值G1G2Fisher線性判別法判別分析fisher判別等第2

9、3頁Discriminant analysis已知：數(shù)據(jù)屬性有n個，每個數(shù)據(jù)點為n維向量X：已知總體數(shù)據(jù)分為兩類： G1和G2 ，總體G1有p個樣本點，總體G2有q個樣本點。屬 性 （分量）12n總體G1(i=1, , p)1 X1(1)x11(1)x12(1)x1n(1)i Xi(1)xi1(1)xi2(1)xin(1)p Xp(1)xp1(1)xp2(1)xpn(1)總體G2 (i=1, , q)1 X1(2)x11(2)x12(2)x1n(2)i Xi(2)xi1(2)xi2(2)xin(2)q Xq(2)xq1(2)xq2(2)xqn(2)目標(biāo)：求解在n維空間中總體G1和總體G2最優(yōu)分

10、界平面。判別分析fisher判別等第24頁Discriminant analysis定義線性判別函數(shù)為：其中Ci (i = 1, 2, , n)為常數(shù)（待定系數(shù)）。若判別值為 C ， 對于任何未知數(shù)據(jù)點X(x1, x2, , xn)，代入判別函數(shù)，依據(jù)F (x1, x2, , xn)與C值比較，能夠判別點X屬于哪一類。1、確定待定系數(shù)Ci (i = 1, 2, , n)2、確定判別值C判別分析fisher判別等第25頁Discriminant analysis將類G1p個點、類G2q個點分別代入判別函數(shù)：其中，確定待定系數(shù)Ci判別分析fisher判別等第26頁Discriminant anal

11、ysis令：A與G1和G2兩類點幾何中心距離相關(guān)。顯然，判別函數(shù)F (x1, x2, , xn)應(yīng)該使A值越大越好。令：B與G1和G2兩類點相對于各自幾何中心離差相關(guān)。顯然，判別函數(shù)F (x1, x2, , xn)應(yīng)該使B值越小越好。判別分析fisher判別等第27頁Discriminant analysis結(jié)構(gòu)函數(shù)I：選擇適當(dāng)待定系數(shù)Ci (i = 1, 2, , n)，使得函數(shù)I(C1, C2, , Cn)到達(dá)極大值。判別分析fisher判別等第28頁Discriminant analysis判別分析fisher判別等第29頁Discriminant analysis判別分析fisher判

12、別等第30頁Discriminant analysis消去非零因子，得到求解待定系數(shù)(C1, C2, , Cn)線性方程組：判別分析fisher判別等第31頁Discriminant analysis確定判別值C判別函數(shù)已知，不妨寫成：將G1p個點、 G2q個點分別代入判別函數(shù)：判別分析fisher判別等第32頁對G1、G2(p+q)個點判別函數(shù)值取總體平均值：顯然，值是兩類點判別函數(shù)值加權(quán)平均，處于兩類判別函數(shù)平均值之間，也等價于兩類點總體幾何中心判別函數(shù)值。所以，將判別值C取為值：Discriminant analysis判別分析fisher判別等第33頁Fisher線性判別基本步驟屬 性

13、 （分量）12nG1(i=1, , p)1 X1(1)x11(1)x12(1)x1n(1)i Xi(1)xi1(1)xi2(1)xin(1)p Xp(1)xp1(1)xp2(1)xpn(1)G2(i=1, , q)1 X1(2)x11(2)x12(2)x1n(2)i Xi(2)xi1(2)xi2(2)xin(2)q Xq(2)xq1(2)xq2(2)xqn(2)問 題已知數(shù)據(jù)樣本點分為兩類： G1和G2 ， G1有p個點， G2有q個點。求出判別函數(shù)F (x1, x2, , xn)和判別值C 。對于任何未知數(shù)據(jù)點X(x1, x2, , xn)，依據(jù)F (x1, x2, , xn)與C值比較，判

14、別點X屬于哪一類。Discriminant analysis判別分析fisher判別等第34頁STEP 1先對樣本點數(shù)據(jù)Xi(1)(xi1 (1), xi2 (1), , xin (1)（ i=1, , p）、 Xi(2)(xi1 (2), xi2 (2), , xin (2)（ i=1, , q）分別計算以下求和以及平均值：Discriminant analysis判別分析fisher判別等第35頁STEP 2計算di和Sij，注意對稱性Sij = Sji ：Discriminant analysis判別分析fisher判別等第36頁STEP 3解線性代數(shù)方程組：若方程有解，得到判別函數(shù)F：

15、Discriminant analysis判別分析fisher判別等第37頁STEP 4將平均值代入判別函數(shù)，然后計算判別值C：Discriminant analysis判別分析fisher判別等第38頁STEP 5對未知數(shù)據(jù)X(x1, x2, , xn)進(jìn)行判別：將數(shù)據(jù)X(x1, x2, , xn)代入判別函數(shù)F，與判別值進(jìn)行比較，判別其屬于哪一類。Discriminant analysis判別分析fisher判別等第39頁Fisher線性判別應(yīng)用舉例x1x2樣本序號x1x2類別157124323782486253616251766189629542Discriminant analysis

16、判別分析fisher判別等第40頁Discriminant analysis判別分析fisher判別等第41頁Discriminant analysis判別分析fisher判別等第42頁Discriminant analysis判別分析fisher判別等第43頁Fisher判別法小結(jié) 本質(zhì)上基于微分尋優(yōu)方法 局限 1、可能陷入局部最優(yōu)判別結(jié)果； 2、對數(shù)據(jù)屬性各變量要求較為苛刻，如正態(tài)性、相互獨立性等； Discriminant analysis判別分析fisher判別等第44頁判別效果評價錯判損失錯判率N(G1|G2)N(G2|G1)Discriminant analysis判別分析fish

17、er判別等第45頁p(x)xG1:N(1,1)G2:N(2,2)12*P(G1|G2)P(G2|G1)Discriminant analysis判別分析fisher判別等第46頁檢驗判別效果方法訓(xùn)練集回判 訓(xùn)練集（Learning set）：訓(xùn)練樣本集檢測集（Test set）：檢測樣本集（類別未知）利用訓(xùn)練集作為檢測集：用判別方法對已知類型樣本進(jìn)行回判，統(tǒng)計判錯個數(shù)以及占樣本總數(shù)百分比，作為錯判率預(yù)計。特點：輕易低估錯判率。 Discriminant analysis判別分析fisher判別等第47頁從訓(xùn)練集中結(jié)構(gòu)檢測集已知數(shù)據(jù)集訓(xùn)練集檢測集判別準(zhǔn)則判別效率5050學(xué)習(xí)檢測評價Discriminant analysis判別分析fisher判別等第48頁刀切法（Jack-knife Method）“舍一法（Leaveone-out）”“Lachenbruch刪除法”“交叉確認(rèn)法(Cross-validation)”基本思想：(1). 每次從訓(xùn)練樣本集中剔除1個樣本X ；(2). 利用其余樣本（數(shù)量為pq1）作為訓(xùn)練集來訓(xùn)練得到判別準(zhǔn)則;(3). 依據(jù)判別準(zhǔn)則對樣本X 進(jìn)行判別；(4). 對訓(xùn)練樣本中每個樣本依次重復(fù)進(jìn)行，統(tǒng)計判別對錯個數(shù)；(5). 計算錯判率。D