第4章判別分析及MATLAB實現(xiàn)(2013)

1、4.1 距離判別距離判別 及及MATLAB實現(xiàn)實現(xiàn)4.2 Bayes判別判別4.3 判別分析判別分析 總結(jié)總結(jié)計算與應(yīng)用數(shù)學(xué)系計算與應(yīng)用數(shù)學(xué)系,中國石油大學(xué)（華東）理學(xué)院中國石油大學(xué)（華東）理學(xué)院 丁永臻丁永臻 2013統(tǒng)計方法（判別分析）統(tǒng)計方法（判別分析）:判別分析判別分析在已知研究對象分成若干類型，并已取在已知研究對象分成若干類型，并已取得各種類型的一批已知樣品的觀測數(shù)據(jù)，在此基礎(chǔ)得各種類型的一批已知樣品的觀測數(shù)據(jù)，在此基礎(chǔ)上根據(jù)某些準則建立判別式，然后對未知類型的樣上根據(jù)某些準則建立判別式，然后對未知類型的樣品進行判別分類。品進行判別分類。距離判別法距離判別法首先根據(jù)已知分類的數(shù)據(jù)，分

2、別計算首先根據(jù)已知分類的數(shù)據(jù)，分別計算各類的重心，計算新個體到每類的距離，確定最短各類的重心，計算新個體到每類的距離，確定最短的距離（歐氏距離、馬氏距離）的距離（歐氏距離、馬氏距離）FisherFisher判別法判別法利用已知類別個體的指標構(gòu)造判別利用已知類別個體的指標構(gòu)造判別式（同類差別較小、不同類差別較大），按照判別式（同類差別較小、不同類差別較大），按照判別式的值判斷新個體的類別式的值判斷新個體的類別BayesBayes判別法判別法計算新給樣品屬于各總體的條件概率，計算新給樣品屬于各總體的條件概率，比較概率的大小，然后將新樣品判歸為來自概率最比較概率的大小，然后將新樣品判歸為來自概率最大

3、的總體大的總體 例例 (1989年國際數(shù)學(xué)競賽年國際數(shù)學(xué)競賽A題題)蠓的分類蠓的分類 蠓是一種昆蟲，分為很多類型，其中有一種名為蠓是一種昆蟲，分為很多類型，其中有一種名為Af,是能傳播花粉的益蟲；另一種名為是能傳播花粉的益蟲；另一種名為Apf,是會傳播是會傳播疾病的害蟲，這兩種類型的蠓在形態(tài)上十分相似，疾病的害蟲，這兩種類型的蠓在形態(tài)上十分相似，很難區(qū)別很難區(qū)別. 現(xiàn)測得現(xiàn)測得6只只Apf和和9只只Af蠓蟲的觸角長度和蠓蟲的觸角長度和翅膀長度數(shù)據(jù)翅膀長度數(shù)據(jù)Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00),

4、(1.30,1.96) ；Af：(1.24,1.72), (1.36,1.74), (1.38,1.64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08). 試判別以下的三個蠓蟲屬于哪一類？試判別以下的三個蠓蟲屬于哪一類？ (1.24,1.8)，(1.28,1.84)，（，（1.4，2.04）第第4章章 判別分析判別分析 判別分析的基本思想是根據(jù)已知類別的樣本所提判別分析的基本思想是根據(jù)已知類別的樣本所提供的信息，總結(jié)出分類的規(guī)律性，建立判別公式和供的信息，總結(jié)出分類的規(guī)律性，建立判別公式

5、和判別準則，判別新的樣本點所屬類型。本章介紹距判別準則，判別新的樣本點所屬類型。本章介紹距離判別分析、離判別分析、Bayes判別分析及其判別分析及其MATLAB軟件的軟件的實現(xiàn)。實現(xiàn)。 4.1 距離判別分析距離判別分析 4.1.1 判別分析的概念判別分析的概念 在一些自然科學(xué)和社會科學(xué)的研究中，研究對象在一些自然科學(xué)和社會科學(xué)的研究中，研究對象用某種方法已劃分為若干類型，當(dāng)?shù)玫降囊粋€新樣用某種方法已劃分為若干類型，當(dāng)?shù)玫降囊粋€新樣品數(shù)據(jù)（通常是多元的），要確定該樣品屬于已知品數(shù)據(jù)（通常是多元的），要確定該樣品屬于已知類型中的哪一類，這樣的問題屬于判別分析類型中的哪一類，這樣的問題屬于判別分析.

6、 從統(tǒng)計數(shù)據(jù)分析的角度，可概括為如下模型：從統(tǒng)計數(shù)據(jù)分析的角度，可概括為如下模型： 設(shè)有設(shè)有k個總體個總體 ,它們都是它們都是 p元總體元總體,其數(shù)量指標是其數(shù)量指標是 1) 若總體若總體 的分布函數(shù)是已知，對于任一新的分布函數(shù)是已知，對于任一新樣品數(shù)據(jù)樣品數(shù)據(jù) ,判斷它來自哪一個判斷它來自哪一個總體總體 。12,kG GG12(,)TpXXXXiG12( ,)Tpxx xx 2) 通常各個總體通常各個總體 的分布是未知的，由從各的分布是未知的，由從各個總體取得的樣本（訓(xùn)練樣本）來估計。一般，個總體取得的樣本（訓(xùn)練樣本）來估計。一般，先估計各個總體的均值向量與協(xié)方差矩陣。先估計各個總體的均值向

7、量與協(xié)方差矩陣。iG原則原則: 1.從統(tǒng)計學(xué)的角度，要求判別準則在某種準則從統(tǒng)計學(xué)的角度，要求判別準則在某種準則下是最優(yōu)的，例如錯判的概率最小等。下是最優(yōu)的，例如錯判的概率最小等。 2.根據(jù)不同的判別準則，有不同的判別方法，根據(jù)不同的判別準則，有不同的判別方法，這里主要介紹距離判別和這里主要介紹距離判別和Bayes判別判別 4.1.2 距離的定義距離的定義 1. 閔可夫斯基距離閔可夫斯基距離設(shè)有設(shè)有n維向量維向量 稱稱,),(,),(2121TnTnyyyyxxxxniiiyxyxd11|),(絕對距離絕對距離 稱稱 稱稱為為n維向量維向量x，y之間的閔可夫斯基距離，其中之間的閔可夫斯基距離，

8、其中 為常數(shù)。為常數(shù)。niiiyxyxd122)(),(歐氏距離歐氏距離rniriiryxyxd/11)|(),(r(0)r 顯然，當(dāng)顯然，當(dāng)r=2和和1時閔可夫斯基距離分別為歐氏距時閔可夫斯基距離分別為歐氏距離和絕對距離離和絕對距離.(1) 同一總體的兩個向量之間的馬氏距離同一總體的兩個向量之間的馬氏距離 其中其中 為總體協(xié)方差矩陣，通常取為總體協(xié)方差矩陣，通常取 為實對稱正定為實對稱正定矩陣矩陣. 顯然，當(dāng)顯然，當(dāng) 為單位矩陣時馬氏距離就是歐氏距離為單位矩陣時馬氏距離就是歐氏距離. 設(shè)有設(shè)有n維向量維向量 ,則稱則稱1( , )()()Td x yxyxy為為n維向量維向量x，y之間的馬氏

9、距離之間的馬氏距離.1212(,) ,(,)TTnnxx xxyyyy2. 馬氏距離馬氏距離 馬氏距離是由印度統(tǒng)計學(xué)家馬哈拉諾比斯馬氏距離是由印度統(tǒng)計學(xué)家馬哈拉諾比斯(PC Mahalanobis)提出的，由于馬氏距離具有統(tǒng)計意義，提出的，由于馬氏距離具有統(tǒng)計意義，在距離判別分析時經(jīng)常應(yīng)用馬氏距離：在距離判別分析時經(jīng)常應(yīng)用馬氏距離：(4.1.1) (2) 一個向量到一個總體的馬氏距離一個向量到一個總體的馬氏距離 總體總體G 的均值向量為的均值向量為，協(xié)方差矩陣為，協(xié)方差矩陣為 .則稱則稱1( ,G)()()Td xxx為為n維向量維向量x與總體與總體G的馬氏距離的馬氏距離. MATLAB中有一

10、個命令：中有一個命令：d=mahal(Y,X)，計算，計算X矩陣每一個點（行）至矩陣每一個點（行）至Y矩陣中每一個點（行）的矩陣中每一個點（行）的馬氏距離。其中馬氏距離。其中Y的列數(shù)必須等于的列數(shù)必須等于X的列數(shù)，但它們的列數(shù)，但它們的行數(shù)可以不同。的行數(shù)可以不同。X的行數(shù)必須大于列數(shù)。輸出的行數(shù)必須大于列數(shù)。輸出d是是距離向量。距離向量。 (4.1.2) (3) 兩個總體之間的馬氏距離兩個總體之間的馬氏距離 設(shè)有兩個總體設(shè)有兩個總體G1,G2，兩個總體的均值向量分別，兩個總體的均值向量分別為為 ，協(xié)方差矩陣相等，皆為，協(xié)方差矩陣相等，皆為,則兩個總體之則兩個總體之間的馬氏距離為間的馬氏距離為

11、,12 1121212(G ,G )()()Td 通常，在判別分析時不采用歐氏距離的原因在通常，在判別分析時不采用歐氏距離的原因在于，該距離與量綱有關(guān)于，該距離與量綱有關(guān).例如平面上有例如平面上有A,B,C,D四個四個點，橫坐標為代表重量（單位：點，橫坐標為代表重量（單位：kg），縱坐標代表），縱坐標代表長度（單位：長度（單位：cm），如下頁圖。），如下頁圖。 (4.1.3) 這時這時2222510125101101ABCD顯然顯然 ABCD 如果現(xiàn)在長度用如果現(xiàn)在長度用mm為單位，重量的單位保持不變，為單位，重量的單位保持不變，于是于是A點的坐標為點的坐標為(0,50)，B點的坐標為點的坐標

12、為(0,100)，此時，此時計算線段的長度為計算線段的長度為222250102600100110001ABCD此時，此時，ABCD 這表明歐氏距離有一個缺陷，當(dāng)向量的分量是不這表明歐氏距離有一個缺陷，當(dāng)向量的分量是不同的量綱時歐氏距離的大小竟然與指標的單位有關(guān)同的量綱時歐氏距離的大小竟然與指標的單位有關(guān).而馬氏距離則與量綱無關(guān)而馬氏距離則與量綱無關(guān). 4.1.3 兩總體的距離判別分析兩總體的距離判別分析 先考慮兩個總體的情況。設(shè)先考慮兩個總體的情況。設(shè) ， 為兩個不同為兩個不同的的p元已知總體，元已知總體， 的均值向量是的均值向量是 ， ， 的的協(xié)方差矩陣是協(xié)方差矩陣是 ， .設(shè)設(shè) 是一個待判

13、樣品，距離判別準則為是一個待判樣品，距離判別準則為1GiGii12( ,)Tmxx xx2GiG1,2i 1,2i 112212,( ,)( ,),.,( ,)( ,)xGd x Gd x GxGd x Gd x G若若(4.1.4) 即當(dāng)即當(dāng) 到到 的馬氏距離不超過到的馬氏距離不超過到 的馬氏距的馬氏距離時，判離時，判 來自來自 ；反之，判來自；反之，判來自 .1Gx1G2Gx2G 由于馬氏距離與總體的協(xié)方差矩陣有關(guān)，所以利由于馬氏距離與總體的協(xié)方差矩陣有關(guān)，所以利用馬氏距離進行判別分析需要分別考慮兩個總體的用馬氏距離進行判別分析需要分別考慮兩個總體的協(xié)方差矩陣是否相等協(xié)方差矩陣是否相等.1

14、.兩個總體協(xié)方差矩陣相等的情況兩個總體協(xié)方差矩陣相等的情況 設(shè)有兩個總體設(shè)有兩個總體G1,G2，均值分別為，均值分別為 ,協(xié)方協(xié)方差矩陣相等為差矩陣相等為。考慮樣品?？紤]樣品x到兩個總體的馬氏距到兩個總體的馬氏距離平方差：離平方差：,12 22112122111111112221111111112221112211112121212( ,)( ,) ()() ()()22)2()2() ()()12()2TTTTTTTTTTTTTTTd x Gd x Gxxxxxxxxxxxxx112112()2()()TTx其中其中 ，令，令121()2112( )()()TW xx于是距離判別準則為于是距

15、離判別準則為12,( )0,( )0 xGW xxGW x(4.1.6) 由于總體的均值、協(xié)方差矩陣通常是未知的，數(shù)據(jù)由于總體的均值、協(xié)方差矩陣通常是未知的，數(shù)據(jù)資料來自兩個總體的訓(xùn)練樣本，于是用樣本的均值、資料來自兩個總體的訓(xùn)練樣本，于是用樣本的均值、樣本的協(xié)方差矩陣代替總體的均值與協(xié)方差樣本的協(xié)方差矩陣代替總體的均值與協(xié)方差.注意：注意： 若若S1,S2分別為兩個樣本的協(xié)方差矩陣，則在兩個總分別為兩個樣本的協(xié)方差矩陣，則在兩個總體協(xié)方差矩陣相等時，總體的協(xié)方差矩陣估計量體協(xié)方差矩陣相等時，總體的協(xié)方差矩陣估計量112212(1)(1)2nSnSSnn 其中其中n1,n2分別為兩個樣本的容量

16、分別為兩個樣本的容量.得到判別法則：得到判別法則：(4.1.11) (4.1.9) matlab判別步驟：判別步驟： 1.計算計算A、B兩類的均值向量與協(xié)方差陣兩類的均值向量與協(xié)方差陣;ma=mean(A),mb=mean(B),S1=cov(A),S2=cov(B)2.計算總體的協(xié)方差矩陣計算總體的協(xié)方差矩陣2nnS)1n(S)1n(S212211 其中其中n1,n2分別為兩個樣本的容量分別為兩個樣本的容量.3.計算未知樣本計算未知樣本x到到A,B兩類馬氏平方距離之差兩類馬氏平方距離之差 d=(x-ma)S-1(x-ma)- (x-mb)S-1(x-mb) 4.若若d0,則則x屬于屬于B類類

17、上述公式可以化簡為：上述公式可以化簡為：W(x)=(ma-mb)S-1(x-(ma+mb)/2)若若W(x)0，x屬于屬于G1;若若W(x)=w2(i) disp(第第,num2str(i),個蠓蟲屬于個蠓蟲屬于Apf類類); else disp(第第,num2str(i),個蠓蟲屬于個蠓蟲屬于Af類類); end;end; 輸出結(jié)果輸出結(jié)果： 第第1個蠓蟲屬于個蠓蟲屬于Apf類類 第第2個蠓蟲屬于個蠓蟲屬于Apf類類 第第3個蠓蟲屬于個蠓蟲屬于Apf類類（2）兩個總體協(xié)方差矩陣不相等的情形）兩個總體協(xié)方差矩陣不相等的情形 設(shè)總體的協(xié)方差矩陣不相等分別為設(shè)總體的協(xié)方差矩陣不相等分別為1,2概率

18、密度概率密度函數(shù)為：函數(shù)為：1/21/211( )exp()()(2 )|2Tjjjjmjfxxx則基于兩正態(tài)總體誤判損失相等的則基于兩正態(tài)總體誤判損失相等的Bayes判別準則判別準則).()(:);()(:2221222211xdxdGxxdxdGx若若21( )()() ln| 2ln,1,2Tjjjjjjd xxxpj 其中其中 4.2.2 多個總體的多個總體的Bayes判別判別 設(shè)有設(shè)有k個總體個總體G1,G2,Gk的概率密度為的概率密度為fj(x)各總各總體出現(xiàn)的先驗概率為體出現(xiàn)的先驗概率為 1.一般討論一般討論當(dāng)出現(xiàn)樣品當(dāng)出現(xiàn)樣品 x時時, 總體總體 iG的后驗概率的后驗概率 1(

19、 )(| )( )iiikjjjp fP Gp fxxx ,1,2, ,kjjjj 1PP Gjkp1 足滿Bayes判別準則為判別準則為:若若), 2 , 1)(|(max)|(1kixGPxGPjkji則判樣本則判樣本 iGx注：當(dāng)達到最大后驗概率的注：當(dāng)達到最大后驗概率的 iG不止一個時，可判不止一個時，可判為達到最大后驗概率的總體的任何一個為達到最大后驗概率的總體的任何一個.2.多個正態(tài)總體的多個正態(tài)總體的Bayes判別判別（1）當(dāng)）當(dāng)12k時，設(shè) (, ),jmjGN1,2,jk線性判別函數(shù)為線性判別函數(shù)為 ( )TjjjWbxa x其中其中111,ln,1,2,2TTTjjjjjj

20、bpjk a 基于誤判損失相等的基于誤判損失相等的Bayes判別準則為判別準則為)(max)(,1xWxWGxjkjii若基于后驗概率的基于后驗概率的Bayes判別準則為判別準則為)(min)(,212xdxdGxjkjii若21( )()()2ln,1,2,Tjjjjdpjkxxx其中其中 在實際問題中，由于在實際問題中，由于 未知，各總體的訓(xùn)練樣本均值未知，各總體的訓(xùn)練樣本均值 （2）當(dāng)）當(dāng) 1,2, ,jk12,k 不全相等時不全相等時, 設(shè)設(shè) (,)jpjjGN則基于后驗概率的則基于后驗概率的Bayes判別準則為判別準則為)(min)(,212xdxdGxjkjii若其中其中 21(

21、)()()ln2lnTjjjjjjdpxxx12,k 及未知，未知，(1)(2)( ),kxxx，估計估計. S及4.3 4.3 判別分析總結(jié)判別分析總結(jié) 判別分析方法最初應(yīng)用于考古學(xué)判別分析方法最初應(yīng)用于考古學(xué), , 例如要根據(jù)挖例如要根據(jù)挖掘出來的人頭蓋骨的各種指標來判別其性別年齡等掘出來的人頭蓋骨的各種指標來判別其性別年齡等. . 近年來近年來, , 在生物學(xué)分類在生物學(xué)分類, , 醫(yī)療診斷醫(yī)療診斷, , 地質(zhì)找礦地質(zhì)找礦, , 石油石油鉆探鉆探, , 天氣預(yù)報等許多領(lǐng)域天氣預(yù)報等許多領(lǐng)域, , 判別分析方法已經(jīng)成為判別分析方法已經(jīng)成為一種有效的統(tǒng)計推斷方法一種有效的統(tǒng)計推斷方法. .

22、假定需要作出判別分析的對象分成假定需要作出判別分析的對象分成 r 類類, 記作記作A1, A2, , Ar , 每一類由每一類由m個指標的若干個標本確定個指標的若干個標本確定, 即即A1, A2, Ar為已知的分類為已知的分類. 現(xiàn)在問待判斷的對象現(xiàn)在問待判斷的對象x = (x1, x2, xm)T是屬于是屬于A1, A2, Ar中的哪一類？這就構(gòu)成了判別分析問題的基本中的哪一類？這就構(gòu)成了判別分析問題的基本內(nèi)容內(nèi)容. 判別分析判別分析: 判別分析是用于判別個體所屬群體的一種統(tǒng)計方判別分析是用于判別個體所屬群體的一種統(tǒng)計方法，判別分析的特點是根據(jù)已掌握的、歷史上每個法，判別分析的特點是根據(jù)已掌

23、握的、歷史上每個類別的若干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類類別的若干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判別公式和判別準則。然后，當(dāng)遇的規(guī)律性，建立判別公式和判別準則。然后，當(dāng)遇到新的樣本點時，只要根據(jù)總結(jié)出來的判別公式和到新的樣本點時，只要根據(jù)總結(jié)出來的判別公式和判別準則，就能判別該樣本點所屬的類別。判別分判別準則，就能判別該樣本點所屬的類別。判別分析是一種應(yīng)用性很強的統(tǒng)計數(shù)據(jù)分析方法。析是一種應(yīng)用性很強的統(tǒng)計數(shù)據(jù)分析方法。 判別分析的原理判別分析的原理: : 為了能識別待判斷的對象為了能識別待判斷的對象x = (x1, x2, xm)T是屬于已是屬于已知類知類A1, A2,

24、Ar中的哪一類？中的哪一類？ 事先必須要有一個一般規(guī)則事先必須要有一個一般規(guī)則, 一旦知道了一旦知道了x的值的值, 便能便能根據(jù)這個規(guī)則立即作出判斷根據(jù)這個規(guī)則立即作出判斷, 稱這樣的一個規(guī)則為稱這樣的一個規(guī)則為判別規(guī)判別規(guī)則則. 判別規(guī)則往往通過的某個函數(shù)來表達判別規(guī)則往往通過的某個函數(shù)來表達, , 我們把它稱我們把它稱為為判別函數(shù)判別函數(shù), 記作記作W(i; x). 一旦知道了一旦知道了判別函數(shù)并確定了判別函數(shù)并確定了判別規(guī)則，最好將已判別規(guī)則，最好將已知類別的對象代入檢驗，這一過程稱為知類別的對象代入檢驗，這一過程稱為回代檢驗回代檢驗，以便，以便檢驗?zāi)愕臋z驗?zāi)愕呐袆e函數(shù)和判別函數(shù)和判別規(guī)

25、則是否正確判別規(guī)則是否正確.判別分析的主要方法判別分析的主要方法: : 判別分析的主要方法有距離判別方法、費希爾判別分析的主要方法有距離判別方法、費希爾 (Fisher)判別方法、貝葉斯判別方法、貝葉斯(Bayes)判別方法判別方法. 距離判別方法距離判別方法：判別函數(shù)判別函數(shù)W(i; x) = d (x, Ai ), 其中其中d (x, Ai )為為待判別對象待判別對象x到第到第i類類Ai的距離的距離. 判別規(guī)則為若判別規(guī)則為若W(k; x) = minW(i; x)| i =1, 2, , r , 則則xAk . 貝葉斯貝葉斯(Bayes)判別方法：判別方法：判別函數(shù)判別函數(shù)W(i; x

26、) = pi i(x), 其中其中pi為待判別對象為待判別對象xAi的概率的概率, ,如果沒有任如果沒有任何這種附加的先驗信息何這種附加的先驗信息, ,通常取通常取pi = 1/r. i(x)為為已知類已知類別別Ai的分布密度的分布密度判別規(guī)則為若判別規(guī)則為若W(k; x ) = maxW(i; x )| i =1, 2, , r ,則則xAk. Fisher準則分類的模型準則分類的模型: 費歇（費歇（FisherFisher）判別法）判別法是一種線性判別的方法。它的工是一種線性判別的方法。它的工作思路是對原數(shù)據(jù)系統(tǒng)進行坐標變換，尋求能將總體盡可能作思路是對原數(shù)據(jù)系統(tǒng)進行坐標變換，尋求能將總體

27、盡可能分開的方向。具體的作法是先引入一個與樣本同維的待定向分開的方向。具體的作法是先引入一個與樣本同維的待定向量量u u，再將，再將y y取為取為x x坐標的線性組合坐標的線性組合 。而。而u u的的選取，要選取，要使同一類別產(chǎn)生的使同一類別產(chǎn)生的y y盡量聚攏，不同類別產(chǎn)生的盡量聚攏，不同類別產(chǎn)生的y y盡量拉開。盡量拉開。 這樣，我們便可將樣品這樣，我們便可將樣品x x到某一類到某一類G G的距離定義為的距離定義為 與與 之間的歐氏距離：之間的歐氏距離： 其中其中c c為為G G的幾何中心的幾何中心FisherFisher分類的判據(jù)為：分類的判據(jù)為： 1 1若若 ，則判定義為，則判定義為A A類；類； 2 2若若 ，則判定又為，則判定又為B B類；類； 3