多元統(tǒng)計(jì)分析第4章作業(yè)題選講

1、多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析第第4 4章章 判別分析）判別分析）4.1 4.1 判別分析和聚類分析有何區(qū)別？判別分析和聚類分析有何區(qū)別？答：答：判別分析是根據(jù)一定的判別準(zhǔn)則，判定一個(gè)樣本歸屬于判別分析是根據(jù)一定的判別準(zhǔn)則，判定一個(gè)樣本歸屬于哪一類哪一類。具體而言，設(shè)有。具體而言，設(shè)有n個(gè)樣本，對(duì)每個(gè)樣本測得個(gè)樣本，對(duì)每個(gè)樣本測得p項(xiàng)指標(biāo)項(xiàng)指標(biāo)（變量）的數(shù)據(jù)，已知每個(gè)樣本屬于（變量）的數(shù)據(jù)，已知每個(gè)樣本屬于k個(gè)類別（或總體）中個(gè)類別（或總體）中的某一類，通過找出一個(gè)最優(yōu)的劃分，使得不同類別的樣本的某一類，通過找出一個(gè)最優(yōu)的劃分，使得不同類別的樣本盡可能地區(qū)別開，并判別該樣本屬于哪個(gè)總體。盡可能地區(qū)別

2、開，并判別該樣本屬于哪個(gè)總體。聚類分析是聚類分析是分析如何對(duì)樣品（或變量）進(jìn)行量化分類的問題分析如何對(duì)樣品（或變量）進(jìn)行量化分類的問題。在聚類之。在聚類之前，我們并不知道總體，而是通過一次次的聚類，使相近的前，我們并不知道總體，而是通過一次次的聚類，使相近的樣品（或變量）聚合形成總體。樣品（或變量）聚合形成總體。通俗來講，判別分析是在已通俗來講，判別分析是在已知有多少類及是什么類的情況下進(jìn)行分類，而聚類分析是在知有多少類及是什么類的情況下進(jìn)行分類，而聚類分析是在不知道類的情況下進(jìn)行分類不知道類的情況下進(jìn)行分類。多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析第第4 4章章 判別分析）判別分析）4.2 4.2 簡述距離

3、判別法的基本思想和方法。簡述距離判別法的基本思想和方法。答：距離判別的基本思想是計(jì)算樣品與答：距離判別的基本思想是計(jì)算樣品與各個(gè)各個(gè)總體之間的總體之間的距離距離（通常是馬氏（通常是馬氏距離），把樣品判別為樣品到總體距離最小的距離），把樣品判別為樣品到總體距離最小的總體。距離判別問題分為兩個(gè)總體的距離判別問題和多總體。距離判別問題分為兩個(gè)總體的距離判別問題和多個(gè)總體的距離判別問題。個(gè)總體的距離判別問題。兩個(gè)總體的距離判別問題兩個(gè)總體的距離判別問題設(shè)有協(xié)方差矩陣設(shè)有協(xié)方差矩陣相等的兩個(gè)總體相等的兩個(gè)總體G1和和G2，其均值分別是，其均值分別是 1和和 2，對(duì)于一個(gè)新的樣品，對(duì)于一個(gè)新的樣品X，要判

4、斷它來自哪個(gè)總體。計(jì)算，要判斷它來自哪個(gè)總體。計(jì)算新樣品新樣品X到兩個(gè)總體的馬氏距離到兩個(gè)總體的馬氏距離d2（X，G1）和和d2（X，G2），則則多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析22112222122212,=,若若待判， 若GdGdGGdGdGdGdGxxxxxxxx21,1,2.iiidxxxiv令令 ，其中，其中 ，則上述判別規(guī)則可簡化為：，則上述判別規(guī)則可簡化為： Wxax1212112a 12,0,0=0若若待判， 若GWGWWxxxxx多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析多多個(gè)總體的個(gè)總體的距離判別問題距離判別問題v設(shè)有設(shè)有k個(gè)組個(gè)組1,2, ,k，它們的均值分別是，它們的均值分別是1,2, ,k，協(xié)

5、方，協(xié)方差矩陣分別是差矩陣分別是1(0),2(0), ,k(0)，x到總體到總體i的平方馬氏的平方馬氏距離為距離為判別規(guī)則為判別規(guī)則為若若1=2= =k=，則上述判別規(guī)則可作進(jìn)一步簡化。，則上述判別規(guī)則可作進(jìn)一步簡化。 d2(x,i)=(xi)1(xi)=x1x2i1x+i1i =x1x2(Iix+ci)其中其中 ，判別規(guī)則簡化，判別規(guī)則簡化為為21,1,2,iiiidikxxx221,min,llii kdd xxx若111,1,2,2iiiiicik I 1,maxllliii kcc xI xI x若多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析1 1, ,2 2, , , ,k k不全相等不全相等的情形的情

6、形221,min,llii kdd xxx若21,1,2,iiiidikxxxSxx221,min,llii kdd 然后，做出判別：若xxx21,1,2,iiiidik首先，計(jì)算：xxx多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析4.3 4.3 簡述簡述貝葉斯判別法的基本思想和方法貝葉斯判別法的基本思想和方法。kGGG,2112(x),(x),(x)kfffkqqq,210iq11kiiq 設(shè)設(shè)k k個(gè)總個(gè)總 的概率密度函數(shù)分別為的概率密度函數(shù)分別為 ，假設(shè)假設(shè)k k個(gè)個(gè)總體出現(xiàn)總體出現(xiàn)的概率分別為：的概率分別為：，。 進(jìn)行貝葉斯判別，通常有兩大準(zhǔn)則，一是依據(jù)后驗(yàn)概率最進(jìn)行貝葉斯判別，通常有兩大準(zhǔn)則，一是依據(jù)后

7、驗(yàn)概率最大準(zhǔn)則；二是依據(jù)平均誤判損失最小準(zhǔn)則；同時(shí)要求已知：大準(zhǔn)則；二是依據(jù)平均誤判損失最小準(zhǔn)則；同時(shí)要求已知：（1 1）總體的概率密度函數(shù)；）總體的概率密度函數(shù)；（2 2）各總體出現(xiàn)的先驗(yàn)概率；）各總體出現(xiàn)的先驗(yàn)概率；（3 3）各誤判損失。）各誤判損失。多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析iGjG)|(ijCkji, 2 , 1,將本來將本來屬于總體屬于總體 的的樣品錯(cuò)判到樣品錯(cuò)判到總體總體 時(shí)時(shí)造成的損造成的損失失為為 ， 。 1. 1. 最大后驗(yàn)概率準(zhǔn)則最大后驗(yàn)概率準(zhǔn)則x屬于屬于總體總體Gi的后驗(yàn)概率為的后驗(yàn)概率為最大后驗(yàn)概率準(zhǔn)則采用如下的判別規(guī)則：最大后驗(yàn)概率準(zhǔn)則采用如下的判別規(guī)則： 1|,1,2

8、,iiikiiiq fP Gikq fxxx1,|max|llii kPP xxx若多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析2. 2. 平均誤判損失最小準(zhǔn)則平均誤判損失最小準(zhǔn)則 11111111|,|kkililkkliiilkkkkiililil iECME C l iC l i PGRC l i PRG PGC l i P l i qqC l i P l i xxxxx使使ECM達(dá)到最小的達(dá)到最小的判別判別規(guī)則規(guī)則： 111,|min|kkljjjji kjjj lj iq fC ljq fC i j 若xxx多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析4.4 4.4 簡述費(fèi)希爾判別法的基本思想和方法。簡述費(fèi)希爾判別法的基本

9、思想和方法。 費(fèi)希爾判別費(fèi)希爾判別的基本思想是投影（或降維）：用的基本思想是投影（或降維）：用p p 維向量維向量v 的少數(shù)幾個(gè)線性組合（稱為的少數(shù)幾個(gè)線性組合（稱為判別式判別式或或典型變量典型變量） （一般（一般r r明顯小于明顯小于p p）來代替原始的）來代替原始的p p 個(gè)變量個(gè)變量x x1 1, ,x x2 2, , , ,x xp p ，以達(dá)到降維的目的，并根據(jù)這以達(dá)到降維的目的，并根據(jù)這r r 個(gè)判別式個(gè)判別式y(tǒng) y1 1, ,y y2 2, , , ,y yr r對(duì)樣對(duì)樣品的歸屬作出判別。特別地，可對(duì)前兩個(gè)或前三個(gè)判別式作品的歸屬作出判別。特別地，可對(duì)前兩個(gè)或前三個(gè)判別式作圖，從

10、直觀的幾何圖形上區(qū)別各總體。圖，從直觀的幾何圖形上區(qū)別各總體。12,px xxx1122,rryyya xa xa x多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析（1 1）判別式的求法）判別式的求法第一第一步步 計(jì)算樣本組間離差陣和組內(nèi)離差陣計(jì)算樣本組間離差陣和組內(nèi)離差陣多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析第二步第二步 求特征值和特征向量求特征值和特征向量求矩陣求矩陣E E 1 1B B（或或B B 1 1E E ）的的特征值和對(duì)應(yīng)的單位特征向量。特征值和對(duì)應(yīng)的單位特征向量。設(shè)設(shè)全部非零特征值依次為全部非零特征值依次為1 12 2 s s00，其中，其中，非零特非零特征值個(gè)數(shù)征值個(gè)數(shù)：s smin(min(k k 1,1,p

11、 p) )相應(yīng)的特征向量依次記為相應(yīng)的特征向量依次記為t t1 1, ,t t2 2, , , ,t ts s（標(biāo)準(zhǔn)化為標(biāo)準(zhǔn)化為t ti iS Sp pt ti i=1, =1, i i=1,2,=1,2, , ,s s），稱，稱y y1 1= =t t1 1x x為為第一判別式第一判別式，y y2 2= =t t2 2x x為為第第二二判別式判別式。一般地，稱一般地，稱y yi i= =t ti ix x為為第第i i判別式判別式，i i=1,2,=1,2, , ,s s。v由由s smin(min(k k1,1,p p) )知，組數(shù)知，組數(shù)k k=2=2時(shí)只有一個(gè)判別式，時(shí)只有一個(gè)判別式，

12、k k=3=3時(shí)最時(shí)最多只有兩個(gè)判別式，判別式的個(gè)數(shù)不可能超過原始變量的個(gè)多只有兩個(gè)判別式，判別式的個(gè)數(shù)不可能超過原始變量的個(gè)數(shù)數(shù)p p。多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析第三步第三步 寫出判別式寫出判別式第一第一判別式判別式：y1=t1x；第第二二判別式判別式：y2=t2x；一般地，一般地，第第i判別式判別式：yi=tix，i=1,2, ,s。多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析（2 2）判別規(guī)則）判別規(guī)則選取選取前前r(s)個(gè)判別式個(gè)判別式y(tǒng)1,y2, ,yr，使使累計(jì)貢獻(xiàn)率累計(jì)貢獻(xiàn)率：達(dá)到了一個(gè)較高的比例達(dá)到了一個(gè)較高的比例(如如75%95%)，則可采用這，則可采用這r個(gè)判別式個(gè)判別式做做判別。判別。判別規(guī)則

13、判別規(guī)則為為：其中其中， ，i=1,2, ,k 。該判別規(guī)則該判別規(guī)則也可表達(dá)為也可表達(dá)為：11rsiiii22111minrrljljjiji kjjyyyy x, 若11inijjiiijjiynt x xx, =22111minrrljljii kjj xtxxtxx, 若多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析4.6 4.6 設(shè)有設(shè)有兩個(gè)二元兩個(gè)二元總體總體G1和和G2，從中分別抽取樣本計(jì)算從中分別抽取樣本計(jì)算得得到樣本均值：到樣本均值： 樣本協(xié)方差陣：樣本協(xié)方差陣：假設(shè)兩總體協(xié)方差矩陣相等，假設(shè)兩總體協(xié)方差矩陣相等，試用試用距離判別法建立判別函數(shù)距離判別法建立判別函數(shù)和和判別規(guī)則。判別規(guī)則。 并判別

14、樣品并判別樣品 應(yīng)應(yīng)屬于哪個(gè)總體？屬于哪個(gè)總體？(1)(2)62,21xx 43,39pS60 x 4.5 4.5 試析距離判別法、貝葉斯判別法和費(fèi)希爾判別法的異同試析距離判別法、貝葉斯判別法和費(fèi)希爾判別法的異同。 （略）（略）多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析解：由已知可得，解：由已知可得，(1)(2)11162411210.52243931=393427 pxxS19341112343027 a1112241,( )4102記則 xxxW xxxxxa6,( )64=200當(dāng)則 xW x16.0,所以，屬于總體G x多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析4.7 4.7 設(shè)有兩正態(tài)總體設(shè)有兩正態(tài)總體G1和和G2，且

15、已知總體均值向量和總體，且已知總體均值向量和總體協(xié)方差陣分別為：協(xié)方差陣分別為：兩總體的先驗(yàn)概率為：兩總體的先驗(yàn)概率為： ，誤判損失為：誤判損失為： ，試用貝葉斯判別法，試用貝葉斯判別法判別樣品判別樣品 應(yīng)應(yīng)屬于哪個(gè)總體？屬于哪個(gè)總體？1224,62 1211=,19120.5qq421,1 2Ce Ce35x 多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析解：由已知可得，解：由已知可得，正態(tài)總體正態(tài)總體G1和和G2的概率密度函數(shù)分別為：的概率密度函數(shù)分別為：111111112222112211()exp229121188exp2,61162288811exp9(2)2(2)(6)(6)1628f XXXxxxxxxxx多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析122121112222112211()exp229141188exp4,21122288811exp9(4)2(4)(2)(2)1628fXXXxxxxxxxx根據(jù)