廈門大學(xué)《應(yīng)用多元統(tǒng)計(jì)分析》第04章-判別分析

第四章判別分析第一節(jié)引言第二節(jié)距離判別法

第三節(jié)貝葉斯（Bayes）判別法

第四節(jié)費(fèi)歇（Fisher）判別法

第五節(jié)實(shí)例分析與計(jì)算機(jī)實(shí)現(xiàn)

第一節(jié)引言在我們的日常生活和工作實(shí)踐中，常常會(huì)遇到判別分析問題，即根據(jù)歷史上劃分類別的有關(guān)資料和某種最優(yōu)準(zhǔn)則，確定一種判別方法，判定一個(gè)新的樣本歸屬哪一類。例如，某醫(yī)院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的資料，記錄了每個(gè)患者若干項(xiàng)癥狀指標(biāo)數(shù)據(jù)?，F(xiàn)在想利用現(xiàn)有的這些資料找出一種方法，使得對(duì)于一個(gè)新的病人，當(dāng)測(cè)得這些癥狀指標(biāo)數(shù)據(jù)時(shí)，能夠判定其患有哪種病。又如，在天氣預(yù)報(bào)中，我們有一段較長(zhǎng)時(shí)間關(guān)于某地區(qū)每天氣象的記錄資料（晴陰雨、氣溫、氣壓、濕度等），現(xiàn)在想建立一種用連續(xù)五天的氣象資料來預(yù)報(bào)第六天是什么天氣的方法。這些問題都可以應(yīng)用判別分析方法予以解決。把這類問題用數(shù)學(xué)語(yǔ)言來表達(dá)，可以敘述如下：設(shè)有n個(gè)樣本，對(duì)每個(gè)樣本測(cè)得p項(xiàng)指標(biāo)（變量）的數(shù)據(jù)，已知每個(gè)樣本屬于k個(gè)類別（或總體）G1，G2，…，Gk中的某一類，且它們的分布函數(shù)分別為F1(x)，F(xiàn)2(x)，…，F(xiàn)k(x)。我們希望利用這些數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點(diǎn)盡可能地區(qū)別開來，并對(duì)測(cè)得同樣p項(xiàng)指標(biāo)（變量）數(shù)據(jù)的一個(gè)新樣本，能判定這個(gè)樣本歸屬于哪一類。判別分析內(nèi)容很豐富，方法很多。判斷分析按判別的總體數(shù)來區(qū)分，有兩個(gè)總體判別分析和多總體判別分析；按區(qū)分不同總體所用的數(shù)學(xué)模型來分，有線性判別和非線性判別；按判別時(shí)所處理的變量方法不同，有逐步判別和序貫判別等。判別分析可以從不同角度提出問題，因此有不同的判別準(zhǔn)則，如馬氏距離最小準(zhǔn)則、Fisher準(zhǔn)則、平均損失最小準(zhǔn)則、最小平方準(zhǔn)則、最大似然準(zhǔn)則、最大概率準(zhǔn)則等等，按判別準(zhǔn)則的不同又提出多種判別方法。本章僅介紹常用的幾種判別分析方法：距離判別法、Fisher判別法、Bayes判別法和逐步判別法。第二節(jié)距離判別法一馬氏距離的概念二距離判別的思想及方法

三判別分析的實(shí)質(zhì)

一、馬氏距離的概念

圖4.1為此，我們引入一種由印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（Mahalanobis,1936）提出的“馬氏距離”的概念。

二、距離判別的思想及方法 1、兩個(gè)總體的距離判別問題問題：設(shè)有協(xié)方差矩陣∑相等的兩個(gè)總體G1和G2，其均值 分別是

1和

2，對(duì)于一個(gè)新的樣品X，要判斷它來自哪個(gè)總體。一般的想法是計(jì)算新樣品X到兩個(gè)總體的馬氏距離D2（X， G1）和D2（X，G2），并按照如下的判別規(guī)則進(jìn)行判斷這個(gè)判別規(guī)則的等價(jià)描述為：求新樣品X到G1的距離與到G2 的距離之差，如果其值為正，X屬于G2；否則X屬于G1。我們考慮

這里我們應(yīng)該注意到： 2、多個(gè)總體的距離判別問題

三、判別分析的實(shí)質(zhì)我們知道，判別分析就是希望利用已經(jīng)測(cè)得的變量數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點(diǎn)盡可能地區(qū)別開來。為了更清楚的認(rèn)識(shí)判別分析的實(shí)質(zhì)，以便能靈活的應(yīng)用判別分析方法解決實(shí)際問題，我們有必要了解“劃分”這樣概念。設(shè)R1，R2，…，Rk是p維空間Rp的k個(gè)子集，如果它們互不 相交，且它們的和集為Rp，則稱R1，R2，…，Rk為Rp的一個(gè)劃分。

這樣我們將會(huì)發(fā)現(xiàn)，判別分析問題實(shí)質(zhì)上就是在某種意義上，以最優(yōu)的性質(zhì)對(duì)p維空間Rp構(gòu)造一個(gè)“劃分”，這個(gè)“劃分”就構(gòu)成了一個(gè)判別規(guī)則。這一思想將在后面的各節(jié)中體現(xiàn)的更加清楚。第三節(jié)貝葉斯（Bayes）判別法一

Bayes判別的基本思想

二

Bayes判別的基本方法

從上節(jié)看距離判別法雖然簡(jiǎn)單，便于使用。但是該方法也有它明顯的不足之處。 第一，判別方法與總體各自出現(xiàn)的概率的大小無關(guān)； 第二，判別方法與錯(cuò)判之后所造成的損失無關(guān)。Bayes判別法就是為了解決這些問題而提出的一種判別方法。一、Bayes判別的基本思想

二、Bayes判別的基本方法

如果已知樣品X來自總體Gi的先驗(yàn)概率為qi，，則在規(guī)則R下，由（4.12）式知，誤判的總平均損失為

第四節(jié)費(fèi)歇（Fisher）判別法一

Fisher判別的基本思想

二

Fisher判別函數(shù)的構(gòu)造

三線性判別函數(shù)的求法Fisher判別法是1936年提出來的，該方法的主要思想是通過將多維數(shù)據(jù)投影到某個(gè)方向上，投影的原則是將總體與總體之間盡可能的放開，然后再選擇合適的判別規(guī)則，將新的樣品進(jìn)行分類判別。一、Fisher判別的基本思想

二、Fisher判別函數(shù)的構(gòu)造 1、針對(duì)兩個(gè)總體的情形

2、針對(duì)多個(gè)總體的情形

三、線性判別函數(shù)的求法

這里值得注意的是，本書有幾處利用極值原理求極值時(shí)，只給出了不要條件的數(shù)學(xué)推導(dǎo)，而有關(guān)充分條件的論證省略了，因?yàn)樵趯?shí)際問題中，往往根