19判別分析的思想和方法

1、5.2 Bayes 判別重點：Bayes判別分析的思想和方法；難點：誤判率與平均損失；延伸： Bayes判別分析在腹瀉病診斷方面的應用研究中華疾病控制，2012,4。本節(jié)的重難點及延伸5.2.1 Bayes判別的基本思想Bayes統(tǒng)計的基本思想是：假定對所研究的對象(總體)在抽樣前已有一定的認識，常用先驗分布描述這種認識，然后，基于抽取的樣本對先驗認識作修正，得到后驗分布，而各種統(tǒng)計推斷均基于后驗分布進行. 將Bayes統(tǒng)計的思想用于判別分析，就是Bayes判別. 5.2.1 Bayes判別的基本思想Bayes判別需考慮兩個問題第一個問題是：觀測樣品的后驗概率 設G1, G2, , Gk為k個

2、p維總體，分別具有概率密度f1(x), f2(x), ,fk(x)，它們的先驗概率分別為p1, p2, , pk，在觀測得到一個新樣品x后，可用Bayes公式計算它來自總體Gj的后驗概率5.2.1 Bayes判別的基本思想在Bayes判別中，還應該考慮的是誤判引起的損失.由于樣品的判屬由后驗概率確定，所以常用平均損失作為誤判損失的度量.5.2.2 兩個總體的Bayes判別1.一般討論 先驗概率 考慮兩個p維總體G1, G2，分別具有概率密度f1(x), f2(x). G1與G2出現(xiàn)的先驗概率為 p1 = P(G1)， p2 = P(G2) (p1 + p2 = 1)可取 p1 = p2 = 1

3、/2； 其中，ni為Gi的訓練樣本容量(i =1, 2)， n1 + n2 = n5.2.2 兩個總體的Bayes判別當?shù)玫叫聵悠穢后， 由Bayes公式得總體G1, G2的后驗概率是 (5.14)5.2.2 兩個總體的Bayes判別1.一般討論 樣本取值空間的劃分 設樣本觀測值 x = (x1, x2, ,xp)TRp. 一個判別法是對空間Rp的一個劃分，記為R1和R2，且R1R2 = Rp ， R1R2 = 如，在距離判別中 R1= x：d(x, G1) d(x, G2) ，R2 = x：d(x, G1) d(x, G2) 當xR1時，則判x來自G1；否則，判x來自G2. Rp的劃分記為R

4、 = (R1, R2)，一個劃分R相當一個判別準則. 5.2.2 兩個總體的Bayes判別1.一般討論 誤判率與平均損失 在先驗概率分別為p1和 p2的條件下，誤判造成的平均損失為 L= p1l(1, R) + p2l(2, R) = c(2|1)p1P(2|1,R) + c(1|2) p2P(1|2,R)5.2.2 兩個總體的Bayes判別1.一般討論 最優(yōu)劃分 Bayes判別使平均損失L達到最小的劃分是 (5.17)或 (5.18)5.2.2 兩個總體的Bayes判別1.一般討論 最優(yōu)劃分 當c(2|1) = c(1|2) 時，最優(yōu)劃分是 若又有p1 = p2，最優(yōu)劃分是5.2.2 兩個總

5、體的Bayes判別1.一般討論 最優(yōu)劃分 即，當c(2|1) = c(1|2)時，最優(yōu)劃分是 (5.15)從而，在等損失條件下，兩個總體的Bayes判別法則： (5.16)5.2.2 兩個總體的Bayes判別2. 兩個正態(tài)總體的Bayes判別 先討論c(2|1) = c(1|2)的情況 1 = 2 = 兩總體G1, G2的協(xié)方差陣相等且為，概率密度為 j = 1, 25.2.2 兩個總體的Bayes判別取對數(shù)就有 j = 1, 25.2.2 兩個總體的Bayes判別這樣 5.2.2 兩個總體的Bayes判別記這里的W1(x)及W2(x)皆是線性判別函數(shù).5.2.2 兩個總體的Bayes判別類似

6、于距離判別的推導，可以得到這樣，當1 = 2 = 時，兩個正態(tài)總體的Bayes判別準則為5.2.2 兩個總體的Bayes判別當1, 2及未知時，它們分別由G1, G2訓練樣本算得的均值 ， 及協(xié)方差陣的聯(lián)合估計S來估計，線性判別函數(shù)為5.2.2 兩個總體的Bayes判別當 時，可略去上述線性判別函數(shù)中的常數(shù)項 .略去常數(shù)項的線性判別函數(shù)與距離判別的線性函數(shù)相同.對于兩個協(xié)方差陣相等的正態(tài)總體而言，在誤判損失相等，先驗概率相同時，其Bayes判別與距離判別是等價的. 5.2.2 兩個總體的Bayes判別距離函數(shù) 后驗概率又廣義平方距離函數(shù)(j =1,2)5.2.2 兩個總體的Bayes判別當1,

7、 2及未知時，分別由 及S來估計，得后驗概率估計為這時，Bayes判別法則為5.2.2 兩個總體的Bayes判別 1 2 ，c(2|1) = c(1|2) 從(5.17)出發(fā)，可得廣義平方距離函數(shù) j = 1,2從樣本得到后驗概率估計形式與前述相同，Bayes判別準則也相同.5.2.2 兩個總體的Bayes判別誤判概率 設兩個正態(tài)總體G1,G2的協(xié)方差矩陣相等，對于劃分R = (R1, R2)，誤判概率是 (5.24)其中，d = lnc(1|2)p1/c(2|1)p2, .5.2.2 兩個總體的Bayes判別誤判概率 當先驗概率采用等概率，即p1 = p2 = 1/2，再取估計誤判概率的估計

8、為5.2.2 兩個總體的Bayes判別誤判概率 當先驗概率以訓練樣本容量比例選取，即誤判概率的估計為兩個總體Bayes判別的計算實例(例5.3) 某氣象臺預報某地區(qū)有無春旱的觀測資料中，X1與X2是與氣象有關的兩個綜合預報因子. 數(shù)據(jù)包括發(fā)生春旱的6個年份的X1，X2的觀測值和無春旱的8個年份的相應觀測值. 觀測數(shù)據(jù)如表5.3所示. 假定兩總體均服從正態(tài)分布且協(xié)方差矩陣1 2 ，誤判損失相同又先驗概率按比例分配，即p1 = 6/14 = 0.4286， p2 = 8/14 =0.5714進行兩總體的Bayes判別.5.2.3 多個總體的Bayes判別1.一般討論 設有k個總體G1, G2, ,

9、 Gk， Gj的密度為fj(x).各總體出現(xiàn)的先驗概率為pj，滿足 p1 +p2 + pk = 1 一個判別實質上就是對p維空間Rp的一個劃分，這一劃分記為R = (R1, R2, , Rk)，它代表一個判別準則.5.2.3 多個總體的Bayes判別1.一般討論 設來自Gi的樣品誤判為來自Gj的損失為c( j | i )，其構成損失矩陣5.2.3 多個總體的Bayes判別1.一般討論 當取 (i = 1,2, ,k)時，誤判的概率達到最小，這樣的劃分R = (R1, R2, , Rk)為p維空間Rp的一個最優(yōu)劃分.5.2.3 多個總體的Bayes判別1.一般討論 對于樣品x，總體Gi(i =

10、1,2, ,k)的后驗概率是故最優(yōu)劃分R = (R1, R2, , Rk)成為 i = 1,2,k5.2.3 多個總體的Bayes判別一般損失函數(shù)c( j | i )的情況 記H( Gj | x )表示，將樣品x判定為來自總體Gj的后驗平均損失. Rj就是這就是說，對于樣品x，應將其判定為來自后驗平均損失達到最小的那個總體Gj .5.2.3 多個總體的Bayes判別2.多個正態(tài)總體的Bayes判別1) 1 = 2 = = k = ，設Gj Np(j, )，線性判別函數(shù)為廣義平方距離函數(shù)為 j = 1,2,k5.2.3 多個總體的Bayes判別2.多個正態(tài)總體的Bayes判別后驗概率為這時，最優(yōu)

11、劃分為 j = 1,2,k5.2.3 多個總體的Bayes判別2) 若1, 2 , , k 不全相等時，設Gj Np(j, j)，則后驗概率最優(yōu)劃分 j = 1,2,k多個總體Bayes判別的實例(例5.4)例5.4 某商學院招收研究生時，以大學生在校的平均學分指數(shù)X1與管理能力測試成績X2為主要參考依據(jù)，將申請者劃分為三類，即G1:錄??；G2:不錄?。籊3:待定. 表5.6記錄了85位申請者的X1和X2的值及錄取情況. 假定總體服從正態(tài)分布，先驗概率按比例分配且誤判損失相同. 分別在下列情況下做Bayes判別分析. 假定各總體協(xié)方差矩陣相等； 假定各總體協(xié)方差矩陣不全相等.若一位申請者x1

12、= 3.12和x2 = 497，他應歸哪一類?補充：第5.3節(jié) Fisher判別法 Fisher判別的想法是，先將各類樣本向一維方向作投影，使投影后各類數(shù)據(jù)之間距離盡可能散開，而各類內數(shù)據(jù)盡可能靠近。然后將樣本點按此投影規(guī)則也投影下去，再按距離最近原則確定樣本屬于哪一類。這個想法當然很好，具體怎樣實現(xiàn)呢?設從 k 個總體分別取得的 組 P 維觀察數(shù)據(jù)為： 令 a 為一 P 維向量， 為 x 向 a 方向的投影 則投影后的數(shù)據(jù)為 這正好是一元方差分析法數(shù)據(jù)，其組間差為 組內差為Fisher準則就是要選取系數(shù)向量a , 使統(tǒng)計量 達到最大，等價地，就是使達到最大。其中E為組內離差陣，A為總體之間樣

13、本協(xié)差陣 利用對向量求導的公式， F及a恰好是A、E矩陣的廣義特征根及其對應的特征向量.上式非零特征根個數(shù)m不超過min（k-1,p），又因為A為非負定的，所以非零特征根必為正根.于是可構造m個判別函數(shù)：對于每一個判別函數(shù)必須給出一個用以衡量判別能力的指標定義為： m0個判別函數(shù) 的判別能力定義為：如果m0達到某個人定的值（比如85%）則就認為m0個判別函數(shù)就夠了. 有了判別函數(shù)之后，如何對待判的樣品進行分類？Fisher判別法本身并未給出最合適的分類法，在實際工作中可以選用下列分類法去作分類。記對待判樣品 ，計算若 則判 。補充：第5.4節(jié) 逐步判別法前面介紹的判別方法都是用已給的全部變量來

14、建立判別式的，但這些變量在判別式中所起的作用，一般來說是不同的，也就是說各變量在判別式中判別能力不同，有些可能起重要作用，有些可能作用低微，如果將判別能力低微的變量保留在判別式中，不僅會增加計算量，而且會產生干擾影響判別效果，如果將其中重要變量忽略了，這時作出的判別效果也一定不好。如何篩選出具有顯著判別能力的變量來建立判別式呢？由于篩選變量的重要性，近三十年來有大量的文章提出很多種方法，這里僅介紹一種常用的逐步判別法。1 基本思想逐步判別法與逐步回歸法的基本思想類似，都是采用“有進有出”的算法，即逐步引入變量，每引入一個“最重要”的變量進入判別式，同時也考慮較早引入判別式的某些變量，如果其判別

15、能力隨新引入變量而變?yōu)椴伙@著了（例如其作用被后引入的某幾個變量的組合所代替），應及時從判別式中把它剔除去，直到判別式中沒有不重要的變量需要剔除，而剩下來的變量也沒有重要的變量可引入判別式時，逐步篩選結束。這個篩選過程實質就是作假設檢驗，通過檢驗找出顯著性變量，剔除不顯著變量。各判別法的比較至今還難以評價哪一種判別方法最好，此處僅對Bayes判別法與Fisher判別法作比較。（1）當k個總體的均值向量共線性程度較高時，F(xiàn)isher判別法可用較少的判別函數(shù)進行判別，因而比Bayes判別法簡單。另外，F(xiàn)isher判別法未對總體的分布提出什么特定的要求。（2）Fisher判別法的不足是它不考慮各總體出現(xiàn)概率的大小，也給不出預報的后驗概率及錯判率的估計以及錯判之后造成的損失。而這些不足恰是Bayes判別法的優(yōu)點，但值得指出的是，如果給定的先驗概率不符合客觀實際時，Bayes判別法也可能會導致錯誤的結論。 各判別法之間的關系在上述判別法中，只要滿足一些必要的條件，它們將是等價的。（1）在正態(tài)等協(xié)差陣的條件下，Bayes線性判別函數(shù)（在不考慮先驗概率的影響）等價于距離判別準則。因此Bayes線性判別法