貝葉斯判別分析PPT課件.ppt

基本思想 1 多總體的Bayes判別 2 兩個總體的Bayes判別 3 4 3Bayes判別分析 1 距離判別只要求知道總體數(shù)字特征 不涉及總體的分布函數(shù) 當(dāng)參數(shù)和協(xié)方差未知時 就用樣本均值和協(xié)方差矩陣來估計 距離判別方法簡單實用 但沒有考慮到每個總體出現(xiàn)的機會大小 即先驗概率 沒有考慮到錯判的損失 貝葉斯判別法正是為了解決這兩個問題提出的判別分析方法 4 3 1Bayes判別基本思想 2 4 3 1Bayes判別的基本思想 將待判樣品x判屬給后驗概率最大的總體 先驗概率 后驗概率 3 貝葉斯判別準(zhǔn)則 4 基本思想 1 多總體的Bayes判別 2 兩個總體的Bayes判別 3 5 1 一般討論 4 3 2兩個總體的Bayes判別 兩個總體的Bayes判別準(zhǔn)則 6 2 兩個正態(tài)總體Bayes判別 馬氏平方距離 看大小 大小相反 7 1 兩個總體協(xié)方差矩陣不相等的情形 Bayes判別準(zhǔn)則化為廣義距離準(zhǔn)則 協(xié)方差陣 先驗概率相等 即為距離判別準(zhǔn)則 馬氏平方距離 8 2 兩個總體協(xié)方差矩陣相等情形 后驗概率準(zhǔn)則 9 協(xié)方差矩陣不相等的Bayes判別準(zhǔn)則 樣本Bayes判別準(zhǔn)則 協(xié)方差矩陣相等的Bayes判別準(zhǔn)則 廣義平方距離準(zhǔn)則 10 誤判率 11 例4 3 16只Apf和9只Af蠓蟲觸角長度和翅膀長度數(shù)據(jù) Apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 00 1 28 2 00 1 30 1 96 Af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 若兩類蠓蟲協(xié)方差矩陣相等 假設(shè)總體Apf和Af均服從正態(tài)分布 用Bayes判別法判別三個蠓蟲屬于哪一類 1 24 1 8 1 28 1 84 1 4 2 04 12 假設(shè) 檢驗統(tǒng)計量 則認(rèn)為Qi較小 接受H0 否則拒絕H0 1 檢驗兩個總體協(xié)方差矩陣相等 判斷 給定 若 13 檢驗兩總體協(xié)方差矩陣是否相等 0 1 程序 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 n1 6 n2 9 p 2 2個總體 2維變量 15個樣本s1 cov apf s2 cov af 求樣本協(xié)方差s n1 1 s1 n2 1 s2 n1 n2 2 求聯(lián)合協(xié)方差矩陣 14 檢驗兩總體協(xié)方差矩陣相等程序 Q10 n1 1 log det s log det s1 p trace inv s s1 統(tǒng)計量Q1觀測值Q10Q20 n2 1 log det s log det s2 p trace inv s s2 Q2統(tǒng)計量值Q20lamda chi2inv 1 0 05 3 卡方上0 05分位數(shù)p10 1 chi2cdf Q10 p p 1 2 卡方分布概率p10p20 1 chi2cdf Q20 p p 1 2 卡方分布概率p20 輸出結(jié)果 Q10 2 5784 Q20 0 7418均0 05 認(rèn)為兩個總體協(xié)方差矩陣相等 15 2 估計兩個總體的先驗概率按樣本容量比例選取 由于Apf與Af分別為6個與9個 故估計Apf類 Af類蠓蟲的先驗概率 16 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 x 1 24 1 8 1 28 1 84 1 4 2 04 待判樣品m1 mean apf m2 mean af 總體均值向量s1 cov apf s2 cov af s 5 s1 8 s2 13 總體協(xié)方差矩陣 3 利用MATLAB軟件計算貝葉斯線性判別函數(shù) S 聯(lián)合協(xié)方差矩陣0 00750 00660 00660 0134 結(jié)果 G1 G2總體均值向量m1 1 2267 1 9267 m2 1 4133 1 8044 17 fori 1 3 計算樣品xi的判別函數(shù)W1 xi 和W2 xi w1 i m1 inv s x i 1 2 m1 inv s m1 log 0 4 w2 i m2 inv s x i 1 2 m2 inv s m2 log 0 6 ifw1 i w2 i disp 第 num2str i 個蠓蟲屬于Apf類 歸1類elsedisp 第 num2str i 個蠓蟲屬于Af類 end end 輸出結(jié)果 第1個蠓蟲屬于Apf類 第2個蠓蟲屬于Apf類 第3個蠓蟲屬于Apf類 3 利用MATLAB軟件計算貝葉斯判別函數(shù) 18 例4 3 2對破產(chǎn)企業(yè)收集它們在破產(chǎn)前兩年年度財務(wù)數(shù)據(jù) 對財務(wù)良好的企業(yè)也收集同一時間數(shù)據(jù) 數(shù)據(jù)涉及4個變量 X1 現(xiàn)金流量 總債務(wù) X2 凈收益 總資產(chǎn) X3 流動資產(chǎn) 流動債務(wù) X4 流動資產(chǎn) 凈銷售額 數(shù)據(jù)如表4 2所示 假定兩總體G1 G2均服從4元正態(tài)分布 在誤判損失相等且先驗概率按比例分配條件下 對待判樣本進行bayes判別 19 表4 2兩類企業(yè)財務(wù)狀況數(shù)據(jù) 20 解 1 檢驗兩個總體的協(xié)方差矩陣相等 G1 0 45 0 411 090 45 0 56 0 311 510 16 0 060 021 010 40 0 07 0 091 450 26 0 10 0 091 560 67 0 14 0 070 710 28 0 040 011 500 71 0 06 0 061 370 40 0 13 0 141 420 44 G2 0 510 102 490 54 0 080 022 010 53 0 380 113 270 35 0 190 052 250 33 0 320 074 240 63 0 120 052 520 69 0 020 022 050 35 0 220 082 350 40 0 170 071 800 52 2類總體數(shù)據(jù) 每行為樣品x 0 23 0 300 330 18 0 150 052 170 55 0 28 0 231 190 66 0 480 091 240 18 待判樣品數(shù)據(jù) 21 m1 mean G1 m2 mean G2 n1 size G1 1 總體G1的樣本數(shù)n2 size G2 1 總體G2的樣本數(shù)n n1 n2 兩個總體合并的樣本數(shù)p 4 p為總體維數(shù)s1 cov G1 s2 cov G2 s n1 1 s1 n2 1 s2 n1 n2 2 聯(lián)合協(xié)方差矩陣Q1 n1 1 log det s log det s1 p trace inv s s1 Q2 n2 1 log det s log det s2 p trace inv s s2 ifQ1 chi2inv 0 95 p p 1 2 輸出結(jié)果 兩組數(shù)據(jù)協(xié)方差不全相等 p p 1 2為卡方分布自由度 22 p1 n1 n p2 n2 n 計算先驗概率 按比例分配fori 1 4 4個樣品Bayes判別函數(shù)d1 i mahal x i G1 log det s1 2 log p1 d2 i mahal x i G2 log det s2 2 log p2 ifd1 i d2 i disp 第 num2str i 個屬于破產(chǎn)企業(yè) 判給G1elsedisp 第 num2str i 個屬于非破產(chǎn)企業(yè) end end 2 根據(jù)第1步協(xié)方差矩陣不相等 構(gòu)造判別函數(shù)判別 輸出結(jié)果 第1個屬于破產(chǎn)企業(yè) 第2個屬于非破產(chǎn)企業(yè)第3個屬于破產(chǎn)企業(yè) 第4個屬于非破產(chǎn)企業(yè) 23 4 3 2多個總體的Bayes判別 設(shè)有k個總體G1 G2 Gk的概率密度為fj x 各總體出現(xiàn)的先驗概率為 1 一般討論 24 Bayes判別準(zhǔn)則 若 則判樣本 注 當(dāng)達到最大后驗概率的 不止一個時 可判 為達到最大后驗概率的總體的任何一個 25 基本思想 1 多總體的Bayes判別 2 兩個總體的Bayes判別 3 26 4 3 2多個正態(tài)總體Bayes判別 1 線性判別函數(shù) Bayes判別準(zhǔn)則 基于后驗概率Bayes判別準(zhǔn)則 27 28 基于后驗概率的Bayes判別準(zhǔn)則 4 3 2多個正態(tài)總體Bayes判別 29 4 3 3誤判概率的頻率估計 30 例4 3 3醫(yī)院利用心電圖檢測對人群進行劃分 數(shù)據(jù)見表4 3 g 1 健康人 g 2 主動脈硬化患者 g 3 冠心病患者 X1 X2 心電圖中心臟功能兩項不相關(guān)指標(biāo) 某受試者心電圖該兩項指標(biāo)數(shù)據(jù)為380 20 9 08 設(shè)先驗概率按比例分配 進行bayes判別 判定其歸屬 表4 324人心電圖數(shù)據(jù) 31 心電圖圖譜 心電圖各種波形 P波 QRS波群Q波 T波 U波 各波形間等電位線 32 檢驗假設(shè) 檢驗統(tǒng)計量 解 1 檢驗3個總體協(xié)方差矩陣相等 33 A 261 017 36 189 595 46 x 380 209 08 G1 A 1 11 G2 A 12 18 G3 A 19 23 3類總體數(shù)據(jù)n 23 k 3 p 2 n1 11 n2 7 n3 5 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n m1 mean G1 m2 mean G2 m3 mean G3 檢驗總體協(xié)方差矩陣相等程序 34 s1 cov G1 s2 cov G2 s3 cov G3 計算協(xié)方差陣s n1 1 s1 n2 1 s2 n3 1 s3 n k 聯(lián)合協(xié)方差M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 計算統(tǒng)計量T觀測值C chi2inv 0 95 f 卡方分布0 05上分位數(shù)CifT chi2inv 0 95 f disp 三組數(shù)據(jù)協(xié)方差相等 elsedisp 三組數(shù)據(jù)協(xié)方差不全相等 end 輸出結(jié)果 由于T C 故認(rèn)為3組數(shù)據(jù)協(xié)方差相等 35 w 1 m1 inv s x 1 2 m1 inv s m1 log p1 w 2 m2 inv s x 1 2 m2 inv s m2 log p2 w 3 m3 inv s x 1 2 m3 inv s m3 log p3 fori 1 3 按照判別函數(shù)w i 最大歸屬樣品ifw i max w disp 屬于第 num2str i 組 end end 輸出結(jié)果 待判樣品屬于第2組 2 在協(xié)方差陣相等情形下 進行Bayes判別分析 線性判別函數(shù) 36 例4 3 42008年全國部分地區(qū)城鎮(zhèn)居民人均年家收入情況見表4 4 按四種指標(biāo)分為二類 用bayes判別判定青海 廣東兩省區(qū)屬于哪一類 并用回代法和交叉法對誤判率進行估計 假定誤判損失相等 37 表4 42008年全國各省 區(qū) 市城鎮(zhèn)居民人均年家庭收入 38 解 1 輸入數(shù)據(jù)clearA1 18738 96778 36452 757707 87121791 111399 14369 126199 77112849 73863 52256 877203 93212319 861999 61307 315548 78215538 833161 871324 944955 14212668 822185 13952 913879 29212940 621194 40346 903067 05212314 69303 34138 08891 4228891 501078 67224 863946 3939019 35983 21202 313654 11310284 431555 31324 643031 0539494 591483 30248 044610 3237393 391241 37122 833506 4839302 38959 43293 923603 7239105 961106 31265 352985 9639043 521161 96156 463545 8639474 811114 68244 133340 6539070 971575 08316 483614 74310957 62788 26205 943265 92310321 201314 40441 153316 4439117 001040 14262 903265 0637811 16770 86110 903492 7038596 881165 96849 453505 7439794 82544 00151 463356 8538354 63638 7665 332610 6138595 48763 0750 173458 6339422 22938 15141 751976 493 39 檢驗假設(shè) 檢驗統(tǒng)計量 2 檢驗3個總體協(xié)方差矩陣相等 40 檢驗三個總體的協(xié)方差矩陣相等程序A A1 1 4 讀取A1數(shù)據(jù)A2 A1 5 讀取A1中類屬性x 8595 48763 0750 173458 6315188 392405 92701 253382 95 待判樣品G1 A 1 2 G2 A 3 8 G3 A 9 27 讀取3類總體n1 size G1 1 總體G1的樣本數(shù)n2 size G2 1 總體G2的樣本數(shù)n3 size G3 1 總體G3的樣本數(shù)n n1 n2 n3 三個總體合并的樣本數(shù)k 3 p 4 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n 41 m1 mean G1 m2 mean G2 m3 mean G3 s1 cov G1 s2 cov G2 s3 cov G3 計算協(xié)方差陣s n1 1 s1 n2 1 s2 n3 1 s3 n k 聯(lián)合協(xié)方差矩陣M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 計算統(tǒng)計量T觀測值C chi2inv 0 95 f 卡方分布0 05上分位數(shù)CifT chi2inv 0 95 f disp 三組數(shù)據(jù)協(xié)方差相等 elsedisp 三組數(shù)據(jù)協(xié)方差不全相等 end 輸出結(jié)果 T 20 0037 C 31 4104 T C 3組數(shù)據(jù)協(xié)方差相等 42 2 基于協(xié)方差矩陣相等 構(gòu)造Bayes線性判別函數(shù) 計算線性判別函數(shù) 按取值最大歸屬樣品fori 1 2w 1 m1 inv s x i 1 2 m1 inv s m1 log p1 w 2 m2 inv s x i 1 2 m2 inv s m2 log p2 w 3 m3 inv s x i 1 2 m3 inv s m3 log p3 計算線性判別函數(shù)forj 1 3ifw j max w disp 待判樣品屬于第 num2str j 類城市 endendend輸出結(jié)果 1號待判樣品屬于第3類城市2號待判樣品屬于第2類城市 43 n11 0 n22 0 n33 0 初始誤判率fori 1 n1 計算G1總體樣本線性判別函數(shù)結(jié)果w1 i 1 m1 inv s G1 i 1 2 m1 inv s m1 log p1 w1 i 2 m2 inv s G1 i 1 2 m2 inv s m2 log p2 w1 i 3 m3 inv s G1 i 1 2 m3 inv s m3 log p3 forj 1 3 計算G1總體中誤判個數(shù)ifw1 i j max w1 i endendend 3 計算回代誤判率 w1 i j 取最大且j不為1 xi判錯誤判個數(shù) 計算G1總體中誤判個數(shù) 44 fori 1 n2w2 i 1 m1 inv s G2 i 1 2 m1 inv s m1 log p1 w2 i 2 m2 inv s G2 i 1 2 m2 inv s m2 log p2 w2 i 3 m3 inv s G2 i 1 2 m3 inv s m3 log p3 forj 1 3ifw2 i j max w2 i end 計算G2總體中誤判個數(shù)endend 3 計算回代誤判率 計算G2總體樣本線性判別函數(shù)結(jié)果 45 fori 1 n3 計算G3總體樣本線性判別函數(shù)結(jié)果w3 i 1 m1 inv s G3 i 1 2 m1 inv s m1 log p1 w3 i 2 m2 inv s G3 i 1 2 m2 inv s m2 log p2 w3 i 3 m3 inv s G3 i 1 2 m3 inv s m3 log p3 forj 1 3ifw3 i j max w3 i endendendp00 n11 n22 n33 n1 n2 n3 計算回代誤判率 輸出結(jié)果 p00 0誤判率0 效果好 46 N11 0 N22 0 N33 0 初始誤判率0fork 1 n1 總體G1誤判率A G1 1 k 1 k 1 n1 N1 length A 1 M1 mean A 1 s11 cov A S1 N1 1 s11 n2 1 s2 n3 1 s3 N1 n2 n3 k P01 N1 n 1 P02 n2 n 1 P03 n3 n 1 先驗概率按比例 4 計算交叉誤判率 47 fori 1 n1 計算G1總體樣本線性判別函數(shù)結(jié)果W1 i 1 M1 inv S1 G1 i 1 2 M1 inv S1 M1 log P01 W1 i 2 m2 inv S1 G1 i 1 2 m2 inv S1 m2 log P02 W1 i 3 m3 inv S1 G1 i 1 2 m3 inv S1 m3 log P03 forj 1 3 計算G1總體樣本交叉誤判率結(jié)果ifW1 i j max W1 i endendendend w1 i j 取最大且j不為1 G1總體中樣本xi判錯 誤判個數(shù)加2 48 fork 1 n2B G2 1 k 1 k 1 n2 N2 length B 1 M2 mean B 1 s22 cov B S2 n1 1 s1 N2 1 s22 n3 1 s3 n1 N2 n3 k 計算混合樣本協(xié)方差P01 n1 n 1 P02 N2 n 1 P03 n3 n 1 計算先驗概