貝葉斯判別分析PPT課件.ppt

基本思想 1 多總體的Bayes判別 2 兩個(gè)總體的Bayes判別 3 4 3Bayes判別分析 1 距離判別只要求知道總體數(shù)字特征 不涉及總體的分布函數(shù) 當(dāng)參數(shù)和協(xié)方差未知時(shí) 就用樣本均值和協(xié)方差矩陣來(lái)估計(jì) 距離判別方法簡(jiǎn)單實(shí)用 但沒(méi)有考慮到每個(gè)總體出現(xiàn)的機(jī)會(huì)大小 即先驗(yàn)概率 沒(méi)有考慮到錯(cuò)判的損失 貝葉斯判別法正是為了解決這兩個(gè)問(wèn)題提出的判別分析方法 4 3 1Bayes判別基本思想 2 4 3 1Bayes判別的基本思想 將待判樣品x判屬給后驗(yàn)概率最大的總體 先驗(yàn)概率 后驗(yàn)概率 3 貝葉斯判別準(zhǔn)則 4 基本思想 1 多總體的Bayes判別 2 兩個(gè)總體的Bayes判別 3 5 1 一般討論 4 3 2兩個(gè)總體的Bayes判別 兩個(gè)總體的Bayes判別準(zhǔn)則 6 2 兩個(gè)正態(tài)總體Bayes判別 馬氏平方距離 看大小 大小相反 7 1 兩個(gè)總體協(xié)方差矩陣不相等的情形 Bayes判別準(zhǔn)則化為廣義距離準(zhǔn)則 協(xié)方差陣 先驗(yàn)概率相等 即為距離判別準(zhǔn)則 馬氏平方距離 8 2 兩個(gè)總體協(xié)方差矩陣相等情形 后驗(yàn)概率準(zhǔn)則 9 協(xié)方差矩陣不相等的Bayes判別準(zhǔn)則 樣本Bayes判別準(zhǔn)則 協(xié)方差矩陣相等的Bayes判別準(zhǔn)則 廣義平方距離準(zhǔn)則 10 誤判率 11 例4 3 16只Apf和9只Af蠓蟲觸角長(zhǎng)度和翅膀長(zhǎng)度數(shù)據(jù) Apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 00 1 28 2 00 1 30 1 96 Af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 若兩類蠓蟲協(xié)方差矩陣相等 假設(shè)總體Apf和Af均服從正態(tài)分布 用Bayes判別法判別三個(gè)蠓蟲屬于哪一類 1 24 1 8 1 28 1 84 1 4 2 04 12 假設(shè) 檢驗(yàn)統(tǒng)計(jì)量 則認(rèn)為Qi較小 接受H0 否則拒絕H0 1 檢驗(yàn)兩個(gè)總體協(xié)方差矩陣相等 判斷 給定 若 13 檢驗(yàn)兩總體協(xié)方差矩陣是否相等 0 1 程序 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 n1 6 n2 9 p 2 2個(gè)總體 2維變量 15個(gè)樣本s1 cov apf s2 cov af 求樣本協(xié)方差s n1 1 s1 n2 1 s2 n1 n2 2 求聯(lián)合協(xié)方差矩陣 14 檢驗(yàn)兩總體協(xié)方差矩陣相等程序 Q10 n1 1 log det s log det s1 p trace inv s s1 統(tǒng)計(jì)量Q1觀測(cè)值Q10Q20 n2 1 log det s log det s2 p trace inv s s2 Q2統(tǒng)計(jì)量值Q20lamda chi2inv 1 0 05 3 卡方上0 05分位數(shù)p10 1 chi2cdf Q10 p p 1 2 卡方分布概率p10p20 1 chi2cdf Q20 p p 1 2 卡方分布概率p20 輸出結(jié)果 Q10 2 5784 Q20 0 7418均0 05 認(rèn)為兩個(gè)總體協(xié)方差矩陣相等 15 2 估計(jì)兩個(gè)總體的先驗(yàn)概率按樣本容量比例選取 由于Apf與Af分別為6個(gè)與9個(gè) 故估計(jì)Apf類 Af類蠓蟲的先驗(yàn)概率 16 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 x 1 24 1 8 1 28 1 84 1 4 2 04 待判樣品m1 mean apf m2 mean af 總體均值向量s1 cov apf s2 cov af s 5 s1 8 s2 13 總體協(xié)方差矩陣 3 利用MATLAB軟件計(jì)算貝葉斯線性判別函數(shù) S 聯(lián)合協(xié)方差矩陣0 00750 00660 00660 0134 結(jié)果 G1 G2總體均值向量m1 1 2267 1 9267 m2 1 4133 1 8044 17 fori 1 3 計(jì)算樣品xi的判別函數(shù)W1 xi 和W2 xi w1 i m1 inv s x i 1 2 m1 inv s m1 log 0 4 w2 i m2 inv s x i 1 2 m2 inv s m2 log 0 6 ifw1 i w2 i disp 第 num2str i 個(gè)蠓蟲屬于Apf類 歸1類elsedisp 第 num2str i 個(gè)蠓蟲屬于Af類 end end 輸出結(jié)果 第1個(gè)蠓蟲屬于Apf類 第2個(gè)蠓蟲屬于Apf類 第3個(gè)蠓蟲屬于Apf類 3 利用MATLAB軟件計(jì)算貝葉斯判別函數(shù) 18 例4 3 2對(duì)破產(chǎn)企業(yè)收集它們?cè)谄飘a(chǎn)前兩年年度財(cái)務(wù)數(shù)據(jù) 對(duì)財(cái)務(wù)良好的企業(yè)也收集同一時(shí)間數(shù)據(jù) 數(shù)據(jù)涉及4個(gè)變量 X1 現(xiàn)金流量 總債務(wù) X2 凈收益 總資產(chǎn) X3 流動(dòng)資產(chǎn) 流動(dòng)債務(wù) X4 流動(dòng)資產(chǎn) 凈銷售額 數(shù)據(jù)如表4 2所示 假定兩總體G1 G2均服從4元正態(tài)分布 在誤判損失相等且先驗(yàn)概率按比例分配條件下 對(duì)待判樣本進(jìn)行bayes判別 19 表4 2兩類企業(yè)財(cái)務(wù)狀況數(shù)據(jù) 20 解 1 檢驗(yàn)兩個(gè)總體的協(xié)方差矩陣相等 G1 0 45 0 411 090 45 0 56 0 311 510 16 0 060 021 010 40 0 07 0 091 450 26 0 10 0 091 560 67 0 14 0 070 710 28 0 040 011 500 71 0 06 0 061 370 40 0 13 0 141 420 44 G2 0 510 102 490 54 0 080 022 010 53 0 380 113 270 35 0 190 052 250 33 0 320 074 240 63 0 120 052 520 69 0 020 022 050 35 0 220 082 350 40 0 170 071 800 52 2類總體數(shù)據(jù) 每行為樣品x 0 23 0 300 330 18 0 150 052 170 55 0 28 0 231 190 66 0 480 091 240 18 待判樣品數(shù)據(jù) 21 m1 mean G1 m2 mean G2 n1 size G1 1 總體G1的樣本數(shù)n2 size G2 1 總體G2的樣本數(shù)n n1 n2 兩個(gè)總體合并的樣本數(shù)p 4 p為總體維數(shù)s1 cov G1 s2 cov G2 s n1 1 s1 n2 1 s2 n1 n2 2 聯(lián)合協(xié)方差矩陣Q1 n1 1 log det s log det s1 p trace inv s s1 Q2 n2 1 log det s log det s2 p trace inv s s2 ifQ1 chi2inv 0 95 p p 1 2 輸出結(jié)果 兩組數(shù)據(jù)協(xié)方差不全相等 p p 1 2為卡方分布自由度 22 p1 n1 n p2 n2 n 計(jì)算先驗(yàn)概率 按比例分配fori 1 4 4個(gè)樣品Bayes判別函數(shù)d1 i mahal x i G1 log det s1 2 log p1 d2 i mahal x i G2 log det s2 2 log p2 ifd1 i d2 i disp 第 num2str i 個(gè)屬于破產(chǎn)企業(yè) 判給G1elsedisp 第 num2str i 個(gè)屬于非破產(chǎn)企業(yè) end end 2 根據(jù)第1步協(xié)方差矩陣不相等 構(gòu)造判別函數(shù)判別 輸出結(jié)果 第1個(gè)屬于破產(chǎn)企業(yè) 第2個(gè)屬于非破產(chǎn)企業(yè)第3個(gè)屬于破產(chǎn)企業(yè) 第4個(gè)屬于非破產(chǎn)企業(yè) 23 4 3 2多個(gè)總體的Bayes判別 設(shè)有k個(gè)總體G1 G2 Gk的概率密度為fj x 各總體出現(xiàn)的先驗(yàn)概率為 1 一般討論 24 Bayes判別準(zhǔn)則 若 則判樣本 注 當(dāng)達(dá)到最大后驗(yàn)概率的 不止一個(gè)時(shí) 可判 為達(dá)到最大后驗(yàn)概率的總體的任何一個(gè) 25 基本思想 1 多總體的Bayes判別 2 兩個(gè)總體的Bayes判別 3 26 4 3 2多個(gè)正態(tài)總體Bayes判別 1 線性判別函數(shù) Bayes判別準(zhǔn)則 基于后驗(yàn)概率Bayes判別準(zhǔn)則 27 28 基于后驗(yàn)概率的Bayes判別準(zhǔn)則 4 3 2多個(gè)正態(tài)總體Bayes判別 29 4 3 3誤判概率的頻率估計(jì) 30 例4 3 3醫(yī)院利用心電圖檢測(cè)對(duì)人群進(jìn)行劃分 數(shù)據(jù)見表4 3 g 1 健康人 g 2 主動(dòng)脈硬化患者 g 3 冠心病患者 X1 X2 心電圖中心臟功能兩項(xiàng)不相關(guān)指標(biāo) 某受試者心電圖該兩項(xiàng)指標(biāo)數(shù)據(jù)為380 20 9 08 設(shè)先驗(yàn)概率按比例分配 進(jìn)行bayes判別 判定其歸屬 表4 324人心電圖數(shù)據(jù) 31 心電圖圖譜 心電圖各種波形 P波 QRS波群Q波 T波 U波 各波形間等電位線 32 檢驗(yàn)假設(shè) 檢驗(yàn)統(tǒng)計(jì)量 解 1 檢驗(yàn)3個(gè)總體協(xié)方差矩陣相等 33 A 261 017 36 189 595 46 x 380 209 08 G1 A 1 11 G2 A 12 18 G3 A 19 23 3類總體數(shù)據(jù)n 23 k 3 p 2 n1 11 n2 7 n3 5 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n m1 mean G1 m2 mean G2 m3 mean G3 檢驗(yàn)總體協(xié)方差矩陣相等程序 34 s1 cov G1 s2 cov G2 s3 cov G3 計(jì)算協(xié)方差陣s n1 1 s1 n2 1 s2 n3 1 s3 n k 聯(lián)合協(xié)方差M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 計(jì)算統(tǒng)計(jì)量T觀測(cè)值C chi2inv 0 95 f 卡方分布0 05上分位數(shù)CifT chi2inv 0 95 f disp 三組數(shù)據(jù)協(xié)方差相等 elsedisp 三組數(shù)據(jù)協(xié)方差不全相等 end 輸出結(jié)果 由于T C 故認(rèn)為3組數(shù)據(jù)協(xié)方差相等 35 w 1 m1 inv s x 1 2 m1 inv s m1 log p1 w 2 m2 inv s x 1 2 m2 inv s m2 log p2 w 3 m3 inv s x 1 2 m3 inv s m3 log p3 fori 1 3 按照判別函數(shù)w i 最大歸屬樣品ifw i max w disp 屬于第 num2str i 組 end end 輸出結(jié)果 待判樣品屬于第2組 2 在協(xié)方差陣相等情形下 進(jìn)行Bayes判別分析 線性判別函數(shù) 36 例4 3 42008年全國(guó)部分地區(qū)城鎮(zhèn)居民人均年家收入情況見表4 4 按四種指標(biāo)分為二類 用bayes判別判定青海 廣東兩省區(qū)屬于哪一類 并用回代法和交叉法對(duì)誤判率進(jìn)行估計(jì) 假定誤判損失相等 37 表4 42008年全國(guó)各省 區(qū) 市城鎮(zhèn)居民人均年家庭收入 38 解 1 輸入數(shù)據(jù)clearA1 18738 96778 36452 757707 87121791 111399 14369 126199 77112849 73863 52256 877203 93212319 861999 61307 315548 78215538 833161 871324 944955 14212668 822185 13952 913879 29212940 621194 40346 903067 05212314 69303 34138 08891 4228891 501078 67224 863946 3939019 35983 21202 313654 11310284 431555 31324 643031 0539494 591483 30248 044610 3237393 391241 37122 833506 4839302 38959 43293 923603 7239105 961106 31265 352985 9639043 521161 96156 463545 8639474 811114 68244 133340 6539070 971575 08316 483614 74310957 62788 26205 943265 92310321 201314 40441 153316 4439117 001040 14262 903265 0637811 16770 86110 903492 7038596 881165 96849 453505 7439794 82544 00151 463356 8538354 63638 7665 332610 6138595 48763 0750 173458 6339422 22938 15141 751976 493 39 檢驗(yàn)假設(shè) 檢驗(yàn)統(tǒng)計(jì)量 2 檢驗(yàn)3個(gè)總體協(xié)方差矩陣相等 40 檢驗(yàn)三個(gè)總體的協(xié)方差矩陣相等程序A A1 1 4 讀取A1數(shù)據(jù)A2 A1 5 讀取A1中類屬性x 8595 48763 0750 173458 6315188 392405 92701 253382 95 待判樣品G1 A 1 2 G2 A 3 8 G3 A 9 27 讀取3類總體n1 size G1 1 總體G1的樣本數(shù)n2 size G2 1 總體G2的樣本數(shù)n3 size G3 1 總體G3的樣本數(shù)n n1 n2 n3 三個(gè)總體合并的樣本數(shù)k 3 p 4 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n 41 m1 mean G1 m2 mean G2 m3 mean G3 s1 cov G1 s2 cov G2 s3 cov G3 計(jì)算協(xié)方差陣s n1 1 s1 n2 1 s2 n3 1 s3 n k 聯(lián)合協(xié)方差矩陣M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 計(jì)算統(tǒng)計(jì)量T觀測(cè)值C chi2inv 0 95 f 卡方分布0 05上分位數(shù)CifT chi2inv 0 95 f disp 三組數(shù)據(jù)協(xié)方差相等 elsedisp 三組數(shù)據(jù)協(xié)方差不全相等 end 輸出結(jié)果 T 20 0037 C 31 4104 T C 3組數(shù)據(jù)協(xié)方差相等 42 2 基于協(xié)方差矩陣相等 構(gòu)造Bayes線性判別函數(shù) 計(jì)算線性判別函數(shù) 按取值最大歸屬樣品fori 1 2w 1 m1 inv s x i 1 2 m1 inv s m1 log p1 w 2 m2 inv s x i 1 2 m2 inv s m2 log p2 w 3 m3 inv s x i 1 2 m3 inv s m3 log p3 計(jì)算線性判別函數(shù)forj 1 3ifw j max w disp 待判樣品屬于第 num2str j 類城市 endendend輸出結(jié)果 1號(hào)待判樣品屬于第3類城市2號(hào)待判樣品屬于第2類城市 43 n11 0 n22 0 n33 0 初始誤判率fori 1 n1 計(jì)算G1總體樣本線性判別函數(shù)結(jié)果w1 i 1 m1 inv s G1 i 1 2 m1 inv s m1 log p1 w1 i 2 m2 inv s G1 i 1 2 m2 inv s m2 log p2 w1 i 3 m3 inv s G1 i 1 2 m3 inv s m3 log p3 forj 1 3 計(jì)算G1總體中誤判個(gè)數(shù)ifw1 i j max w1 i endendend 3 計(jì)算回代誤判率 w1 i j 取最大且j不為1 xi判錯(cuò)誤判個(gè)數(shù) 計(jì)算G1總體中誤判個(gè)數(shù) 44 fori 1 n2w2 i 1 m1 inv s G2 i 1 2 m1 inv s m1 log p1 w2 i 2 m2 inv s G2 i 1 2 m2 inv s m2 log p2 w2 i 3 m3 inv s G2 i 1 2 m3 inv s m3 log p3 forj 1 3ifw2 i j max w2 i end 計(jì)算G2總體中誤判個(gè)數(shù)endend 3 計(jì)算回代誤判率 計(jì)算G2總體樣本線性判別函數(shù)結(jié)果 45 fori 1 n3 計(jì)算G3總體樣本線性判別函數(shù)結(jié)果w3 i 1 m1 inv s G3 i 1 2 m1 inv s m1 log p1 w3 i 2 m2 inv s G3 i 1 2 m2 inv s m2 log p2 w3 i 3 m3 inv s G3 i 1 2 m3 inv s m3 log p3 forj 1 3ifw3 i j max w3 i endendendp00 n11 n22 n33 n1 n2 n3 計(jì)算回代誤判率 輸出結(jié)果 p00 0誤判率0 效果好 46 N11 0 N22 0 N33 0 初始誤判率0fork 1 n1 總體G1誤判率A G1 1 k 1 k 1 n1 N1 length A 1 M1 mean A 1 s11 cov A S1 N1 1 s11 n2 1 s2 n3 1 s3 N1 n2 n3 k P01 N1 n 1 P02 n2 n 1 P03 n3 n 1 先驗(yàn)概率按比例 4 計(jì)算交叉誤判率 47 fori 1 n1 計(jì)算G1總體樣本線性判別函數(shù)結(jié)果W1 i 1 M1 inv S1 G1 i 1 2 M1 inv S1 M1 log P01 W1 i 2 m2 inv S1 G1 i 1 2 m2 inv S1 m2 log P02 W1 i 3 m3 inv S1 G1 i 1 2 m3 inv S1 m3 log P03 forj 1 3 計(jì)算G1總體樣本交叉誤判率結(jié)果ifW1 i j max W1 i endendendend w1 i j 取最大且j不為1 G1總體中樣本xi判錯(cuò) 誤判個(gè)數(shù)加2 48 fork 1 n2B G2 1 k 1 k 1 n2 N2 length B 1 M2 mean B 1 s22 cov B S2 n1 1 s1 N2 1 s22 n3 1 s3 n1 N2 n3 k 計(jì)算混合樣本協(xié)方差P01 n1 n 1 P02 N2 n 1 P03 n3 n 1 計(jì)算先驗(yàn)概