ch貝葉斯分類學習教案

1、會計學1ch貝葉斯分類貝葉斯分類第一頁，編輯于星期六：一點 四十九分。第二章第二章 貝葉斯決策理論貝葉斯決策理論n2.1 引言引言n2.2 基于最小錯誤率的基于最小錯誤率的Bayes決策決策n2.3 基于最小風險的基于最小風險的Bayes決策決策n2.4 正態(tài)分布的最小錯誤率正態(tài)分布的最小錯誤率Bayes決策決策n2.5 Neuman-Pearson 決策決策 n2.6 最小最大決策最小最大決策 第1頁/共72頁第二頁，編輯于星期六：一點 四十九分。2.1 引言第2頁/共72頁第三頁，編輯于星期六：一點 四十九分。2.1 引言第3頁/共72頁第四頁，編輯于星期六：一點 四十九分。2.1 引言第

2、4頁/共72頁第五頁，編輯于星期六：一點 四十九分。醫(yī)生掌握的知識非常充分，他知道類別的先驗分布：先驗分布：沒有獲得觀測數(shù)據(jù)（病人白細胞濃度）之前類別的分布。2.1 引言n數(shù)學表示：用數(shù)學表示：用 表示表示“類別類別”這一隨機變量，這一隨機變量， 表示患病，表示患病， 表示不患病；表示不患病；X 表示表示“白細胞濃白細胞濃度度”這個隨機變量，這個隨機變量，x 表示濃度值。表示濃度值。12第5頁/共72頁第六頁，編輯于星期六：一點 四十九分。醫(yī)生掌握的知識非常充分，他知道觀測數(shù)據(jù)白細胞濃度分別在兩種情況下的類條件分布：2.1 引言p(x|1)p(x|2)類條件概率密度函數(shù)第6頁/共72頁第七頁，

3、編輯于星期六：一點 四十九分。2.1 引言第7頁/共72頁第八頁，編輯于星期六：一點 四十九分。( )(| )iigPxxn以以后驗概率后驗概率為判決函數(shù)：為判決函數(shù)：n決策規(guī)則：決策規(guī)則：argmax(| )iijPx2.2 Bayes最小錯誤率決策若 P (1 / x) P (2 / x) 則判 x 1 若 P (2 / x) P (1 / x) 則判 x 2第8頁/共72頁第九頁，編輯于星期六：一點 四十九分。(, )(| )( )() ( |) () ( |)iiiijjjPPpPpPpxxxxx第9頁/共72頁第十頁，編輯于星期六：一點 四十九分。第10頁/共72頁第十一頁，編輯于星

4、期六：一點 四十九分。11121() ( |)0.90.2(| )0.8180.90.20.1 0.4() ( |)jjjPpPPpxxx22221() ( |)0.40.1(| )0.1820.20.90.40.1() ( |)jjjPpPPpxxxargmax(| )1iijPx1x第11頁/共72頁第十二頁，編輯于星期六：一點 四十九分。p(x|1)p(x|2)p(1|x)p(2|x)類條件概率密度函數(shù)后驗概率2.2 Bayes最小錯誤率決策第12頁/共72頁第十三頁，編輯于星期六：一點 四十九分。 第13頁/共72頁第十四頁，編輯于星期六：一點 四十九分。2.2 Bayes最小錯誤率決

5、策第14頁/共72頁第十五頁，編輯于星期六：一點 四十九分。第15頁/共72頁第十六頁，編輯于星期六：一點 四十九分。二維時，決策邊界為一曲線；三維時，決策邊界為一曲面；d維(d3)時，決策邊界為一超曲面。一維時，決策邊界為一分界點； ( )( )ijg xgx 第16頁/共72頁第十七頁，編輯于星期六：一點 四十九分。.x1x2xna(x)n多類識別問題的多類識別問題的Bayes最小錯誤率決策：最小錯誤率決策：gi(x) = P (i |x)第17頁/共72頁第十八頁，編輯于星期六：一點 四十九分。( | )P e x( )( ( | )( | ) ( )P eE P eP epdxxxx（

6、平均）錯誤率是條件錯誤率的數(shù)學期望n（平均）錯誤率：（平均）錯誤率：第18頁/共72頁第十九頁，編輯于星期六：一點 四十九分。n條件錯誤率條件錯誤率P(e|x)的計算:以兩類問題為例，當獲得觀測值x后，有兩種決策可能：判定 x1 ，或者x2。n條件錯誤率為：211122(| )1(| )( | )(| )1(| ) min (| ) xxxxxxxxiiPPP ePPP 若決定若決定第19頁/共72頁第二十頁，編輯于星期六：一點 四十九分。1221( )(,)(,)P eP xRP xR212121() (|)() (|)PP xRPP xR1222112211() ( |)() ( |)()

7、( )()( )RRPp xdxPp xdxPP ePP e第20頁/共72頁第二十一頁，編輯于星期六：一點 四十九分。t第21頁/共72頁第二十二頁，編輯于星期六：一點 四十九分。nBayesBayes最小錯誤率決策最小錯誤率決策使得每個觀測值下的條件錯誤率最小因而保證了（平均）錯誤率最小。nBayesBayes決策決策是一致最優(yōu)決策。第22頁/共72頁第二十三頁，編輯于星期六：一點 四十九分。決策規(guī)則(| )argmax(| )xxijjPP如果 ，則xi錯誤率特種空間分割成 個區(qū)域，平均錯誤率由c(c-1)項組成。12,c 第23頁/共72頁第二十四頁，編輯于星期六：一點 四十九分。決策

8、規(guī)則(| )argmax(| )xxijjPP如果 ，則xi錯誤率特種空間分割成 個區(qū)域，平均錯誤率由c(c-1)項組成。12,c 此時，可以計算平均正確分類概率 p(c), 則p(e) =1- p(c)第24頁/共72頁第二十五頁，編輯于星期六：一點 四十九分。2.3 基于最小風險的Bayes決策第25頁/共72頁第二十六頁，編輯于星期六：一點 四十九分。n損失的定義：(N類問題)做出決策 D(x) = ，但實際上 xj，受到的損失定義為：(,) 1,2, ,1,2,ijia jc i第26頁/共72頁第二十七頁，編輯于星期六：一點 四十九分。argmin(| )argmin(,) (| )

9、xxijjjijjjRP 決策規(guī)則：2.3 基于最小風險的Bayes決策風險R（期望損失）：對x采取一個判決行動所付出的代價。條件風險（也叫條件期望損失）：11 2()()() (), ,., .ciijijjjRxEPx ia 第27頁/共72頁第二十八頁，編輯于星期六：一點 四十九分。2.3 基于最小風險的Bayes決策第28頁/共72頁第二十九頁，編輯于星期六：一點 四十九分。11222212211112( |)() ()( ) if ( |)() ()( ) otherwise p xPD xp xPD x等價形式為若 (21-11) p(x| 1) p(1) (12- 22) p(x

10、|2) p(2) ，則選擇 1 11111222211222(| )(| )(| )(| )(| )(| )RxPxPxRxPxPx第29頁/共72頁第三十頁，編輯于星期六：一點 四十九分。n按最小風險決策如何對細胞x進行分類？第30頁/共72頁第三十一頁，編輯于星期六：一點 四十九分。21112212222111(| )(| )(| )1.092(| )(| )(| )0.818xxxxxxjjjjjjRPPRPPargmin(| )2xiijR第31頁/共72頁第三十二頁，編輯于星期六：一點 四十九分。,1( , ) ,1,2,1( , ) 0i ji ji jNiji jij 決策正確時

11、，損失為0決策錯誤時，損失為1第32頁/共72頁第三十三頁，編輯于星期六：一點 四十九分。第33頁/共72頁第三十四頁，編輯于星期六：一點 四十九分。 222221()( )exp()22( )()()( )xp xE xxp x dxExxp x dx第34頁/共72頁第三十五頁，編輯于星期六：一點 四十九分。1121/2/212121( )exp()()(2 )(,.,)( )(,.,) ,()()()()()()TnTnTniiTijn nijiijjpx xxEE xEExx xxxxxx x第35頁/共72頁第三十六頁，編輯于星期六：一點 四十九分。第36頁/共72頁第三十七頁，編輯

12、于星期六：一點 四十九分。( |)(,)1,2,.,iiipNicx11122( )ln( ( |) ()()()lnln ()ln22iiiTiiiiigpPdP xxxx判別函數(shù)中與類別i無關(guān)的項，對于類別的決策沒有影響，可以忽略。第37頁/共72頁第三十八頁，編輯于星期六：一點 四十九分。第38頁/共72頁第三十九頁，編輯于星期六：一點 四十九分。2, ()(), ,1,2,.,iijI PPi jc n判別函數(shù)的簡化計算：判別函數(shù)的簡化計算：22211( )() ()22Tiiiig xxxx020221( )(2)211,2TTTiiiiiiTiiiiigww x x w xw 協(xié)方

13、差相等且具有相同的方差第39頁/共72頁第四十頁，編輯于星期六：一點 四十九分。0()0Twxx1()ij w01()2ijx最小距離分類器與線性分類器2, ()(), ,1,2,.,iijI PPi jc 協(xié)方差相等且具有相同的方差第40頁/共72頁第四十一頁，編輯于星期六：一點 四十九分。2, ()(), ,1,2,.,iijI PPi jc 協(xié)方差相等且具有相同的方差12WH時決策面)()(21PP124334H23H14H12H1121x2xHW20 x第41頁/共72頁第四十二頁，編輯于星期六：一點 四十九分。,()(), ,1,2,.,iijPPi jc 協(xié)方差陣相等0()0Twx

14、x1()ij w01()2ijx第42頁/共72頁第四十三頁，編輯于星期六：一點 四十九分。,()(), ,1,2,.,iijPPi jc n判別函數(shù)的簡化計算：判別函數(shù)的簡化計算：12( )()()( ,)Tiiiigm xxxx 0110( )1,2TiiiTiiiiigww xw xw協(xié)方差陣相等第43頁/共72頁第四十四頁，編輯于星期六：一點 四十九分。1122ln( ( |) ()ln( ( |) ()pPpPxx11111211221()()02TTxxx第44頁/共72頁第四十五頁，編輯于星期六：一點 四十九分。0( )TTiiiigWwxxxw x第45頁/共72頁第四十六頁，

15、編輯于星期六：一點 四十九分。第46頁/共72頁第四十七頁，編輯于星期六：一點 四十九分。第47頁/共72頁第四十八頁，編輯于星期六：一點 四十九分。第48頁/共72頁第四十九頁，編輯于星期六：一點 四十九分。第49頁/共72頁第五十頁，編輯于星期六：一點 四十九分。第50頁/共72頁第五十一頁，編輯于星期六：一點 四十九分。Bayes分類的算法（假定各類樣本服從正態(tài)分布）第51頁/共72頁第五十二頁，編輯于星期六：一點 四十九分。v例1、有訓練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=5、N2=4、n=2、M=2，試問，X=(0,0)T應屬于哪一類？1112131 1 0 1 1055()

16、,XX 訓練樣本號訓練樣本號k1 2 3 4 5 1 2 3 4 特征特征 x1特征特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2類別類別1 2 1111222122111211212122370054210033100104,( , ) ,( ,) .:,(TTTTXXXXXXCCCC 協(xié)協(xié)方方差差矩矩陣陣為為請請看看協(xié)協(xié)方方差差的的計計算算方方法法）解解1、假定二類協(xié)方差矩陣不等（、假定二類協(xié)方差矩陣不等（12） 則均值則均值:第52頁/共72頁第五十三頁，編輯于星期六：一點 四十九分。51111111112222251112121212211

17、512122222112151110100010101410413410210033100104() ()()()()()()()(), ()(),TkkkTkkkTkkkCxxxxCxxxxCCCxxxx 協(xié)協(xié)方方差差矩矩陣陣為為(計計算算方方法法同同上上）1111212211221030310 592101060043540 22399,ln.():(),(),ln.()PPPP 先先驗驗概概率率第53頁/共72頁第五十四頁，編輯于星期六：一點 四十九分。21111122121112221122102( )( )( )(xx )(xx )(xx )(xx )()lnln()TTg xgxg

18、 xPxP 利利用用公公式式：121221222212220 010 9100 01201810 9102313 5114 8112 88x(,)( , )( )., ( , )( ).(. ).TTTx xg xXg xxxxxx 將將代代入入得得：所所以以判判屬屬于于類類。令令得得分分界界線線方方程程為為：這這是是一一個個非非線線性性橢橢圓圓方方程程：1162. 0-1-1-2x2分類線1 2 待測樣本x1第54頁/共72頁第五十五頁，編輯于星期六：一點 四十九分。111121112212112 68020 0()( )(xx )x(xxxx )ln.()x( , )TTTTPg xP 故

19、故應應把把判判為為類類，得：所以代入Tx0 , 0,11200053,20110035121 22472 680110 61( ).g xxx 分分界界線線方方程程為為從從而而得得為為一一直直線線，如如圖圖中中虛虛線線所所示示1162. 0-1-1-2x2分類線1 2 待測樣本x1第55頁/共72頁第五十六頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 0 0 第56頁/共72頁第五十七頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 n 這種決策可看成是在這種決策可看成是在 條件下，求條件下，求 的條件極小值問題的條件極小值問

20、題. 可采用拉格朗日乘數(shù)法求解可采用拉格朗日乘數(shù)法求解.20( )P e 1( )P eF = P1 ( e ) +(P2 ( e ) -0 )211( )()RP ep xdx 122( )()RP ep xdx 111()Rp xdx 10211 ()()()RFp xp xdx 11()()PP x 22()()PP x 1R2X1X12R第57頁/共72頁第五十八頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 n 這種決策可看成是在這種決策可看成是在 條件下，求條件下，求 的條件極小值問題的條件極小值問題. 可采用拉格朗日乘數(shù)法求解可采用拉格朗日乘數(shù)法

21、求解.20( )P e 1( )P e10211 ()()()RFp xp xdx 121,. FRPxPx 要要使使最最小小 應應使使積積分分為為負負因因此此在在區(qū)區(qū)域域內(nèi)內(nèi)應應使使， 1121112(,P xxRxP x 即即l l在在區(qū)區(qū)域域?qū)賹儆谟陬愵悾┑?8頁/共72頁第五十九頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 n 這種決策可看成是在這種決策可看成是在 條件下，求條件下，求 的條件極小值問題的條件極小值問題. 可采用拉格朗日乘數(shù)法求解可采用拉格朗日乘數(shù)法求解.20( )P e 1( )P e01212() ()-()RFp xp xdx

22、第59頁/共72頁第六十頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 n 這種決策可看成是在這種決策可看成是在 條件下，求條件下，求 的條件極小值問題的條件極小值問題. 可采用拉格朗日乘數(shù)法求解可采用拉格朗日乘數(shù)法求解.20( )P e 1( )P e01212() ()-()RFp xp xdx 的求法:利用約束條件20 202122, (|)P ldl 第60頁/共72頁第六十一頁，編輯于星期六：一點 四十九分。 121 01 0,TT 22121112212222111()expexp2222111()expexp2222TTxxxxP xxxxxP

23、x因為是兩類正態(tài)所以同理：2.5 Neyman-Pearson 決策決策 解：第61頁/共72頁第六十二頁，編輯于星期六：一點 四十九分。 1121112222:() exp()expexpP xxP xxxx 如如右右圖圖所所示示 判判別別邊邊界界為為： 判判別別式式為為：2.5 Neyman-Pearson 決策決策 112212ln, xxx 即即有有了了判判別別邊邊界界和和判判別別形形式式對對于于不不同同判判別別邊邊界界是是平平行行于于 的的不不同同直直線線。111x122x4 2 12141345. 07 . 0345. 07 . 0第62頁/共72頁第六十三頁，編輯于星期六：一點

24、四十九分。2.5 Neyman-Pearson 決策決策 n 于是得與2的關(guān)系表如下： 4 2 1 20.04 0.09 0.16 0.25 0.38 2111 20 510 512/. lnexp. () d()xx 由已知,可計算得在 2中 x 1 N( 1, 1 ), 進一步可得第63頁/共72頁第六十四頁，編輯于星期六：一點 四十九分。2.5 Neyman-Pearson 決策決策 n 所以此時N-P分類器的分界線為：112120 3452ln.xx 所所以以0112122010 09220 09.(),.()P xxP x 給給定定由由表表查查得得判判別別式式為為：此此時時上上式式使

25、使 最最小小這這就就是是在在給給定定 時時使使 最最小小的的判判別別規(guī)規(guī)則則。第64頁/共72頁第六十五頁，編輯于星期六：一點 四十九分。2.6 最小最大決策最小最大決策 n從最小錯誤率和最小風險的貝葉斯決策中可以看出從最小錯誤率和最小風險的貝葉斯決策中可以看出,其決其決策都是與先驗概率策都是與先驗概率P(i)有關(guān)的有關(guān)的,當先驗概率已知時當先驗概率已知時,按照貝按照貝葉斯決策規(guī)則葉斯決策規(guī)則,可以使錯誤率或風險最小可以使錯誤率或風險最小,如果如果P(i)是可變的是可變的或事先對先驗概率毫無所知或事先對先驗概率毫無所知,就無法用貝葉斯決策就無法用貝葉斯決策.n本節(jié)介紹一種最小化最大風險的決策方

26、法本節(jié)介紹一種最小化最大風險的決策方法,也就是在最差也就是在最差的條件下的條件下,爭取最好的結(jié)果爭取最好的結(jié)果,我們將此方法簡稱我們將此方法簡稱最小最大決策最小最大決策.第65頁/共72頁第六十六頁，編輯于星期六：一點 四十九分。2.6 最小最大決策最小最大決策 1212()iRRRPRRxx P x dxRxx P x dxRxx P x dx 風風險險 與與關(guān)關(guān)系系： 121111122221112222RRPP xPP xdxPP xPP xdx 21121111RRPPP xdxP xdx 對對二二類類情情況況有有：， 2212212222111222111112222RRRRP xdxPP xdxP xdx 第66頁/共72頁第六十七頁，編輯于星期六：一點 四十九分。2.6 最小最大決策最小最大決策 121,().R RRP 一一旦旦被被確確定定，風風險險 就就是是的的線線性性函函數(shù)數(shù) 2211221222211222111112222RabPaP xdxbP xdxP xdx 其其中中：11()()PP x 22()()PP x 1R2X1X12R第67頁/共72頁第六十八頁，編輯于星期六：一點 四十九分。2.6 最小最大決策最小最大決策 212112221111122222212222110:aP xdxP xdxRaP xdxRPPR 即即這這時時候