Bayes決策方法

1、模模式識(shí)別式識(shí)別Pattern Classification第三章第三章: Bayes決策方法決策方法Applied Pattern Recognition CSE6163Bayes決策方法決策方法原理根據(jù)Bayes決策理論，由先驗(yàn)知識(shí)來(lái)推斷后驗(yàn)概率保證錯(cuò)誤概率最小或風(fēng)險(xiǎn)最小Applied Pattern Recognition CSE6164Bayes決策方法決策方法先驗(yàn)知識(shí)先驗(yàn)概率P(i )類概率密度P( X / i ) 1)(1ciiP1)/(dxXPiApplied Pattern Recognition CSE6165Bayes決策方法決策方法根據(jù)考慮問(wèn)題的角度Bayes決策法最小錯(cuò)

2、誤概率的Bayes決策法最小風(fēng)險(xiǎn)的Bayes決策法Applied Pattern Recognition CSE6166最小錯(cuò)誤概率的最小錯(cuò)誤概率的Bayes決策決策一維二類情況設(shè)兩類模式分別1 和2，其類概率密度分別為P(x / 1)和 P(x / 2),先驗(yàn)概率為P(1)和 P(2)P ( x / 1 )P ( x / 2 ) x Applied Pattern Recognition CSE6167最小錯(cuò)誤概率的Bayes決策一維二類情況顯然：由Bayes公式（聯(lián)合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxPApplied Pat

3、tern Recognition CSE6168一維二類情況則后驗(yàn)概率同理可得 其中最小錯(cuò)誤概率的Bayes決策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxPApplied Pattern Recognition CSE6169最小錯(cuò)誤概率的Bayes決策一維二類情況合理的決策為：對(duì)待識(shí)樣本x 若P( 1 / x ) P( 2 / x ) ，則判x1類若P( 2 / x ) P( 1 / x ) ，則判x類Applied Pattern Recognition CSE61610最小錯(cuò)誤概率的Bayes決策一維二類

4、情況上述決策等價(jià)于：對(duì)待識(shí)樣本x 若P(x / 1) P( 1 ) P( x / 2 ) P( ) ，則判x1類若P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，則判x類即由先驗(yàn)知識(shí)推斷后驗(yàn)概率Applied Pattern Recognition CSE61611最小錯(cuò)誤概率的Bayes決策一維二類情況或： ，則判 x1 類上述分類準(zhǔn)則稱為Bayes決策準(zhǔn)則)()()/()/(1221PPxPxP似然比似然比Applied Pattern Recognition CSE61612最小錯(cuò)誤概率的Bayes決策特殊情況下，若P( 1 ) = P( ) ，則分類決策完全由類概

5、率密度函數(shù)決定。 即： 若P( x / 1) P( x / 2 ) ， 則判x1類 若P( x / 2) P( x / 1 ) ， 則判x類Applied Pattern Recognition CSE61613最小錯(cuò)誤概率的Bayes決策以魚(yú)自動(dòng)分類為例，假設(shè)僅選取魚(yú)的長(zhǎng)度作為特征，則兩類魚(yú)的類概率密度函數(shù)P(x / 1) 和 P( x / 2 ) 如下：Applied Pattern Recognition CSE61614最小錯(cuò)誤概率的Bayes決策類概率密度來(lái)源來(lái)統(tǒng)計(jì)直方圖類概率密度來(lái)源來(lái)統(tǒng)計(jì)直方圖鱸鱸 魚(yú)魚(yú)鮭鮭 魚(yú)魚(yú)Applied Pattern Recognition CSE616

6、15最小錯(cuò)誤概率的Bayes決策兩條曲線描述了兩類魚(yú)的長(zhǎng)度區(qū)別概率密度函數(shù)已歸一化，因此每條曲線下的面積為，即：1)/(1)/(21dxxPdxxPApplied Pattern Recognition CSE61616最小錯(cuò)誤概率的Bayes決策若先驗(yàn)概率P( 1 ) =2/3，P( )=1/3，則其后驗(yàn)概率P( 1 / x ) 和 P( 2 / x )如下圖所示特征值特征值x=14的模式如何分的模式如何分類？類？0.920.08Applied Pattern Recognition CSE61617最小錯(cuò)誤概率的Bayes決策錯(cuò)誤概率最??？錯(cuò)誤概率P ( x / 1 ) P ( 1 )P

7、( x / 2 ) P ( 2 ) x R1R221)()/()()/(1122RRedxPxPdxPxPPApplied Pattern Recognition CSE61618最小錯(cuò)誤概率的Bayes決策錯(cuò)誤概率最??？無(wú)論判別從哪個(gè)方向調(diào)整，均導(dǎo)致錯(cuò)誤概率的增加！P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R2Applied Pattern Recognition CSE61619最小錯(cuò)誤概率的Bayes決策多類多維情況 設(shè)= 1， 2， ， c 是 C 個(gè)類別狀態(tài)的有限集合，X = x1， x2， ， xd T 是 d 維特征向量， P( x /

8、 i ) 為第 i 類的類概率密度函數(shù)，P( i ) 為第 i 類的先驗(yàn)概率，則有： 其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(Applied Pattern Recognition CSE61620最小錯(cuò)誤概率的Bayes決策多類多維情況Bayes決策準(zhǔn)則為：類則判其中或若ijjiiji：CjPXPPXPXPXP , 2 , 1,)()/(max)()/(:)/(max)/(:Applied Pattern Recognition CSE61621最小錯(cuò)誤概率的Bayes決策舉例 設(shè)某地區(qū)細(xì)胞識(shí)別中正常(1)和異常(2) 兩類的先驗(yàn)概率分別為： P(1)=

9、0.9 P(2)=0.1 且知1和2 兩類的類概率密度函數(shù)為P(x/1)和P(x/2) 現(xiàn)有一待識(shí)細(xì)胞其特征值為x，從概率密度函數(shù)曲線查得： P(x/1)=0.2 P(x/2)=0.4 試用Bayes決策準(zhǔn)則對(duì)待識(shí)樣本進(jìn)行分類。Applied Pattern Recognition CSE61622最小錯(cuò)誤概率的Bayes決策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可見(jiàn)： P(x/1) P(1 P(x/2) P(2)由Bayes決策準(zhǔn)則得： x 1 類，為正常細(xì)胞Applied Pattern Recognition CSE61623最小

10、風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念基于最小錯(cuò)誤概率的Bayes決策，僅考慮如何保證錯(cuò)誤概率最小，而未考慮決策所帶來(lái)的損失。例如： 自動(dòng)滅火系統(tǒng)，乙肝診斷，魚(yú)的分類等，則應(yīng)考慮錯(cuò)判造成的損失?？衫脹Q策論的理論和方法來(lái)解決上述問(wèn)題。Applied Pattern Recognition CSE61624最小風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念設(shè)=1， 2， ， c 表示 c 個(gè)有限的類別狀態(tài)的集合， A=a1， a2， ， ak 表示 k 個(gè)有限的決策（行為）的集合則定義 為模式自然狀態(tài)為j 時(shí)，采取決策 ai 所造成的損失)/(jiaApplied Pattern Recognition

11、 CSE61625最小風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念例如，對(duì)于細(xì)胞正?；虍惓５姆诸悊?wèn)題，可得如下?lián)p失表1（正常）2（異常）a1（正常）11 = 0 12 = 10a2 （異常）21 = 222 = 0自然狀態(tài)自然狀態(tài)損失損失決策決策Applied Pattern Recognition CSE61626最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）設(shè)P(j)是自然狀態(tài)為j的先驗(yàn)概率， X為d維特征向量，則由Bayes決策理論知，后驗(yàn)概率：由于每一類后驗(yàn)概率P( X )均相同，可將其視為一標(biāo)量因子)()/()()()/()/(jjjjjPXPXPPXPXPApplied Patte

12、rn Recognition CSE61627最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）假定我們觀測(cè)某個(gè)特定模式 X 并且采取行為 ai ，如果真實(shí)的類別狀態(tài)為j ，通過(guò)定義我們將有損失 (ai /j)顯然，與行為 ai 相關(guān)的總的損失為)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaRApplied Pattern Recognition CSE61628最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）上式稱為作出決策ai 的風(fēng)險(xiǎn)函數(shù)，簡(jiǎn)記為：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,.,2 , 1)/()(1Appl

13、ied Pattern Recognition CSE61629最小風(fēng)險(xiǎn)（損失）的Bayes決策決策過(guò)程當(dāng)待識(shí)樣本 X 到來(lái)時(shí)，將其判為各類所帶來(lái)的風(fēng)險(xiǎn)分別為R1(X)， R2(X) ， ， Rc(X) 則基于最小風(fēng)險(xiǎn)的Bayes決策準(zhǔn)則為： 類則判其中或若ijjijiji：CjPXPXRXRXR , 2 , 1,)()/(min)(:)(min)(:Applied Pattern Recognition CSE61630最小風(fēng)險(xiǎn)（損失）的Bayes決策問(wèn)題：如何合理、科學(xué)、準(zhǔn)確地定義ij ?帶有主觀因素Applied Pattern Recognition CSE61631最小風(fēng)險(xiǎn)（損失）的

14、Bayes決策特殊情況：兩類問(wèn)題 則基于最小風(fēng)險(xiǎn)（損失）的Bayes決策為： 若R1(X) R2(X)，則 判 X 1 類)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXRApplied Pattern Recognition CSE61632最小風(fēng)險(xiǎn)（損失）的Bayes決策特殊情況：兩類問(wèn)題上述決策等價(jià)于：對(duì)待識(shí)樣本x若：，則判 x1 類 aPPXPXP)()()()()/()/(111212221221似然比似然比Applied Pattern Recognition CSE61633最小風(fēng)險(xiǎn)（損失）的Bayes決策Appl

15、ied Pattern Recognition CSE61634最小風(fēng)險(xiǎn)（損失）的Bayes決策特殊情況：兩類問(wèn)題 若： 12 -22 = 21 -11，即對(duì)稱損失，則最小風(fēng)險(xiǎn)Bayes決策與最小錯(cuò)誤概率Bayes決策是等價(jià)的。 Applied Pattern Recognition CSE61635最小風(fēng)險(xiǎn)（損失）的Bayes決策例： 1(乙肝) 2(健康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 試分別用最小風(fēng)險(xiǎn)和最小錯(cuò)誤概率Bayes決策對(duì)模式X分類Applied Pattern Reco

16、gnition CSE61636最小風(fēng)險(xiǎn)（損失）的Bayes決策解：最小錯(cuò)誤概率Bayes決策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可見(jiàn)： P(x/1) P(1） gj(x) j i則判待識(shí)樣本 x 屬于 i類Applied Pattern Recognition CSE61643分類器、判別函數(shù)與判別界對(duì)最小錯(cuò)誤概率Bayes決策 gi(x) = P( i / x) 或 gi(x) = P(x / i) P( i) gi(x) = ln P(x / i) + ln P( i) 對(duì)最小風(fēng)險(xiǎn)Bayes決策 gi(x) = - R(

17、i / x)Applied Pattern Recognition CSE61644分類器、判別函數(shù)與判別界基于判別函數(shù)的分類器基于判別函數(shù)的分類器Applied Pattern Recognition CSE61645分類器、判別函數(shù)與判別界上述判別函數(shù)將特征空間劃分為c 個(gè)判別區(qū)域 R1 , R2 , , Rc 各個(gè)判別區(qū)域滿足： 如果 gi(x) gj(x) j i 則 x 位于判別區(qū)域 RiApplied Pattern Recognition CSE61646分類器、判別函數(shù)與判別界R1R2R3R4g1(X)g4(X)g3(X)g2(X)Applied Pattern Recogni

18、tion CSE61647分類器、判別函數(shù)與判別界兩類情況分類器僅需考慮兩個(gè)判別函數(shù)g1(x)和 g2 (x) 定義：g(x) g1(x) g2(x)= P(x / 1) P( 1) - P(x / 2) P( 2 ) 基于判別函數(shù)的決策為： 如果 g(x) 0，則 x 屬于 1 類; 若 g(x) 0， 則 x 屬于 2 類 Applied Pattern Recognition CSE61648分類器、判別函數(shù)與判別界兩類情況g(X)0g(X)0Applied Pattern Recognition CSE61649正態(tài)分布條件下的Bayes決策 一維正態(tài)分布 均值： 方差： 一維正態(tài)分布

19、可以簡(jiǎn)寫(xiě)為： 221exp 21)(xxPdxxxpxE)(dxxpxxE)()()(222),()(2NxpApplied Pattern Recognition CSE61650正態(tài)分布條件下的Bayes決策一維正態(tài)分布的統(tǒng)計(jì)特性 95%的樣本落在 2 范圍內(nèi)99%的樣本落在 3 范圍內(nèi)越小，樣本分布越集中，反之越發(fā)散1)(dxxpApplied Pattern Recognition CSE61651正態(tài)分布條件下的Bayes決策一維正態(tài)分布一維正態(tài)分布Applied Pattern Recognition CSE61652正態(tài)分布條件下的Bayes決策多維正態(tài)分布 設(shè) d 維特征向量

20、則 d 維正態(tài)分布定義為：簡(jiǎn)記為：TdxxxX,21)()(21exp)2(1)(1212XXXpTd),()(NXpApplied Pattern Recognition CSE61653正態(tài)分布條件下的Bayes決策多維正態(tài)分布其中： 稱為均值向量，反映了樣本在d維特征空間的重心位置。 21XEdApplied Pattern Recognition CSE61654正態(tài)分布條件下的Bayes決策多維正態(tài)分布 i 反映了樣本在特征空間第 i 個(gè)方向的重心位置iiiiidxxpxxE)(diiidxdxdxdxdxXpxp1121)()(邊緣概率分布邊緣概率分布Applied Pattern

21、 Recognition CSE61655正態(tài)分布條件下的Bayes決策多維正態(tài)分布 稱為協(xié)方差矩陣。)(222212222222121212211TddddddXXEApplied Pattern Recognition CSE61656正態(tài)分布條件下的Bayes決策jijijjiijjiiijdxdxxxpxxxxE),()()(2多維正態(tài)分布 當(dāng)i=j時(shí)， ij反映樣本在d維特征空間各方向的發(fā)散程度；當(dāng)ij時(shí)， ij反映各特征間的統(tǒng)計(jì)相關(guān)性。 Applied Pattern Recognition CSE61657正態(tài)分布條件下的Bayes決策設(shè)各類樣本的類概率密度均滿足正態(tài)分布，即根據(jù)

22、最小錯(cuò)誤概率Bayes決策準(zhǔn)則有：若判別函數(shù) 則判 x i )()(21exp)2(1)/(1212iiTiidiXXXp)()/(max)()/()(jjiiipXppXpXgApplied Pattern Recognition CSE61658正態(tài)分布條件下的Bayes決策 為了分析方便，現(xiàn)取判別函數(shù)的自然對(duì)數(shù)（單調(diào)增函數(shù)），即令： 下面分三種情況進(jìn)行討論)(ln)()(21ln212ln2)(ln)/(ln)()/(ln)(1iiiTiiiiiiipXXdpXppXpXgApplied Pattern Recognition CSE61659正態(tài)分布條件下的Bayes決策情況一各類協(xié)方

23、差矩陣相同， i j 各特征統(tǒng)計(jì)獨(dú)立，即：， ij且，i=j 即02ij22ij222000000Applied Pattern Recognition CSE61660正態(tài)分布條件下的Bayes決策情況一此時(shí)，且其中：I2I211100010001I單位矩陣單位矩陣Applied Pattern Recognition CSE61661正態(tài)分布條件下的Bayes決策情況一則判別函數(shù)：此時(shí)的Bayes決策等價(jià)為：若要將待識(shí)樣本X進(jìn)行分類，則只需計(jì)算X到各類樣本均值向量i 的歐氏距離，再將X歸類到距離最近的類別，此時(shí)的分類器稱為最小距離分類器。)(ln2)(ln2)()()(222iiiiTii

24、pXpXXXg歐氏距離歐氏距離Applied Pattern Recognition CSE61662正態(tài)分布條件下的Bayes決策情況一均值向量均值向量 均值向量均值向量 2 待識(shí)樣本待識(shí)樣本 最小距離分類器最小距離分類器Applied Pattern Recognition CSE61663正態(tài)分布條件下的Bayes決策022 )(ln)2(21 )(ln2)()()(iTiiiTiTiTiiTiiXpXXXpXXXg情況一由于：XXTiTi21與類別與類別無(wú)關(guān)，無(wú)關(guān)，可不考可不考慮慮0iApplied Pattern Recognition CSE61664正態(tài)分布條件下的Bayes決策

25、情況一故：稱gi(x)為線性判別函數(shù)，相應(yīng)的分類器為線性分類器。0)(iTiiXXgApplied Pattern Recognition CSE61665正態(tài)分布條件下的Bayes決策情況一)()(jippApplied Pattern Recognition CSE61666情況一)()(jippApplied Pattern Recognition CSE61667正態(tài)分布條件下的Bayes決策情況二各類方差相同，即 則 其中 稱為樣本X與正態(tài)分布模式類的馬氏距離（Mahalanobis距離）。 當(dāng)待識(shí)別的樣本X到來(lái)時(shí)，分別計(jì)算樣本X與各個(gè)模式類的馬氏距離，并將X分類到馬氏距離最近的模式類中。 ji)(ln)()(21)(1iiTiipXXXg)()(1iTiXXApplied Pattern Recognition CSE61668正態(tài)分布條件下的Bayes決策情況二可以證明，此時(shí)判別函數(shù)仍滿足線性關(guān)系，即：分類器仍為線性分類器0)(iTiiXxgApplied Pattern Recognition CSE61669正態(tài)分布條件下的Bayes決策情況三各類協(xié)方差矩陣各不相同，即：分類器為非線性分類器（二次型分類器）01)(ln)()(21ln21)(iTiiT