Bayes決策方法

1、模模式識別式識別Pattern Classification第三章第三章: Bayes決策方法決策方法Applied Pattern Recognition CSE6163Bayes決策方法決策方法原理根據(jù)Bayes決策理論，由先驗知識來推斷后驗概率保證錯誤概率最小或風險最小Applied Pattern Recognition CSE6164Bayes決策方法決策方法先驗知識先驗概率P(i )類概率密度P( X / i ) 1)(1ciiP1)/(dxXPiApplied Pattern Recognition CSE6165Bayes決策方法決策方法根據(jù)考慮問題的角度Bayes決策法最小錯

2、誤概率的Bayes決策法最小風險的Bayes決策法Applied Pattern Recognition CSE6166最小錯誤概率的最小錯誤概率的Bayes決策決策一維二類情況設兩類模式分別1 和2，其類概率密度分別為P(x / 1)和 P(x / 2),先驗概率為P(1)和 P(2)P ( x / 1 )P ( x / 2 ) x Applied Pattern Recognition CSE6167最小錯誤概率的Bayes決策一維二類情況顯然：由Bayes公式（聯(lián)合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxPApplied Pat

3、tern Recognition CSE6168一維二類情況則后驗概率同理可得 其中最小錯誤概率的Bayes決策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxPApplied Pattern Recognition CSE6169最小錯誤概率的Bayes決策一維二類情況合理的決策為：對待識樣本x 若P( 1 / x ) P( 2 / x ) ，則判x1類若P( 2 / x ) P( 1 / x ) ，則判x類Applied Pattern Recognition CSE61610最小錯誤概率的Bayes決策一維二類

4、情況上述決策等價于：對待識樣本x 若P(x / 1) P( 1 ) P( x / 2 ) P( ) ，則判x1類若P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，則判x類即由先驗知識推斷后驗概率Applied Pattern Recognition CSE61611最小錯誤概率的Bayes決策一維二類情況或： ，則判 x1 類上述分類準則稱為Bayes決策準則)()()/()/(1221PPxPxP似然比似然比Applied Pattern Recognition CSE61612最小錯誤概率的Bayes決策特殊情況下，若P( 1 ) = P( ) ，則分類決策完全由類概

5、率密度函數(shù)決定。 即： 若P( x / 1) P( x / 2 ) ， 則判x1類 若P( x / 2) P( x / 1 ) ， 則判x類Applied Pattern Recognition CSE61613最小錯誤概率的Bayes決策以魚自動分類為例，假設僅選取魚的長度作為特征，則兩類魚的類概率密度函數(shù)P(x / 1) 和 P( x / 2 ) 如下：Applied Pattern Recognition CSE61614最小錯誤概率的Bayes決策類概率密度來源來統(tǒng)計直方圖類概率密度來源來統(tǒng)計直方圖鱸鱸 魚魚鮭鮭 魚魚Applied Pattern Recognition CSE616

6、15最小錯誤概率的Bayes決策兩條曲線描述了兩類魚的長度區(qū)別概率密度函數(shù)已歸一化，因此每條曲線下的面積為，即：1)/(1)/(21dxxPdxxPApplied Pattern Recognition CSE61616最小錯誤概率的Bayes決策若先驗概率P( 1 ) =2/3，P( )=1/3，則其后驗概率P( 1 / x ) 和 P( 2 / x )如下圖所示特征值特征值x=14的模式如何分的模式如何分類？類？0.920.08Applied Pattern Recognition CSE61617最小錯誤概率的Bayes決策錯誤概率最??？錯誤概率P ( x / 1 ) P ( 1 )P

7、( x / 2 ) P ( 2 ) x R1R221)()/()()/(1122RRedxPxPdxPxPPApplied Pattern Recognition CSE61618最小錯誤概率的Bayes決策錯誤概率最?。繜o論判別從哪個方向調(diào)整，均導致錯誤概率的增加！P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R2Applied Pattern Recognition CSE61619最小錯誤概率的Bayes決策多類多維情況 設= 1， 2， ， c 是 C 個類別狀態(tài)的有限集合，X = x1， x2， ， xd T 是 d 維特征向量， P( x /

8、 i ) 為第 i 類的類概率密度函數(shù)，P( i ) 為第 i 類的先驗概率，則有： 其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(Applied Pattern Recognition CSE61620最小錯誤概率的Bayes決策多類多維情況Bayes決策準則為：類則判其中或若ijjiiji：CjPXPPXPXPXP , 2 , 1,)()/(max)()/(:)/(max)/(:Applied Pattern Recognition CSE61621最小錯誤概率的Bayes決策舉例 設某地區(qū)細胞識別中正常(1)和異常(2) 兩類的先驗概率分別為： P(1)=

9、0.9 P(2)=0.1 且知1和2 兩類的類概率密度函數(shù)為P(x/1)和P(x/2) 現(xiàn)有一待識細胞其特征值為x，從概率密度函數(shù)曲線查得： P(x/1)=0.2 P(x/2)=0.4 試用Bayes決策準則對待識樣本進行分類。Applied Pattern Recognition CSE61622最小錯誤概率的Bayes決策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可見： P(x/1) P(1 P(x/2) P(2)由Bayes決策準則得： x 1 類，為正常細胞Applied Pattern Recognition CSE61623最小

10、風險（損失）的Bayes決策損失的概念基于最小錯誤概率的Bayes決策，僅考慮如何保證錯誤概率最小，而未考慮決策所帶來的損失。例如： 自動滅火系統(tǒng)，乙肝診斷，魚的分類等，則應考慮錯判造成的損失?？衫脹Q策論的理論和方法來解決上述問題。Applied Pattern Recognition CSE61624最小風險（損失）的Bayes決策損失的概念設=1， 2， ， c 表示 c 個有限的類別狀態(tài)的集合， A=a1， a2， ， ak 表示 k 個有限的決策（行為）的集合則定義 為模式自然狀態(tài)為j 時，采取決策 ai 所造成的損失)/(jiaApplied Pattern Recognition

11、 CSE61625最小風險（損失）的Bayes決策損失的概念例如，對于細胞正?；虍惓５姆诸悊栴}，可得如下?lián)p失表1（正常）2（異常）a1（正常）11 = 0 12 = 10a2 （異常）21 = 222 = 0自然狀態(tài)自然狀態(tài)損失損失決策決策Applied Pattern Recognition CSE61626最小風險（損失）的Bayes決策風險函數(shù)（損失函數(shù)）設P(j)是自然狀態(tài)為j的先驗概率， X為d維特征向量，則由Bayes決策理論知，后驗概率：由于每一類后驗概率P( X )均相同，可將其視為一標量因子)()/()()()/()/(jjjjjPXPXPPXPXPApplied Patte

12、rn Recognition CSE61627最小風險（損失）的Bayes決策風險函數(shù)（損失函數(shù)）假定我們觀測某個特定模式 X 并且采取行為 ai ，如果真實的類別狀態(tài)為j ，通過定義我們將有損失 (ai /j)顯然，與行為 ai 相關的總的損失為)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaRApplied Pattern Recognition CSE61628最小風險（損失）的Bayes決策風險函數(shù)（損失函數(shù)）上式稱為作出決策ai 的風險函數(shù)，簡記為：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,.,2 , 1)/()(1Appl

13、ied Pattern Recognition CSE61629最小風險（損失）的Bayes決策決策過程當待識樣本 X 到來時，將其判為各類所帶來的風險分別為R1(X)， R2(X) ， ， Rc(X) 則基于最小風險的Bayes決策準則為： 類則判其中或若ijjijiji：CjPXPXRXRXR , 2 , 1,)()/(min)(:)(min)(:Applied Pattern Recognition CSE61630最小風險（損失）的Bayes決策問題：如何合理、科學、準確地定義ij ?帶有主觀因素Applied Pattern Recognition CSE61631最小風險（損失）的

14、Bayes決策特殊情況：兩類問題 則基于最小風險（損失）的Bayes決策為： 若R1(X) R2(X)，則 判 X 1 類)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXRApplied Pattern Recognition CSE61632最小風險（損失）的Bayes決策特殊情況：兩類問題上述決策等價于：對待識樣本x若：，則判 x1 類 aPPXPXP)()()()()/()/(111212221221似然比似然比Applied Pattern Recognition CSE61633最小風險（損失）的Bayes決策Appl

15、ied Pattern Recognition CSE61634最小風險（損失）的Bayes決策特殊情況：兩類問題 若： 12 -22 = 21 -11，即對稱損失，則最小風險Bayes決策與最小錯誤概率Bayes決策是等價的。 Applied Pattern Recognition CSE61635最小風險（損失）的Bayes決策例： 1(乙肝) 2(健康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 試分別用最小風險和最小錯誤概率Bayes決策對模式X分類Applied Pattern Reco

16、gnition CSE61636最小風險（損失）的Bayes決策解：最小錯誤概率Bayes決策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可見： P(x/1) P(1） gj(x) j i則判待識樣本 x 屬于 i類Applied Pattern Recognition CSE61643分類器、判別函數(shù)與判別界對最小錯誤概率Bayes決策 gi(x) = P( i / x) 或 gi(x) = P(x / i) P( i) gi(x) = ln P(x / i) + ln P( i) 對最小風險Bayes決策 gi(x) = - R(

17、i / x)Applied Pattern Recognition CSE61644分類器、判別函數(shù)與判別界基于判別函數(shù)的分類器基于判別函數(shù)的分類器Applied Pattern Recognition CSE61645分類器、判別函數(shù)與判別界上述判別函數(shù)將特征空間劃分為c 個判別區(qū)域 R1 , R2 , , Rc 各個判別區(qū)域滿足： 如果 gi(x) gj(x) j i 則 x 位于判別區(qū)域 RiApplied Pattern Recognition CSE61646分類器、判別函數(shù)與判別界R1R2R3R4g1(X)g4(X)g3(X)g2(X)Applied Pattern Recogni

18、tion CSE61647分類器、判別函數(shù)與判別界兩類情況分類器僅需考慮兩個判別函數(shù)g1(x)和 g2 (x) 定義：g(x) g1(x) g2(x)= P(x / 1) P( 1) - P(x / 2) P( 2 ) 基于判別函數(shù)的決策為： 如果 g(x) 0，則 x 屬于 1 類; 若 g(x) 0， 則 x 屬于 2 類 Applied Pattern Recognition CSE61648分類器、判別函數(shù)與判別界兩類情況g(X)0g(X)0Applied Pattern Recognition CSE61649正態(tài)分布條件下的Bayes決策 一維正態(tài)分布 均值： 方差： 一維正態(tài)分布

19、可以簡寫為： 221exp 21)(xxPdxxxpxE)(dxxpxxE)()()(222),()(2NxpApplied Pattern Recognition CSE61650正態(tài)分布條件下的Bayes決策一維正態(tài)分布的統(tǒng)計特性 95%的樣本落在 2 范圍內(nèi)99%的樣本落在 3 范圍內(nèi)越小，樣本分布越集中，反之越發(fā)散1)(dxxpApplied Pattern Recognition CSE61651正態(tài)分布條件下的Bayes決策一維正態(tài)分布一維正態(tài)分布Applied Pattern Recognition CSE61652正態(tài)分布條件下的Bayes決策多維正態(tài)分布 設 d 維特征向量

20、則 d 維正態(tài)分布定義為：簡記為：TdxxxX,21)()(21exp)2(1)(1212XXXpTd),()(NXpApplied Pattern Recognition CSE61653正態(tài)分布條件下的Bayes決策多維正態(tài)分布其中： 稱為均值向量，反映了樣本在d維特征空間的重心位置。 21XEdApplied Pattern Recognition CSE61654正態(tài)分布條件下的Bayes決策多維正態(tài)分布 i 反映了樣本在特征空間第 i 個方向的重心位置iiiiidxxpxxE)(diiidxdxdxdxdxXpxp1121)()(邊緣概率分布邊緣概率分布Applied Pattern

21、 Recognition CSE61655正態(tài)分布條件下的Bayes決策多維正態(tài)分布 稱為協(xié)方差矩陣。)(222212222222121212211TddddddXXEApplied Pattern Recognition CSE61656正態(tài)分布條件下的Bayes決策jijijjiijjiiijdxdxxxpxxxxE),()()(2多維正態(tài)分布 當i=j時， ij反映樣本在d維特征空間各方向的發(fā)散程度；當ij時， ij反映各特征間的統(tǒng)計相關性。 Applied Pattern Recognition CSE61657正態(tài)分布條件下的Bayes決策設各類樣本的類概率密度均滿足正態(tài)分布，即根據(jù)

22、最小錯誤概率Bayes決策準則有：若判別函數(shù) 則判 x i )()(21exp)2(1)/(1212iiTiidiXXXp)()/(max)()/()(jjiiipXppXpXgApplied Pattern Recognition CSE61658正態(tài)分布條件下的Bayes決策 為了分析方便，現(xiàn)取判別函數(shù)的自然對數(shù)（單調(diào)增函數(shù)），即令： 下面分三種情況進行討論)(ln)()(21ln212ln2)(ln)/(ln)()/(ln)(1iiiTiiiiiiipXXdpXppXpXgApplied Pattern Recognition CSE61659正態(tài)分布條件下的Bayes決策情況一各類協(xié)方

23、差矩陣相同， i j 各特征統(tǒng)計獨立，即：， ij且，i=j 即02ij22ij222000000Applied Pattern Recognition CSE61660正態(tài)分布條件下的Bayes決策情況一此時，且其中：I2I211100010001I單位矩陣單位矩陣Applied Pattern Recognition CSE61661正態(tài)分布條件下的Bayes決策情況一則判別函數(shù)：此時的Bayes決策等價為：若要將待識樣本X進行分類，則只需計算X到各類樣本均值向量i 的歐氏距離，再將X歸類到距離最近的類別，此時的分類器稱為最小距離分類器。)(ln2)(ln2)()()(222iiiiTii

24、pXpXXXg歐氏距離歐氏距離Applied Pattern Recognition CSE61662正態(tài)分布條件下的Bayes決策情況一均值向量均值向量 均值向量均值向量 2 待識樣本待識樣本 最小距離分類器最小距離分類器Applied Pattern Recognition CSE61663正態(tài)分布條件下的Bayes決策022 )(ln)2(21 )(ln2)()()(iTiiiTiTiTiiTiiXpXXXpXXXg情況一由于：XXTiTi21與類別與類別無關，無關，可不考可不考慮慮0iApplied Pattern Recognition CSE61664正態(tài)分布條件下的Bayes決策

25、情況一故：稱gi(x)為線性判別函數(shù)，相應的分類器為線性分類器。0)(iTiiXXgApplied Pattern Recognition CSE61665正態(tài)分布條件下的Bayes決策情況一)()(jippApplied Pattern Recognition CSE61666情況一)()(jippApplied Pattern Recognition CSE61667正態(tài)分布條件下的Bayes決策情況二各類方差相同，即 則 其中 稱為樣本X與正態(tài)分布模式類的馬氏距離（Mahalanobis距離）。 當待識別的樣本X到來時，分別計算樣本X與各個模式類的馬氏距離，并將X分類到馬氏距離最近的模式類中。 ji)(ln)()(21)(1iiTiipXXXg)()(1iTiXXApplied Pattern Recognition CSE61668正態(tài)分布條件下的Bayes決策情況二可以證明，此時判別函數(shù)仍滿足線性關系，即：分類器仍為線性分類器0)(iTiiXxgApplied Pattern Recognition CSE61669正態(tài)分布條件下的Bayes決策情況三各類協(xié)方差矩陣各不相同，即：分類器為非線性分類器（二次型分類器）01)(ln)()(21ln21)(iTiiT