BIGC-PR-4 貝葉斯決策理論

1、1 1模式識別主講：主講： 解凱解凱 教授教授 電話：電話： 6026112160261121（O O）E-mailE-mail：單位單位: : 信息工程學(xué)院信息工程學(xué)院23隨機(jī)模式分類識別，通常稱為隨機(jī)模式分類識別，通常稱為Bayes(Bayes(貝葉斯貝葉斯) )判決判決。（基礎(chǔ)復(fù)習(xí)）（基礎(chǔ)復(fù)習(xí)）第四章第四章 統(tǒng)計判決統(tǒng)計判決主要依據(jù)類的概率、概密，按照主要依據(jù)類的概率、概密，按照某種準(zhǔn)則某種準(zhǔn)則使分使分類結(jié)果從統(tǒng)計上講是最佳的。準(zhǔn)則函數(shù)不同，所導(dǎo)類結(jié)果從統(tǒng)計上講是最佳的。準(zhǔn)則函數(shù)不同，所導(dǎo)出的出的判決規(guī)則判決規(guī)則就不同，分類結(jié)果也不同。就不同，分類結(jié)果也不同。本章主要論述分類識別的一般原

2、理、幾種重要本章主要論述分類識別的一般原理、幾種重要的的準(zhǔn)則準(zhǔn)則和相應(yīng)的和相應(yīng)的判決規(guī)則判決規(guī)則，正態(tài)分布模式類的判決，正態(tài)分布模式類的判決函數(shù)以及它們的性能。函數(shù)以及它們的性能。45BayesBayes公式：公式：設(shè)實驗設(shè)實驗E E的樣本空間為的樣本空間為S S，A A為為E E的事件，的事件，B B1 1,B,B2 2, ,B,Bn n為為S S的一個劃分，且的一個劃分，且P P(A)0(A)0，P P(B(Bi i)0)0，(i=1,2,(i=1,2,n),n)，則，則: :)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率論概率論

3、”有關(guān)概念復(fù)習(xí)有關(guān)概念復(fù)習(xí))()()()(iiiBAPBPABPAP6B1SB2B3B4A劃分示意圖“概率論概率論”有關(guān)概念復(fù)習(xí)有關(guān)概念復(fù)習(xí))()()()(iiiBAPBPABPAP7條件概率條件概率“概率論概率論”有關(guān)概念復(fù)習(xí)有關(guān)概念復(fù)習(xí))()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先驗概率：先驗概率：P( i)表示類表示類 i出現(xiàn)的先驗概率，簡稱類出現(xiàn)的先驗概率，簡稱類 i的概率。的概率。后驗概率：后驗概率：P P( ( i i|x)|x)表示表示x x出現(xiàn)條件下類出現(xiàn)條件下類 i i出現(xiàn)的概率出現(xiàn)的概率, ,稱其稱其為類別的為類別的后驗概率后驗概率，對于模

4、式識別來講可理解為，對于模式識別來講可理解為x x來自類來自類 i i的概率。的概率。類概密：類概密： p(x|(x| i i) )表示在類表示在類 i i條件下的概率密度，即類條件下的概率密度，即類 i i模模式式x x 的概率分布密度，簡稱為的概率分布密度，簡稱為類概密類概密。8 為表述簡潔，我們將隨機(jī)矢量為表述簡潔，我們將隨機(jī)矢量X X及它的某個取值及它的某個取值x x都都用同一個符號用同一個符號x x表示，在以后各節(jié)中出現(xiàn)的是表示隨機(jī)表示，在以后各節(jié)中出現(xiàn)的是表示隨機(jī)矢量還是它的一個實現(xiàn)根據(jù)內(nèi)容是可以清楚知道的。矢量還是它的一個實現(xiàn)根據(jù)內(nèi)容是可以清楚知道的?！案怕收摳怕收摗庇嘘P(guān)概念復(fù)習(xí)

5、有關(guān)概念復(fù)習(xí)nXiixdxpxgxgE)()()(條件期望條件期望( (某個特征某個特征) )因不涉及因不涉及x的維數(shù)的維數(shù),可將可將Xn改寫為特征空間改寫為特征空間W W。WxdxpxgxgEii)()()(9對于兩類對于兩類 1 1， 2 2問題，直觀地，可以根據(jù)后驗概率做判決：問題，直觀地，可以根據(jù)后驗概率做判決：121122 (| )(| ) (| )(| ) p xp xxp xp xx若則若則21(|)()(|)()(|)()(|)()iiiiiiiip xPp xPpxp xp xP式中，式中，p p(x|(x| i i) )又稱又稱似然函數(shù)似然函數(shù)(likelihood fun

6、ction of (likelihood function of class class i i) )，可由已知樣本求得。，可由已知樣本求得。 Bayes法則最大后驗概率準(zhǔn)則法則最大后驗概率準(zhǔn)則根據(jù)根據(jù)Bayes公式，后驗概率公式，后驗概率 可由類可由類 i的先驗概率的先驗概率P( i)和條件概率密度和條件概率密度 來表示，即來表示，即(/ )ipx( /)ip x10將將P( i|x)代入判別式，判別規(guī)則可表示為代入判別式，判別規(guī)則可表示為1122111222 ( |)()( |)() ( |)()( |)() p x Pp x Pxp x Pp x Px若則若則或改寫為或改寫為212122

7、112112122112 )()()|()|( )()()|()|(xPPxpxplxPPxpxpl則則l12稱為稱為似然比似然比（likelihood ratio），）， 12稱為似然比的判決閥值。稱為似然比的判決閥值。原則：要確定原則：要確定x x是屬于是屬于11類還是類還是22類，要看類，要看x x是來自于是來自于11類的概率大還是來自類的概率大還是來自22類的概率大。類的概率大。11已知：已知：（統(tǒng)計結(jié)果）（統(tǒng)計結(jié)果）先驗概率：先驗概率：P( ( 1 1)=1/3)=1/3（鱸魚出現(xiàn)的概率）（鱸魚出現(xiàn)的概率） P( ( 2 2)=1-)=1-P( ( 1 1)=2/3 )=2/3 （鮭

8、魚出現(xiàn)的概率鮭魚出現(xiàn)的概率）條件概率條件概率：p(x| 1 1) 見圖示見圖示（鱸魚的長度特征分布概率）（鱸魚的長度特征分布概率）p(x| 2 2)見圖示見圖示（鮭魚的長度特征分布概率）（鮭魚的長度特征分布概率）求：后驗概率求：后驗概率：P( |x=10)=?（如果一條魚如果一條魚x x1010，是什么類別？），是什么類別？）12解法解法1 1：111111122(10 |)()(|10)()(|)() (|)()(|)()0.05 1/3 0.0480.05 1/30.502 /3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式13寫成似然比形式寫成似然比

9、形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 , , p xlxp xPPlxx10（）10判決閥值（10）即是鮭魚。解法解法2：14例題1圖示)(1xP)(2xPx條件概率密度分布)(ixP鱸魚鱸魚鮭魚鮭魚100.015例題1圖示)(1xP)(2xPx2 . 04 . 06 . 08 . 00 . 1后驗概率分布)(xPi1016n 最小誤判概率準(zhǔn)則判決最小誤判概率準(zhǔn)則判決n 最小損失準(zhǔn)則判決最小損失準(zhǔn)則判決n 最小最大損失準(zhǔn)則最小最大損失準(zhǔn)則n N-P(NeymanN-P(NeymanPearson)Pearson)判決判決

10、第四章第四章 統(tǒng)計判決統(tǒng)計判決174 41 1 最小誤判概率準(zhǔn)則判決最小誤判概率準(zhǔn)則判決第四章第四章 統(tǒng)計判決統(tǒng)計判決1819圖例：最小誤判概率準(zhǔn)則)()(11Pxp)()(22Pxp212)(P121)(P2021最小誤判概率準(zhǔn)則下的判決規(guī)則：最小誤判概率準(zhǔn)則下的判決規(guī)則： 如果，如果， 則判則判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等價地，或等價地， 如果，如果， 則判則判22)(1xP)(2xP21x另一個等價形式是：另一個等價形式是： 如果如果 則判則判)()()()(iiixpPxPxp由貝葉斯定理由貝葉斯定理23對于多類問

11、題，對于多類問題，最小誤判概率準(zhǔn)則最小誤判概率準(zhǔn)則有如下有如下幾種等價的判決規(guī)則幾種等價的判決規(guī)則:若若 ，則判，則判 若若 ， ，則判，則判 )()(xPxPjiij ix)(xPi)(maxxPjjix（后驗概率形式）（后驗概率形式）若若 ， ，則判，則判 若若 ，則判，則判 （條件概率形式）（條件概率形式）)()()()(jjiiPxpPxpij ix)()(iiPxp)()(maxjjjPxpix若若 ， , 則判則判 ijijjiijPPxpxpxl)()()()()(ij ix（似然比形式）（似然比形式）如果如果 ， ，則判則判 （條件概率的對數(shù)形式）（條件概率的對數(shù)形式）)(ln

12、)(ln)(ln)(lnjjiiPxpPxpij ix24例：對一批人進(jìn)行癌癥普查，患癌癥者定為屬例：對一批人進(jìn)行癌癥普查，患癌癥者定為屬 1類，類，正常者定為屬正常者定為屬 2類。統(tǒng)計資料表明人們患癌的概率類。統(tǒng)計資料表明人們患癌的概率 ，從而，從而 。設(shè)有一種診斷此病的。設(shè)有一種診斷此病的試驗，其結(jié)果有陽性反應(yīng)和陰性反應(yīng)之分，依其作診試驗，其結(jié)果有陽性反應(yīng)和陰性反應(yīng)之分，依其作診斷?；灲Y(jié)果是一維離散模式特征。統(tǒng)計資料表明：斷?；灲Y(jié)果是一維離散模式特征。統(tǒng)計資料表明：癌癥者有陽性反映的概率為癌癥者有陽性反映的概率為0.95即即 ，從而可知從而可知 ，正常人陽性反映的概率，正常人陽性反映的

13、概率為為0.01即即 , 可知可知 。005. 0)(1P995. 0)(2P95. 0)(1陽xP05. 0)(1陰xP01. 0)(2陽xP99. 0)(2陰xP問有陽性反映的人患癌癥的概率有多大？問有陽性反映的人患癌癥的概率有多大？25)()()()()()(221111PxPPxPPxP陽陽陽995. 001. 0005. 095. 0005. 095. 0323. 0)()()()(111陽陽陽xPPxPxP解：解：說明有陽性反應(yīng)的人其患癌的概率有說明有陽性反應(yīng)的人其患癌的概率有32.3% 32.3% 26寫成似然比形式：寫成似然比形式： 9501. 095. 0)()()(2112

14、陽陽xPxPxl197005. 0995. 0)()(1212PP1212)(xl2x2728)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1上式中去掉與類別無關(guān)的項并不影響分類判決結(jié)果：上式中去掉與類別無關(guān)的項并不影響分類判決結(jié)果：ici, 2 , 11( )( /) ( )11( )ln ( )ln(2 )ln()()222iiiiiiiiid xp xPnd xPxx 或?qū)?shù)形式或?qū)?shù)形式 類的判決函數(shù)可以表示為：類的判決函數(shù)可以表示為：29)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1i(1) 當(dāng)當(dāng) 時時iiiiiiiixxxP

15、xxPxd11112121)(ln)()(21)(ln)( ij當(dāng)當(dāng) 和和 相鄰相鄰 時時xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii30ij當(dāng)當(dāng) 和和 相鄰相鄰 時時xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii式中：式中：)(1jiijw)()()()()(ln)(2110jijijijijiPPx顯然，該判別界面為一超平面。此決策超平面過顯然，該判別界面為一超平面。此決策超平面過點點 ， 是該超平面的法矢量。是該超平面的法矢量。 0 xijw31若各類的概率相等，由判別式若各類的概率相等，由

16、判別式 )()(21)(ln)(1iiiixxPxd可簡化為馬氏距離的平方，即：可簡化為馬氏距離的平方，即： )()()(1iiixxxd因此因此 的類別就由的類別就由 到各類的均矢的馬氏距離決定，到各類的均矢的馬氏距離決定，應(yīng)判應(yīng)判 屬于馬氏距離最小的那一類。屬于馬氏距離最小的那一類。 xxx32x1x2 122112w21決策超平面過決策超平面過點，矢量點，矢量是該超平面的法矢量。是該超平面的法矢量。通常不與通常不與方向相同，所以決策界面不與方向相同，所以決策界面不與正交。正交。0 xijw)(1jiijw)(ji)(ji33x1x2 122112w221II為單位陣，為單位陣，2為分量的

17、方差，顯然有矢量為分量的方差，顯然有矢量ijw和矢量和矢量)(ji方向相同，此時決策平面垂直于兩類中心的連線方向相同，此時決策平面垂直于兩類中心的連線 若若)()(jiPP此時決策界面還過此時決策界面還過i和和j連線的中點連線的中點 34(2)i)()(21ln21)(ln)(1iiiiiixxPxdci, 2 , 10iiiwxwxWx這是一般的情況。這是一般的情況。 i i類模式的判決函數(shù)為類模式的判決函數(shù)為: :121iiWiiiw1iiiiiiPw1021ln21)(ln其中其中0)()()()()(00jijijijiwwxwwxWWxxdxd相鄰兩類的決策界面為相鄰兩類的決策界面為

18、: :3536二維模式，二維模式， 1 12 2的幾種情況的幾種情況W1W2(a) 圓，圓， 2 2類的方差小類的方差小W1W2(b) 橢圓，橢圓， 2 2類的方差小類的方差小W1W2(c) 拋物線，拋物線， 2 2類的方差小類的方差小W1W2(d) 雙曲線雙曲線(e) 直線，兩類的分布關(guān)于一直線是對稱直線，兩類的分布關(guān)于一直線是對稱W1W237例：模式分布如圖所示，兩類的均矢和協(xié)方差陣?yán)耗Ｊ椒植既鐖D所示，兩類的均矢和協(xié)方差陣可用下式估計?？捎孟率焦烙?。iNjijiiixNm1)(1iiijNjijiiimmxxNCi)(1)(1)(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0

19、,0,1)(0,0,0)12x2x1x32138(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321) 1, 1, 3(411m)3, 3, 1 (412m31113111316121CCC8444844481C39兩類均作為正態(tài)分布，并假設(shè)兩類均作為正態(tài)分布，并假設(shè) ，故判決式為故判決式為)()(21PPiiiimCmmCxxd1121)(234)(11xxd211884)(3212xxxxd8444844481C) 1, 1, 3(411m)3, 3, 1 (412m04888)()(32121xxxxdxd01222321xxx40 考

20、慮兩類問題，設(shè)兩類模式為協(xié)方差陣相考慮兩類問題，設(shè)兩類模式為協(xié)方差陣相等的多變量正態(tài)分布，它們的密度函數(shù)分別為等的多變量正態(tài)分布，它們的密度函數(shù)分別為: : 4.1.3 4.1.3 正態(tài)模式分類的誤判概率正態(tài)模式分類的誤判概率)(ixp),(iN)()(21)()(2111jjiixxxx )()(21)(11jijijix )(jxp),(jN)(ln)(ln)(ln)(jiijijxpxpxlxL對數(shù)似然比對數(shù)似然比41 )()(21)()(21)(111jijijijijiiijiLE 221ijijijirLLE 2)(ijijiijiLLELVar21)()(jiiixE)()()(

21、11jiiijiixxE)()(1jiji2ijr)()(12jijiijr令令)(xLij是是 的線性函數(shù)，而的線性函數(shù)，而 的各分量是正態(tài)分布的，的各分量是正態(tài)分布的，故故 是正態(tài)分布的隨機(jī)變量。是正態(tài)分布的隨機(jī)變量。 xx)(xLij)()(21)(11jijijix )(xLij42 221ijijijirLLE 2)(ijijiijiLLELVar2ijrxi0rij2/2xj-rij2/2p(Lij|i)Lijp(Lij|j)()(lnlnijijPP43)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr將屬于將屬于i類的模式誤判為屬于

22、類的模式誤判為屬于j類的錯誤概率為類的錯誤概率為)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijLP將屬于將屬于i類的模式誤判為屬于類的模式誤判為屬于j類的錯誤概率為類的錯誤概率為dyyuu)2exp(21)(2式中式中44)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr)()()()()(jijjiijiLPPLPPePijijjijijirrPrrP22211)(21)(dyyuu)2exp(21)(2)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijL

23、P于是，總的誤判概率為于是，總的誤判概率為: :45特取特取 ，此時，此時 =0=0 上式表明了誤判概率與兩類的馬氏距離的關(guān)系上式表明了誤判概率與兩類的馬氏距離的關(guān)系： 隨隨 的增大而單調(diào)遞減，只要兩類馬氏距的增大而單調(diào)遞減，只要兩類馬氏距離足夠大，其誤判概率可足夠小。離足夠大，其誤判概率可足夠小。 21)()(jiPPijijrreP211212121)(dyyijr2exp2122dyyrijrij2exp212222ijr)(eP2ijr)(%)(eP2040511464.1 4.1 設(shè)以下兩類模式均為正態(tài)分布設(shè)以下兩類模式均為正態(tài)分布 1 1：(0,0)(0,0)T T，(2,0)(2

24、,0)T T，(2,2)(2,2)T T，(0,2)(0,2)T T 2 2：(4,4)(4,4)T T，(6,4)(6,4)T T，(6,6)(6,6)T T，(4,6)(4,6)T T 設(shè)設(shè)P(P( 1 1)= P()= P( 2 2)=1/2)=1/2，求該兩類模式之間的，求該兩類模式之間的BayesBayes 判別界面的方程。判別界面的方程。作業(yè)作業(yè)4.2 4.2 設(shè)兩類二維正態(tài)分布參數(shù)為設(shè)兩類二維正態(tài)分布參數(shù)為u u1 1=(-1,0)=(-1,0)T T，u u2 2=(1,0)=(1,0)T T先驗概率相等。先驗概率相等。（a a） 令令 試給出負(fù)對數(shù)似然比判決規(guī)則試給出負(fù)對數(shù)似

25、然比判決規(guī)則（b b） 令令試給出負(fù)對數(shù)似然比判決規(guī)則。試給出負(fù)對數(shù)似然比判決規(guī)則。2111212111121212474.2 4.2 最小損失準(zhǔn)則判決最小損失準(zhǔn)則判決第四章第四章 統(tǒng)計判決統(tǒng)計判決484.2.1 4.2.1 損失概念、損失函數(shù)與平均損失損失概念、損失函數(shù)與平均損失,21c設(shè)模式空間中存在設(shè)模式空間中存在c c個類別個類別: :,21a決策空間由決策空間由a a個決策個決策: :決策決策 j j常指將模式常指將模式x x指判為某一類指判為某一類w wj j或者是拒判?；蛘呤蔷芘小jij)(對一個實屬對一個實屬 i i 類的模式采用了決策類的模式采用了決策 j j 所造成的損失

26、所造成的損失記為：記為： ac,2121于是就有于是就有 空間中的二元函數(shù)，稱其為空間中的二元函數(shù)，稱其為損失函數(shù)損失函數(shù)。49決策決策- -損失表損失表 12c1(1/1)(1/2)(1/c)2(2/1)(2/2)(2/c)c(c/1)(c/2)(c/c)c+1(c+1/1) (c+1/2)(c+1/c)n決策決策 j j指將模式指將模式x x指判為指判為w wj j或者是拒判?；蛘呤蔷芘小jjijiij100-10-1損失函數(shù)損失函數(shù)50 令決策的數(shù)目令決策的數(shù)目a a等于類數(shù)等于類數(shù)c c，如果決策，如果決策 j j 定義為判定義為判 屬屬于于 j j 類，那么對于給定的模式類，那么對

27、于給定的模式 在采取決策在采取決策 j j 的條件下的條件下?lián)p失的期望為損失的期望為條件平均風(fēng)險條件平均風(fēng)險xExPxRxRijiciiijjj1)()()(), 2 , 1(cjxx 條件期望損失條件期望損失 刻劃了在模式為刻劃了在模式為 、決策為、決策為 j j條條件下的平均損失，故也稱件下的平均損失，故也稱 為為條件平均損失或條條件平均損失或條件平均風(fēng)險（件平均風(fēng)險（RiskRisk）。由貝葉斯公式，上式可以寫為。由貝葉斯公式，上式可以寫為x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp51求上式求上式Rj(x)關(guān)于

28、關(guān)于x的數(shù)學(xué)期望的數(shù)學(xué)期望: WcjciiiijjxdPxp11)()(WcicjiiijjxdPxpx11)()()| )(WciiiixdxpxP1)()| )()(ciiiixEP1)| )()()(xEWxdxpxRRj)()(WcjjjxdxpxR1)()(平平均均損損失失52n可以將最小條件平均損失判決規(guī)則表示為可以將最小條件平均損失判決規(guī)則表示為如果如果 則判則判 4.2.2 4.2.2 最小損失準(zhǔn)則判決最小損失準(zhǔn)則判決)(min)(xRxRiijjx定理：定理：使條件平均損失最小的判決也必然使總的平均使條件平均損失最小的判決也必然使總的平均損失最小。損失最小。 所以最小條件平均

29、損失準(zhǔn)則也稱為最小平均損失所以最小條件平均損失準(zhǔn)則也稱為最小平均損失準(zhǔn)則或最小平均風(fēng)險準(zhǔn)則，簡稱為準(zhǔn)則或最小平均風(fēng)險準(zhǔn)則，簡稱為最小損失準(zhǔn)則最小損失準(zhǔn)則。53)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR 對于兩類問題，對于兩類問題，如果如果)(1xR)(2xR21x則：則：這時最小損失判決規(guī)則這時最小損失判決規(guī)則可以表為：可以表為： )()()()(22211111PxpPxp)()()()(22221112PxpPxp54)()()()(22211111PxpPxp)()()()(22221112PxpPxp經(jīng)整

30、理可得：經(jīng)整理可得：)()()()()()(111112222221PxpPxp 兩類問題的最小損失準(zhǔn)則的似然比形式的判兩類問題的最小損失準(zhǔn)則的似然比形式的判決規(guī)則為：決規(guī)則為：)()()()(111212221221PPxpxp如果如果 21x則判則判 55若記似然比閾值若記似然比閾值)()()()(111222211212PP注意，若注意，若1212)(xl我們規(guī)定任判或拒判。我們規(guī)定任判或拒判。)(12xl1221x則兩類問題的判決規(guī)則為：則兩類問題的判決規(guī)則為：如果如果則判：則判： 56)(12xl1221x如果如果則判：則判： 損失函數(shù)如何確定依賴于實際問題和經(jīng)驗，有時損失函數(shù)如何確

31、定依賴于實際問題和經(jīng)驗，有時為了方便，對于一般的為了方便，對于一般的c類問題，令類問題，令jijiij,1,0 （0-10-1損失函數(shù)）損失函數(shù)）)()()()(111222211212PP)()(1212PP此時：此時：此即為最小誤判概此即為最小誤判概率準(zhǔn)則的判決規(guī)則率準(zhǔn)則的判決規(guī)則 57取取0-10-1損失函數(shù)時，最小損失準(zhǔn)則等價于最小損失函數(shù)時，最小損失準(zhǔn)則等價于最小誤判概率準(zhǔn)則，此時的平均損失就是誤判概率，誤判概率準(zhǔn)則，此時的平均損失就是誤判概率，使平均損失最小即使誤判概率最小。這也表明，使平均損失最小即使誤判概率最小。這也表明，最小誤判概率準(zhǔn)則是最小損失準(zhǔn)則的特例。最小誤判概率準(zhǔn)則是

32、最小損失準(zhǔn)則的特例。 4.2.2 最小損失準(zhǔn)則判決最小損失準(zhǔn)則判決58592202exp21)(xxp2212) 1(exp21)(xxp似然比為：似然比為：21001221exp)()()(xxpxpxl6021001221exp)()()(xxpxpxl運(yùn)用最小損失準(zhǔn)則，判決規(guī)則為：運(yùn)用最小損失準(zhǔn)則，判決規(guī)則為：判判0 x即信號為即信號為“0 0”。)()()()(0100011110PP 201221exp)(xxl21x時時)()()()(ln2101000111102PPx兩邊取對數(shù)：兩邊取對數(shù)： 當(dāng)當(dāng) 時時6162634.2.3 4.2.3 含拒絕判決的最小損失判決含拒絕判決的最小

33、損失判決拒絕判決可以作為最小損失判決中的一個可能判決，拒絕判決可以作為最小損失判決中的一個可能判決，1c“拒絕判決拒絕判決”。64)()(1xRxRjc如果如果j j=1,2,=1,2, ,c c則作出拒絕判決。則作出拒絕判決。設(shè)設(shè) ( ( c+1c+1( (x)|)| i i)=)= r r，(i(i=1,2,=1,2,c),c)，（即各類的拒判損失相同）（即各類的拒判損失相同） rciirciircxPxPxR111)|()|()|(則則 又設(shè)又設(shè) ( ( j j( (x)|)| i i)=)= e e，(j(j i i，i i，j j =1,2, =1,2,c),c)，（即各誤判損失相同

34、）（即各誤判損失相同）x（即各正確判決損失相同）（即各正確判決損失相同） ( ( i i( ( )|)| i i)=)= c c，(i(i=1,2,=1,2,c),c)， 且通常有且通常有 c c r r e e65)|()|()|(1xpxRiciijj)|()()|(1xPxpjceicie)|()(xPjcee66)|()|(1xRxRjcx如果如果，(j=1,2,c)，則對則對做拒絕判決。做拒絕判決。 )|()(xPjceercecrcerejxP1)|( = 1-t 這里這里 cecrt 稱之為稱之為拒判門限。拒判門限。 因為因為 c r 1-1/c時時,1-t1/c,上式恒成立上式

35、恒成立,不存在拒判問題不存在拒判問題,即存在拒判決策的條件應(yīng)該是即存在拒判決策的條件應(yīng)該是:t1-1/c68判決規(guī)則判決規(guī)則如下：如下：4.2.3 4.2.3 含拒絕判決的最小損失判決含拒絕判決的最小損失判決cecrttPtPxpxp)()1)()()(1221如果如果 1x則判則判)1)()()()(1221tPtPxpxp如果如果2x則判則判694.34.3最小最大損失準(zhǔn)則最小最大損失準(zhǔn)則第四章第四章 統(tǒng)計判決統(tǒng)計判決70)()()(2112xpxpxl)()(12PP12x最小誤判概率準(zhǔn)則最小誤判概率準(zhǔn)則)()()()(111212221221PPxpxp21x最小損失準(zhǔn)則最小損失準(zhǔn)則t

36、PtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒絕絕判判決決的的最最小小損損失失71tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒絕絕判判決決的的最最小小損損失失cecrtrec拒判損失拒判損失誤判損失誤判損失正確判決損失正確判決損失72最小最大損失準(zhǔn)則最小最大損失準(zhǔn)則的基本思想：的基本思想： 實際中，類先驗概率實際中，類先驗概率 P P(

37、( i i) ) 往往不能精確往往不能精確知道或在分析過程中是變動的，從而導(dǎo)致判決知道或在分析過程中是變動的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在域不是最佳的。所以應(yīng)考慮如何解決在 P P( ( i i) ) 不確知或變動的情況下使平均損失變大的問題。不確知或變動的情況下使平均損失變大的問題。 應(yīng)該立足最差的情況爭取最好的結(jié)果。應(yīng)該立足最差的情況爭取最好的結(jié)果。73對于兩類問題，設(shè)一種分類識別決策將特征空對于兩類問題，設(shè)一種分類識別決策將特征空間間W分劃為兩個子空間分劃為兩個子空間1W和和2W，記，記ij為將實屬為將實屬i類的模式判為類的模式判為j的損失函數(shù)，各種判決的平均損失的損失

38、函數(shù)，各種判決的平均損失為為xdxpxxRRW)()(xdxpxxRxdxpxxRWW21)()()()(21xdPxpxdPxpiiiiiiii)()()()(21212211WWWW11)()()()(22211111xdxpPxdxpPWW22)()()()(22221112xdxpPxdxpP74利用利用)(1)(12PP則平均損失可寫成則平均損失可寫成W1)()(2222122xdxpRWW12)()()()()()(221221111222111xdxpxdxpP)(1bPa由于由于)(1P在在 0 0 和和 1 1 之間取值，所以平均損失值有之間取值，所以平均損失值有baRaWW

39、21)(1)(xdxpxdxpii和和75n由上式可見，當(dāng)類概密、損失函數(shù)ij 、類域Wi 取定后，R是P(1)的線性函數(shù)。n考慮P(1)的各種可能取值情況，為此在區(qū)間(0,1)中取若干個不同的P(1)值，并分別按最小損失準(zhǔn)則確定相應(yīng)的最佳決策類域W1 、 W2 ，然后計算出其相應(yīng)的最小平均損失R*，從而可得最小平均損失R*與先驗概率P(1)的關(guān)系曲線。76PA(1)1 P(1)ACDR*BR*B0DCPB(1)77 如果能求出某個如果能求出某個)()(11BPP，相對于相對于)(1BP的最佳判決的最佳判決類域類域1W和和2W能使該式中的能使該式中的0b，即，即0)()()()()(12221

40、22111122211WWxdxpxdxpb在此決策類域下，無論在此決策類域下，無論)(1P如何變化，因如何變化，因0b而使而使R與與)(1P無關(guān)，從而使得平均損失無關(guān)，從而使得平均損失R恒等于常數(shù)恒等于常數(shù)a，即即aRxdxpR*W1)()(2222122求使求使0b的的)(1P等價于在最小平均損失等價于在最小平均損失*R)(1P關(guān)系關(guān)系中求使中求使0)(1*dPdR的的)(1P，顯然，此時的，顯然，此時的)(1P使使*R取所有最小損失的最大取所有最小損失的最大值值*mR。所以所以*mR是最大的最小損失。是最大的最小損失。78)()()()()()()()()(2211222111PxpPx

41、pPxpPxpxRjjj具體的設(shè)計過程是具體的設(shè)計過程是: :(1)(1) 按最小損失準(zhǔn)則找出對應(yīng)于按最小損失準(zhǔn)則找出對應(yīng)于(0,1)(0,1) 中的各個不同值的中的各個不同值的)(1P的最佳決策類域的最佳決策類域1W、2W， (2)(2) 計算相應(yīng)各個計算相應(yīng)各個)(1P及最佳決策類域的最小平均損失，得及最佳決策類域的最小平均損失，得*R)(1P曲線，找出使曲線，找出使*R取最大值的取最大值的)(1*P， (3)(3) 運(yùn)用運(yùn)用)(1*P、)(11*P及及ij構(gòu)造似然比閾值并運(yùn)用最小構(gòu)造似然比閾值并運(yùn)用最小損失準(zhǔn)則下的決策規(guī)則對具體的模式分類識別。損失準(zhǔn)則下的決策規(guī)則對具體的模式分類識別。

42、)()()()()()()()()(12121221122PxpxpxpPxpxpxpxRjjjj79最小最大損失判決規(guī)則最小最大損失判決規(guī)則 為：為：如果如果 )()()(1)()()(111121222121*PPxpxp則判則判21x當(dāng)采用當(dāng)采用 0-10-1 損失函數(shù)時，由損失函數(shù)時，由0b可得可得xdxpxdxp)()(2112WW上式表明，最小最大損失判決所導(dǎo)出的最佳分界面上式表明，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使兩類錯誤概率相等應(yīng)使兩類錯誤概率相等 , ,可知此時的平均損失可知此時的平均損失W1)(2xdxpR80作業(yè)作業(yè)P125 4.1 4.2P125 4.1 4.281

43、4 44 N-P(Neyman4 N-P(NeymanPearson)Pearson)判決判決第四章第四章 統(tǒng)計判決統(tǒng)計判決82在某些實際問題中，可能存在以下幾種情況：在某些實際問題中，可能存在以下幾種情況： 不知道各類的先驗概率不知道各類的先驗概率)(iP ； 難于確定誤判的代價難于確定誤判的代價ij； 某一種錯誤較另一種錯誤更為重要。某一種錯誤較另一種錯誤更為重要。針對針對，可以采用最小最大損失準(zhǔn)則或令各類概可以采用最小最大損失準(zhǔn)則或令各類概率相等的辦法克服；率相等的辦法克服；針對針對(3)(3)，可以采用最小損失準(zhǔn)則判決。針對上，可以采用最小損失準(zhǔn)則判決。針對上面的三個問題，更主要的是針

44、對，我們采用面的三個問題，更主要的是針對，我們采用N-PN-P準(zhǔn)則準(zhǔn)則。針對針對，如果允許的話，可，如果允許的話，可以避開使用損失函數(shù)以避開使用損失函數(shù) 而采用最小誤判概率準(zhǔn)則而采用最小誤判概率準(zhǔn)則；83所謂所謂N-PN-P準(zhǔn)則，是嚴(yán)格限制較重要的一類錯誤概準(zhǔn)則，是嚴(yán)格限制較重要的一類錯誤概率令其等于某常數(shù)而使另一類誤判概率最小。率令其等于某常數(shù)而使另一類誤判概率最小。 對兩類問題，對兩類問題，0)( xd 將特征空間將特征空間W W分成兩分成兩 個子空間個子空間1W W和和2W W，其中，其中W W W WW W21U U， W WW W21I I。 當(dāng)一模式特征點當(dāng)一模式特征點1W W x

45、 時，指判時，指判1 x ；當(dāng)當(dāng)2W W x 時，指判時，指判2 x 。84將實屬將實屬1類的模式類的模式x判屬判屬2類的誤判概率為類的誤判概率為W2)(112xdxp將實屬將實屬2類的模式判屬類的模式判屬1類的誤判概率為類的誤判概率為W1)(221xdxp N-PN-P準(zhǔn)則是在使某一類誤判概率等于常數(shù)的準(zhǔn)則是在使某一類誤判概率等于常數(shù)的約束下使另一類誤判概率最小。約束下使另一類誤判概率最小。 85令令021常數(shù)，求常數(shù)，求使使12最小。運(yùn)用最小。運(yùn)用拉格朗日拉格朗日乘乘數(shù)法求條件極值，為此作輔助函數(shù)數(shù)法求條件極值，為此作輔助函數(shù):)(02112yWW02112)()(xdxpxdxpW1)(

46、)()1 (210 xdxpxp86郎格朗日乘數(shù)法郎格朗日乘數(shù)法: : 在條件極值問題中在條件極值問題中, , 滿足條件滿足條件 g(x, y) = 0 g(x, y) = 0 下，去尋求函數(shù)下，去尋求函數(shù) f(x, y) f(x, y) 的極值。的極值。 對三變量函數(shù)對三變量函數(shù) F(x, y, ) = f(x, y) + g(x, y) F(x, y, ) = f(x, y) + g(x, y) 分別求分別求F F對三變量的偏導(dǎo)對三變量的偏導(dǎo), ,并聯(lián)立方程式并聯(lián)立方程式 F F = g(x, y) = 0 = g(x, y) = 0 F Fx x = f = fx x (x, y) +

47、g (x, y) + gx x (x, y) = 0 (x, y) = 0 F Fy y = f = fy y (x, y) + g (x, y) + gy y (x, y) = 0 (x, y) = 0 求得的解求得的解 (x, y) (x, y) 就成為極值的候補(bǔ)。就成為極值的候補(bǔ)。 這樣求極值的方法就叫做拉格朗日乘數(shù)法、這樣求極值的方法就叫做拉格朗日乘數(shù)法、叫叫做拉格朗日乘數(shù)。做拉格朗日乘數(shù)。 87求求1W使使y取極小值。取極小值。W1)()()1 (210 xdxpxpy1W無法直接用解析的辦法求得。無法直接用解析的辦法求得。 一般地講，一般地講，但注意到但注意到在式子中是確定的，在式

48、子中是確定的，)(1xp、)(2xp在在W空間中也是確定的，如果選擇滿足條件空間中也是確定的，如果選擇滿足條件0)()(21xpxp的的x的全體作為的全體作為*W1這時所求得的這時所求得的y值值*y比比1W的其它取法時的的其它取法時的y值要小。值要小。 就能保證就能保證因為這種取法下因為這種取法下, , 是使被積函數(shù)取正數(shù)的最大的域。是使被積函數(shù)取正數(shù)的最大的域。*W188，*W1如前定義如前定義這時的這時的y值為值為12111) )()() )()()1 (21210WWW*xdxpxpxdxpxpy xdxpxpxdxpxpy) )()() )()(12112121WW*121111)(W

49、WWW*WW111*WW212上有上有0)()(21xpxp于是在于是在11W在在上有上有0)()(21xpxp12W上式中第二項的積分為正值，第三項的積分為負(fù)值。上式中第二項的積分為正值，第三項的積分為負(fù)值。* yy顯然顯然89同理同理, , 由由W2) )()()(210 xdxpxpy因此選擇滿足條件因此選擇滿足條件0)()(21xpxpx的全體的全體 作為作為*W1選擇滿足條件選擇滿足條件0)()(21xpxpx的全體的全體 作為作為*W2在在1W中中 0)()(21xpxp在在2W中中 0)()(21xpxp綜上，即：綜上，即：90于是將其中一類錯誤概率作為控制量而使另一類于是將其中

50、一類錯誤概率作為控制量而使另一類錯誤概率最小錯誤概率最小的的N-N-P P判決規(guī)則為：判決規(guī)則為：上式中上式中，是判決閾值是判決閾值。如果如果，)()(21xpxp則判則判 21x可以看出，可以看出，N-PN-P判決規(guī)則的形式和最小誤判判決規(guī)則的形式和最小誤判概率準(zhǔn)則及最小損失準(zhǔn)則的形式相同，只是似然概率準(zhǔn)則及最小損失準(zhǔn)則的形式相同，只是似然比閾值不同。比閾值不同。 91這里這里是由下列關(guān)系式確定：是由下列關(guān)系式確定：02211)(Wxdxp即適當(dāng)?shù)剡x取即適當(dāng)?shù)剡x取以保證使以保證使021，因此，因此的值決定著類域的值決定著類域1W、2W。這里這里)(2lp為似然比為似然比l的條件概密。的條件概

51、密。，令，令)()()(21xpxpxl為求為求因當(dāng)因當(dāng)l時就判時就判1x，所以當(dāng)，所以當(dāng)0給定后，給定后，可由式可由式0)(221)(dllp確定。確定。拉格朗日乘子拉格朗日乘子921221xp(l|2)p(l|1) 的值決定著類域的值決定著類域1W、2W，這里的，這里的 是由是由0所所確定的，即適當(dāng)?shù)剡x取確定的，即適當(dāng)?shù)剡x取使使021。為求。為求 ，令，令)(2lp為似然比為似然比)(xl在在2x的條件下的概密，因當(dāng)?shù)臈l件下的概密，因當(dāng)l時就時就判判1x，所以當(dāng)，所以當(dāng)0給定后，拉格朗日乘子給定后，拉格朗日乘子可由式可由式 確定。確定。0221)(dllp W W1W W2l93在具體運(yùn)用

52、在具體運(yùn)用N-PN-P準(zhǔn)則時，首先根據(jù)給定的控制準(zhǔn)則時，首先根據(jù)給定的控制量量 0計算門限計算門限 ，然后運(yùn)用判決規(guī)則進(jìn)行判決分類。，然后運(yùn)用判決規(guī)則進(jìn)行判決分類。94例：例：設(shè)兩類問題中，二維模式均為正態(tài)分布，設(shè)兩類問題中，二維模式均為正態(tài)分布，其均值矢量和協(xié)方差陣分別為：其均值矢量和協(xié)方差陣分別為：)0 , 1(1)0 , 1 (2I21 ，取定，取定04. 021試求試求N-P判決閾值。判決閾值。解解：由公式和給定的條件可算得兩類的概密分別為：由公式和給定的條件可算得兩類的概密分別為: :)(1xp2) 1(exp212221xx)(2xp2) 1(exp212221xx由上面二式可以算

53、得由上面二式可以算得 : :1212exp)()(xxpxp951212exp)()(xxpxp其為判決界面，上式兩邊取對數(shù)，于是可得判決規(guī)其為判決界面，上式兩邊取對數(shù)，于是可得判決規(guī)則則: : 211ln21xx由于界面只是由于界面只是1x的函數(shù)，需求的函數(shù)，需求)(2xp的邊緣密度的邊緣密度)(21xp2221)()(xdxpxp222212) 1(exp21xdxx2) 1(exp2121x962221)()(xdxpxp2) 1(exp2121x由上面的判決規(guī)則，有由上面的判決規(guī)則，有: :121ln21212) 1(exp21dxxdyy2exp2121ln21dyy2exp2121

54、21ln210dzz222ln420exp12111 xy1dxdy 97)22ln42(2121有數(shù)學(xué)手冊可查得有數(shù)學(xué)手冊可查得:5! 213! 111)(5302xxxdtexxt可算得可算得21與與的關(guān)系如下表所示：的關(guān)系如下表所示： 4211/21/4210.0460.0890.01590.2580.37898x1x221-1 1 1 2W2W1t=-(1/2)ln 由設(shè)定的由設(shè)定的04. 021，查上表可得，查上表可得4，對應(yīng)的，對應(yīng)的693. 02)(ln，從而得此問題的判決規(guī)則為，從而得此問題的判決規(guī)則為: 693. 01x，則判，則判 21x若若99本章主要介紹了貝葉斯統(tǒng)計決策

55、理論為基礎(chǔ)的貝本章主要介紹了貝葉斯統(tǒng)計決策理論為基礎(chǔ)的貝葉斯分類方法葉斯分類方法, ,其中包括了其中包括了最小誤判概率最小誤判概率、最小損失最小損失準(zhǔn)則準(zhǔn)則等，依據(jù)這些準(zhǔn)則設(shè)計的分類器，從理論上講是等，依據(jù)這些準(zhǔn)則設(shè)計的分類器，從理論上講是最優(yōu)的性能，即分類的錯誤率或風(fēng)險在所有可能的分最優(yōu)的性能，即分類的錯誤率或風(fēng)險在所有可能的分類器中為最小，因此經(jīng)常被用來作為衡量其他分類器類器中為最小，因此經(jīng)常被用來作為衡量其他分類器設(shè)計方法優(yōu)劣的標(biāo)準(zhǔn)。設(shè)計方法優(yōu)劣的標(biāo)準(zhǔn)。由于正態(tài)分布在由于正態(tài)分布在物理上物理上的合理性和的合理性和數(shù)學(xué)上數(shù)學(xué)上的計算的計算簡便性，我們詳細(xì)介紹了貝葉斯分類方法在正態(tài)分布簡便性

56、，我們詳細(xì)介紹了貝葉斯分類方法在正態(tài)分布下的幾種特殊情形，導(dǎo)出了其對應(yīng)的判決函數(shù)、決策下的幾種特殊情形，導(dǎo)出了其對應(yīng)的判決函數(shù)、決策面方程及相應(yīng)的幾何描述。面方程及相應(yīng)的幾何描述。100下面我們簡單回顧一下本章所學(xué)的幾種貝葉斯下面我們簡單回顧一下本章所學(xué)的幾種貝葉斯決策準(zhǔn)則決策準(zhǔn)則: :1 1、最小誤判概率準(zhǔn)則、最小誤判概率準(zhǔn)則)()()(2112xpxpxl)()(12PP如果如果12x則判則判兩類時兩類時: :多類時多類時: :)(xPi)(maxxPjjix如果如果判判1012 2、最小損失準(zhǔn)則、最小損失準(zhǔn)則12x則判則判)()()()(111212221221PPxpxp如果如果 兩類

57、時兩類時: :多類時多類時: :計算計算ciiijjxPxR1)()(若若)()(minxRxRjjl則判則判l(wèi)xcj, 2 , 11023 3、含拒絕判決的最小損失準(zhǔn)則、含拒絕判決的最小損失準(zhǔn)則tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判其中：其中：cecrtrec拒判損失拒判損失誤判損失誤判損失正確判決損失正確判決損失兩類時兩類時: :1033 3、含拒絕判決的最小損失準(zhǔn)則、含拒絕判決的最小損失準(zhǔn)則多類時多類時: :計算計算ciiijjxPxR1)()(若若)()

58、(minxRxRjjl則判則判l(wèi)x1, 2 , 1ccj其中其中 為拒絕判決。為拒絕判決。1c1044 4、最小最大損失準(zhǔn)則、最小最大損失準(zhǔn)則如果如果 )()()(1)()()(111121222121*PPxpxp則判則判 21x)(2*P)(1*P是如何獲得的？是如何獲得的？ )(1P讓讓 從從0 逐漸變化到逐漸變化到1，按最小損失準(zhǔn)則算出最，按最小損失準(zhǔn)則算出最小平均損失，即取各類條件平均損失的最小者。小平均損失，即取各類條件平均損失的最小者。由此可得出由此可得出R RP(P( 1 1) )曲線，最大的曲線，最大的R R對應(yīng)的對應(yīng)的P(P( 1 1) )就就是是)(1*P1055 5、N

59、-PN-P準(zhǔn)則準(zhǔn)則如果如果，)()(21xpxp則判則判 21x 是如何獲得的？是如何獲得的？0)(221)(dllp由由固定固定 0 0反求反求 106例：在軍事目標(biāo)識別中，假定有灌木叢和坦克兩種例：在軍事目標(biāo)識別中，假定有灌木叢和坦克兩種類型，它們的先驗概率分別是類型，它們的先驗概率分別是0.7和和0.3，損失函數(shù)如，損失函數(shù)如下表所示，其中，類型下表所示，其中，類型 1和和 2分別表示灌木和坦克，分別表示灌木和坦克，判決判決 1= 1， 2= 2， 3表示拒絕判決?，F(xiàn)在做了四表示拒絕判決?，F(xiàn)在做了四次試驗，獲得四個樣本的類概率密度如下：次試驗，獲得四個樣本的類概率密度如下： P(x| 1

60、):0.1, 0.15, 0.3, 0.6, P(x| 2):0.8, 0.7, 0.55, 0.3 1 2 12.52.0 24.01.0 31.51.5（1 1）用最小誤判概率準(zhǔn)則，判）用最小誤判概率準(zhǔn)則，判斷四個樣本各屬哪一個類型。斷四個樣本各屬哪一個類型。問：問：（3） 把拒絕判決考慮在內(nèi)，重新考核四次試驗的把拒絕判決考慮在內(nèi)，重新考核四次試驗的結(jié)果。結(jié)果。（2 2）假定只考慮前兩種情況，）假定只考慮前兩種情況，試用最小損失準(zhǔn)則判斷四個試用最小損失準(zhǔn)則判斷四個樣本各屬于哪一個類型。樣本各屬于哪一個類型。類型判決判決損損 失失107答答: : 求出四個樣本兩類的似然比。求出四個樣本兩類的