模式識別-第2講-貝葉斯決策理論1

1、信號空間特征空間12,Tndx xxRxx12,ic 統(tǒng)統(tǒng)計決策理論。計決策理論。映射映射 limNNP AfAP(A,B|C)=P(A|B,C) P(B|C)P(A,B|C)=P(A|B,C)/P(B|C)?( , ,)( ,|)( )P A B CP A B CP C 等式右邊等式右邊: : ( , ,)( ,)(|,)(|)( ,)( )P A B CP B CP A B C P B CP B CP C( , ,)( )P A B CP C xF xp t dt Fxp x P xXxxp xx則p(x)稱為的概率密度函數(shù)。一般地，對于連續(xù)型隨機變量X，存在非負可積函數(shù)p(x)(x有一定

2、的取值范圍)，使對x取值范圍內(nèi)的任意a,b(ab)都有式中P(aXb)是隨機變量介于a-b所對應的隨機事件之概率，稱p(x)為X的概率密度函數(shù)。 P aXbp x dxab( ) 1NiiiP BP A P B A P B A P AP A BP Bu連續(xù)形式：連續(xù)形式：A A 為離散隨機變量，為離散隨機變量，B B 為連續(xù)隨機變量：為連續(xù)隨機變量： p B A P AP A Bp B21( )( |) ()jjjp xp xP|( )iiip xPPxp x , 1,2;iPi|, 1,2ip xi。iP | x似然 先驗后驗(分布或密度)全概率2121)|()|(xxPxP212211)(

3、)|()()|(xPxpPxp211221)()()|()|()(xPPxpxpxl211221)()(ln()|(ln)|(ln)(ln()(xPPxpxpXlXh121122()() ()() PPPPxxxx對待分類模式的特征我們得到一個觀察值對待分類模式的特征我們得到一個觀察值x，合理的決策合理的決策規(guī)則：規(guī)則：1221() ()() PP ePxxxxx決策錯誤的條件概率（隨機變量決策錯誤的條件概率（隨機變量x 的函數(shù)）：的函數(shù)）：模式特征模式特征x 是一個隨機變量，在應用是一個隨機變量，在應用Bayes法法則時，每當觀察到一個模式時，得到特征則時，每當觀察到一個模式時，得到特征x，

4、就可，就可利用后驗概率作出分類的決策，同時也會帶來一定利用后驗概率作出分類的決策，同時也會帶來一定的錯誤概率。的錯誤概率。若觀察到大量的模式，對它們作出決若觀察到大量的模式，對它們作出決策的平均錯誤概率策的平均錯誤概率P(e)應是應是P(e|x)的數(shù)學期望。的數(shù)學期望。( )() ( )P eP epdxxx21212211211221112211221122( )() ( )(| ) ( )(| ) ( )( |) ()( |) ()(,)(,)() ()() ()() ()() ()()( )()(ttttRRP eP epdPpdPpdpPdpPdPRP x RPRPPRPpPdpPdP

5、P ePPxxx=xxxxxx=xxxxxxxxxxx) ev例例：某地區(qū)細胞識別； P(1)=0.9， P(2)=0.1 未知細胞x，先從類條件概率密度分布曲線上查到： p(x/ 1)=0.2， p(x/ 2)=0.4問該細胞屬于正常細胞還是異常細胞。解解：先計算后驗概率：12()(),PP因為所以先驗概率起很大作用。1112121() ()0.2 0.9()0.8180.2 0.90.4 0.1() ()()1()0.182jjjP xPPxP xPPxPx 121()(),PxPxx 因為屬正常細胞。1|,|, 1,2,ciijjjRxPxia ,一般決策表一般決策表1(|)(|)(,)

6、(|),1,2,.,iijcijjjRxEPxia 1,., (x)minxkkikRIfthenR這樣按最小風險的這樣按最小風險的Bayes決策規(guī)則，采取的決策將決策規(guī)則，采取的決策將隨隨x的取值而定，引入函數(shù)的取值而定，引入函數(shù) 表示對表示對 的決策。對整的決策。對整個特征空間上所有個特征空間上所有 的取值采取相應的決策的取值采取相應的決策 所帶來所帶來的平均風險的平均風險顯然，我們對連續(xù)的隨機模式向量按最小風險顯然，我們對連續(xù)的隨機模式向量按最小風險Bayes決策規(guī)則采取的一系列決策行動可以使平均風險最決策規(guī)則采取的一系列決策行動可以使平均風險最小。小。我們已經(jīng)分析了兩種分別使錯誤率和風

7、險達到最小我們已經(jīng)分析了兩種分別使錯誤率和風險達到最小的的Bayes決策規(guī)則，下面分析一下兩種決策規(guī)則的關(guān)系。決策規(guī)則，下面分析一下兩種決策規(guī)則的關(guān)系。( ( ) ) ( )RRpdx xx xx( )xx( )xxx(,)ijij 11111221212211222122()()()()() ()()()()() RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()() () () () ()() () () () () () () () RRPPPPPPxxxxxxxx2111112222121111122222121122()

8、() () () () () () () ()() ()() PPPPPPPPxxxxxxxx21111222在兩類問題中，若有在兩類問題中，若有 ，決策規(guī)則變?yōu)椋瑳Q策規(guī)則變?yōu)?這時最小風險的這時最小風險的Bayes決策和最小錯誤率的決策和最小錯誤率的Bayes決策規(guī)則是決策規(guī)則是一致的。一致的。112222221111( |)().( |)()p xPp xP一般的多類問題中，設(shè)損失函數(shù)為一般的多類問題中，設(shè)損失函數(shù)為0-10-1損失函數(shù)損失函數(shù): : 0 (,) ,1,2, 1 ijiji jcij 11()(,) ()()cciijjjjjj iRPP xxx1,2,1,2,1minm()in()()icickijjj icRRPxxx1111,2,1,2,11,2,1,2,() ()()1() ()()min() min() min1()max()cjjcjjcjiiikiiccjicjj iiiicicpPPpPRRPPP xxxxxxxx例例：某地區(qū)細胞識別； P(1)=0.9， P(2)=0.1 未知細胞x，先從類條件概率密度分布曲線上查到：P(x/ 1)=0.2， P(x/ 2)=0.4問該細胞屬于正常細胞還是異常細胞。111221220,6,1,0損失函數(shù)：12()0.818,()0.182PxPx解：計算出的后驗概