統(tǒng)計(jì)(Bayesian決策理論

1、第二章 統(tǒng)計(jì)（Bayesian）決策理論Bayesian決策理論是統(tǒng)計(jì)模式識(shí)別方法的理論基礎(chǔ)，大多數(shù)人認(rèn)為也是神經(jīng)網(wǎng)絡(luò)分類(lèi)方法的理論基礎(chǔ)。說(shuō)到底，Bayesian決策方法就是企望在后驗(yàn)概率P(wj/x)（據(jù)此確定樣本x的類(lèi)別）和代價(jià)P(e)（即風(fēng)險(xiǎn)，做這一決策產(chǎn)生的損失）之間尋找一個(gè)平衡點(diǎn)。當(dāng)然，我們希望P(wj/x)越大越好，P(e)越小越好。2.1 基于最小錯(cuò)誤率（Minimum-error-rate）的決策最小錯(cuò)誤率Probability of minimum error。我們應(yīng)將之理解為犯錯(cuò)誤最小的概率，與上一章的分類(lèi)錯(cuò)誤率不是一回事。設(shè)有兩個(gè)類(lèi)別w1和w2，它們的先驗(yàn)概率（Prior

2、 Probabilities）P(w1)、P(w2)為已知。(1) 根據(jù)先驗(yàn)概率決策對(duì)樣本x而言，我們除知道P(w1)和P(w2)之外，其它一無(wú)所知。令P(w1)>P(w2)，若希望做決策時(shí)誤差為最小，則認(rèn)為 xÎw1。類(lèi)似地，若有n個(gè)類(lèi)別，且則決策 xÎwj；若這時(shí)，我們不能作出決策。該方法的缺陷之一是P(wj)的準(zhǔn)確值一般是不知道的，常用的方法是估計(jì)。設(shè)樣本總數(shù)為N，第j類(lèi)樣本數(shù)為Nj，則（頻數(shù)比）。若所有類(lèi)別的樣本數(shù)一樣多，即，k=1,2,¼,n，這時(shí)該方法失效。(2) 根據(jù)后驗(yàn)概率（Posteriori Probabilities）決策設(shè)可求得后驗(yàn)概

3、率P(wj/x)，j=1,2,¼,n，若則可決策 xÎwj。我們知道，Bayesian公式為這里，p(x)為x的概率密度，p(x/wj)為x屬于wj的類(lèi)條件概率密度。將(2-4)代入(2-3)，得或式(2-6)可改寫(xiě)成于是，依據(jù)后驗(yàn)概率大小可得到如下決策規(guī)則我們稱(chēng)l(x)為似然函數(shù)（Likelihood function）。特別地，若P(wj)=P(wk)，即先驗(yàn)概率相等，這時(shí)分類(lèi)閾值q=1，式（2-8）所示的決策規(guī)則化為即R1R20xl(x)圖2.2 似然比分布曲線R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)圖2.1 類(lèi)條件概率密度與先

4、驗(yàn)概率乘積的分布曲線1這就是說(shuō)，在先驗(yàn)概率相等的條件下，我們可以?xún)H根據(jù)類(lèi)條件概率密度的大小來(lái)確定樣本x的類(lèi)別。圖2.1為p(x/wj)=N(0, 1), p(x/wk)=0.6N(1, 1)+0.4N(-1, 2)的類(lèi)條件概率密度分布曲線，圖2.2為這兩個(gè)類(lèi)的似然比分布曲線(3) 最小錯(cuò)誤概率圖2.3為求最小錯(cuò)誤概率的示意圖R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)圖2.3求最小錯(cuò)誤概率的示意圖x屬于wk但被錯(cuò)分為wj的區(qū)域x屬于wj但被錯(cuò)分為wk的區(qū)域。最小錯(cuò)誤概率就是圖中陰影部分的面積。若樣本x屬于wk，但分類(lèi)器將其錯(cuò)分為wj，由此引起的分類(lèi)誤差的概率

5、為同樣地，若樣本x屬于wj，但分類(lèi)器將其錯(cuò)分為wk，由此引起的分類(lèi)誤差的概率為在只有wj、wk兩個(gè)類(lèi)別的情況下，樣本x被錯(cuò)分的概率為由于和將(2-14)和(2-15)代入(2-13)，得即但P(wj)+P(wk)=1，所以我們稱(chēng)P(c)為正確分類(lèi)的概率。于是，式（2-19）意味著使分類(lèi)錯(cuò)誤的概率為最小等價(jià)于使分類(lèi)正確的概率為最大。值得注意的是，最小錯(cuò)誤概率的推導(dǎo)實(shí)際上是根據(jù)后驗(yàn)概率得到的，即（2-13）的完整寫(xiě)法是對(duì)于只有wj和wk兩個(gè)類(lèi)別的情況，基于最小錯(cuò)誤率的決策邊界有下列幾種表達(dá)形式。(1) 直接由后驗(yàn)概率相等所決定，即(2) 由后驗(yàn)概率取自然對(duì)數(shù)相等所決定，即將Bayes公式兩邊取自然對(duì)數(shù)，我們有這里，被稱(chēng)為分類(lèi)閾值。上述結(jié)論很容易推廣到多類(lèi)情況?；谧钚″e(cuò)誤概率的決策方法存在以下缺陷。(1) 先驗(yàn)概率P(wj)，j=1,2,¼,n一般不知道，難以準(zhǔn)確估計(jì)。(2) 類(lèi)條件概率密度函數(shù)p(x/wj)，j=1,2,¼