第2章貝葉斯決策理論

第2章貝葉斯決策理論

常用決策規(guī)則分類(lèi)器設(shè)計(jì)正態(tài)分布情況下的貝葉斯決策實(shí)驗(yàn)內(nèi)容2.1引言

貝葉斯決策理論是統(tǒng)計(jì)模式識(shí)別的基本理論，其假設(shè)（1）各類(lèi)別總體的概率分布是已知的；（2）要決策分類(lèi)的類(lèi)別數(shù)是一定的。貝葉斯決策理論研究了模式類(lèi)的概率結(jié)構(gòu)完全知道的理想情況。這種情況實(shí)際中極少出現(xiàn)，但提供了一個(gè)對(duì)比其它分類(lèi)器的依據(jù)，即“最優(yōu)”分類(lèi)器。符號(hào)規(guī)定

分類(lèi)類(lèi)別數(shù)：c

類(lèi)別狀態(tài)：

特征空間維數(shù)：dd維特征空間中的特征向量：

先驗(yàn)概率：類(lèi)條件概率密度：2.1引言2.2幾種常用決策規(guī)則最小錯(cuò)誤率的貝葉斯決策規(guī)則最小風(fēng)險(xiǎn)決策規(guī)則Neyman-Pearson決策規(guī)則極小極大決策規(guī)則基于最小錯(cuò)誤率的貝葉斯決策

基本思想：利用貝葉斯公式使分類(lèi)錯(cuò)誤率達(dá)到最小。癌細(xì)胞識(shí)別問(wèn)題：選擇癌細(xì)胞的d個(gè)特征

經(jīng)調(diào)查統(tǒng)計(jì)，得先驗(yàn)概率

基于最小錯(cuò)誤率的貝葉斯決策僅依靠先驗(yàn)概率進(jìn)行判斷，其決策規(guī)則為此種判斷方法是否合理？利用信息太少！基于最小錯(cuò)誤率的貝葉斯決策加入特征—細(xì)胞光密度章前假設(shè)：各類(lèi)總體概率密度為已知，即已知類(lèi)條件概率密度此時(shí)已知分類(lèi)類(lèi)別數(shù)、先驗(yàn)概率及類(lèi)條件概率密度，可重新進(jìn)行決策。

基于最小錯(cuò)誤率的貝葉斯決策考慮貝葉斯公式癌細(xì)胞識(shí)別問(wèn)題中c=2貝葉斯公式通過(guò)類(lèi)條件概率密度形式的觀察值，將先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率?；谧钚″e(cuò)誤率的貝葉斯決策類(lèi)條件概率密度與后驗(yàn)概率圖示基于最小錯(cuò)誤率的貝葉斯決策兩類(lèi)問(wèn)題最小錯(cuò)誤率貝葉斯決策規(guī)則：基于最小錯(cuò)誤率的貝葉斯決策例：假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常和異常兩類(lèi)的先驗(yàn)概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，類(lèi)條件概率密度分別為試對(duì)該細(xì)胞x進(jìn)行分類(lèi)。解：基于最小錯(cuò)誤率的貝葉斯決策關(guān)于錯(cuò)誤率最小的討論（一維情況）錯(cuò)誤率是指平均錯(cuò)誤率P(e)令每一個(gè)x都取使P(e|x)最小的值，則所有x產(chǎn)生的平均錯(cuò)誤率最小。結(jié)論可推廣至多類(lèi)基于最小錯(cuò)誤率的貝葉斯決策多類(lèi)情況下的貝葉斯決策規(guī)則參照兩類(lèi)情況，也可得到平均錯(cuò)誤率最小的分類(lèi)結(jié)果基于最小風(fēng)險(xiǎn)的貝葉斯決策考慮風(fēng)險(xiǎn)，如癌癥診斷問(wèn)題空襲警報(bào)問(wèn)題制藥企業(yè)藥品合格檢定問(wèn)題因此須考慮減小損失（或代價(jià)）最小風(fēng)險(xiǎn)貝葉斯決策是一種令各種錯(cuò)誤造成的損失（風(fēng)險(xiǎn)）最小化的決策?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策決策會(huì)帶來(lái)相應(yīng)的損失，以決策表來(lái)定義基于最小風(fēng)險(xiǎn)的貝葉斯決策定義損失函數(shù)其表示真實(shí)狀態(tài)為，而采取決策所帶來(lái)的損失。針對(duì)特定x采取決策的條件期望損失（條件風(fēng)險(xiǎn)）為針對(duì)所有x的期望風(fēng)險(xiǎn)定義為欲令R最小，須令針對(duì)每一x的條件風(fēng)險(xiǎn)最小?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則步驟：（1）計(jì)算后驗(yàn)概率（2）利用后驗(yàn)概率及決策表計(jì)算針對(duì)某一x采取a種決策的a個(gè)條件期望損失（3）?。?）中條件風(fēng)險(xiǎn)最小的決策，采取該行動(dòng)?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策例：在最小錯(cuò)誤率例題基礎(chǔ)上，利用決策表按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類(lèi)。0610解：前例已計(jì)算出結(jié)果與前例相反，Why?基于最小風(fēng)險(xiǎn)的貝葉斯決策

兩例結(jié)果相反的原因最小風(fēng)險(xiǎn)決策規(guī)則在考慮錯(cuò)誤率的同時(shí)考慮了“損失”，而上例中將異常細(xì)胞判為正常的代價(jià)較大，占“主導(dǎo)”作用，故產(chǎn)生相反的結(jié)果。決策表直接影響決策結(jié)果，制定應(yīng)慎重。最小風(fēng)險(xiǎn)決策與最小錯(cuò)誤率決策的關(guān)系0-1損失下，最小風(fēng)險(xiǎn)決策等價(jià)于最小錯(cuò)誤率決策基于最小風(fēng)險(xiǎn)的貝葉斯決策通信例題：下圖為一信號(hào)通過(guò)受噪聲干擾的信道判別結(jié)果x0,1信道分類(lèi)器噪聲輸入信號(hào)為0或1，噪聲為高斯型，其均值為0，方差為，信道輸出為x（1）試求最優(yōu)的判別規(guī)則，以區(qū)分輸出x是0還是1？（2）若此通信系統(tǒng)為M進(jìn)制，采用0-1代價(jià)函數(shù)重新求最優(yōu)判別規(guī)則?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策解：最小風(fēng)險(xiǎn)決策的似然比形式基于最小風(fēng)險(xiǎn)的貝葉斯決策直觀上對(duì)數(shù)字信號(hào)的判斷如下圖信號(hào)受0均值高斯噪聲影響，輸入為0時(shí)，幅值的概率密度為輸入為1時(shí)，幅值的概率密度為均值為真實(shí)信號(hào)，噪聲在其上波動(dòng)基于最小風(fēng)險(xiǎn)的貝葉斯決策似然比若令，則0.5為閾值，符合直觀判斷。

基于最小風(fēng)險(xiǎn)的貝葉斯決策（2）∵0-1代價(jià)函數(shù)∴最小代價(jià)轉(zhuǎn)化為最小錯(cuò)誤率Bayes決策若判別結(jié)果x概率密度估計(jì)...最大值選擇器M進(jìn)制貝葉斯分類(lèi)器2.3分類(lèi)器設(shè)計(jì)決策面—?jiǎng)澐譀Q策域的邊界判別函數(shù)—用以表達(dá)決策規(guī)則的函數(shù)決策面02.3分類(lèi)器設(shè)計(jì)多類(lèi)情況下的4種貝葉斯決策規(guī)則定義判別函數(shù)，令2.3分類(lèi)器設(shè)計(jì)可定義為：2.3分類(lèi)器設(shè)計(jì)決策面方程

相鄰決策域在決策面上判別函數(shù)值相等，即決策面的形式

d=1—點(diǎn)

d=2—曲線

d=3—曲面

d>3—超曲面

2.3分類(lèi)器設(shè)計(jì)決策邊界的形式一維點(diǎn)邊界二維線邊界2.3分類(lèi)器設(shè)計(jì)分類(lèi)器—軟硬件機(jī)器多類(lèi)分類(lèi)器的構(gòu)成2.3分類(lèi)器設(shè)計(jì)兩類(lèi)情況：判別函數(shù)決策規(guī)則判別函數(shù)形式?jīng)Q策面方程2.3分類(lèi)器設(shè)計(jì)兩類(lèi)分類(lèi)器的構(gòu)成2.3分類(lèi)器設(shè)計(jì)例：寫(xiě)出最小錯(cuò)誤率和最小風(fēng)險(xiǎn)例題的判別函數(shù)和決策面方程。（1）最小錯(cuò)誤率例題，利用兩類(lèi)形式（2）

形式（2）判別函數(shù)決策面方程2.3分類(lèi)器設(shè)計(jì)（2）針對(duì)最小風(fēng)險(xiǎn)例題判別函數(shù)原形代入數(shù)據(jù)決策面方程2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策前述是抽象的，此處代以正態(tài)分布為什么使用正態(tài)分布？（1）物理上的合理性

樣本點(diǎn)較多地分布在均值附近，遠(yuǎn)離均值點(diǎn)較少，可用正態(tài)分布近似。（2）數(shù)學(xué)上比較簡(jiǎn)便

如表征模型的參數(shù)較少，抽取樣本點(diǎn)方便。2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策單變量正態(tài)分布2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)分布邊緣分布2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策

d×11×d對(duì)稱陣，對(duì)角線元素為方差，非對(duì)角線為協(xié)方差也叫相關(guān)矩，表示兩個(gè)隨機(jī)變量的相關(guān)程度2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)（1）決定了分布共有d+d(d+1)/2個(gè)參數(shù)，（2）等密度點(diǎn)軌跡——超橢球面等密度點(diǎn)為指數(shù)項(xiàng)為常數(shù)時(shí)所取得的點(diǎn)，即

x到u的馬氏距離的平方，構(gòu)成超橢球面2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策區(qū)域中心由均值向量決定，大小由協(xié)方差矩陣決定橢圓的長(zhǎng)短軸方向由∑特征向量方向確定，長(zhǎng)度由確定為特征值，為馬氏距離的平方。2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)（3）不相關(guān)等價(jià)于獨(dú)立不相關(guān)獨(dú)立正態(tài)分布時(shí)，不相關(guān)等價(jià)于獨(dú)立推論：如果多元正態(tài)隨機(jī)向量的協(xié)方差矩陣是對(duì)角陣，則x的分量是相互獨(dú)立的正態(tài)分布隨機(jī)變量。2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)（4）多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布。（5）線性變換的正態(tài)性多元正態(tài)隨機(jī)向量的線性變換仍為多元正態(tài)分布的隨機(jī)向量?？蓪ふ揖€性變換A使為對(duì)角陣，則y各分量獨(dú)立，可提高識(shí)別效率。2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)（6）線性組合的正態(tài)性2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策多元正態(tài)概率模型下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面對(duì)數(shù)單調(diào)遞增分類(lèi)性能不變?nèi)サ羰醉?xiàng)無(wú)關(guān)項(xiàng)

決策面方程

判別函數(shù)2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策特殊情況討論：一、消去負(fù)號(hào)不等號(hào)變向最小距離分類(lèi)器2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策最小距離分類(lèi)器為線性分類(lèi)器定義：判別函數(shù)為線性函數(shù)的分類(lèi)器為線性分類(lèi)器。決策面方程2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策最小距離分類(lèi)器的缺點(diǎn)基本思想：以均值點(diǎn)作為典型樣本，用距離作為判別函數(shù)進(jìn)行分類(lèi)。可以正確分類(lèi)不能正確分類(lèi)分類(lèi)效果不好（1）未考慮樣本服從什么概率分布（2）只用了一個(gè)典型樣本的信息2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策當(dāng)先驗(yàn)概率不等時(shí)的決策面∴第一種情況的決策面為超平面決策面遠(yuǎn)離先驗(yàn)概率大的一方，移動(dòng)距離由方程決定2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策特殊情況討論：二、向先驗(yàn)概率小的方向偏移馬氏距離的平方∴第二種情況的決策面為超平面2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策特殊情況討論：三、決策面方程決定決策面形狀（超二次曲面）決定了決策面的具體形式2.4正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.5分類(lèi)器的錯(cuò)誤率按理論公式計(jì)算計(jì)算錯(cuò)誤率上界實(shí)驗(yàn)估計(jì)（第3章討論）2.6基于貝葉斯分類(lèi)器的遙感圖像分類(lèi)目視判讀計(jì)算機(jī)分類(lèi)

（1）數(shù)據(jù)準(zhǔn)備

質(zhì)量檢查預(yù)處理（2）分類(lèi)判決（3）輸出2.6基于貝葉斯分類(lèi)器的遙感圖像分類(lèi)原始圖像數(shù)據(jù)的準(zhǔn)備圖像變換及特征選擇分類(lèi)判決函數(shù)的選擇確定分類(lèi)算法方案逐個(gè)像素分類(lèi)判決形成分類(lèi)編碼圖像分類(lèi)結(jié)果輸出準(zhǔn)備階段分類(lèi)判決輸出否是開(kāi)始輸入分類(lèi)類(lèi)別數(shù)令i=0i=i+1輸入第i類(lèi)先驗(yàn)概率輸入第i類(lèi)樣本數(shù)據(jù)計(jì)算第i類(lèi)數(shù)學(xué)期望向量和協(xié)方差矩陣i<c?利用判決函數(shù)對(duì)圖像進(jìn)行逐像素判決分類(lèi)結(jié)果圖像輸出結(jié)束2.6基于貝葉斯分類(lèi)器的遙感圖像分類(lèi)各類(lèi)別高斯分布的期望向量與協(xié)方差矩陣的估計(jì)針對(duì)某一類(lèi)為第k個(gè)樣本的第i個(gè)特征值2.6基于貝葉斯分類(lèi)器的遙感圖像分類(lèi)

遙感圖像分為森林、河流、峽谷三類(lèi)，特征選取RGB三個(gè)分量構(gòu)成的特征向量，已知其先驗(yàn)概率分別為0.34，0.33，0.33，每一類(lèi)取64個(gè)樣本的訓(xùn)練區(qū)。利用Beyes分類(lèi)器進(jìn)行分類(lèi)，結(jié)果如下圖所示。2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)實(shí)驗(yàn)?zāi)康膶⒛Ｊ阶R(shí)別方法與圖像處理技術(shù)相結(jié)合，掌握利用最小錯(cuò)分概率貝葉斯分類(lèi)器進(jìn)行圖像分類(lèi)的基本方法，通過(guò)實(shí)驗(yàn)加深對(duì)基本概念的理解。實(shí)驗(yàn)儀器設(shè)備及軟件

HPD538（或兼容PC）、MATLAB（或C語(yǔ)言開(kāi)發(fā)環(huán)境）實(shí)驗(yàn)原理利用最小錯(cuò)誤率貝葉斯分類(lèi)方法確定圖像分割閾值。

2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)基本原理：圖像中目標(biāo)與背景有一定的交錯(cuò)，會(huì)產(chǎn)生將目標(biāo)錯(cuò)分為背景與將背景錯(cuò)分為目標(biāo)兩類(lèi)錯(cuò)誤，通過(guò)Bayes最小錯(cuò)誤率分類(lèi)器求取“最優(yōu)閾值”可令總的錯(cuò)誤率最小。圖像直方圖可作為對(duì)概率密度函數(shù)的近似。2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)

假設(shè)目標(biāo)與背景兩類(lèi)像素值均服從正態(tài)分布且混有加性高斯噪聲，分類(lèi)問(wèn)題可以使用最小錯(cuò)分概率貝葉斯分類(lèi)器來(lái)解決。圖像的混合概率密度函數(shù)可用下式表示圖像中背景的先驗(yàn)概率圖像中目標(biāo)的先驗(yàn)概率圖像中背景的概率密度圖像中目標(biāo)的概率密度求一分割閾值T，使分類(lèi)錯(cuò)誤率最小。假定目標(biāo)的灰度較亮，背景的灰度較暗，則有2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)把目標(biāo)錯(cuò)分為背景的概率可表示為把背景錯(cuò)分為目標(biāo)的概率可表示為總的誤差概率為為求得使誤差概率最小的閾值T，將E(T)對(duì)T求導(dǎo)并令導(dǎo)數(shù)為0，得2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)代換后，可得此時(shí)，若設(shè)，則有若還有，則這時(shí)的最優(yōu)閾值就是兩類(lèi)區(qū)域灰度均值，實(shí)際運(yùn)算依靠迭代算法進(jìn)行。2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)最優(yōu)閾值的迭代算法：設(shè)有一幅數(shù)字圖像f(x,y)，混有0均值加性高斯噪聲，可表示為

如果通過(guò)閾值分割將圖像分為目標(biāo)與背景兩部分，則每一部分仍然有噪聲點(diǎn)隨機(jī)作用于其上，于是目標(biāo)與背景可表示為迭代過(guò)程中，會(huì)多次地對(duì)和求均值，則

可見(jiàn)，隨著迭代次數(shù)的增加，目標(biāo)和背景的平均灰度都趨向于真實(shí)值。因此，用迭代算法求得的最佳閾值不受噪聲干擾的影響。2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)，和利用最優(yōu)閾值對(duì)實(shí)驗(yàn)圖像進(jìn)行分割的迭代步驟為：（1）確定一個(gè)初始閾值可取為

式中，為圖像灰度的最小值和最大值。（2）利用第k次迭代得到的閾值將圖像分為目標(biāo)和背景兩大區(qū)域，其中（3）計(jì)算區(qū)域和的灰度均值和（4）計(jì)算新的閾值，其中（5）如果小于允許的誤差，則結(jié)束，否則，轉(zhuǎn)步驟（2）。2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)分割范例分割閾值1202.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)

實(shí)驗(yàn)步驟及程序理解最優(yōu)閾值迭代算法，設(shè)計(jì)程序?qū)崿F(xiàn)對(duì)自選圖像的最優(yōu)閾值分割。實(shí)驗(yàn)結(jié)果與分析要求寫(xiě)明實(shí)驗(yàn)得到的分割閾值，附分割效果圖。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，說(shuō)明實(shí)驗(yàn)結(jié)果好或者不好的原因，提出改進(jìn)措施。

2.7實(shí)驗(yàn)1—圖像的貝葉斯分類(lèi)實(shí)驗(yàn)報(bào)告撰寫(xiě)要求：一、封皮的填寫(xiě)：實(shí)驗(yàn)課程名稱模式識(shí)別二、實(shí)驗(yàn)名稱：按順序填寫(xiě)圖像的貝葉斯分類(lèi)、K均值聚