貝葉斯決策理論課件

第2章貝葉斯決策理論貝葉斯決策理論統(tǒng)計模式識別的主要方法之一

隨機模式分類方法的基礎

采用貝葉斯決策理論分類的前提：目標（事物）的觀察值是隨機的，服從一定的概率分布。即：模式不是一個確定向量，而是一個隨機向量。

-用貝葉斯決策理論分類的要求：各類別總體概率分布是已知的

P(wi)及p(x/wi)已知，或P(wi/x)已知決策分類的類別一定，例：有C類-特征向量、特征空間：設某個樣本（模式），可用d個特征量x1,x2,…,xd來刻化，即x=[x1,x2,…,xd]T——表示樣本的特征向量特征空間：這些特征的取值范圍構成的d維空間，

為特征空間。每一個樣本可看作d維空間的向量或點特征向量:-相關統(tǒng)計量：

P(wi)—類別wi出現(xiàn)的先驗概率

p(x/wi)—類條件概率密度，即類別狀態(tài)為wi類時，出現(xiàn)模式x的條件概率密度，也稱似然函數(shù)。p(x)—全概率密度P(wi/x)—后驗概率，即給定輸入模式x時，該模式屬于wi類的條件概率。P(wi,x)—聯(lián)合概率-相互關系：貝葉斯公式：-要解決的問題：設：樣本集X，有C類別，各類別狀態(tài)為wi，i=1,…,C。已知P(wi)及p(x/wi)

要解決的問題是：

當觀察樣本x=[x1,x2,…,xd]T出現(xiàn)時，如何將x劃歸為某一類。-方法：

已知類別的P(wi)及x的p(x/wi)，利用貝葉斯公式，可得類別的后驗概率P(wi/x)再基于最小錯誤概率準則、最小風險準則等，就可統(tǒng)計判決分類。-2.2幾種常用的決策規(guī)則1．基于最小錯誤率的貝葉斯決策分類準則：錯誤率最小討論兩類問題的決策：w1,w2例如：癌細胞檢查、產(chǎn)品質量等-合理決策依據(jù)：根據(jù)后驗概率決策

已知后驗概率P(w1|x),P(w2|x)，決策規(guī)則：當P(w1|x)>P(w2|x)xw1，當P(w1|x)<P(w2|x)xw2當對具體樣本作觀察后，判斷出屬于wi

的可能性后，再決策才合理。-P(wi|x)的計算問題：由貝葉斯公式得到，即：也稱為似然函數(shù)-決策規(guī)則的等價形式1.若

則：2.則即：則，否則為常數(shù)，由貝葉斯公式,有若-3.若稱為似然函數(shù)比稱為閾值，也稱為似然比則，否則其中：-取對數(shù)形式：例：一大批人進行癌癥普查，w1病，w2正常P(w1)=0.005(P(w2)=0.955)設樣本具有一維特征，即x=陽（或x=陰），根據(jù)臨床記錄統(tǒng)計-

患癌試驗反應為陽的概率為0.95，即：p(x=陽/w1)=0.95（p(x=陰/w1)=0.05）

正常人試驗反應為陽的概率為0.01，即：p(x=陽/w2)=0.01（p(x=陰/w2)=0.99）問：若化驗的人為陽，患癌的概率為多少？-貝葉斯公式：

-或：似然比形式判決閾值

只能作為普查篩選手段，要確診，還需做其它化驗，提供更多信息

-問題：按這種辦法決策，是否出現(xiàn)的錯誤概率最??？對p(x|wi)P(wi)的討論。定義：平均錯誤率求條件錯誤概率:-圖2.3t為兩類的分界面（判決門限）當觀測到一個x值后，則x的條件錯誤概率:（決策為w2時）（決策為w1時）-

在一維特征空間里，t為x軸上一個點，分類器將特征空間劃分成兩個區(qū)域：R1，R2在區(qū)域R1中在區(qū)域R2中-二是xw2，而判為w1，圖中斜紋區(qū)域顯然，分類錯誤包含兩種情況：一是xw1，而判為w2，圖中方格區(qū)域-條件錯誤率p(e|x)是x函數(shù)，對于大量樣本x，則總的錯誤概率是p(e|x)的數(shù)學期望?？傚e誤率為：陰影面積-t不同，陰影面積不同，P(e)也不同。按式2-2或2-3決策，即t選擇在圖2-3圖示位置，使得對每個x，p(e|x)為最小，則p(e)也最小。該決策準則使平均錯誤率最小，稱為最小錯誤率貝葉斯決策規(guī)則。（若改為t1，陰影面積增大）-決策規(guī)則推廣到多類決策則例2.1自看作業(yè)：2.42.6-2．基于最小風險的貝葉斯決策考慮：風險代價例：兩種錯誤判決正常癌細胞癌細胞正常(后果嚴重，即損失更嚴重)后者錯判風險遠大于前者必須考慮風險問題——決策使風險最小-考慮各種錯誤造成的損失不同而提出的一種決策規(guī)則，稱最小風險貝葉斯決策。定義損失函數(shù)：當真正的類別（狀態(tài)）是wj而做出的決策卻屬于i時所帶來的損失（風險），用(i,wi)表示。i表示可能作出的決策，i=1,2…,a決策數(shù)目與類別數(shù)目可能相等，即a=c，也可能不等，這時a=c+1，因做決策時，還可采取“拒絕”決策最小風險貝葉斯決策-不同的決策（i）和不同的類別(wj)形成一個a×c維的風險矩陣，即決策表。表中：狀態(tài)也稱類別，決策也稱判決，損失也稱為風險。兩類問題：用ij=(i,wj)表示真類別為wj，卻判決為wi所招致的損失。表2.1-說明幾個概念（1）x=[x1,x2,…,xd]T—d維隨機向量（特征向量）（2）=[w1,w2,…,wc]—由c個狀態(tài)組成的狀態(tài)空間（3）A=[1,2,…,a]—有a個可能的決策組成的決策空間（4）(i,wj)i=1,…,a,j=1,…,c—真狀態(tài)wj，而采取決策i時帶來的損失（風險），稱損失函數(shù)-

對于給定的x，若采取的決策平均風險為i，則有c個不同的(i,wj)（j=1,…,c）供選擇，隨意性大。定義(i,wj)的條件平均風險(i,wj)的條件平均風險：-定義條件平均風險（損失的數(shù)學期望）：上式表示：針對特定的x值，采取決策i時所帶來的條件平均風險，i=1,2,…,a若只有兩類，則有可比較兩者的大小來決策-

∵x是隨機向量，對不同的x，采取決策i時，決策i隨x的取值而定，是x的函數(shù)，記為(x)，(x)是隨機變量定義平均風險（總風險）

條件風險R(i|x)不能反映整個特征空間劃分成某類型空間的總平均風險。定義平均風險，即總風險：反映對特征空間X上所有樣本x的值采取決策(x)時，所帶來的平均風險。-最小風險決策：思路：針對每一個x，計算出全部類別的條件風險R(i|x)。采取決策時，使條件風險最小，那么對所有x作決策時，其平均風險也必然最小。決策規(guī)則為：若即樣本x歸屬條件風險最小的那種決策。則所有決策條件風險兩類：其等價形式（作業(yè)2.6）-實施最小風險判決規(guī)則的步驟：（1）給定x，由貝葉斯公式算出P(wj|x)j=1,…,C（2）已知決策表，計算各種決策的R(i|x)

i=1,2,…a（3）按2-17式比較各R(i|x)，即

則=k，將x歸入決策為k的類別例2.2（自看）即：判為異常與例2.1相比，分類結果剛好相反-兩種決策規(guī)則的關系：定義0—1損失函數(shù)：最小錯誤率貝葉斯決策規(guī)則是最小風險貝葉斯的特例∴P(wi|x)最大化，對應R(i|x)最小化對x采取決策xwi時的條件錯誤率所有后驗概率加起來的和為1，即最小化-∴當規(guī)定正確決策損失為零，錯誤決策損失相等時，相當于選擇最大后驗概率類——最小錯誤率貝葉斯決策，也就是0—1損失函數(shù)條件下的最小風險貝葉斯決策。-“基于最小錯誤率貝葉斯決策的蘋果圖像分割”《農(nóng)業(yè)工程學報》2006年5月圖像分割方法有兩大類:

基于輪廓的方法(邊緣檢測)；基于區(qū)域的方法（依據(jù)某種相似性判決標準，考察像素間的相似程度，將像素劃分到不同類）。實例-基于最小錯誤率貝葉斯決策分割圖像-基于邊緣檢測法分割圖像-由于蘋果表面色彩的不一致性，邊緣檢測法往往會把果面一些點也作為邊緣點誤檢測出來。貝葉斯方法更適合檢測蘋果的大小、形狀和表面缺陷邊緣檢測方法對圖像中的噪聲敏感最小錯誤率貝葉斯決策進行圖像分割則可避免將目標和背景作為兩類進行判別,得到較準確的圖像分割結果，能明確其大小和位置，且對圖像中果面噪聲點有較好的抑制作用,無須濾波。-例：基于最小風險貝葉斯決策的織物圖像分割紡織學報，2006年織物圖像分割：

就是要把織物圖案提取出來，判定圖像中每一點是否為花色邊緣輪廓。-基于最小風險貝葉斯決策的織物圖像分割-基于邊緣檢測法的織物圖像分割-“基于最小風險貝葉斯算法的郵件過濾系統(tǒng)設計”

《河北師范大學學報》2006年7月分類器設計思路：先對電子郵件樣本進行訓練,獲得最能區(qū)分出是否為垃圾郵件的特征,構成樣本特征矢量。用最小錯誤率決策分類，但被誤判為垃圾郵件的可能性較大，再采用最小風險貝葉斯算法進行修正，則可有效降低錯誤決策損失?；谧钚″e誤率的決策方法-AnApproachtoFeatureSelectionandClassificationofRemoteSensingImagesBasedontheBayesRuleforMinimumCost

IEEETRANSACTIONSONGEOSCIENCEANDREMOTESENSING,VOL.38,NO.1,JANUARY2000

實現(xiàn)步驟：選擇特征向量用神經(jīng)網(wǎng)絡方法確定計算利用最小風險法分類-總分類錯誤率為18.8%-對實際數(shù)據(jù)進行火災風險分類

-基于認知學習的最小風險貝葉斯郵件過濾算法

物流自動化系統(tǒng)故障診斷的貝葉斯決策判據(jù)基于車速的交通事故貝葉斯預測基于貝葉斯最小錯誤率的一種新的指紋分割算法等等應用范圍很廣，如：-3．聶曼—皮爾遜決策規(guī)則（Neyman—Pearson)

實際中存在以下幾種情況：(1)P(wi)不知(2)ij損失函數(shù)不知(3)某一類錯誤較另一類錯誤更嚴重限定一類錯誤率條件下，使另一類錯誤率為最小的兩類決策

-針對(1)，采用最小最大損失準則—基于最壞情況下，平均代價最小針對(2)，采用最小錯誤率決策準則針對(3)，采用N-P（聶曼—皮爾遜）決策準則。另外，(1)、(2)均不知，僅知道類概率密度時，可用N-P準則。-N-P準則：討論兩類問題平均錯誤率：

但在多數(shù)模式識別系統(tǒng)中，p(wi),i都可預先規(guī)定，∴貝葉斯判據(jù)用得最廣-N—P基本思想：0是很小的常數(shù)

取p2(e)常數(shù)條件下，使p1(e)最小，由此確定判決閾值t，即：拉格朗日乘子法：為使p1(e)最小，適當選擇正數(shù)，使最小化-式中

xw1

而錯判為w2的錯誤概率

xw2

而錯判為w1的錯誤概率根據(jù)類條件概密性質（R=R1+R2，整個特征空間，R1與R2不相交）-(是t的函數(shù)，即R1是變量)

要使最小，就是選擇R1，R2的邊界t，由此再選擇最佳，使最小。-上式可寫為為使最小化，分別對t，求導，可得極值解。∴t是0的函數(shù)，0定后可找出t。由此確定邊界面t，即確定R1、R2-決策閾值N-P決策過程：-1.已知0，由N-P決策過程：計算區(qū)域R1，即確定分界點t2.由t，計算出3.N—P判決規(guī)則為：∴只知道類條件概密時，可用N—P規(guī)則-三種決策的聯(lián)系（似然比的決策門限不同）最小錯誤率貝葉斯決策最小風險貝葉斯決策-2.2.4最小最大決策在P(wi)不知或變化時，如何使最大可能的總風險最小化，即最壞情況下爭取盡可能減小。固定的閾值不可能給出最優(yōu)結果，平均損失變大。實際中P(wi)變化，且變化范圍較大，甚至不知。不能按最小風險貝葉斯決策應采用最小最大決策-討論兩類問題：損失函數(shù)ij：當xwj時，決策為xwi的損失，i,j=1,2作出錯誤決策比作出正確決策所帶來的損失更大∴21>11,12>22下面給出R與P(w)的函數(shù)關系:-平均風險（即總風險、也稱期望風險）：根據(jù)R(i/x)定義及貝葉斯公式1的決策區(qū)域2的決策區(qū)域（將R表示成P(w)的函數(shù)）-利用代入上式,整理得：其中：目的：需要分析平均風險R與P(w1)的關系用P(w1)表示平均風險R:-可見：1）一旦決策區(qū)域R1，R2確定，即a,b為常數(shù)，平均風險R就是P(w1)的線性函數(shù)；即P(w1)變化時，R1，R2不作調整，則平均風險R與P(w1)呈線性關系。

2）P(w1)變化時，決策區(qū)域R1，R2劃分也變化，即a,b變化，則平均風險R與P(w1)是非線性關系。

求R與P(w1)的關系曲線：即R=f[P(w1)]-先取定P(w1)求RP(w1)曲線，步驟：按最小風險貝葉斯決策確定分類面，即確定決策區(qū)域R1，R2利用上式求相應的最小風險R*P(w1)從01取若干個值，重復上述過程，得到R*P(w1)關系曲線見圖2.4-∴R與P(w1)是非線性關系，且曲線上R值都對應每個P(w1)值的最小風險損失。圖中R*是當P(w1)＝P*

(w1)時的最小風險值。R=f[P(w1)]-如果區(qū)域R1、R2先由P(w1)值確定（a,b為常數(shù)），意味判別門限固定。當P(w1)變化時，R與P(w1)為線性關系。顯然，得不到最佳結果，因CD直線在曲線上方，且aRa+b這時R最大可能的風險值為：R=a+b（圖中D點）不希望！見圖中CD直線-

取不同的固定門限，有不同直線，對應的R最大值不同。直線EF的最大值R=a+b

∵P(w1)是不知或變化的，∴考慮如何使最大可能風險為最小a+b-如果有某個P(w1)，使最小風險決策得到的區(qū)域R1、R2能使b=0，則

這時R與P(w1)無關，即最大可能的風險達到最小值為a-1）以總風險R對P(w1)求極值，即方法：2）找出極值點后，該點的切線就為水平線，這時總風險R與P(w1)無關；∴b=0，意味決策區(qū)域的劃分使平均風險R達到曲線的極大值（最小風險的極大值）。由2-34求導，得令其為0，得極大值，-見圖2-4b，當P(w1)=P*M(w1)時，R=R*M為最大值。對應決策區(qū)域不變時，R與P(w1)的關系為一條平行線CD，即不管P(w1)如何變化，風險不再變化?！嗍棺畲箫L險達到了最小化！-總結：當P(w1)變化時，應選使風險R達最大值（b＝0）時的P*(w1)來設計分類器。在這種分類決策區(qū)域，能保證不管P(w1)如何變化，最大風險為最小值a?！嘧钚∽畲鬀Q策任務就是尋找使R最大時的決策域R1，R2，即求b=0的決策域，由2-35求解。-2.2.5序貫分類方法實際中，為得到x的d個觀測值，要花費代價?？紤]每個特征值提取所花的代價，最優(yōu)分類結果不一定將d個特征值全部使用；另外，雖然特征數(shù)目增多，一般判決風險R(i/x)降低，但每個特征值貢獻不同。

∴排隊從大小，每投入一新特征，計算一次R，同時計算獲取新特征應付出的代價與該特征對R的貢獻之和，比較后決定是否加入新特征。－－－序貫分類方法-2.2.6分類器設計c類分類決策問題：按決策規(guī)則把d維特征空間分為c個決策區(qū)域。決策面：劃分決策域的邊界面稱為決策面。數(shù)學上用決策面方程表示。幾個概念判別函數(shù)：表達決策規(guī)則的函數(shù)，稱為判別函數(shù)。-1）定義一組判別函數(shù)根據(jù)決策規(guī)則若，將x歸于wi類即討論具體的判別函數(shù)、決策面方程、分類器設計-例：基于最小錯誤率貝葉斯判決規(guī)則，顯然其可定義為：判別函數(shù)有多種形式-例：基于最小風險貝葉斯判決規(guī)則，判別函數(shù)可定義為：顯然，依據(jù)最大值判別法，且選擇不是唯一若將都乘以相同的正常數(shù)或加相同的常量，不影響判決結果-一般地是單調遞增函數(shù)，則分類結果不變2）決策面方程（即判決邊界）若類型wi與wj的區(qū)域相鄰，它們之間的決策面方程為-圖2.5(a)為一維特征空間的三個決策區(qū)域（d=1），決策面為分界點；根據(jù)判決規(guī)則，建立分類器結構圖2.5(b)為二維特征空間的兩個決策區(qū)域（d=2），決策面為曲線；三維特征空間，分界處是曲面；d維特征空間，分界處是超曲面。-3）分類器設計

（硬件＋軟件）功能：先確定選出判決-g1(x)Maxg(x)g2(x)gn(x)例：圖2-6分類器的組成d維空間-再由結果的正負作決策，可簡化設計。見圖2-7兩類：求最大值可轉為將兩個判別函數(shù)相減，即定義一個簡單判別函數(shù)例2.3g(x)閾值單元-2.3正態(tài)分布時的統(tǒng)計決策（研究貝葉斯分類方法在正態(tài)分布中的應用）很多時候，正態(tài)分布模型是一個合理假設。在特征空間中，某類樣本較多分布在這類均值附近，遠離均值的樣本較少，一般用正態(tài)分布模型是合理的。

a、正態(tài)分布在物理上是合理的、廣泛的。b、正態(tài)分布數(shù)學上簡單，N(μ,σ2)只有均值和方差兩個參數(shù)研究的理由：-1.一維正態(tài)分布，見式2－43（常見）-2.多維（d維）隨機向量x的正態(tài)分布由多元聯(lián)合概率密度描述其中：d維特征向量d維均值向量且：協(xié)方差矩陣，對稱且有個獨立元素--1）參數(shù)、對分布起決定性作用，即p(x)由、確定，記為N(,)，個獨立元素確定。2）等密度點軌跡為超橢球面，區(qū)域中心由μ決定，區(qū)域形狀由∑決定。正態(tài)分布特點：稱為超橢球面即等密度點滿足當指數(shù)項為常數(shù)時，p(x)值不變-在數(shù)理統(tǒng)計中被稱為馬氏距離的平方（Mahalanobis）∴等密度點軌跡是x到u的馬氏距離r為常數(shù)的超橢球面，其大小是樣本對均值向量的離散度度量。最小錯誤率貝葉斯決策規(guī)則變?yōu)椋喝羧绻鹸到期望向量ui的馬氏距離最小，則xwi-3）不相關性等價于獨立性對于正態(tài)分布的隨機向量x，若xi和xj之間不相關，則它們一定互相獨立不相關：獨立：推論：是對角陣，xii=1,…,d，互相獨立-5）線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。即則4）邊緣分布和條件分布仍是正態(tài)分布例是正態(tài)分布，則是正態(tài)分布也是正態(tài)分布-即：總可以找到一組坐標系，使變換到新坐標系的隨機變量是獨立的（重要?。┮虼?，總可以找到一個線性變換矩陣A，使y的協(xié)方差陣AAT為對角尺寸，這時y的各分量之間獨立。

6）線性組合的正態(tài)性-2.3.2正態(tài)分布下的最小錯誤率貝葉斯判別函數(shù)和決策面

i=1,…,c其中1．判別函數(shù)最小錯誤率判別函數(shù)是：服從-進行單調的對數(shù)變換，則判別函數(shù)為：決策面是超二次曲面，如：超平面，超球面，超橢球面馬氏距離的度量值-2．決策面方程即：-3．特殊情況1）對所有類即：各類協(xié)方差陣相等，且都是對角矩陣。→對角線為2，非對角線為零∴不影響分類，可忽略判別函數(shù)為：-則判別函數(shù)變?yōu)椋簹W幾里得距離平方，即歐氏距離平方

得到歐氏距離的度量值，它是馬氏距離度量的一個特例。即：等密度點是圓形-歐氏距離則貝葉斯決策規(guī)則變?yōu)樽钚【嚯x分類規(guī)則。最小距離分類法：服從正態(tài)分布，各類協(xié)方差矩陣且先驗概率相等，則可執(zhí)行最小距離分類法。其判別規(guī)則為：若，則-即：計算樣本x與μi的歐氏距離，找最近的μi把x歸類例：設一維特征空間（d=1）的樣本分布

u1=55.28，u2=79.74若則否則-將展開得：則判別函數(shù)：

其中，與分類無關，忽略即：——是線性判別函數(shù)，稱為線性分類器-對于兩類情況：-決策面方程：其中推出：決策面是一個通過x0，且與向量w正交的超平面超平面方程分類直線的法向量-討論：（兩類情況）--2）Σ

＝

Σi

：仍是超平面，但不與垂直

求樣本x與各類均值的馬氏距離，把x歸于最近一類——