模式識別決策方法

模式識別決策方法第三章:Bayes決策方法第2頁,共75頁，星期六，2024年，5月Bayes決策方法原理根據(jù)Bayes決策理論，由先驗知識來推斷后驗概率保證錯誤概率最小或風(fēng)險最小第3頁,共75頁，星期六，2024年，5月Bayes決策方法先驗知識先驗概率P(ωi

)類概率密度P(X/ωi)

第4頁,共75頁，星期六，2024年，5月Bayes決策方法根據(jù)考慮問題的角度Bayes決策法最小錯誤概率的Bayes決策法最小風(fēng)險的Bayes決策法第5頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策一維二類情況設(shè)兩類模式分別

1和

2，其類概率密度分別為P(x/

1)和P(x/

2),先驗概率為P(

1)和P(

2)P(x/

1)P(x/

2)

x

第6頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策一維二類情況顯然：由Bayes公式（聯(lián)合概率密度知）：第7頁,共75頁，星期六，2024年，5月一維二類情況則后驗概率同理可得其中最小錯誤概率的Bayes決策第8頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策一維二類情況合理的決策為：對待識樣本x若P(

1/x)>P(

2/x)，則判x∈

1類若P(

2/x)>P(

1/x)，則判x∈

２類第9頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策一維二類情況上述決策等價于：對待識樣本x若P(x/

1)P(

1)>P(x/

2)P(

２)，則判x∈

1類若P(x/

2)P(

2)>P(x/

1)P(

1)，則判x∈

２類即由先驗知識推斷后驗概率第10頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策一維二類情況或：，則判x∈

1類上述分類準則稱為Bayes決策準則似然比第11頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策特殊情況下，若P(

1)=P(

２)，則分類決策完全由類概率密度函數(shù)決定。即：

若P(x/

1)>P(x/

2)，則判x∈

1類若P(x/

2)>P(x/

1)，則判x∈

２類第12頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策以魚自動分類為例，假設(shè)僅選取魚的長度作為特征，則兩類魚的類概率密度函數(shù)P(x/

1)和P(x/

2)如下：第13頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策類概率密度來源來統(tǒng)計直方圖鱸魚鮭魚第14頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策兩條曲線描述了兩類魚的長度區(qū)別概率密度函數(shù)已歸一化，因此每條曲線下的面積為１，即：第15頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策若先驗概率P(

1)=2/3，P(

２)=1/3，則其后驗概率P(

1/x)和

P(

2/x)如下圖所示特征值x=14的模式如何分類？0.920.08第16頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策錯誤概率最??？錯誤概率P(x/

1)P(

1)P(x/

2)P(

2

)

x

R1R2第17頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策錯誤概率最小？無論判別從哪個方向調(diào)整，均導(dǎo)致錯誤概率的增加！P(x/

1)P(

1)P(x/

2)P(

2

)

x

R1R2第18頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策多類多維情況

設(shè)Ω={

1，

2，﹒﹒﹒，ωc}是C個類別狀態(tài)的有限集合，X=[x1，x2，﹒﹒﹒，xd]T是d維特征向量，

P(x/

i)

為第i類的類概率密度函數(shù)，P(

i

)

為第i類的先驗概率，則有：其中第19頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策多類多維情況Bayes決策準則為：

第20頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策舉例設(shè)某地區(qū)細胞識別中正常(

1)和異常(

2)兩類的先驗概率分別為：

P(

1)=0.9P(

2)=0.1

且知

1和

2兩類的類概率密度函數(shù)為P(x/

1)和P(x/

2)

現(xiàn)有一待識細胞其特征值為x，從概率密度函數(shù)曲線查得：

P(x/

1)=0.2P(x/

2)=0.4試用Bayes決策準則對待識樣本進行分類。第21頁,共75頁，星期六，2024年，5月最小錯誤概率的Bayes決策解：P(x/

1)P(

1)=0.2×0.9=0.18P(x/

2)P(

2)=0.1×0.4=0.04可見：

P(x/

1)P(

1>P(x/

2)P(

2)由Bayes決策準則得：

x∈

1類，為正常細胞第22頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策損失的概念基于最小錯誤概率的Bayes決策，僅考慮如何保證錯誤概率最小，而未考慮決策所帶來的損失。例如：自動滅火系統(tǒng)，乙肝診斷，魚的分類等，則應(yīng)考慮錯判造成的損失?？衫脹Q策論的理論和方法來解決上述問題。第23頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策損失的概念設(shè)Ω={

1，

2，﹒﹒﹒，ωc}表示c個有限的類別狀態(tài)的集合，A={a1，a2，﹒﹒﹒，ak}表示k個有限的決策（行為）的集合則定義為模式自然狀態(tài)為ωj時，采取決策ai所造成的損失第24頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策損失的概念例如，對于細胞正?；虍惓５姆诸悊栴}，可得如下?lián)p失表

1（正常）

2（異常）a1（正常）

11=0

12=10a2（異常）

21=2

22=0自然狀態(tài)損失決策第25頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策風(fēng)險函數(shù)（損失函數(shù)）設(shè)P(

j)是自然狀態(tài)為

j的先驗概率，X為d維特征向量，則由Bayes決策理論知，后驗概率：由于每一類后驗概率P(X)均相同，可將其視為一標量因子第26頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策風(fēng)險函數(shù)（損失函數(shù)）假定我們觀測某個特定模式X并且采取行為ai，如果真實的類別狀態(tài)為

j，通過定義我們將有損失

(ai/

j)顯然，與行為ai相關(guān)的總的損失為第27頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策風(fēng)險函數(shù)（損失函數(shù)）上式稱為作出決策ai的風(fēng)險函數(shù)，簡記為：第28頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策決策過程當待識樣本X到來時，將其判為各類所帶來的風(fēng)險分別為R1(X)，R2(X)，﹒﹒﹒，Rc(X)

則基于最小風(fēng)險的Bayes決策準則為：

第29頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策問題：如何合理、科學(xué)、準確地定義

ij?帶有主觀因素第30頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策特殊情況：兩類問題

則基于最小風(fēng)險（損失）的Bayes決策為：若R1(X)

<R2(X)，則判X∈

1類第31頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策特殊情況：兩類問題上述決策等價于：對待識樣本x若：，則判

x∈

1類

似然比第32頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策第33頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策特殊情況：兩類問題若：

12-

22=

21-

11，即對稱損失，則最小風(fēng)險Bayes決策與最小錯誤概率Bayes決策是等價的。第34頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策例：

1(乙肝)

2(健康)

P(

1)=0.05P(

2)=0.95P(x/

1)=0.5P(x/

2)=0.2

11

=

22=0，

12=1，

21=10

試分別用最小風(fēng)險和最小錯誤概率Bayes決策對模式X分類第35頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策解：最小錯誤概率Bayes決策

P(x/

1)P(

1)=0.05×0.5=0.025P(x/

2)P(

2)=0.2×0.95=0.19可見：

P(x/

1)P(

1）<P(x/

2)P(

2)由Bayes決策準則得：x∈

2

類，為健康第36頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策解：最小風(fēng)險Bayes決策

似然比：第37頁,共75頁，星期六，2024年，5月最小風(fēng)險（損失）的Bayes決策解：最小風(fēng)險Bayes決策可見：根據(jù)最小風(fēng)險（損失）的Bayes決策準則：

x∈

1

類，為乙肝第38頁,共75頁，星期六，2024年，5月（0-1）損失條件下的最小風(fēng)險Bayes決策最小風(fēng)險Bayes決策若定義：

ij=0i=j1i=j

（0-1）損失第39頁,共75頁，星期六，2024年，5月（0-1）損失條件下的最小風(fēng)險Bayes決策則最小風(fēng)險Bayes決策等價于：可見，min{Ri(X)

}等價于max{Ri(X)

}，即（0-1）損失條件下，最小風(fēng)險Bayes決策等價于最小錯誤概率的Bayes決策。第40頁,共75頁，星期六，2024年，5月何種準則更具一般意義？第41頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界Bayes分類器等價于：

定義一組判別函數(shù)gi(x),i=1,…,c

若：gi(x)>gj(x)

j

i則判待識樣本x屬于

i類第42頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界對最小錯誤概率Bayes決策

gi(x)=P(

i/x)

或

gi(x)=P(x/

i)P(

i)

gi(x)=lnP(x/

i)+lnP(

i)

對最小風(fēng)險Bayes決策

gi(x)=-R(

i/x)第43頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界基于判別函數(shù)的分類器第44頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界上述判別函數(shù)將特征空間劃分為c個判別區(qū)域

R1,R2,…,Rc

各個判別區(qū)域滿足：如果

gi(x)>gj(x)

j

i

則

x位于判別區(qū)域Ri

第45頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界R1R2R3R4g1(X)g4(X)g3(X)g2(X)第46頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界兩類情況分類器僅需考慮兩個判別函數(shù)g1(x)和g2(x)

定義：g(x)g1(x)–g2(x)=P(x/

1)P(

1)-P(x/

2)P(

2)基于判別函數(shù)的決策為：

如果

g(x)>0，則

x屬于

1類;若g(x)<0，則x屬于

2類

第47頁,共75頁，星期六，2024年，5月分類器、判別函數(shù)與判別界兩類情況g(X)<0g(X)<0g(X)>0第48頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策一維正態(tài)分布均值：方差：一維正態(tài)分布可以簡寫為：第49頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策一維正態(tài)分布的統(tǒng)計特性

95%的樣本落在μ±2σ范圍內(nèi)99%的樣本落在μ±3σ范圍內(nèi)σ越小，樣本分布越集中，反之越發(fā)散第50頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策一維正態(tài)分布第51頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策多維正態(tài)分布

設(shè)d維特征向量則d維正態(tài)分布定義為：簡記為：第52頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策多維正態(tài)分布其中：

μ稱為均值向量，反映了樣本在d維特征空間的重心位置。

第53頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策多維正態(tài)分布

μi

反映了樣本在特征空間第i個方向的重心位置邊緣概率分布第54頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策多維正態(tài)分布

∑稱為協(xié)方差矩陣。第55頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策多維正態(tài)分布當i=j時，σij反映樣本在d維特征空間各方向的發(fā)散程度；當i≠j時，σij反映各特征間的統(tǒng)計相關(guān)性。

第56頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策 設(shè)各類樣本的類概率密度均滿足正態(tài)分布，即

根據(jù)最小錯誤概率Bayes決策準則有：若判別函數(shù)則判

x∈

i

第57頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策為了分析方便，現(xiàn)取判別函數(shù)的自然對數(shù)（單調(diào)增函數(shù)），即令：下面分三種情況進行討論第58頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一各類協(xié)方差矩陣相同，∑i

＝∑j

＝∑各特征統(tǒng)計獨立，即：，i≠j且，i=j即

第59頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一此時，，且其中：單位矩陣第60頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一則判別函數(shù)：此時的Bayes決策等價為：若要將待識樣本X進行分類，則只需計算X到各類樣本均值向量μi的歐氏距離，再將X歸類到距離最近的類別，此時的分類器稱為最小距離分類器。歐氏距離第61頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一均值向量μ１

均值向量μ2

待識樣本Ｘ

最小距離分類器第62頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一由于：與類別無關(guān)，可不考慮第63頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一故：

稱gi(x)為線性判別函數(shù)，相應(yīng)的分類器為線性分類器。第64頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況一第65頁,共75頁，星期六，2024年，5月情況一第66頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況二各類方差相同，即則其中稱為樣本X與正態(tài)分布模式類的馬氏距離（Mahalanobis距離）。當待識別的樣本X到來時，分別計算樣本X與各個模式類的馬氏距離，并將X分類到馬氏距離最近的模式類中。第67頁,共75頁，星期六，2024年，5月正態(tài)分布條件下的Bayes決策情況二可以證明，此時判別函數(shù)仍滿足線性關(guān)系，