第2章貝葉斯決策理論[1]課件

1、第2章貝葉斯決策理論2022/7/25第2章貝葉斯決策理論1本章主要內(nèi)容2.1 基于最小錯(cuò)誤率的貝葉斯決策 2.3 正態(tài)分布時(shí)的貝葉斯統(tǒng)計(jì)決策 2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 2.4 分類器的錯(cuò)誤率問題 (重點(diǎn))(重點(diǎn))(了解)(熟悉)第2章貝葉斯決策理論12.1 基于最小錯(cuò)誤率的貝葉斯決策 第2章貝葉斯決策理論12.1.1 預(yù)備知識(shí) 用向量來表示模式12345轉(zhuǎn)化成列向量0101000123353433010011“1”模式： 一些供比對(duì)用的、“標(biāo)準(zhǔn)”的樣本。特征提取35模式“1”的圖片第2章貝葉斯決策理論1高維積分已知模式（樣本）：一維積分：高維積分：二重積分：若推廣第2章貝葉斯決策理論

2、12.1.1 預(yù)備知識(shí)（續(xù)） 貝葉斯公式貝葉斯公式的另一種形式：第2章貝葉斯決策理論12.1.1 預(yù)備知識(shí)（續(xù)） 由貝葉斯公式衍生出貝葉斯決策、貝葉斯估計(jì)、貝葉斯學(xué)習(xí)等諸多理論體系，進(jìn)而形成一個(gè)貝葉斯學(xué)派；貝葉斯公式：（1763年提出） 貝葉斯公式由于其權(quán)威性、一致性和典雅性而被列入最優(yōu)美的數(shù)學(xué)公式之一 ； 貝葉斯公式的兩個(gè)創(chuàng)新點(diǎn)：（1）用概率表示所有形式的不確定性； （2）例如天氣預(yù)報(bào)時(shí)，“今天下雨的概率是85%”比直接預(yù)測“今天下雨”要更科學(xué) ； 引入了“先驗(yàn)”與“后驗(yàn)”的概念；第2章貝葉斯決策理論1先驗(yàn)與后驗(yàn)2.1.1 預(yù)備知識(shí)（續(xù)） 貝葉斯公式：例：利用貝葉斯公式求 的最大值：先驗(yàn)后驗(yàn)

3、 先驗(yàn)概率：是指根據(jù)歷史資料或主觀判斷所確定的事件發(fā)生的概率，該類概率沒有經(jīng)過實(shí)驗(yàn)證實(shí)，屬檢驗(yàn)前的概率。（爭議點(diǎn)） 后驗(yàn)概率：進(jìn)行實(shí)驗(yàn)后，事件發(fā)生的概率。 貝葉斯公式在推理中融入了先驗(yàn)，即融入了對(duì)事物既有的一些認(rèn)識(shí)：第2章貝葉斯決策理論12.1.1 預(yù)備知識(shí)（續(xù)） 條件概率密度若有兩個(gè)隨機(jī)變量X和Y，它們的聯(lián)合概率密度為 ， 變量X和Y各自的邊緣概率密度為 和 ，則在條件Y=y下，X的條件概率密度為第2章貝葉斯決策理論12.1.1 預(yù)備知識(shí)（續(xù)） 分類錯(cuò)誤率分類錯(cuò)誤率 = 被錯(cuò)分的樣本數(shù) / 樣本總數(shù)分類方案一分類方案二在分類中，希望分類錯(cuò)誤率盡可能地小。第2章貝葉斯決策理論12.1.2 最小

4、錯(cuò)誤率貝葉斯決策的前提 （1）要決策分類的類別數(shù)是一定的；前提：（2）每一類出現(xiàn)的“先驗(yàn)概率”已知；類類即已知（3）每一類的“類條件概率密度”已知；即已知待解決的分類問題：與第2章貝葉斯決策理論1類類待解決的分類問題：2.1.3 最小錯(cuò)誤率貝葉斯決策規(guī)則決策規(guī)則（樣本只有兩類時(shí)）：如果如果則則先驗(yàn)概率已知類條件概率密度已知可能屬于 類也可能屬于 類。第2章貝葉斯決策理論12.1.4 最小錯(cuò)誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例例：細(xì)胞識(shí)別 假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中， 正常( )和異常( )兩類的先驗(yàn)概率分別為 正常狀態(tài)： P ( ) =0.9; 異常狀態(tài)： P ( ) =0.1.現(xiàn)有一待識(shí)別的細(xì)胞，其

5、觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4.試對(duì)該細(xì)胞x進(jìn)行分類。解：利用貝葉斯公式，分別計(jì)算出 及 的后驗(yàn)概率。 P( | x)= P( |x)=1- P( |x)=0.182類類第2章貝葉斯決策理論12.1.4 最小錯(cuò)誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）類條件概率密度（已知）后驗(yàn)概率密度（待求）類類根據(jù)上圖決策第2章貝葉斯決策理論12.1.4 最小錯(cuò)誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）為什么類條件概率密度是已知的 “類條件概率密度”是指系統(tǒng)位于某種類型條件下，模式樣本的概率密度函數(shù)。一般而言，同一類事物的某個(gè)屬性都有一定的變化范圍，在這個(gè)變化范圍內(nèi)

6、的分布密度可用一種函數(shù)形式表示。類類 例如對(duì)于細(xì)胞識(shí)別而言，假設(shè) 是血紅素濃度，則 表示正常血細(xì)胞的血紅素濃度的分布情況。該分布可以事先測定，因此是已知的。正常血細(xì)胞異常血細(xì)胞第2章貝葉斯決策理論12.1.4 最小錯(cuò)誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）為什么先驗(yàn)概率是已知的例如在某個(gè)局部地區(qū)（比如一個(gè)縣）細(xì)胞識(shí)別中，要根據(jù)血紅素濃度的測量值 判定其為正常血細(xì)胞或者是異常血細(xì)胞（例如白血病血細(xì)胞）。類類正常血細(xì)胞異常血細(xì)胞該縣正常人的比例；該縣白血病患者的比例；上述比例關(guān)系可根據(jù)往年病歷資料統(tǒng)計(jì)大致得到，因此可以看作是已知的。上述比例關(guān)系盡管可能是近似的，但對(duì)決策準(zhǔn)確程度的影響并不是直接的，這也是貝

7、葉斯決策的一個(gè)優(yōu)點(diǎn)。第2章貝葉斯決策理論12.1.5 決策規(guī)則使錯(cuò)誤率最小的理論證明 前面給出了最小錯(cuò)誤率貝葉斯決策規(guī)則，但尚未證明按這種決策規(guī)則進(jìn)行分類確實(shí)能使分類錯(cuò)誤概率最小。下面以一維情況完成證明，其結(jié)果不難推廣到多維。平均錯(cuò)誤率：（是 的期望） 的概率密度對(duì) 進(jìn)行分類（決策）時(shí)的錯(cuò)誤決策規(guī)則（兩類時(shí)）：如果如果則則(2-6)第2章貝葉斯決策理論12.1.5 決策規(guī)則確實(shí)使錯(cuò)誤率最小的理論證明（續(xù)）決策錯(cuò)誤率 在每個(gè)x值處都取小者，因而平均錯(cuò)誤率P(e)也必然達(dá)到最小。第2章貝葉斯決策理論12.1.6 最小錯(cuò)誤率貝葉斯決策規(guī)則向多類的推廣決策規(guī)則（樣本只有兩類時(shí)）：如果如果則則決策規(guī)則（

8、樣本有多類時(shí)）：類類類類類如果對(duì)于一切 成立，則第2章貝葉斯決策理論12.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 第2章貝葉斯決策理論12.2.1 為什么要引入基于風(fēng)險(xiǎn)的決策基于最小錯(cuò)誤率的貝葉斯決策錯(cuò)誤率如果如果則則誤判為：誤判為：錯(cuò)誤率：錯(cuò)誤率： 基于最小錯(cuò)誤率的貝葉斯決策只關(guān)注錯(cuò)誤率，并不關(guān)注因誤判而帶來的風(fēng)險(xiǎn)。但在實(shí)際應(yīng)用中考慮風(fēng)險(xiǎn)是很重要的。例：細(xì)胞識(shí)別類類正常血細(xì)胞異常血細(xì)胞把正常血細(xì)胞誤判為異常血細(xì)胞會(huì)給人帶來不必要的痛苦；但若將異常血細(xì)胞誤判為正常血細(xì)胞，則會(huì)使病人因失去及早治療的機(jī)會(huì)而遭受極大的損失。第2章貝葉斯決策理論1“風(fēng)險(xiǎn)”的適用范圍比錯(cuò)誤率更廣泛，它引入了“損失”的概念。即考慮

9、了因誤判而帶來的損失。2.2.1 為什么要引入基于風(fēng)險(xiǎn)的決策（續(xù)）基于最小風(fēng)險(xiǎn)的貝葉斯決策風(fēng)險(xiǎn)本來誤判為：誤判為：錯(cuò)誤率：錯(cuò)誤率：本來造成的損失：造成的損失：把模式 判決為 類的一次決策；模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；第2章貝葉斯決策理論12.2.2 一般決策表與條件風(fēng)險(xiǎn) 狀態(tài)損 失決 策1212把模式 判決為 類的一次決策；模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；狀態(tài)空間：決策空間：一般決策表第2章貝葉斯決策理論12.2.2 一般決策表與條件風(fēng)險(xiǎn)（續(xù)）條件風(fēng)險(xiǎn)：模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；模式 屬于 類的概率（可能性）；例：計(jì)算條件風(fēng)險(xiǎn) 狀態(tài)損

10、失決 策12120061（正常類）（異常類）（正常）（異常）已知所以這意味著： 把異常類血細(xì)胞判別為正常類細(xì)胞所冒風(fēng)險(xiǎn)太大，所以寧肯將之判別為異常類血細(xì)胞。（2-15）第2章貝葉斯決策理論12.2.3 基于最小風(fēng)險(xiǎn)的貝葉斯決策應(yīng)用實(shí)例例：細(xì)胞識(shí)別 假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中， 正常( )和異常( )兩類的先驗(yàn)概率分別為 正常狀態(tài)： P ( ) =0.9; 異常狀態(tài)： P ( ) =0.1.現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4.且因誤判而帶來的風(fēng)險(xiǎn)如下頁表所表示，試對(duì)該細(xì)胞x進(jìn)行分類。解： （1）利用貝葉斯公式，分別

11、計(jì)算出 及 的后驗(yàn)概率。 P( | x)= P( |x)=1- P( |x)=0.182類類若貝葉斯決策第2章貝葉斯決策理論12.2.3 基于最小風(fēng)險(xiǎn)的貝葉斯決策應(yīng)用實(shí)例（續(xù)） 狀態(tài)損 失決 策12120061（正常類）（異常類）（正常）（異常）（2）計(jì)算條件風(fēng)險(xiǎn)（3）基于最小風(fēng)險(xiǎn)進(jìn)行決策（將 判決為第 類的風(fēng)險(xiǎn)）（將 判決為第 類的風(fēng)險(xiǎn)）模式 屬于 類的概率（可能性）；所以 兩類決策結(jié)果正好相反，這是因?yàn)橛绊憶Q策結(jié)果的因素又多了一個(gè)“損失”。由于兩類錯(cuò)誤決策所造成的損失相差很懸殊，因此“損失”在這里起了主導(dǎo)作用。第2章貝葉斯決策理論12.2.4 基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則與決策步驟決策步驟

12、：決策規(guī)則：（根據(jù)貝葉斯公式計(jì)算）（計(jì)算條件風(fēng)險(xiǎn)）（決策）第2章貝葉斯決策理論1在實(shí)踐中如何給出決策表：2.2.4 基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則與決策步驟（續(xù)） 狀態(tài)損 失決 策12120061（正常類）（異常類）（正常）（異常） 狀態(tài)損 失決 策1212 在實(shí)踐中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯(cuò)誤決策造成損失的嚴(yán)重程度，與有關(guān)專家共同商討來確定。（教材P15）（即需要具體問題具體分析）第2章貝葉斯決策理論12.2.5 最小錯(cuò)誤率與最小風(fēng)險(xiǎn)貝葉斯決策的聯(lián)系 狀態(tài)損 失決 策12120011（正常類）（異常類）（正常）（異常）若采用0-1損失函數(shù)：例：兩類樣本的分類

13、根據(jù)條件風(fēng)險(xiǎn)公式：則兩類決策的風(fēng)險(xiǎn)為因此兩種決策規(guī)則等價(jià) （理論推導(dǎo)見教材P16）（將 判決為第 類的風(fēng)險(xiǎn)）（將 判決為第 類的錯(cuò)誤率）第2章貝葉斯決策理論12.3 正態(tài)分布時(shí)的貝葉斯統(tǒng)計(jì)決策 第2章貝葉斯決策理論12.3.1 預(yù)備知識(shí)（1）一元正態(tài)分布 正態(tài)分布的樣本主要集中分布在其均值附近，其分散程度可用標(biāo)準(zhǔn)差 來衡量，標(biāo)準(zhǔn)差愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間 內(nèi)。第2章貝葉斯決策理論12.3.1 預(yù)備知識(shí)（續(xù)）（2）多元正態(tài)分布左圖的投影多元正態(tài)分布協(xié)方差矩陣：均值向量：第2章貝葉斯決策理論12.3.1 預(yù)備知識(shí)（續(xù)）（3）多元正態(tài)分布的協(xié)方差矩陣

14、 區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定；且主軸方向是協(xié)方差矩陣的特征向量方向；第2章貝葉斯決策理論12.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù)例如：最小錯(cuò)誤率貝葉斯決策規(guī)則（兩類情形）如果如果則則類類 根據(jù)決策規(guī)則只能確定樣本 屬于哪一類，而現(xiàn)在欲求決策面（分類面）。若 位于決策面上，應(yīng)該有決策面方程：判別函數(shù)：第2章貝葉斯決策理論1類類決策面：如果按某種決策規(guī)則將空間分成若干個(gè)決策域，則將決策域的邊界稱為決策面。判別函數(shù)： 用于表達(dá)決策規(guī)則的函數(shù)。例如：決策面方程：決策面在數(shù)學(xué)上的解析表示。例如：g(x)閾值單元判別函數(shù)的判別功能示意圖2.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù)（

15、續(xù)）第2章貝葉斯決策理論1 為一維時(shí)，決策面為一點(diǎn)； 為二維時(shí)，決策面為曲線； 為三維時(shí)，決策面為曲面； 大于三維時(shí)，決策面為超曲面。決策面方程的形態(tài)：為二維時(shí)為一維時(shí)為三維時(shí)2.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù)（續(xù)）第2章貝葉斯決策理論12.3.3 正態(tài)概型下的最小錯(cuò)誤率貝葉斯決策的判別函數(shù)（1）“最小錯(cuò)誤率貝葉斯決策”的判別函數(shù)與決策面的推廣：（兩類情形）取對(duì)數(shù)前后，所求決策面不變推廣至多類第2章貝葉斯決策理論12.3.3 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的判別函數(shù)（續(xù)）決策面：判別函數(shù)：（2）如果類條件概率密度 服從正態(tài)分布：則判別函數(shù)：決策面：第2章貝葉斯決策理論1（3）為什么假

16、設(shè)類條件概率密度 服從正態(tài)分布2.3.3 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的判別函數(shù)（續(xù)）數(shù)學(xué)上簡便性： 除了一些極其簡單與不甚實(shí)用的統(tǒng)計(jì)分布模型外，正態(tài)分布可說是數(shù)學(xué)上最簡便的一種。正態(tài)分布有許多良好的性質(zhì)，便于對(duì)統(tǒng)計(jì)決策方法進(jìn)行分析。物理上的合理性： 在許多實(shí)際應(yīng)用場合，如果同一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近，遠(yuǎn)離均值處分布較少，那么一般情況下以正態(tài)分布模型近似往往是比較合理的。人們也往往因數(shù)學(xué)分析復(fù)雜程度考慮而不得不采用這種模型，當(dāng)然使用時(shí)應(yīng)注意結(jié)果是否合理或關(guān)注其可接受的程度。第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論判別函數(shù)：決策面： 以

17、上決策面表達(dá)式很復(fù)雜，因此討論以下兩種特殊情形；類條件概率密度：（1）（2）第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）第一種情形：判別函數(shù)：決策面：判別函數(shù)：決策面：第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）（1）若判別函數(shù)：決策面：決策面：第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）（2）若判別函數(shù)：決策面：展開并忽略與i無關(guān)的項(xiàng) （具體過程見教材P31）判別函數(shù)：決策面：其中第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）決策面離開先驗(yàn)概率大的那個(gè)類的均值向量而朝

18、先驗(yàn)概率較小的那類方向移動(dòng)。 判別函數(shù)：決策面：其中第2章貝葉斯決策理論1第二種情形：2.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）判別函數(shù)：決策面：（具體推導(dǎo)過程見教材P33）決策面：其中判別函數(shù)：第2章貝葉斯決策理論12.3.4 正態(tài)概型下最小錯(cuò)誤率貝葉斯決策的討論（續(xù)）決策面：其中判別函數(shù)：則決策面過 點(diǎn)，但不與 方向正交。第2章貝葉斯決策理論12.4 分類器的錯(cuò)誤率問題 第2章貝葉斯決策理論12.4.1 對(duì)分類錯(cuò)誤率的直觀認(rèn)識(shí) 分類錯(cuò)誤率 = 被錯(cuò)分的樣本數(shù) / 樣本總數(shù)分類方案一分類方案二 在分類中，希望分類錯(cuò)誤率盡可能地小。 以上是最簡單的情形（全體樣本已知），但在很多情形

19、下（如只知部分樣本，或只知樣本的分布），分類錯(cuò)誤率并不容易計(jì)算。 分類錯(cuò)誤率是衡量分類性能好壞的標(biāo)尺。第2章貝葉斯決策理論12.4.2 分類錯(cuò)誤率的三種計(jì)算方式（1）在一些特殊情形下按理論公式計(jì)算平均錯(cuò)誤率：（是 的期望） 的概率密度對(duì) 進(jìn)行分類（決策）時(shí)的錯(cuò)誤決策規(guī)則（兩類時(shí)）：如果如果則則(2-6)例：基于最小錯(cuò)誤率的貝葉斯決策（前面講過）第2章貝葉斯決策理論1（2）計(jì)算分類錯(cuò)誤率的上界錯(cuò)誤率的理論計(jì)算一般相當(dāng)困難，當(dāng)不能從理論上直接計(jì)算時(shí)，往往去尋找它的上界。 教材第38頁介紹了Chernoff上界（很復(fù)雜）； 第六章將推導(dǎo)近鄰法錯(cuò)誤率的上界；2.4.2 分類錯(cuò)誤率的三種計(jì)算方式（續(xù)）第2章