第3章 Bayes決策理論.ppt

1、最小風(fēng)險(xiǎn)的Bayes決策,讓錯(cuò)誤率最小的Bayes決策是重要的 但，錯(cuò)誤率最小的Bayes決策是否最佳？ 正常細(xì)胞誤判為癌細(xì)胞 癌細(xì)胞誤判為正常細(xì)胞 不同性質(zhì)的錯(cuò)誤會(huì)引起不同程度的損失（后果） 評價(jià)決策的優(yōu)劣：總損失比總錯(cuò)誤率更恰當(dāng),最小風(fēng)險(xiǎn)的Bayes決策就是把各種分類錯(cuò)誤而引起的損失考慮進(jìn)去的Bayes決策法則,風(fēng)險(xiǎn)的表示,例： 病理切片X，要確定其中有沒有癌細(xì)胞 (用1表示正常，2表示異常) P(1|X)與P(2|X)分別表示了兩種可能性的大小 若X為正常細(xì)胞，判斷為2，損失為21 若X為癌細(xì)胞，判斷為1，損失為12 X判斷為1，其風(fēng)險(xiǎn) R1(X)= 12 P(2|X) X判斷為2，其風(fēng)

2、險(xiǎn) R2(X)= 21 P(1|X),損失和誤判概率的加權(quán)和可以有效的表示決策風(fēng)險(xiǎn),決策空間的相關(guān)符號,觀察向量,狀態(tài)空間,決策空間,損失函數(shù),期望損失（條件風(fēng)險(xiǎn)）,（A）,最小風(fēng)險(xiǎn)的Bayes決策規(guī)則,最小風(fēng)險(xiǎn)的Bayes決策規(guī)則：使期望損失 最小的決策狀態(tài) 即為最小風(fēng)險(xiǎn)的Bayes決策,定義期望風(fēng)險(xiǎn)：,最小風(fēng)險(xiǎn)的Bayes決策使平均風(fēng)險(xiǎn)最小！,期望風(fēng)險(xiǎn)R反映對整個(gè)特征 空間上所有的X的取值采用 相應(yīng)的決策(x)所帶來的 平均風(fēng)險(xiǎn),最小風(fēng)險(xiǎn)的Bayes決策規(guī)則步驟,（1）在已知P(j)，P(X|j)，j=1,，c及給出待識別的X的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：,（2）利用計(jì)算出的后驗(yàn)

3、概率及決策表，計(jì)算出采取i,i=1,，a的條件風(fēng)險(xiǎn),（3）對(2)中得到的a個(gè)條件風(fēng)險(xiǎn)值R(i|X),i=1,，a進(jìn)行比較，找出使條件風(fēng)險(xiǎn)最小的決策k，則k就是最小風(fēng)險(xiǎn)貝葉斯決策,例,在例1條件的基礎(chǔ)上，并且已知11=0,(11表示(1,1)的簡寫)，12=6,21=1，22=0，按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類。,P(1)0.9, P(2)0.1 p(X|1)0.2, p(X|2)0.4,計(jì)算后驗(yàn)概率： P(1|X)0.818, P(2|X)0.182,計(jì)算條件風(fēng)險(xiǎn)：,找最小的條件風(fēng)險(xiǎn)：,最小風(fēng)險(xiǎn)的Bayes決策為2！,決策規(guī)則的進(jìn)一步探討,二類問題的決策規(guī)則：,另一種決策規(guī)則：,先驗(yàn)概率的決策

4、規(guī)則：,似然比,最小錯(cuò)誤決策和最小風(fēng)險(xiǎn)決策,二類問題中，若 ，則兩種判決方式等價(jià),多類問題中，若,則有,所有錯(cuò)誤代價(jià)相同！,兩種判決方式等價(jià)！,0-1損失函數(shù),3.3 Bayes分類器和判別函數(shù),決策面：劃分決策域的邊界面 決策面方程：決策面的數(shù)學(xué)解析形式 判別函數(shù)：表達(dá)決策規(guī)則的函數(shù),維特征空間,個(gè)決策域,分類器設(shè)計(jì)：利用決策規(guī)則對觀察向量 X 進(jìn)行分類,決策面方程和判別函數(shù)由相應(yīng)的決策規(guī)則所決定！,判別函數(shù)和決策面方程,類的情況下， 對應(yīng)的判別函數(shù)為,若,則 屬于第 類,分割它們的決策面方程應(yīng)滿足：,對于多類：通常定義一組判別函數(shù),最小錯(cuò)誤概率決策,判別函數(shù)的不同形式：,最小風(fēng)險(xiǎn)決策,判別

5、函數(shù),判別函數(shù)不唯一，更一般地， （其中 為 單調(diào)增函數(shù)）均可作為判別函數(shù),Bayes分類器,決策界,同一決策規(guī)則下判別函數(shù)形式可以不同，但決策界相同！,決策界,同一決策規(guī)則下判別函數(shù)形式可以不同，但決策界相同！,二類分類器,例,有一家醫(yī)院為了研究癌癥的診斷，對一大批人作了一次普查，給每人打了試驗(yàn)針，然后進(jìn)行統(tǒng)計(jì)，得到統(tǒng)計(jì)數(shù)字： （1）這批人中，每1000人有5個(gè)癌癥病人； （2）這批人中，每100個(gè)正常人有1人對試驗(yàn)的反應(yīng)為陽性； （3）這批人中，每100個(gè)癌癥病人有95人對試驗(yàn)的反應(yīng)為陽性。,假如正常人用 表示，癌癥病人用 表示。以試驗(yàn)結(jié)果作為特征，特征值為陽或陰。根據(jù)統(tǒng)計(jì)數(shù)字，得到如下概

6、率：,現(xiàn)在有一某甲，試驗(yàn)結(jié)果為陽性，按最小錯(cuò)誤率貝葉斯決策規(guī)則，問診斷結(jié)果是什么？,后驗(yàn)概率：,判決比較,判斷正常概率,風(fēng)險(xiǎn)評估,假設(shè)11=0，12=3, 21=1，22=0，按最小風(fēng)險(xiǎn)貝葉斯決策為某甲診斷：,由于R1(X)R2(X)即決策為2的條件風(fēng)險(xiǎn)小于決策為1的條件風(fēng)險(xiǎn)，因此診斷某甲為癌癥病人。,采用最小風(fēng)險(xiǎn)貝葉斯決策，各種損失的確定是關(guān)鍵,問題：11=0，12=2,21=1，22=0，按最小風(fēng)險(xiǎn)貝葉斯決策的診斷又如何呢？,分別寫出兩種情況的決策面方程,1. 2.,決策面方程 g(x)= 0,前面介紹了在一般的概率統(tǒng)計(jì)分布情況下的統(tǒng)計(jì)決策理論，這一節(jié)我們要討論最常用的正態(tài)分布情況 在模式

7、識別中，正態(tài)分布假設(shè)是對各種隨機(jī)變量使用得最普遍的假設(shè) 這主要有兩方面的原因： 1）正態(tài)分布在數(shù)學(xué)上比較簡便 2）正態(tài)分布在物理上的合理性,正態(tài)分布的Bayes決策法則,數(shù)學(xué)上簡便性 正態(tài)分布是數(shù)學(xué)上最簡單的一種分布。它的一些特殊情況揭示了統(tǒng)計(jì)判別方法中許多重要的性質(zhì) 在模式識別技術(shù)的研究中，需要用訓(xùn)練樣本集來設(shè)計(jì)分類器，還需用測試樣本集來檢驗(yàn)分類器的分類效果，并對不同的分類器的性能進(jìn)行比較 用正態(tài)分布模型描述訓(xùn)練樣本集與測試樣本集在數(shù)學(xué)上實(shí)現(xiàn)起來也比較方便,物理上的合理性 如果同一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近，遠(yuǎn)離均值處分布較少，那么一般情況下以正態(tài)分布模型近似往往是比

8、較合理的 人們也往往因數(shù)學(xué)分析復(fù)雜程度考慮而不得不采用這種模型，當(dāng)然使用時(shí)應(yīng)注意結(jié)果是否合理或關(guān)注其可接受的程度,單變量正態(tài)分布,單變量正態(tài)分布概率密度函數(shù)定義為：,單變量正態(tài)分布概率密度函數(shù)p(x)完全可由與2兩個(gè)參數(shù)確定，記作 N(，2),正態(tài)分布描述了一個(gè)隨機(jī)實(shí)變量在整個(gè)實(shí)數(shù)域上的分布規(guī)律 因此它屬于概率密度函數(shù)類，不是我們所討論的先驗(yàn)概率P(j)，也不是后驗(yàn)概率P(j|X)，而是p(x|j),正態(tài)分布的樣本主要集中分布在其均值附近，其分散程度可用標(biāo)準(zhǔn)差來衡量，愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間 內(nèi)，而且其峰值為,多元是指樣本以多個(gè)變量來描述，或具

9、有多個(gè)屬性，一般用d維特征向量表示，Xx1，xdT。d維特征向量的正態(tài)分布用下式表示,多維（元）正態(tài)分布：,其中是X的均值向量，也是d維，EX1，2，dT 是dd維協(xié)方差矩陣，而1是的逆矩陣，|是的行列式,因?yàn)閰?shù)與對分布具有決定性，記作p(X)N(，),一個(gè)向量或矩陣的期望是由其元素的期望組成的,協(xié)方差矩陣有兩個(gè)特性： 是一個(gè)對稱矩陣：多維正態(tài)密度由 個(gè)參數(shù)決定 是正定的：主對角元素都是各分量的方差，一般情況下都是大于零的值,如果協(xié)方差矩陣中的所有非對角線元素均為零，則P(X)就變成X的各分量的單變量正態(tài)密度的乘積,圖示為一個(gè)二維正態(tài)密度的示意圖，如果把等概率密度點(diǎn)畫出來，它們就是一族同心的

10、橢圓,參數(shù) 和 對分布具有決定性： 從正態(tài)總體中抽取的樣本落在一個(gè)密集區(qū)域里 這個(gè)區(qū)域的中心由均值向量決定 區(qū)域的形狀由協(xié)方差矩陣決定 等密度點(diǎn)的軌跡為一超橢球面（可證明） 且超橢球面的主軸方向由 的特征向量決定，主軸的長度與相應(yīng)的特征值成正比,多元正態(tài)分布性質(zhì),把這個(gè)超橢球的中心平移到坐標(biāo)原點(diǎn)，超橢球的方程變?yōu)?設(shè)X在超橢球上，X到超橢球中心的距離為 求超橢球主軸的問題是一個(gè)求條件極值的問題，構(gòu)造Lagrange函數(shù)： 可得超橢球主軸的必要條件：,多元正態(tài)分布性質(zhì),為向量X到均值向量 的Mahalanobis 距離(馬哈諾比斯，馬氏距）的平方 等概率密度點(diǎn)的軌跡是一個(gè)到均值向量 的Mahal

11、anobis距離為 常數(shù)的超橢球,記,3.不相關(guān) 獨(dú)立,多元正態(tài)分布下的最小錯(cuò)誤率貝葉斯決策及其判別函數(shù)和決策面,對于最小錯(cuò)誤率的貝葉斯決策，其 類的判別函數(shù)為：,由于對數(shù)函數(shù)是單值單調(diào)遞增函數(shù)，并根據(jù)正態(tài)分布密度函數(shù)的特點(diǎn)，顯然式中取自然對數(shù)更便于分析，于是 類的判別函數(shù)可以表示為：,由于判決是比較 和 的大小，去掉與類別無關(guān)的項(xiàng)不 會(huì)影響分類判別的結(jié)果，故可簡化為,三種不同情況的探討：,1. 第一種情況：,各類分布的協(xié)方差矩陣相同，而且各特征統(tǒng)計(jì)獨(dú)立且有相同的方差 ，這時(shí)，協(xié)方差矩陣是對角陣，對角線元素均為,代入判別函數(shù),得新判別函數(shù)為： 為歐氏距離：,如果c個(gè)類的先驗(yàn)概率 都相同，式中

12、項(xiàng)可忽略 這時(shí)最小錯(cuò)誤概率的Bayes決策法則可敘述為：若要對模式X分類，只要測量出從待分類模式向量X到每一類均值向量 的歐氏距離 ，然后把X歸到距離最近的那個(gè)均值向量所屬的類別即可 如果c個(gè)類的先驗(yàn)概率不相等，則表明距離的平方 必須用方差 規(guī)范化后減去 再用以分類 在實(shí)際應(yīng)用時(shí)，可以不計(jì)算歐氏距離：把 展開后，可得判別函數(shù)：,決策面由線性方程 決定，即 式中：,該方程式確定了通過并正交于向量W的超平面。如圖所示是一個(gè)二維二類模式的例子。如果 ，則點(diǎn) 就離開先驗(yàn)概率大的那個(gè)類的均值向量而朝先驗(yàn)概率較小的那類方向移動(dòng),決策規(guī)則為,此時(shí)判別函數(shù)變?yōu)椋?1）若各類的先驗(yàn)概率相等，則 也可以忽略，這時(shí)

13、決策法則可以這樣描述： 對一個(gè)模式分類，計(jì)算它與每一類均值向量間的Mahalanobis距離平方 ，而后把它分到與之最近的均值向量所屬的類別中去即可 2）如果各類的先驗(yàn)概率不同，則決策應(yīng)有利于先驗(yàn)概率較大的那一類 把 展開，忽略無關(guān)項(xiàng)，判別函數(shù)變成：,2.第二種情況：,式中：,1）如果各類的先驗(yàn)概率相等，則這個(gè)決策面同均值向量連線的交點(diǎn)在連線的中點(diǎn) 2）若各類的先驗(yàn)概率不相等，則決策界面就離開先驗(yàn)概率較大的那個(gè)類的均值向量而朝先驗(yàn)概率較小的那類方向移動(dòng),因?yàn)榫€性判別函數(shù)，所以決策面仍是一個(gè)超平面，決策面仍然滿足方程,式中：,這是一般的情況，各類的協(xié)方差矩陣是不相同的，判別函 數(shù)有如下形式： 式

14、中 這時(shí)決策面是超二次曲面,如果兩類 和 相鄰，則決策面 為,3.第三種情況： 任意,決策面式超二次曲面，隨著 變化呈現(xiàn)不同 的超二次曲面：超球面、超拋物面、超雙曲面等,離散情況的貝葉斯決策,以上幾節(jié)所討論的特征向量 可以是d維特征空間中的任一點(diǎn)，即為連續(xù)的隨機(jī)向量。但在許多的模式識別問題中，特征向量 是一個(gè)離散型隨機(jī)向量，僅可取 個(gè)離散值 中的一個(gè)。此時(shí)，我們?nèi)钥梢岳秘惾~斯公式計(jì)算,式中,1）最小錯(cuò)誤率的貝葉斯決策法則仍為： 如果 對于一切 成立，則決策,2）最小風(fēng)險(xiǎn)的Bayes決策法則仍是： 如果 ，則對應(yīng)的決策,可以看出，貝葉斯決策規(guī)則仍然不變：,對于二類分類問題，通常采用下述形式的判別函數(shù)：,下面考慮一個(gè)兩類模式的分類問題。設(shè)特征向量 ，它的各個(gè)分量是0或者1的二值特征，并且各特征相互獨(dú)立，并令：,以一種特別分類模型來說明。這類模型中，對模式的每一維特征需要給出一個(gè)“是”與“否”的答案，“是”表示該模式具有對應(yīng)特征，其值就為1，否則不具有對應(yīng)特征，其值就為0,因?yàn)槟Ｊ街懈魈卣飨嗷オ?dú)立，所以可以把條件概率 寫成 的分量的