第3章Bayes決策理論ppt課件

1、第三章 Bayes決策實際 最小錯誤概率的Bayes決策 最小風(fēng)險的Bayes決策 Neyman-Pearson決策 Bayes分類器和判別函數(shù) 正態(tài)分布時的Bayes決策法那么.引言方式特征的不確定性 進展方式識別，首先要提取和選擇方式特征，使這些特征組成的特征向量能很好地代表這個事物。但是，在實踐問題中，由于技術(shù)或經(jīng)濟上的緣由，使得提取和選擇的特征不一定能準(zhǔn)確地描畫這個方式。 比如， 特征選擇的不適宜，特征的數(shù)量不當(dāng)，特征丈量的不準(zhǔn)確，等等，使方式具有不確定性。 因此，我們該當(dāng)把方式向量看成隨機變量。 處置隨機變量用什么方法呢？ 概率論與數(shù)理統(tǒng)計 .1.概率 頻率：假設(shè)在 n次反復(fù)實驗中，

2、事件A發(fā)生了 次，那么稱比值 是事件A在這n次實驗中發(fā)生的頻率。記作 概率：在一樣條件下反復(fù)進展同一實驗，假設(shè)隨著實驗次數(shù)n的添加，事件A的頻率 僅在某個數(shù) 附近有微小變化，那么稱 是事件A的概論，實踐上， 是不容易得到的，常用n較大時的頻率作為A的概率 .2. 條件概率 設(shè)A，B是實驗E的兩個事件，那么稱 為在事件B發(fā)生條件下事件A的條件概率。3. Bayes公式含義：假設(shè) 是某個過程的n個事件，是各事件出現(xiàn)的概率，稱為先驗概率。假設(shè)這個過程得到一個結(jié)果B，由于B的出現(xiàn)，而對各事件 的概率要做出重新認識。.3.1 最小錯誤概率的Bayes決策1.用先驗概率決策 假設(shè)某個工廠消費兩種尺寸和外形

3、都一樣的螺釘,一種是鐵的,一種是銅的,兩種產(chǎn)品混在一同,要求對它們進展自動分類。 設(shè) 鐵的類別形狀用 表示； 銅的類別形狀用 表示； 由于事先類別形狀是不確定的，所以 是隨機變量。假設(shè)鐵螺釘有7萬個，銅螺釘有3萬個，那么鐵螺釘出現(xiàn)的概率 ，銅螺釘出現(xiàn)的概率. 假設(shè)用概率 和 來決策，規(guī)那么為： 假設(shè) 那么螺釘 假設(shè) 那么螺釘 由于 ，所以 螺釘 。 一切螺釘都分到鐵螺釘這一類，決策錯誤概率為0.3。 用先驗概率決策存在的問題？ 與待識別對象的特征沒有建立聯(lián)絡(luò)，沒有利用待識別對象本身的信息. 2.用后驗概率決策 先用一個方式特征 來分類，假設(shè)這個特征對分類是有效的，那么 的概率分布就與類別形狀

4、是有聯(lián)絡(luò)的。 例如：銅螺釘和鐵螺釘?shù)耐獗砹炼仁遣煌?，以亮度作為特?，亮度用“亮度計來丈量，每個螺釘?shù)牧炼仍诹炼扔嬌峡梢栽谝欢ǚ秶鷥?nèi)延續(xù)取值。由于每個螺釘?shù)牧炼饶軌蚴遣煌模?是一個延續(xù)的隨機變量。. 對 的概率分布記為 對 的概率分布記為 那么 和 的差別 反映了 和 的類別形狀的差別 反映了兩類方式的差別。X有對屬于銅螺釘?shù)姆植?，也有對屬于鐵螺釘?shù)姆植?假設(shè)曾經(jīng)知道了 ， ， ， 如何求利用Bayes公式：式中Bayes公式闡明,可以經(jīng)過特征的察看值 ，把先驗概率 轉(zhuǎn)化為后驗概率 。 . 圖3.1表示了當(dāng)(a)所示時，后驗概率 隨亮度的變化情況。 因此，可以用后驗概率進展決策。.決策

5、規(guī)那么： 假設(shè) ，那么決策 ； 假設(shè) ，那么決策 ； 這個決策規(guī)那么被稱為最小錯誤概率的Bayes決策。為什么說這個決策規(guī)那么具有最小錯誤概率呢？ .3. 最小錯誤概率的解釋 在用上述規(guī)那么決策時,有兩種能夠發(fā)生的錯誤分類 將真實屬于 分到 將真實屬于 分到 察看到的x值不同,那么后驗概率就不同,從而分類錯誤概率也不同,所以分類錯誤概率 是隨機變量x的函數(shù). 也是隨機變量.對于察看到的大量x,對它們作出分類決策的平均錯誤率 該當(dāng)是 的數(shù)學(xué)期望. 由概率論可知,假設(shè)知延續(xù)隨機變量x的概率密度函數(shù) , 可以計算出 的數(shù)學(xué)期望假設(shè)對于每次察看到的特征值x, 盡能夠小的話,那么上式的積分也必定是盡能夠

6、小的. 假設(shè)H為兩類的分界面,相應(yīng)于 和 , 將x軸分為兩個區(qū)域 , 在發(fā)生分類錯誤時,總的錯誤概率為：. 所以總的錯誤概率是兩種分類錯誤概率的加權(quán)和。. 由于 和 是恣意取的，所以錯誤概率不一定是最小的。當(dāng)把決策面 左移時，我們可以減小代表誤分類的三角形區(qū)域 的面積，從而減小分類錯誤概率。 假設(shè)選取決策面H使得： 那么可消除面積A，從而得到最小的分類錯誤概率。 這正是上述決策規(guī)那么得到的結(jié)果。. 假設(shè)對于某個x ，有那么把x 分到R2中可以使得x對積分 奉獻增大，而對積分 的奉獻減小，相當(dāng)于使H左移。 .證明： 假設(shè)R1是 類的決策域，R2是 類的決策域，對X分類，這時有兩種能夠發(fā)生的分類錯

7、誤： X的真實形狀是 ，卻分到 R1 ， X的真實形狀是 ，卻分到 R2 ， 錯誤率： 由Bayes公式有：. 那么 在整個特征空間，有所以， 當(dāng) 時，把x分到R1，添加積分值，可以使錯誤率減小。 .同理可得： 當(dāng) 時，把x分到R2，可以使錯誤率減小。. 對于普通情況，即方式向量是 維向量，要求在 類方式情況下進展決策時，最小錯誤概率的Bayes決策法那么可表達為： 設(shè) 是個 類別形狀的有限集合，特征向量 是 維隨機向量， 是方式向量 在 形狀下的條件概率密度， 是 的先驗概率，那么根據(jù)Bayes法那么,后驗概率 就是 式中, 這時決策與上述二類一維方式類似： 假設(shè) 對于一切 成立，那么決策

8、。.3.2 最小風(fēng)險的Bayes決策1 決策錯誤的損失與風(fēng)險 對于兩類別決策，存在兩種能夠的分類錯誤： 1把真實形狀為 的方式分到 類； 2把真實形狀為 的方式分到 類。 顯然，由于分類錯誤，其結(jié)果都會帶來損失，但是對于有的問題來說損失是不同的。 .比如，以癌變細胞的分類辨以為例，把正常細胞識別成癌變細胞 給正常人帶來精神負擔(dān)；把癌變細胞識別成正常細胞 使早期患者失去治療時機，延誤治療，縮短生命。因此，在決策時就要把由分類錯誤而引起的損失思索進去。 . 普通情況，設(shè) 是 個能夠的決策集合 是 個自然形狀集合 表示當(dāng)自然形狀為 時，采取決策 所呵斥的損失。 決策表 損失的數(shù)值普通由專家根據(jù)閱歷給

9、出。 . 2. 最小風(fēng)險的Bayes決策設(shè) 是X在自然形狀為 下的條件概率， 是自然形狀為 的先驗概率，那么由Bayes公式可求得后驗概率 X. 由Bayes公式，后驗概率是： 式中 假定察看到一個 ，同時決議采取決策 ，假設(shè)真正的形狀為 ，就會導(dǎo)致產(chǎn)生損失 。 由于 是自然形狀為 的概率，所以與采取的決策 有關(guān)的損失的數(shù)學(xué)期望就是： . 是一個平均損失，稱為條件風(fēng)險。每當(dāng)察看到一個X時，我們總可以選取使條件風(fēng)險極小的決策。假設(shè)選取的決策使得平均損失對每一個詳細的X都能盡能夠小，那么總風(fēng)險也會到達極小。最小風(fēng)險的Bayes決策規(guī)那么： 為了使風(fēng)險最小，應(yīng)對于 計算條件風(fēng)險 并選擇決策，使得 最

10、小。. 對于二類問題， 相當(dāng)于決策“真正形狀為 ，而 相當(dāng)于決策“真正形狀為 。記 為當(dāng)真正形狀為 而把 誤作真正形狀時所遭到的損失。有.這時最小風(fēng)險的Bayes決策法那么就是：假設(shè) ，那么斷定 為真正的形狀；否那么 為真正的形狀?；颍杭僭O(shè) ，那么斷定 為真正的形狀；否那么 為真正的形狀。上式與最小錯誤概率的Bayes決策比較，有何不同？ 在后驗概率上分別乘以一個損失差作為比例因子。. 最小風(fēng)險的Bayes決策和最小錯誤概率的Bayes決策的關(guān)系： (1)在二類問題中，假設(shè)有 即所謂對稱損失函數(shù)的情況，二者一致。 (2)普通的多類問題中，在0-1損失函數(shù)的情況時，即 提示：問題的普通性和特殊性

11、。.條件風(fēng)險為： 使 極小，即使 極大。 兩種決策的結(jié)果一樣 正確時的條件概率.3.3 Neyman-Pearson決策 對于兩類別決策，存在兩種能夠的分類錯誤： 1把真實形狀為 的方式分到 類； 2把真實形狀為 的方式分到 類。兩種錯誤的概率分別為：決策應(yīng)該使 都為最小。如何做？ . Neyman-Pearson決策所要處理的問題： 對于二類方式識別問題，堅持一種錯誤概率為常數(shù) ，例如 ，而使另一種錯誤概率 到達極小。 這個問題可以看成在 條件下求 的極小值問題。 用什么方法呢？ . 采用Lagrange乘數(shù)法，約束條件為 ， 構(gòu)造Lagrange函數(shù)： 我們的目的就是使 到達極小。即 mi

12、n.對于二類問題，有所以， .要使 極小，對于X，假設(shè)被積函數(shù)將X分到R1，來減少假設(shè) ，將X分到R2，來減小 。這樣，可以寫出決策規(guī)那么： 假設(shè) ，那么 假設(shè) ，那么如何求 ？.將決策規(guī)那么寫成： 假設(shè) 那么 假設(shè) 那么 可以看出， 是兩種決策的邊境。也就是選擇R1和R2的邊境，使得L極小。. 到達極小值的必要條件是：由此得 或這是未知數(shù) 的方程， 就是分界的閾值?？梢杂闷渌麛?shù)學(xué)方法求得。.3.6 正態(tài)分布時的Bayes決策法那么單變量正態(tài)密度函數(shù) 它的均值為： 方差為：.單變量正態(tài)密度可由兩個參數(shù)，即均值 和方差 完全決議，記為 。它表示 是服從均值為 ，方差為 的正態(tài)分布的隨機變量。正態(tài)

13、分布的樣本集中在均值附近，其分散的程度正比于方差的平方根 ，即規(guī)范差。從正態(tài)總體中抽取的樣本中有95.44%落在區(qū)間 中。.多維正態(tài)密度函數(shù)為：其中 是 維列向量， 是 維均值向量， 是 協(xié)方差矩陣，它的均值向量為協(xié)方差矩陣為： 是 的逆矩陣， 是 的行列式。. 圖3.8所示為一個二維正態(tài)密度的表示圖，假設(shè)把等概率密度點畫出來，它們就是一簇同心的橢圓。 從正態(tài)總體中抽取的樣本落在一個密集的區(qū)域，區(qū)域中心由均值向量決議，外形由協(xié)方差矩陣決議。. 用判別函數(shù)可以得到最小錯誤概率的分類。當(dāng)概率密度函數(shù) 為正態(tài)時，對上式取自然對數(shù)，那么下面對該式在下述三種不同情況下進展討論：.1.第一種情況： 這種情

14、況下，每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征分兩間相互獨立，具有一樣的方差，協(xié)方差矩陣是對角矩陣，對角線元素都是 。 . 幾何上這相當(dāng)于樣本落在同樣大小的一些超圓球族內(nèi)。第 i 類樣本的超圓球族是以均值 為中心的。圖3.8和3.9的長短軸相等方式 這時： 判別函數(shù)可以寫成： 是歐氏間隔. 假設(shè) 個類的先驗概率 都一樣： 這時最小錯誤概率的Bayes決策法那么是：假設(shè)要對方式 分類，只需計算出從待分類方式向量 到每一類均值向量 的歐氏間隔 ，然后把 歸到間隔最近的那個均值向量所屬的類別。 這種分類器稱為最小間隔分類器 - 模板匹配技術(shù) 假設(shè) 個類的先驗概率不一樣： 這時對間隔的平方 必需用方差

15、規(guī)范化后減去 再用以分類。所以，假設(shè)待分類的方式向量 同兩類均值向量的歐氏間隔相等的話，最小錯誤概率的Bayes決策是把這個方式歸到先驗概率較大的那一類。. 在實踐運用中，不用計算歐氏間隔， 把 展開后，判別函數(shù)式就變成 式中 與方式類別無關(guān)，可以忽略，可得判別函數(shù)： 式中 , 決策面由線性方程 所決議。. 在這個詳細情況下，決策面可化為： 其中 這個方程確定了經(jīng)過 并正交于向量 的超平面。由于 ，所以劃分 和 的超平面正交于均值向量之間的聯(lián)線。. 圖(3.11)是一個二維二類方式的例子。假設(shè) ，那么點 就分開先驗概率較大的那個類的均值向量而朝先驗概率較小的那類方向挪動。但假設(shè)方差 ，那么先驗概率對決策面位置的影響比較小。. 2.第二種情況： 各類的協(xié)方差矩陣相等，這種情況下的判別函數(shù)為：假設(shè)各類的先驗概率相等，決策法那么為只計算它與每一類均值向量間的Mahalanobis間隔平方 而后把它分到與之最近的均值向量所屬的類別中去。假設(shè)各類的先驗概率不同時，那么決策應(yīng)有利于先驗概率較大的那一類。. 把 展開后， 與類別 無關(guān)，判別函數(shù)變成： 式中 假設(shè) 和 相鄰，它們之間的決策面應(yīng)滿足： 式中. 圖3.12表示二維二類方式情況下的決策界面。假設(shè)各類的先驗概率相等，那么這個決策面同均值向量聯(lián)線的交點在聯(lián)線的中點。假設(shè)各類的先驗概率不相等，