第4章統(tǒng)計(jì)決策方法ppt課件

1、第四章 統(tǒng)計(jì)決策方法.4.1 引言4.2 最小錯(cuò)誤率貝葉斯決策4.3 最小風(fēng)險(xiǎn)貝葉斯決策4.4 正態(tài)分布方式的貝葉斯決策4.5 聶曼皮爾遜判別4.6 按后驗(yàn)概率密度分類的勢(shì)函數(shù)方法第四章 統(tǒng)計(jì)決策方法.一、復(fù)習(xí)統(tǒng)計(jì)模式識(shí)別聚類分析法第二章判決函數(shù)法線性判決函數(shù)法第三章統(tǒng)計(jì)決策方法第四章其他書的分法幾何分類法研討確定性事件的分類概率分類法研討隨機(jī)事件分法4.1 引言.獲取方式的察看值時(shí)，有二種情況：1確定性事件：事物間有確定的因果關(guān)系。前兩章內(nèi)容。2隨機(jī)事件：事物間沒有確定的因果關(guān)系，察看到的特征具有統(tǒng)計(jì)特性，是一個(gè)隨機(jī)向量。只能利用方式集的統(tǒng)計(jì)特性來(lái)分類，以使分類器發(fā)生分類錯(cuò)誤的概率最小。二、

2、兩類研討對(duì)象三、概率知識(shí)1、概率 定義：設(shè)是隨機(jī)實(shí)驗(yàn)的根本空間一切能夠的實(shí)驗(yàn)結(jié)果或根身手件的全體構(gòu)成的集合，也稱樣本空間，A為隨機(jī)事件，P(A)為定義在一切隨機(jī)事件組成的集合上的實(shí)函數(shù)，假設(shè)P(A)滿足：.c) 對(duì)于兩兩互斥的事件 有a) 對(duì)任一事件A有：0P(A)1。 b) P()=1， 事件的全體a) 不能夠事件V的概率為零，即P(V)=0。那么稱函數(shù)P(A)為事件A的概率。 概率的性質(zhì)： 定義：設(shè)A、B是兩個(gè)隨機(jī)事件，且P(B)0，那么稱為事件B發(fā)生的條件下事件A發(fā)生的條件概率。2、條件概率 5.1-1結(jié)合概率P(AB)：A、B同時(shí)發(fā)生的概率 .a) 概率乘法公式：假設(shè)P(B)0，那么結(jié)

3、合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA) 5.1-2c) 貝葉斯公式：在全概率公式的條件下，假設(shè)P(B)0，那么將 5.1-2、5.1-3式代入5.1-1式中，有：5.1-4 條件概率的三個(gè)重要公式：那么對(duì)任一事件B有： 5.1-3b) 全概率公式：設(shè)事件A1 ， A2 ， ，An兩兩互斥，且.設(shè)樣本的特征向量X是隨機(jī)向量，那么相關(guān)概率有三種： 后驗(yàn)概率P(i|X) ：相對(duì)于先驗(yàn)概率而言。指收到數(shù)據(jù)X 一批樣本點(diǎn)后，根據(jù)這批樣本提供的信息統(tǒng)計(jì)出的i 類出現(xiàn)的概率即：X 屬于i類的概率。3、方式識(shí)別中的三個(gè)概率 先驗(yàn)概率P(i ) ：根據(jù)以前的知識(shí)和

4、閱歷得出的i類樣本 出現(xiàn)的概率，與如今無(wú)關(guān)。 條件概率P(X |i) ：知的屬于i類的樣本，發(fā)惹事件X 的概率。例對(duì)一批得病患者進(jìn)展一項(xiàng)化驗(yàn)，結(jié)果為陽(yáng)性的 概率為95%，1代表得病人群， 那么： 今后的分類中用到類概率密度p(X |i) ：i類的條件概率密度函數(shù)，通常也稱為i的似然函數(shù)。 .P(2| X) 表示實(shí)驗(yàn)呈陽(yáng)性的人中(顯示能夠有病)， 實(shí)踐沒有病的人的概率。 這兩個(gè)值可以經(jīng)過(guò)大量的統(tǒng)計(jì)得到。假設(shè)用某種方法檢測(cè)能否得有某病，假設(shè) X 表示“實(shí)驗(yàn)反響呈陽(yáng)性。那么：例如：一個(gè)2類問(wèn)題，1診斷為患有某病，2診斷為無(wú)病，那么： P(2)表示診斷為正常的概率，P(1)表示某地域的人被診斷出患上此

5、病的概率，P(X |2) 表示最終確診為無(wú)病的人群中，做該實(shí)驗(yàn)時(shí)反響呈陽(yáng)性(顯示能夠有病)的概率。值低 / 高值低 / 高P(X |1) 表示最終確診為有病的人群中，做該實(shí)驗(yàn)時(shí)反響也呈陽(yáng)性(顯示能夠有病)的概率。P(1| X) 表示實(shí)驗(yàn)呈陽(yáng)性的人中(顯示能夠有病)， 實(shí)踐確實(shí)有病的人的概率。？. 三者關(guān)系：根據(jù)(5.1-4)貝葉斯公式有： 5.1-5(5.1-4)全概率密度公式：. 分類規(guī)那么：有M類方式， (5.2-1)4.2 最小錯(cuò)誤率貝葉斯決策 分析：討論方式集的分類，目的是確定X屬于那一類，所以 要看X來(lái)自哪類的概率大。在以下三種概率中： 先驗(yàn)概率P(i) 類(條件)概率密度p(X |

6、i) 后驗(yàn)概率P(i| X) 采用哪種概率進(jìn)展分類最合理？一 、決策規(guī)那么后驗(yàn)概率P(i| X). 雖然后驗(yàn)概率P(i| X)可以提供有效的分類信息，但先驗(yàn)概率P(i)和類概率密度函數(shù)p(X |i)從統(tǒng)計(jì)資料中容易獲得，故用Bayes公式，將后驗(yàn)概率轉(zhuǎn)化為類概率密度函數(shù)和先驗(yàn)概率的表示。由：可知，分母與i無(wú)關(guān)，即與分類無(wú)關(guān)，故分類規(guī)那么又可表示為： (5.2-2)(5.2-1)、(5.2-2)均稱為“最小錯(cuò)誤率Bayes規(guī)那么。 (5.2-1).例子癌癥普查：1癌癥患者：112682正常者： 2242282總?cè)藬?shù)：n=2253550對(duì)每一類的概率做一個(gè)估計(jì)先驗(yàn)概率.對(duì)人們丈量細(xì)胞的特征向量 代

7、表的某個(gè)人屬于第i類的后驗(yàn)概率：決策規(guī)律：例子癌癥普查續(xù)1：.假設(shè)知兩類特征向量分布的類條件概率密度函數(shù)貝葉斯公式、全概率公式例子癌癥普查續(xù)2：.將P(i|x)代入判別式，判別規(guī)那么可表示為或改寫為l12稱為似然比likelihood ratio，12稱為似然比的判決閥值。例子癌癥普查續(xù)3：.概念和符號(hào) -總概率 -后驗(yàn)概率 -類概密，表示在類i條件下的概率密度，即類i方式x的概率分布密度 -先驗(yàn)概率，表示類i出現(xiàn)的先驗(yàn)概率，簡(jiǎn)稱類i的概率.例：對(duì)一批人進(jìn)展癌癥普查，1 :患癌癥者; 2 :正常人。 方式特征x=x(化驗(yàn)結(jié)果),x=1：陽(yáng)性；x=0：陰性。知：統(tǒng)計(jì)結(jié)果先驗(yàn)概率：P(1)=0.0

8、05 P(2)=1-P(1)=0.995條件概率：p(x=陽(yáng)|1)=0.95 p(x=陰|1)=0.05 p(x=陽(yáng)|2)=0.01求：呈陽(yáng)性反映的人能否患癌癥？.解：利用Bayes公式由于，P(2|x=陽(yáng))= 1-P(1|x=陽(yáng))=1- 0.323=0.677 P(1|x=陽(yáng))P(2|x=陽(yáng))故判決： (x=陽(yáng))2 ，即正常。.寫成似然比方式.現(xiàn)有一待診人員，血液察看值為X 。從類條件概率密度發(fā)布曲線得：，例：假定某地域乙肝患者和安康人的先驗(yàn)概率分別為試對(duì)X進(jìn)展分類。解：.例1解：利用貝葉斯公式，分別計(jì)算出的后驗(yàn)概率.二、錯(cuò)誤率分析 兩類問(wèn)題判別決規(guī)那么：用后驗(yàn)概率密度表示為 用先驗(yàn)概率和類

9、概率密度函數(shù)表示為或錯(cuò)誤率定義為：其中表示n重積分，即整個(gè)n維方式空間上的積分。判別界面為：.對(duì)兩類問(wèn)題，上式中的P(e|X)為：即分類中能夠會(huì)發(fā)生兩種錯(cuò)誤。假設(shè)R1為1類的判決區(qū)， R2為2類的判決區(qū)，那么兩種錯(cuò)誤為： 未來(lái)自1類的方式錯(cuò)分到R2中去。 未來(lái)自2類的方式錯(cuò)分到R1中去?？偟腻e(cuò)誤為兩種錯(cuò)誤之和：1、兩類問(wèn)題錯(cuò)誤率樣本被劃入第2類.一維方式情況圖示：在最小錯(cuò)誤Bayes規(guī)那么中，判決界面為兩曲線的交點(diǎn)處，即：或 可以看出這個(gè)誤差是一切誤差中最小的圖中三角形的面積減小到0，但總錯(cuò)誤概率不能夠?yàn)榱恪? 最小風(fēng)險(xiǎn)貝葉斯決策根本思想： 以各種錯(cuò)誤分類所呵斥的平均風(fēng)險(xiǎn)最小為規(guī)那么，進(jìn)展分類

10、決策。4.3 最小風(fēng)險(xiǎn)貝葉斯決策一、“風(fēng)險(xiǎn)概念 1自動(dòng)滅火系統(tǒng)： 2疾病診斷： 不同的錯(cuò)判呵斥的損失不同。損失又稱為風(fēng)險(xiǎn)。 思索到對(duì)于某一類的錯(cuò)誤判決要比對(duì)于另一類的更為關(guān)鍵，據(jù)此把最小錯(cuò)誤率的貝葉斯判決做一些修正，提出了“條件平均風(fēng)險(xiǎn) rj(X)的概念。. 對(duì)M類問(wèn)題，假設(shè)察看樣本被斷定屬于j類，那么條件平均風(fēng)險(xiǎn)指：將某一X判為屬于j類時(shí)呵斥的平均損失，也稱條件平均損失。二、條件平均風(fēng)險(xiǎn)與平均風(fēng)險(xiǎn)其中或i 樣本實(shí)踐中能夠?qū)儆诘念悇e號(hào)j 分類判決后指定的判決號(hào)Lij將i類方式錯(cuò)判為j類的“是非代價(jià)，或稱“損失。自然屬性為i類的樣本，被劃分到j(luò)類中，在j類中產(chǎn)生一錯(cuò)誤分類，風(fēng)險(xiǎn)添加。.L2c(2

11、/c)L21(2/1) 2 L12(1/2) L11(1/1) 1 2 1 類型 風(fēng)險(xiǎn)判別二.風(fēng)險(xiǎn)矩陣為L(zhǎng)1j(1/j)L1c(1/c)i a Li1(i/I)La1(a/I)La2(a/2)Laj(a/j)jcLac(a/c)Li2(i/2)Lic(i/c)Lij(i/j)L22(2/2)L2j(2/j).用先驗(yàn)概率和條件概率的方式： p(X)對(duì)一切類別一樣，故不提供分類信息，判別規(guī)那么常用方式： .決策規(guī)那么：對(duì)于某個(gè)X：假設(shè)對(duì)每個(gè)X 都按條件平均風(fēng)險(xiǎn)最小決策，那么平均風(fēng)險(xiǎn)也最小?？偟臈l件平均風(fēng)險(xiǎn)通常稱為“平均風(fēng)險(xiǎn)或“平均損失。條件平均風(fēng)險(xiǎn)與平均風(fēng)險(xiǎn)的區(qū)別平均風(fēng)險(xiǎn)：對(duì)方式總體而言。條件平均

12、風(fēng)險(xiǎn)：對(duì)某類樣本而言。1、多類情況：設(shè)有M 類對(duì)于任一X 對(duì)應(yīng) M個(gè)條件平均風(fēng)險(xiǎn)ri(X) ，i =1,2, M，根本判決規(guī)那么：三、最小平均風(fēng)險(xiǎn)貝葉斯決策.2、兩類情況：對(duì)樣本 X當(dāng)X 被判為1類時(shí)：當(dāng)X 被判為2類時(shí)： 由式：.令：，稱似然比；，為閾值。 計(jì)算 。 計(jì)算 。 定義損失函數(shù)Lij。判別步驟：類概率密度函數(shù)p(X |i) 也稱i的似然函數(shù).例 在例1的根底上利用決策表以下，按最小風(fēng)險(xiǎn)進(jìn)展分類 決策表 類型 風(fēng)險(xiǎn)判別 1 2 1 0 6 2 1 0.解：計(jì)算 和 得：例：某地乙肝患者與安康人的先驗(yàn)概率分別為某患者的察看結(jié)果用方式向量 X 表示。由類概率密度曲線查得損失函數(shù)分別為L(zhǎng)

13、11=0，L12=10， L22=0，L21=1。按最小風(fēng)險(xiǎn)貝葉斯決策分類。即被診斷為乙肝患者。.損失函數(shù)為特殊情況：三、(0-1)損失最小風(fēng)險(xiǎn)貝葉斯決策1、多類情況(0-1)情況下，對(duì)X 被判為 時(shí)：普通方式：可改寫成：判決規(guī)那么：.定義判決函數(shù)等價(jià)方式：那么判決規(guī)那么等價(jià)方式為： 是“最小錯(cuò)誤Bayes決策 書43頁(yè)(4-3)式 2、兩類情況： 書43頁(yè)(4-3)式 .或從式導(dǎo)出似然比方式：其中：判決規(guī)那么： .4.4 正態(tài)分布方式的貝葉斯決策一、預(yù)備知識(shí)復(fù)習(xí)1、二次型設(shè)一向量，矩陣那么稱為二次型。二次型中的矩陣A是一個(gè)對(duì)稱矩陣，即 。含義：是一個(gè)二次齊次多項(xiàng)式，2、正定二次型 對(duì)于 即X

14、分量不全為零，總有 ，那么稱此二些型是正定的，而其對(duì)應(yīng)的矩陣稱為正定矩陣。.3、單變量一維的正態(tài)隨機(jī)向量密度函數(shù)表示為：曲線如圖示：= -1，=0.5 ； = 0，=1 ； = 1，=2 .4、一維正態(tài)曲線的性質(zhì)2曲線關(guān)于直線 x =對(duì)稱。3當(dāng) x =時(shí)，曲線位于最高點(diǎn)。4當(dāng)x時(shí)，曲線上升；當(dāng)x時(shí)，曲線下降.并且當(dāng)曲線向左、右兩邊無(wú)限延伸時(shí)，以x軸為漸近線，向它無(wú)限接近。1曲線在 x 軸的上方，與x軸不相交。5一定時(shí)，曲線的外形由確定。越大，曲線越“矮胖，表示總體的分布越分散；越小。曲線越“瘦高。表示總體的分布越集中。 .6“3規(guī)那么即：絕大部分樣本都落在了均值附近3的范圍內(nèi)，因此正態(tài)密度曲線

15、完全可由均值和方差來(lái)確定，常簡(jiǎn)記為：p(x). 左圖為某大學(xué)男大學(xué)生的身高數(shù)據(jù)，紅線是擬合的密度曲線?？梢?，其身高應(yīng)服從正態(tài)分布。 總之，正態(tài)分布高斯分布廣泛存在于自然、消費(fèi)及科學(xué)技術(shù)的許多領(lǐng)域之中，對(duì)許多實(shí)踐情況都是一種適宜的模型，并且具有良好的特征，所以遭到很大注重。.5、多變量n維正態(tài)隨機(jī)向量密度函數(shù)與單變量類似，表示為：式中|C|：協(xié)方差矩陣C的行列式， 多維正態(tài)密度函數(shù)完全由它的均值 M 和協(xié)方差矩陣C所確定，簡(jiǎn)記為：p(X)N( M , C )為對(duì)稱正定矩陣。.以二維正態(tài)密度函數(shù)作圖(a)、(b)所示：等高線等密度線投影到x1ox2面上為橢圓，從原點(diǎn)O到點(diǎn)M 的向量為均值M，圓心為

16、M。橢圓的外形由協(xié)方差矩陣C決議。. 對(duì)許多實(shí)踐的數(shù)據(jù)集，正態(tài)分布通常是合理的近似。正態(tài)分布概率模型特點(diǎn)： 1. 物理上的合理性。 2. 數(shù)學(xué)上的簡(jiǎn)單性。 前面引見的Bayes方法事先必需求出p(X|i) 、 p(i) 。而當(dāng) p(X|i)呈正態(tài)分布時(shí)，只需求知道 M 和 C 矩陣即可。二、正態(tài)分布方式的Bayes決策1、多類情況具有M 種方式類別的多變量正態(tài)密度函數(shù)為： (5.4-1).式中，每一類方式的分布密度都完全被其均值向量Mi和協(xié)方差矩陣Ci所規(guī)定，其定義為：協(xié)方差矩陣Ci是對(duì)稱的正定矩陣，它決議樣本分布的外形，中心由均值向量M決議。 在最小錯(cuò)誤率Bayes決策中，類別i的判別函數(shù)可

17、寫為：對(duì)正態(tài)密度函數(shù)，為了方便，取對(duì)數(shù)后有： (5.4-2)對(duì)數(shù)是單調(diào)遞增函數(shù)，故取對(duì)數(shù)后仍有相對(duì)應(yīng)的分類性能。.去掉與i無(wú)關(guān)的項(xiàng)，不影響分類，簡(jiǎn)化為：這就是正態(tài)分布的最小錯(cuò)誤率Bayes決策的判別函數(shù)。 (5.4-3) (5.4-1) (5.4-2)將(5.4-1)代入(5.4-2)式：. di(X)為超二次曲面?？梢妼?duì)正態(tài)分布方式的Bayes分類器，兩類方式之間用一個(gè)二次判別界面分開，就可以求得最優(yōu)的分類效果。 (5.4-3)判決規(guī)那么同前：.2、兩類問(wèn)題 當(dāng)C1C2時(shí)：對(duì)應(yīng)判別函數(shù)判別界面 是X的二次型方程決議的超曲面，如圖(a)所示。 當(dāng)： 圖(a). 當(dāng)C1=C2=C時(shí)：由(5.4-

18、3)式，由此導(dǎo)出判別界面為：為X的線性函數(shù)，是一超平面。當(dāng)為二維時(shí)，判別界面為不斷線，如圖(b)所示。 (5.4-4) (5.4-3)兩類一樣，抵消展開一樣，合并. 當(dāng)時(shí)：判別界面如圖(c)示。圖(c)圖(b) (5.4-4).例：設(shè)在三維特征空間里，分別在兩個(gè)類型中獲得4個(gè)樣本，位于一個(gè)單位立方體的頂點(diǎn)上：.設(shè)兩類為正態(tài)分布，其均值向量和協(xié)方差矩陣可用下式估計(jì)： (5.4-5) (5.4-5)式中， Ni為類別i中方式的數(shù)目，xij代表在第i類中的第j個(gè)方式。兩類的先驗(yàn)概率 。試確定兩類之間的判別界面。解：.經(jīng)計(jì)算有因協(xié)方差矩陣相等，故(5.4-4)為其判別式。由于 (5.4-4)將代入：圖

19、中畫出判別平面的一部分。.三、分類器的錯(cuò)誤概率 評(píng)價(jià)一種判別規(guī)那么的性能，需求計(jì)算錯(cuò)分的概率。兩類問(wèn)題中，能夠會(huì)發(fā)生兩種錯(cuò)誤：1未來(lái)自1類的方式錯(cuò)分到R2中去；2未來(lái)自2 類的方式錯(cuò)分到R1中去?？偟腻e(cuò)誤定義為這兩種錯(cuò)誤的先驗(yàn)概率加權(quán)和，即：總錯(cuò)誤概率：一維方式下的情況如以下圖示： .只需符合貝葉斯判別準(zhǔn)那么，即判別閾值滿足的條件，分類錯(cuò)誤概率才干最小，但總錯(cuò)誤概率不能夠?yàn)榱恪?思索總錯(cuò)誤概率是必要的，只使一個(gè)樣品的錯(cuò)誤概率最小是沒有意義的，由于這時(shí)另一類的錯(cuò)誤概率能夠很大。.4.5 聶曼-皮爾遜(Neyman-Person)判別、Neyman-Person判決思想適用于p(i)難以確定時(shí)。根

20、本思想：限制一個(gè)錯(cuò)誤概率，追求另一個(gè)最小(二類問(wèn)題)。二類問(wèn)題的最小錯(cuò)誤率Bayes決策中的總錯(cuò)誤：P1(e)：1類方式被錯(cuò)分到2類區(qū)域時(shí)，引起的錯(cuò)誤概率。P2(e)：2類方式被錯(cuò)分到1類區(qū)域時(shí)，引起的錯(cuò)誤概率。. Neyman-Person準(zhǔn)那么出發(fā)點(diǎn)：在取P2(e)等于常數(shù)的條件下，使P1(e)為最小，以此來(lái)確定閥值。在“信號(hào)檢測(cè)中：P2(e)代表虛警概率；P1(e)代表漏報(bào)概率=1-PD檢測(cè)概率 此時(shí)準(zhǔn)那么含義：在虛警概率P2(e)是一個(gè)可以接受的常數(shù)值的條件下，使漏報(bào)概率為最小。X為一維情況的概率密度曲線.使總錯(cuò)誤率最小：最小錯(cuò)誤率Bayes決策 使風(fēng)險(xiǎn)錯(cuò)誤引起的損失最?。?最小平均風(fēng)

21、險(xiǎn)Bayes決策 (0-1)損失最小風(fēng)險(xiǎn)Bayes決策 限制一個(gè)錯(cuò)誤概率，追求另一個(gè)最?。?Neyman-Person判別分析：研討算法的三種思緒.二、判別式推導(dǎo)在求P1(e)為最小時(shí)，需求構(gòu)造一個(gè)函數(shù)：待定常數(shù)， P2(e)常數(shù)求P1(e)最小，即是求Q最小。 5.5-1要使Q最小，積分項(xiàng)至少應(yīng)為負(fù)值，即在R1區(qū)域內(nèi)，至少應(yīng)保證即： 5.5-2.同理由5.5-1式有：即確R2定范圍的準(zhǔn)那么是：即： 5.5-3從5.5-2、5.5-3式可得判別式為： 判別別界面為：5.5-55.5-4.從5.5-4式可看出：、 p(X|1) 、p(X|2)是知的，Neyman-Person準(zhǔn)那么實(shí)踐上 最終歸結(jié)為找閥值 。 從(5.5-5)式可知，X為的函數(shù)，所以可求出 X= t ()， t ()可做為子空間R1和R2的邊境。.找從已規(guī)定為常數(shù)的P2(e)入