貝葉斯決策理論學(xué)習(xí)教案

1、會計學(xué)1貝葉斯決策理論貝葉斯決策理論第一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論第二章 內(nèi)容綱要02第1頁/共89頁第二頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論03第2頁/共89頁第三頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論04第3頁/共89頁第四頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論05第4頁/共89頁第五頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論06例：某制藥廠生產(chǎn)的藥品檢驗識別目的：說明Bayes決策所要解決的問題！第5頁/共89頁第六頁，編輯于星期日：二

2、十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論07第6頁/共89頁第七頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論08第7頁/共89頁第八頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論09第8頁/共89頁第九頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論10第9頁/共89頁第十頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論11第10頁/共89頁第十一頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第

3、二章 貝葉斯決策理論12第11頁/共89頁第十二頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論13第12頁/共89頁第十三頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論)|(XPi14基于錯誤率的Bayes決策基于最小風(fēng)險的Bayes決策第13頁/共89頁第十四頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論15第14頁/共89頁第十五頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論16第15頁/共89頁第十六頁，編輯于星期日：二十點 五分

4、。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論17第16頁/共89頁第十七頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論18第17頁/共89頁第十八頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論對于待測樣品，Bayes公式可以計算出該樣品分屬各類別的概率，叫做后驗概率?？碭屬于哪個類的可能性最大，就把X歸于可能性最大的那個類，后驗概率作為識別對象歸屬的依據(jù)。 19第18頁/共89頁第十九頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論Bayes公式如下：njjjiiiPXPPXPXP1)()|()(

5、)|()|(Bayes公式體現(xiàn)了先驗概率、類概率密度函數(shù)、后驗概率三者之間的關(guān)系。20)(iP)|(iXP先驗概率類條件概率密度函數(shù)后驗概率)|(XPi第19頁/共89頁第二十頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論)(iP)(iP1、先驗概率先驗概率針對M個事件出現(xiàn)的可能性而言，不考慮其他任何條件。21第20頁/共89頁第二十一頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論)(iP1n2n1、舉例說明：什么是先驗概率 ？，異常藥品數(shù)為由統(tǒng)計資料表明總藥品數(shù)為n，其中正常藥品數(shù)為則 nnP11)(nnP22)

6、(先驗概率! 顯然在一般情況下正常藥品占比例大，即)()(21PP22由先驗概率所提供的信息太少！ 第21頁/共89頁第二十二頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論)|(iXP類條件概率密度函數(shù) )|(iXP是指在已知某類別的特征空間中，出現(xiàn)特征值X的概率密度， i即第 類樣品它的屬性X是如何分布的。 232、類條件概率密度函數(shù)第22頁/共89頁第二十三頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論假定只用某一個特征進(jìn)行分類，即d1。并已知這兩類的類條件概率函數(shù)分布，如圖43所示。 24概率密度函數(shù) )|(

7、1XP是正常藥品的屬性分布，概率密度函數(shù) )|(2XP是異常藥品的屬性分布。 第23頁/共89頁第二十四頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論如果采用正態(tài)密度函數(shù)作為類條件概率密度的函數(shù)形式，則函數(shù)內(nèi)的參數(shù)（如期望和方差）是未知的，那么問題就變成了如何利用大量樣品對這些參數(shù)進(jìn)行估計。)|(iXP也就確定了。 25在工程上的許多問題中，統(tǒng)計數(shù)據(jù)往往滿足正態(tài)分布規(guī)律。正態(tài)分布簡單，分析簡單，參量少，是一種適宜的數(shù)學(xué)模型。只要估計出這些參數(shù)，類條件概率密度函數(shù) 第24頁/共89頁第二十五頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第

8、二章 貝葉斯決策理論單變量正態(tài)分布概率密度函數(shù)為：)(21exp21)(2xxP為數(shù)學(xué)期望（均值） dxxxPxE)()(2為方差： dxxPxxE)()()(22226第25頁/共89頁第二十六頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論多維正態(tài)概率密度函數(shù)為：)()(21exp|)2(1)(12/12/XSXSXPTN),.,(21NxxxX 為 N維特征向量； 為 N),.,(21N)(TXXES維均值向量； 為 N維協(xié)方差矩陣； 1S是 S的逆矩陣； | S是 S的行列式。 27第26頁/共89頁第二十七頁，編輯于星期日：二十點 五分。2.1

9、Bayes決策的基本概念第二章 貝葉斯決策理論在大多數(shù)情況下，類條件概率密度函數(shù)可以采用多維變量的正態(tài)概率密度函數(shù)類模擬，即|ln212ln2)()(21)()(21exp|)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP28第27頁/共89頁第二十八頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論3、后驗概率29 后驗概率是指呈現(xiàn)狀態(tài)X時，該樣品分屬各類別的概率，這個概率值可以作為識別對象歸屬的依據(jù) 。第28頁/共89頁第二十九頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論由于屬于不同

10、類的待識別對象存在著呈現(xiàn)相同觀察值的可能，即所觀察到的某一樣品的特征向量為X，而在M類中又有不止一類可能呈現(xiàn)這一X值，它屬于各類的概率又是多少呢？ 這種可能性可用 )|(XPi表示！ 30后驗概率！第29頁/共89頁第三十頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出現(xiàn)條件下，樣品為 i類的概率。在這里要弄清楚條件概率這個概念。 31第30頁/共89頁第三十一頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論4、 )|(1XP和 )|(

11、2XP與 )|(1XP和 )|(2XP的區(qū)別 )|(1XP和 )|(2XP是在同一條件X下，比較 1和 2出現(xiàn)的概率。 32第31頁/共89頁第三十二頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論 如 )|()|(21XPXP則可以下結(jié)論，在X條件下，事件 1出現(xiàn)的可能性大。兩類情況下，則有 1)|()|(21XPXP33如圖44所示。第32頁/共89頁第三十三頁，編輯于星期日：二十點 五分。2.1 Bayes決策的基本概念第二章 貝葉斯決策理論 )|(1XP與 )|(2XP兩者之間沒有聯(lián)系，比較兩者沒有意義。 34都是指各自條件下出現(xiàn)X的可能性，第33

12、頁/共89頁第三十四頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論35第34頁/共89頁第三十五頁，編輯于星期日：二十點 五分。2.2 基于最小錯誤率的Bayes決策第二章 貝葉斯決策理論假定得到一個待識別量的特征X后，每個樣品X有 N個特征，即 TNxxxX),.,(21 通過樣品庫，計算先驗概率 )(iP及類條件概率密度函數(shù) )|(iXP，得到呈現(xiàn)狀態(tài)X時，該樣品分屬各類別的概率， 36顯然這個概率值可以作為識別對象判屬的依據(jù)。第35頁/共89頁第三十六頁，編輯于星期日：二十點 五分。2.2 基于最小錯誤率的Bayes決策第二章 貝葉斯決策理論基于最小錯誤概率的貝葉斯決策就是按后驗

13、概率的大小做判決的。這個規(guī)則又可以根據(jù)類別數(shù)目，寫成不同的幾種等價形式。 37從后驗概率分布圖44可見，在X值小時，藥品被判為正常是比較合理的，判斷錯誤的可能性小。第36頁/共89頁第三十七頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論兩類問題若每個樣品屬于 1， 2類中的一類，已知兩類的先驗概率分別為 )(1P和 )(2P，兩類的類條件概率密度分別為 )|(1XP和 )|(2XP則任給一X，判斷X的類別。 382.2 基于最小錯誤率的Bayes決策由Bayes公式可知：)(/ )()|()|(XPPXPXPjjj由全概率公式可知：MjjjPXPXP1)()|()(其中M為類別。 第3

14、7頁/共89頁第三十八頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論對于兩類問題)()|()()|()(2211PXPPXPXP所以用后驗概率來判別為：2121)|()|(XXPXP392.2 基于最小錯誤率的Bayes決策第38頁/共89頁第三十九頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論判別函數(shù)還有另外兩種形式，即似然比形式： 211221)()()|()|()(XPPXPXPxl其中，式中的 )(xl在統(tǒng)計學(xué)中稱為似然比。 )()(12PP稱為似然比閾值，其對數(shù)形式： 212112)(/ )(ln)|(ln)|(lnXPPXPXP三種判別函數(shù)是一致的。也可以用后驗概率

15、來表示判別函數(shù)。402.2 基于最小錯誤率的Bayes決策第39頁/共89頁第四十頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論判別函數(shù)的一般形式，如圖45所示。412.2 基于最小錯誤率的Bayes決策2.多類問題第40頁/共89頁第四十一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論若樣品分為M類 M,.,21各類的先驗概率分別為 )(1P)(2P )(MP各類的類條件概率密度分別為 )|(1XP)|(2XP )|(MXP就有M個判別函數(shù)。 422.2 基于最小錯誤率的Bayes決策2.多類問題第41頁/共89頁第四十二頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論

16、在取得一個觀察特征X之后，在特征X的條件下，看哪個類的概率最大，應(yīng)該把X歸于概率最大的那個類。432.2 基于最小錯誤率的Bayes決策因此對于任一模式X，可以通過比較各個判別函數(shù)來確定X的類別。ijjMjiiXXPPXPP)|()()|()(max1其中， Mi,.,2 , 1 把X代入M個判別函數(shù)中，看哪個判別函數(shù)最大，就把X歸于這一類。第42頁/共89頁第四十三頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論判別函數(shù)的對數(shù)形式為：ijjMjiiXXPPXPP)|(ln)(lnmax)|(ln)(ln1442.2 基于最小錯誤率的Bayes決策其中， Mi,.,2 , 1第43頁/共

17、89頁第四十四頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論在大多數(shù)情況下，類條件概率密度可以采用多維變量的正態(tài)概率密度函數(shù)來模擬。)(ln|ln212ln2)()(21)()()(21exp|)2(1ln)()|()(112/12/iiiiTiiiiTiiNiiiPSNXSXPXSXSPxPxh452.2 基于最小錯誤率的Bayes決策此時正態(tài)分布的Bayes分類器判別函數(shù)為：第44頁/共89頁第四十五頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論使用什么樣的決策原則可以做到錯誤率最小呢？)|(XPi然后根據(jù)后驗概率最大的類來分類。462.2 基于最小錯誤率的Bayes決策這

18、個條件是要知道一個樣品X分屬不同類別的可能性，表示成后驗概率要通過Bayes公式從先驗概率與類分布函數(shù)來計算。 第45頁/共89頁第四十六頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論基于最小錯誤率的Bayes決策根據(jù)：如果 )|(max)|(2, 1XPXPjji則 iX注意：由于統(tǒng)計判別方法是基于統(tǒng)計參數(shù)做出決策，因此錯誤率也只能從平均的意義上講，表示為在觀測值可能取值的整個范圍內(nèi)錯誤率的均值。472.2 基于最小錯誤率的Bayes決策3.最小錯誤率證明第46頁/共89頁第四十七頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論為了直觀，假設(shè)X只有一個特征， 1N，于是 )|(

19、1XP， )|(2XP都是一元函數(shù)。 將整個特征空間分為不相交的兩個部分 1R和 2R當(dāng)模式落在 1R內(nèi)判它屬于 1類， 求分類器相當(dāng)于求 1R和 2R的界線。 482.2 基于最小錯誤率的Bayes決策第47頁/共89頁第四十八頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論1) 第一類判錯 如果X原屬于 1類，卻落在 2R內(nèi)，稱為第一類判錯。2)|()|()(1121RdXXPRXPeP492.2 基于最小錯誤率的Bayes決策錯誤率為：第48頁/共89頁第四十九頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論2) 第二類判錯如果X原屬于 2類，卻落在 1R內(nèi)，稱為第二類判錯。

20、2)|()|()(2212RdXXPRXPeP502.2 基于最小錯誤率的Bayes決策錯誤率為：第49頁/共89頁第五十頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論平均錯誤率 )(eP可表示成： 12)()|()()|()(2211RRdXpXPdXpXPeP因此，錯誤率為圖中兩個劃線部分之和，如圖46所示。512.2 基于最小錯誤率的Bayes決策第50頁/共89頁第五十一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論表明每個樣品所屬類別都使 )|(XPi這時總的錯誤率為最小。12)()|()()|(2211RRdXpXPdXpXP522.2 基于最小錯誤率的Bayes決

21、策如果 )|(max)|(2, 1XPXPjji則 iXBayes決策公式！為最大，實際上使X判錯的可能性達(dá)到最小，按Bayes決策分類時， 第51頁/共89頁第五十二頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論53第52頁/共89頁第五十三頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論542.3 基于最小風(fēng)險的Bayes決策可見使錯誤率最小并不一定是最佳選擇!第53頁/共89頁第五十四頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論實踐中，從根據(jù)不同性質(zhì)的錯誤會引起不同程度的損失考慮出發(fā),寧肯擴(kuò)大一些總的錯誤率，但也要使總的損失減少。552.3 基于最小風(fēng)險的Baye

22、s決策這會引起一個與損失有關(guān)聯(lián)的概率風(fēng)險。在做出決策時，要考慮所承擔(dān)的風(fēng)險?；谧钚★L(fēng)險的Bayes決策規(guī)則正是為了體現(xiàn)這一點而產(chǎn)生的! 這時直線B的劃分為最實用!第54頁/共89頁第五十五頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論將做出判決的依據(jù)，從單純考慮后驗概率最大值，改為對該觀測值X條件下各狀態(tài)后驗概率求加權(quán)和的方式： MjjiiXPjXR1)|(),()(其中， i代表將X判為 i類的決策； ),(ji表示觀測樣品X實屬于 j，由于采用 i決策而被判為 i時所造成的損失。 iR則表示了觀測值X被判為 i類時損失的均值。 562.3 基于最小風(fēng)險的Bayes決策第55頁/共

23、89頁第五十六頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論損失函數(shù)! )2 ,(1) 1 ,(2也可以定義 ) 1 ,(1與 )2 ,(2是指正確判斷也可能有損失。 572.3 基于最小風(fēng)險的Bayes決策為了使式子書寫更方便， 第56頁/共89頁第五十七頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論把X判作 1引進(jìn)的損失應(yīng)該與 )2 ,(1以及 ) 1 ,(2都有關(guān)，哪一個占主要成分，則取決于 )|(1XP與 )|(2XP。 因此變成了一個加權(quán)和。如表41所示。582.3 基于最小風(fēng)險的Bayes決策第57頁/共89頁第五十八頁，編輯于星期日：二十點 五分。第二章 貝葉斯決

24、策理論此時做出哪一種決策就要看是 )(1XR小還是 小了， 這就是基于最小風(fēng)險的Bayes決策的基本出發(fā)點。 如果希望盡可能避免將某狀態(tài) j錯判為狀態(tài) i，則可將相應(yīng)的 ),(ji值選擇得大些，以表明損失的嚴(yán)重性。 加權(quán)和 iR用來衡量觀測樣品X被判為狀態(tài) i所需承擔(dān)的風(fēng)險。 而究竟將X判為何類則應(yīng)依據(jù)所有 ),.,1(MiRi中的最小值，即最小風(fēng)險來決定。 592.3 基于最小風(fēng)險的Bayes決策第58頁/共89頁第五十九頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論一般 0)2 ,() 1 ,(21 為了避免將異常藥品判為正常的嚴(yán)重?fù)p失，取 ) 1 ,()2 ,(21則會使 )()

25、(12XRXR機(jī)會多 。根據(jù)Bayes最小風(fēng)險分類法，表明正常藥品錯判為異常的可能性大于異常藥品錯判為正常的可能性，損失減少。602.3 基于最小風(fēng)險的Bayes決策第59頁/共89頁第六十頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論一些確切的定義： 自然狀態(tài)與狀態(tài)空間。則是由所有自然狀態(tài)組成的空間， M,.,21。 而狀態(tài)間612.3 基于最小風(fēng)險的Bayes決策其中自然狀態(tài)是指待識別對象的類別，第60頁/共89頁第六十一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論決策與決策空間。在決策論中，對分類問題所做的判決，稱之為決策，由所有決策組成的空間稱為決策空間。決策不僅包括

26、根據(jù)觀測值將樣品歸到哪一類別，還可包括其他決策，如“拒絕”等，在不考慮“拒絕”情況下，決策空間內(nèi)決策總數(shù)等于類別數(shù)M，表示成 MA,.,21622.3 基于最小風(fēng)險的Bayes決策第61頁/共89頁第六十二頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論損失函數(shù) ),(ji它明確表示本身屬于自然狀態(tài) j，做出決策 i使其歸屬于 i所造成的損失。 632.3 基于最小風(fēng)險的Bayes決策，第62頁/共89頁第六十三頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論觀測值X條件下的期望損失 )|(XRi， iR也稱為條件風(fēng)險。 MjjiiXPjXR1)|(),()|(Mi,.,2 , 1

27、，最小風(fēng)險Bayes決策規(guī)則可寫成：)|(min)|(,.2, 1XRXRiMik這里計算的是最小值。642.3 基于最小風(fēng)險的Bayes決策第63頁/共89頁第六十四頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論對于實際問題，最小風(fēng)險Bayes決策可按下列步驟進(jìn)行。 已知 )(iP)|(iXPMi,.,2 , 1， X的情況下，根據(jù)Bayes公式計算出后驗概率：MjjjiiiPXPPXPXP1)()|()()|()|(Mj,.,2 , 1 652.3 基于最小風(fēng)險的Bayes決策及給出待識別第64頁/共89頁第六十五頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論利用計算出的后

28、驗概念及決策表，按下式計算出采取決策 。iMi,.,2 , 1 的條件風(fēng)險MjjiiXPjXR1)|(),()|(Mi,.,2 , 1， 對中得到的M個條件風(fēng)險值 )|(XRiMi,.,2 , 1， 進(jìn)行比較， 找出使條件風(fēng)險最小的決策 k，則 k就是最小風(fēng)險Bayes決策。 k就是待識別樣品X的歸類。662.3 基于最小風(fēng)險的Bayes決策M(jìn)jjiiXPjXR1)|(),()|(Mi,.,2 , 1，i，第65頁/共89頁第六十六頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論67第66頁/共89頁第六十七頁，編輯于星期日：二十點 五分。2.4 Bayes決策比較第二章 貝葉斯決策理論

29、1、最小錯誤率與最小風(fēng)險的Bayes決策比較Mjijijiji,.,2 , 1, 1, 0),(式中假定對M類只有M個決策，即不考慮“拒絕”等其他情況。ji 而對于任何錯誤決策，其損失均為1。 ）時沒有損失，這樣定義的損失函數(shù)稱為01損失函數(shù)。68最小錯誤率與最小風(fēng)險的Bayes決策之間的關(guān)系：設(shè)損失函數(shù)為：由式表明，當(dāng)做出正確決策（即 第67頁/共89頁第六十八頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論692.4 Bayes決策比較在01損失函數(shù)情況下，基于最小風(fēng)險的Bayes決策結(jié)果也就是基于最小錯誤概率的Bayes決策結(jié)果。 第68頁/共89頁第六十九頁，編輯于星期日：二十點

30、 五分。第二章 貝葉斯決策理論實際上， MijjjXP, 1)|(也是將X判為 i時的錯誤概率， )|(1)|(, 1XPXPiMijjj，因此當(dāng) )|(XPi最大時，基于最小錯誤概率的Bayes決策結(jié)果將該樣品判歸為 i類，而此時 )(XRi風(fēng)險也是最小的。因此它與基于最小錯誤率的Bayes決策的702.4 Bayes決策比較最小，判據(jù)是一樣的。第69頁/共89頁第七十頁，編輯于星期日：二十點 五分。2.4 Bayes決策比較第二章 貝葉斯決策理論2、實例比較71某制藥廠生產(chǎn)產(chǎn)品檢測分兩種情況：正常( 1）和異常（ 2）， 兩類的先驗概率分別為 95. 0)(1P05. 0)(2P，。 現(xiàn)有

31、一待測產(chǎn)品呈現(xiàn)出狀態(tài)X，由類條件概率密度分布曲線查得 3 . 0)|(1XP5 . 0)|(2XP， （1）試對該產(chǎn)品X按最小錯誤率的Bayes決策進(jìn)行分類。 若在上述條件基礎(chǔ)之上，已知 0111512121022， 11表示 ),(11（3）對這兩種分類結(jié)果進(jìn)行比較。 的簡寫，（2）按最小風(fēng)險Bayes決策進(jìn)行分類。第70頁/共89頁第七十一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論 從上述討論可以看出，正確制訂損失函數(shù)值，是基于最小風(fēng)險的Bayes決策方法在實際應(yīng)用中的一個關(guān)鍵問題。 在實際中列出合適的決策表并不是一件容易的事，需根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴(yán)重

32、程度。722.4 Bayes決策比較第71頁/共89頁第七十二頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論73第72頁/共89頁第七十三頁，編輯于星期日：二十點 五分。2.5 基于二值數(shù)據(jù)的Bayes分類實現(xiàn)第二章 貝葉斯決策理論1、理論基礎(chǔ)74所謂二值數(shù)據(jù)，即各樣品的每一特征只取數(shù)值“1”或“0”。第73頁/共89頁第七十四頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論2、實現(xiàn)步驟751）計算先驗概率；2）計算類條件概率；3）應(yīng)用Bayes公式求后驗概率；4）后驗概率的最大值的類別（09）就是手寫數(shù)字的所屬類別。2.5 基于二值數(shù)據(jù)的Bayes分類實現(xiàn)第74頁/共89頁第七

33、十五頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論76第75頁/共89頁第七十六頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論1、理論總結(jié)77 錯誤率最小的Bayes分類器設(shè)計思想是尋找一種劃分方式，使“錯判”率最小。1）兩類問題2）多類問題2.6 基于最小錯誤率的Bayes分類實現(xiàn)第76頁/共89頁第七十七頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論2、實現(xiàn)步驟781）求出每一類手寫數(shù)字樣品的均值2）求每一類的協(xié)方差矩陣3）計算出每一類的協(xié)方差矩陣的逆矩陣以及協(xié)方差矩陣的行列式4）求出每一類的先驗概率5）將各個數(shù)值代入判別函數(shù)6）判別函數(shù)最大值所對應(yīng)類別就是手寫數(shù)字

34、的類別2.6 基于最小錯誤率的Bayes分類實現(xiàn)第77頁/共89頁第七十八頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論79第78頁/共89頁第七十九頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論802.7 基于最小風(fēng)險的Bayes分類實現(xiàn)待測樣品第79頁/共89頁第八十頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論1、實現(xiàn)步驟811）求出每一類手寫數(shù)字樣品的均值2）求每一類的協(xié)方差矩陣3）計算出每一類的協(xié)方差矩陣的逆矩陣以及協(xié)方差矩陣的行列式4）求出每一類的先驗概率5）計算后驗概率6）定義損失數(shù)組為loss10107）計算每一類的損失riski8）找出最小損失所對應(yīng)的類，該類即是待測樣品所屬的類別。2.7 基于最小風(fēng)險的Bayes分類實現(xiàn)第80頁/共89頁第八十一頁，編輯于星期日：二十點 五分。第二章 貝葉斯決策理論826）定義損失數(shù)組為loss10102.7 基于最小風(fēng)險的Ba