Bayes分類器標(biāo)準(zhǔn)通用

1、word 模式識(shí)別實(shí)驗(yàn) 題目： Bayes分類器的設(shè)計(jì) 學(xué) 院 計(jì)算機(jī)科學(xué)與技術(shù) 專 業(yè) 計(jì)算機(jī)科學(xué)與技術(shù) 學(xué) 號(hào) 2012436034 姓 名 顧文遠(yuǎn) 指導(dǎo)教師 李凱 .word2022年 10 月14日.word實(shí)驗(yàn)一 Bayes分類器設(shè)計(jì)一、教學(xué)要求理解基于Bayes決策理論的隨機(jī)模式分類的原理和方法，掌握基于最小錯(cuò)誤率的貝葉斯決策和基于最小風(fēng)險(xiǎn)的貝葉斯決策，并能夠?qū)ω惾~斯規(guī)那么給出具體的實(shí)現(xiàn)。二、知識(shí)點(diǎn)提示知識(shí)點(diǎn)：錯(cuò)誤率、風(fēng)險(xiǎn)、先驗(yàn)概率、概率密度函數(shù)、最小錯(cuò)誤率貝葉斯決策規(guī)那么、最小風(fēng)險(xiǎn)貝葉斯決策規(guī)那么。重點(diǎn)：最小錯(cuò)誤率貝葉斯決策規(guī)那么和最小風(fēng)險(xiǎn)貝葉斯決策規(guī)那么的實(shí)現(xiàn)。難點(diǎn)：最小風(fēng)險(xiǎn)貝

2、葉斯決策規(guī)那么的實(shí)現(xiàn)。三、教學(xué)內(nèi)容Bayes分類器的根本思想是依據(jù)類別先驗(yàn)概率和條件概率密度，按照某種準(zhǔn)那么使分類結(jié)果從統(tǒng)計(jì)上講是最正確的。換言之，根據(jù)類別先驗(yàn)概率和條件概率密度將模式空間劃分成假設(shè)干個(gè)子空間，在此根底上形成模式分類的判決規(guī)那么。準(zhǔn)那么函數(shù)不同，所導(dǎo)出的判決規(guī)那么就不同，分類結(jié)果也不同；使用哪種準(zhǔn)那么或方法應(yīng)根據(jù)具體問題來確定。1產(chǎn)生二維正態(tài)分布模式，并將產(chǎn)生的樣本集隨機(jī)地分為訓(xùn)練集和測試集；2分別設(shè)計(jì)最小錯(cuò)誤率的Bayes分類器和最小風(fēng)險(xiǎn)Bayes分類器，并對(duì)測試集進(jìn)行分類，觀察代價(jià)函數(shù)的設(shè)置對(duì)分類結(jié)果的影響；3統(tǒng)計(jì)錯(cuò)分概率。四、實(shí)驗(yàn)原理以Bayes公式為根底，利用測量到的對(duì)

3、象特征配合必要的先驗(yàn)信息，求出各種可能決策情況分類情況的后驗(yàn)概率，選取后驗(yàn)概率最大的,或者決策風(fēng)險(xiǎn)最小的決策方式(分類方式)作為決策分類的結(jié)果。也就是說選取最有可能使得對(duì)象具有現(xiàn)在所測得特性的那種假設(shè)，作為判別的結(jié)果。五、實(shí)驗(yàn)步驟1、首先產(chǎn)生二維正態(tài)分布模式的數(shù)據(jù)，設(shè)定產(chǎn)生均值為2，標(biāo)準(zhǔn)差為0.5的100個(gè)隨機(jī)數(shù)據(jù)和均值為-2，標(biāo)準(zhǔn)差為2的100個(gè)隨機(jī)數(shù)據(jù)，其中一個(gè)產(chǎn)生的正態(tài)密度曲線圖如下：2、設(shè)計(jì)最小錯(cuò)誤率的Bayes分類器，將兩類數(shù)據(jù)分別根據(jù)先驗(yàn)概率和類條件概率密度計(jì)算后驗(yàn)概率，選擇后驗(yàn)概率大的為一類，得出測試集正確率和錯(cuò)誤率為其中worng1是將第一類錯(cuò)分到第二類的錯(cuò)誤率，worng2是

4、將第二類錯(cuò)分到第一類的錯(cuò)誤率：rightRate1 = 0.9800worng1 = 0.0200rightRate2 = 0.9200worng2 = 0.08003、設(shè)計(jì)最小風(fēng)險(xiǎn)Bayes分類器，根據(jù)前面計(jì)算的后驗(yàn)概率，利用決策表計(jì)算出條件風(fēng)險(xiǎn)R，決策選擇風(fēng)險(xiǎn)小的，即對(duì)于第一類數(shù)據(jù)如果算出的R1風(fēng)險(xiǎn)小根據(jù)分類器設(shè)定選擇第一類分類，那么分類正確，對(duì)于第二類數(shù)據(jù)如果算出的R2風(fēng)險(xiǎn)小即選擇第二類分類，分類正確，否那么分類錯(cuò)誤，根據(jù)這一標(biāo)準(zhǔn)計(jì)算分類決策的正確率和錯(cuò)誤率。決策表決策12104220這里worng3是最小風(fēng)險(xiǎn)Bayes分類器將第一類錯(cuò)分到第二類的錯(cuò)誤率，worng4是將第二類錯(cuò)分到第一

5、類的錯(cuò)誤率：rightRate3 = 0.9500worng3 = 0.0500rightRate4 = 0.9400worng4 =0.0600 當(dāng)改變代價(jià)函數(shù)，分類結(jié)果也隨之改變，這里僅僅將12的值和21的值互換，分類結(jié)果就不同了。21增大，即將第一類數(shù)據(jù)錯(cuò)分到第二類里面的風(fēng)險(xiǎn)就變大了，一些數(shù)據(jù)因?yàn)轱L(fēng)險(xiǎn)大了所以會(huì)分到第一個(gè)類別中去，相應(yīng)的第一類的數(shù)據(jù)分類錯(cuò)誤率減小，當(dāng)然同時(shí)第二類的數(shù)據(jù)分類錯(cuò)誤率增加了。rightRate3 = 1worng3 = 0rightRate4 = 0.8700worng4 = 0.1300六、思考題1.如何獲得類條件概率密度？類條件概率是的，也就是這里是自己設(shè)定

6、的,pw1=pw2=0.5.2.按照最小錯(cuò)誤率的貝葉斯決策規(guī)那么和最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)那么對(duì)測試集中的樣本分類，結(jié)果一致嗎？不一致，最小錯(cuò)誤率的貝葉斯決策規(guī)那么關(guān)心的是讓出現(xiàn)的錯(cuò)誤最小，而最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)那么關(guān)心的是決策結(jié)果帶來的損失最小。最小風(fēng)險(xiǎn)的貝葉斯決策的決策表是人為給定的，決策表不同導(dǎo)致的結(jié)果不同。當(dāng)決策與狀態(tài)相同時(shí)損失為0，不同時(shí)損失為1時(shí)最小風(fēng)險(xiǎn)等于最小錯(cuò)誤率貝葉斯決策。七、附錄cleare1=2;a1=0.5;e2=-2;a2=2;pw1=0.5;pw2=0.5;%最小錯(cuò)誤率貝葉斯分類s1=normrnd(e1,a1,1,100);%產(chǎn)生二維正態(tài)分布100個(gè)數(shù)據(jù)histf

7、it(s1);s2=normrnd(e2,a2,1,100);%產(chǎn)生二維正態(tài)分布100個(gè)數(shù)據(jù)p1=zeros(1,100);p2=zeros(1,100);p3=zeros(1,100);p4=zeros(1,100);right1=0;right2=0;%對(duì)第一類進(jìn)行分類for i=1:100 p1(i)=(pw1*normpdf(s1(i),e1,a1)/(pw1*normpdf(s1(i),e1,a1)+pw2*normpdf(s1(i),e2,a2); p2(i)=(pw2*normpdf(s1(i),e2,a2)/(pw1*normpdf(s1(i),e1,a1)+pw2*normp

8、df(s1(i),e2,a2); if p1(i)>p2(i) right1=right1+1; endend%對(duì)第二類進(jìn)行分類for i=1:100 p3(i)=(pw1*normpdf(s2(i),e1,a1)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); p4(i)=(pw2*normpdf(s2(i),e2,a2)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); if p3(i)<p4(i) right2=right2+1; endend%對(duì)第一類分類的正確率r

9、ightRate1=right1/100%對(duì)第一類分類的錯(cuò)誤率worng1=1-rightRate1%對(duì)第二類分類的正確率rightRate2=right2/100%對(duì)第二類分類的錯(cuò)誤率worng2=1-rightRate2%最小風(fēng)險(xiǎn)貝葉斯分類R1=zeros(1,100);R2=zeros(1,100);right3=0;right4=0;r11=0;r12=4;r21=2;r22=0;for i=1:100 R1(i)=r11*p1(i)+r12*p2(i); R2(i)=r21*p1(i)+r22*p2(i); if R1(i)<R2(i) right3=right3+1; endendfor i=1:100 R1(i)=r11*p3(i)+r12*p4(i); R2(i)=r21*p3(i)+r22*p4(i); if R1(i)>R2(i) ri