模式識(shí)別-貝葉斯統(tǒng)計(jì)-iris數(shù)據(jù)集

1、IRIS數(shù)據(jù)集下基于最小錯(cuò)誤率和最小1=風(fēng)險(xiǎn)的貝葉斯決策的實(shí)驗(yàn)與分析賀翔3115370035碩 51011.問(wèn)題描述1.1Iris數(shù)據(jù)集Iris數(shù)據(jù)集包含3類4維樣本，分別標(biāo)為1, 2, 3。其中，每類樣 本數(shù)目為50,且服從正態(tài)分布，每個(gè)數(shù)據(jù)樣本有4個(gè)特征向量， 分別代表萼片長(zhǎng)度，萼片寬度，花瓣長(zhǎng)度和花瓣寬度。1.2要求假設(shè)Iris數(shù)據(jù)是正態(tài)分布的，要求考慮各種實(shí)驗(yàn)可能性（分組 數(shù)量、分組策略、先驗(yàn)概率等），用樣本對(duì)多維正態(tài)密度函數(shù)進(jìn) 行參數(shù)估計(jì)（均值向量和協(xié)方差矩陣），最后對(duì)3類Iris兩兩分 類。原理描述2.1貝葉斯公式已知共有M類別。廠，T，2，A M，統(tǒng)計(jì)分布為正態(tài)分布，已知先 驗(yàn)概

2、率P（氣）及條件概率密度函數(shù)p（x I，對(duì)于待測(cè)樣品，貝葉 斯公式可以計(jì)算出該樣品分屬各類別的概率，即后驗(yàn)概率。貝葉 斯公式為P（3 I X） = P（X 1 也）P3 ,i = 1,2,A M12M p（XI ）P3）j jj=1因此給定一個(gè)未知類別的數(shù)據(jù)樣本X，貝葉斯分類法將預(yù)測(cè) X屬于具有最高后驗(yàn)概率的類。故此問(wèn)題的數(shù)學(xué)描述為：多元正 態(tài)概率模型下的貝葉斯分類2.2參數(shù)估計(jì)其中，條件概率密度函數(shù)P（x I氣）為正態(tài)密度函數(shù)，用大量樣 本對(duì)其中未知參數(shù)進(jìn)行估計(jì)，多維正態(tài)密度函數(shù)為P（ X）=1exp-（X 一旦）tS-1（X -旦）（2兀）n/2 |S|1/22式中，x =（氣,、,A七）

3、為n維向量；四=（七七a 2為n維均值向量；s = E（x -日）（x -四）t為n維協(xié)方差矩陣;S-1是s的逆矩陣;閔是S的行列式。大多數(shù)情況下，條件密度可以采用多維變量的正態(tài)密度函數(shù)來(lái)模擬。P（X I ） = ln _| exp 2（X - X （氣）tS -i（X - X （氣）1. n 一 一 1 一=-2（X - X （%）tS -i（X - X （氣）-；ln2兀-2lnSJ布為七類的均值向量。2.3先驗(yàn)概率設(shè)數(shù)據(jù)集樣本有刁個(gè)屬性，因此可用一個(gè)刁維列向量x = x ,x，,x T來(lái)表示 同時(shí)假定有個(gè)類，.如果類的先驗(yàn)1, 2，疽 小。Ic I 1， 2， c。-概率未知，則可以假定

4、這些類是等概率的，即、Sp（氣）=p（也）=.=p（%），且 P（）= S其中，S,是類%,中的訓(xùn)練樣本數(shù)，而s是訓(xùn)練樣本總數(shù)。2.4貝葉斯決策2.4.1最小錯(cuò)誤判別準(zhǔn)則，似然比形式：l (X) = 2 f。P(X I 也)V P()也P( )- -2其中，l (X)為似然比，P(叩為似然比閾值。2.4.2最小風(fēng)險(xiǎn)判別準(zhǔn)則：對(duì)觀測(cè)值x條件下，各狀態(tài)后驗(yàn)概率求加權(quán)和的方式，表示 風(fēng)險(xiǎn)如下：件:頃心牛 其中，如,j)為將第j類判為第i類的損失。若判對(duì)i=j，則L(i, j)取負(fù)值或零值，表示沒(méi)有損失；若判對(duì)i引，則L(i, j)取正值， 數(shù)值大小表示損失多少。對(duì)得到的M個(gè)類型的風(fēng)險(xiǎn)值R(X)，i

5、= 12A M進(jìn)行比較，得到使 條件風(fēng)險(xiǎn)最小的類別，判別X屬于該類別。實(shí)驗(yàn)過(guò)程實(shí)驗(yàn)環(huán)境：MATLAB R2014a實(shí)驗(yàn)策略：三類數(shù)據(jù)兩兩分類，考慮以下幾種可能性，A.取幾組數(shù)據(jù)(數(shù)量可變)？ B.怎么選組(取法可變)？C.改變先驗(yàn)概率等3.1最小錯(cuò)誤判別準(zhǔn)則：以“對(duì)第2類、第3類鳶尾花數(shù)據(jù)分類”為例，準(zhǔn)備第2類、第3類數(shù)據(jù)集，共100個(gè)樣本，每個(gè)樣 本包含4維特征，編轍曰梧式(O) f0i、vj517. 03. 24. 71. 4n526. 43. 24. 51. 5536. 93.14. 91. 5545. 52. 34. 01. 3-556. 52. 84. 61. 5J565. 72.

6、84. 51. 3576. 33. 34. 71. 6584. 92. 45. 31. 0596. 62. 94. 61. 3605. 22. 73. 91. 4615. 02. 03. 51. 0625. 93. 04. 21. 563E. 02. 24. 01. 0646. 12. 94. 71. 4655. 62. 93. 61. 3666. 73. 14. 41. 4675. 63. 04. 51. 5685. 82. 74. 11. 0696. 22. 24. 51. 5705. 62. 53. 91. 171F. 9只.24.只1. RT-ris._data_23.brt -記事本

7、口回 3讀入訓(xùn)練樣本，d=4;c=3;N=50;D=load(Iris_data_12.txt);data=zeros(100,d);G1=zeros(50,d);G2=zeros(50,d);for i=1:1:4data(:,i)=D(:,i + 1);end%分組數(shù)量和取法在這個(gè)步驟實(shí)現(xiàn)for i=1:1:NG1(i,:)=data(i,:);G2(i,:)=data(i+N,:);enddisp(G1);disp(G2);讀入訓(xùn)計(jì)算各組的均值向量和協(xié)方差矩陣，即正態(tài)分 布的兩個(gè)重要參數(shù)均值P和方差號(hào)，miu1=mean(G1,1)miu2=mean(G2,1)sigma1=zeros(

8、d,d);sigma2=zeros(d,d);for i=1:1:Nsigma1=sigma1+(G1(i,:)-miu1)*(G1(i,:)-miu1);sigma2=sigma2+(G2(i,:)-miu2)*(G2(i,:)-miu2);Endsigma1=sigma1/Nsigma2=sigma2/N已經(jīng)估計(jì)出三類數(shù)據(jù)的統(tǒng)計(jì)特征。首先使用最小錯(cuò)誤 判別準(zhǔn)則進(jìn)行分類，實(shí)驗(yàn)中采用對(duì)數(shù)形式計(jì)算。比較三個(gè)值 的大小，哪個(gè)最大，就可判斷X屬于哪一類。最后進(jìn)行了分 類器判據(jù)結(jié)果的驗(yàn)證。第%-2d個(gè)樣本屬于第1類n第%-2d個(gè)樣本屬于第2類n（5）（5）其中比較函數(shù)為，%要將分類結(jié)果寫(xiě)入txt文本R

9、=zeros(100,2);fid=fopen(classifier_result_23.txt,wt);for i=1:1:100R(i,1)=-1/2*(data(i,:)-miu1)*inv(sigma1)*(data(i,:)-miu1)-1/2*l og(det(sigma1);R(i,2)=-1/2*(data(i,:)-miu2)*inv(sigma2)*(data(i,:)-miu2)-1/2*l og(det(sigma2);switch (compare(R(i,1),R(i,2)case R(i,1)fprintf(fi 第%-2d 個(gè)樣本屬于第 1 類n ,i);cas

10、e R(i,2)fprintf(fi 第%-2d 個(gè)樣本屬于第 2 類n ,i);endendfclose(fid);function max=compare(a,b)max=a;if maxbmax=b;end實(shí)驗(yàn)結(jié)果與分析4.1最小錯(cuò)誤判別準(zhǔn)則:第1個(gè)樣本屬于第2類 第2個(gè)樣本屬于第2類 第3個(gè)樣本屬于第2類 第4個(gè)樣本屬于第2類 第5個(gè)樣本屬于第2類 第6個(gè)樣本屬于第2類 第7個(gè)樣本屬于第2類 第8個(gè)樣本屬于第2類 第9個(gè)樣本屬于第2類 第10個(gè)樣本屬于第2類 第11個(gè)樣本屬于第2類 第12個(gè)樣本屬于第2類 第13個(gè)樣本屬于第2類 第14個(gè)樣本屬于第2類 第15個(gè)樣本屬于第2類 第16個(gè)

11、樣本屬于第2類 第17個(gè)樣本屬于第2類 第18個(gè)樣本屬于第2類 第19個(gè)樣本屬于第2類 第20個(gè)樣本屬于第2類 第21個(gè)樣本屬于第3類| 第22個(gè)樣本屬于第2類 第23個(gè)樣本屬于第2類 第24個(gè)樣本屬于第2類 第25個(gè)樣本屬于第2類 第26個(gè)樣本屬于第2類 第27個(gè)樣本屬于第2類 第28個(gè)樣本屬于第2類 第29個(gè)樣本屬于第2類 第30個(gè)樣本屬于第2類 第31個(gè)樣本屬于第2類 第32個(gè)樣本屬于第2類 第33個(gè)樣本屬于第2類 第34個(gè)樣本屬于第3類 第35個(gè)樣本屬于第2類 第36個(gè)樣本屬于第2類 第37個(gè)樣本屬于第2類 第38個(gè)樣本屬于第2類第39個(gè)樣本屬于第2類 第40個(gè)樣本屬于第2類 第41個(gè)

12、樣本屬于第2類 第42個(gè)樣本屬于第2類 第43個(gè)樣本屬于第2類 第44個(gè)樣本屬于第2類 第45個(gè)樣本屬于第2類 第46個(gè)樣本屬于第2類 第47個(gè)樣本屬于第2類 第48個(gè)樣本屬于第2類 第49個(gè)樣本屬于第2類 第50個(gè)樣本屬于第2類 第51個(gè)樣本屬于第3類 第52個(gè)樣本屬于第3類 第53個(gè)樣本屬于第3類 第54個(gè)樣本屬于第3類 第55個(gè)樣本屬于第3類 第56個(gè)樣本屬于第3類 第57個(gè)樣本屬于第3類 第58個(gè)樣本屬于第3類 第59個(gè)樣本屬于第3類 第60個(gè)樣本屬于第3類 第61個(gè)樣本屬于第3類 第62個(gè)樣本屬于第3類 第63個(gè)樣本屬于第3類 第64個(gè)樣本屬于第3類 第65個(gè)樣本屬于第3類 第66個(gè)

13、樣本屬于第3類 第67個(gè)樣本屬于第3類 第68個(gè)樣本屬于第3類 第69個(gè)樣本屬于第3類 第70個(gè)樣本屬于第3類 第71個(gè)樣本屬于第3類 第72個(gè)樣本屬于第3類 第73個(gè)樣本屬于第3類 第74個(gè)樣本屬于第3類 第75個(gè)樣本屬于第3類 第76個(gè)樣本屬于第3類 第77個(gè)樣本屬于第3類 第78個(gè)樣本屬于第3類第79個(gè)樣本屬于第3類 第80個(gè)樣本屬于第3類 第81個(gè)樣本屬于第3類 第82個(gè)樣本屬于第3類 第83個(gè)樣本屬于第3類 第84個(gè)樣本屬于第2類| 第85個(gè)樣本屬于第3類 第86個(gè)樣本屬于第3類 第87個(gè)樣本屬于第3類 第88個(gè)樣本屬于第3類 第89個(gè)樣本屬于第3類 第90個(gè)樣本屬于第3類 第91個(gè)

14、樣本屬于第3類 第92個(gè)樣本屬于第3類 第93個(gè)樣本屬于第3類第94個(gè)樣本屬于第3類 第95個(gè)樣本屬于第3類 第96個(gè)樣本屬于第3類 第97個(gè)樣本屬于第3類 第98個(gè)樣本屬于第3類 第99個(gè)樣本屬于第3類 第100個(gè)樣本屬于第3類第1類中沒(méi)有出現(xiàn)判決錯(cuò)誤，第2、3類中出現(xiàn)了個(gè)別的 錯(cuò)誤，分類正確率較高。要想提高正確率，可以選取更多的樣本進(jìn)行訓(xùn)練。在實(shí)際應(yīng)用中，先驗(yàn)概率的確定也是比較重要的，會(huì)在一 定程度上影響結(jié)果。4.2最小風(fēng)險(xiǎn)判別準(zhǔn)則：根據(jù)需要改變風(fēng)險(xiǎn)因子矩陣L,當(dāng)判錯(cuò)第j類為第i類損失 較大時(shí)，設(shè)計(jì)LG j取較大的值。從4.1最小錯(cuò)誤判別準(zhǔn)則的實(shí)驗(yàn)中可以看出：有2個(gè)第2 類數(shù)據(jù)判為第3類，

15、1個(gè)第3類數(shù)據(jù)判為第2類，因此將 L(2,3)，L(3,2)略增大一點(diǎn)，使損失變大，以減少這樣的錯(cuò)誤。-011因此設(shè)計(jì)風(fēng)險(xiǎn)因子矩陣乙=1 0 1.2，得到如下結(jié)果：1.04 1 0第1個(gè)樣本屬于第2類 第2個(gè)樣本屬于第2類 第3個(gè)樣本屬于第2類 第4個(gè)樣本屬于第2類 第5個(gè)樣本屬于第2類 第6個(gè)樣本屬于第2類 第7個(gè)樣本屬于第2類 第8個(gè)樣本屬于第2類 第9個(gè)樣本屬于第2類 第10個(gè)樣本屬于第2類 第11個(gè)樣本屬于第2類 第12個(gè)樣本屬于第2類 第13個(gè)樣本屬于第2類 第14個(gè)樣本屬于第2類 第15個(gè)樣本屬于第2類 第16個(gè)樣本屬于第2類 第17個(gè)樣本屬于第2類 第18個(gè)樣本屬于第2類 第19

16、個(gè)樣本屬于第2類 第20個(gè)樣本屬于第2類 第21個(gè)樣本屬于第3類 第22個(gè)樣本屬于第2類 第23個(gè)樣本屬于第2類 第24個(gè)樣本屬于第2類 第25個(gè)樣本屬于第2類 第26個(gè)樣本屬于第2類 第27個(gè)樣本屬于第2類 第28個(gè)樣本屬于第2類 第29個(gè)樣本屬于第2類 第30個(gè)樣本屬于第2類 第31個(gè)樣本屬于第2類 第32個(gè)樣本屬于第2類 第33個(gè)樣本屬于第2類 第34個(gè)樣本屬于第3類| 第35個(gè)樣本屬于第2類 第36個(gè)樣本屬于第2類 第37個(gè)樣本屬于第2類 第38個(gè)樣本屬于第2類 第39個(gè)樣本屬于第2類 第40個(gè)樣本屬于第2類 第41個(gè)樣本屬于第2類 第42個(gè)樣本屬于第2類第43個(gè)樣本屬于第2類 第44

17、個(gè)樣本屬于第2類 第45個(gè)樣本屬于第2類 第46個(gè)樣本屬于第2類 第47個(gè)樣本屬于第2類 第48個(gè)樣本屬于第2類 第49個(gè)樣本屬于第2類 第50個(gè)樣本屬于第2類 第51個(gè)樣本屬于第3類 第52個(gè)樣本屬于第3類 第53個(gè)樣本屬于第3類 第54個(gè)樣本屬于第3類 第55個(gè)樣本屬于第3類 第56個(gè)樣本屬于第3類 第57個(gè)樣本屬于第3類 第58個(gè)樣本屬于第3類 第59個(gè)樣本屬于第3類 第60個(gè)樣本屬于第3類 第61個(gè)樣本屬于第3類 第62個(gè)樣本屬于第3類 第63個(gè)樣本屬于第3類 第64個(gè)樣本屬于第3類 第65個(gè)樣本屬于第3類 第66個(gè)樣本屬于第3類 第67個(gè)樣本屬于第3類 第68個(gè)樣本屬于第3類 第69個(gè)樣本屬于第3類 第70個(gè)樣本屬于第3類 第71個(gè)樣本屬于第3類 第72個(gè)樣本屬于第3類 第73個(gè)樣本屬于第3類 第74個(gè)樣本屬于第3類 第75個(gè)樣本屬于第3類 第76個(gè)樣本屬于第3類 第77個(gè)樣本屬于第3類 第78個(gè)樣本屬于第3類 第79個(gè)樣本屬于第3類 第80個(gè)樣本屬于第3類 第81個(gè)樣本屬于第3類 第82個(gè)樣本屬于第3類 第83個(gè)樣本屬于第3類 第84個(gè)樣本屬于第2類 第85個(gè)樣本屬