基于最小錯(cuò)誤率貝葉斯分類器的設(shè)計(jì)

1、整理整理ppt基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策整理整理ppt目目 錄錄 貝葉斯定理貝葉斯定理貝葉斯決策理論貝葉斯決策理論最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯分類的計(jì)算過程最小錯(cuò)誤貝葉斯分類的計(jì)算過程最小錯(cuò)誤貝葉斯分類的最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)實(shí)現(xiàn)結(jié)論結(jié)論 整理整理ppt稱為Bayes公式。從公式可以看出基于貝葉斯決策的決策結(jié)果取決于實(shí)際已給出訓(xùn)練樣本的類條件概率和先驗(yàn)概率。貝葉斯概率是通過先驗(yàn)知識(shí)和統(tǒng)計(jì)現(xiàn)有數(shù)據(jù)，使用概率的方法對(duì)某一事件未來可能發(fā)生的概率進(jìn)行估計(jì)的。貝葉斯定理貝葉斯定理 Bayes公式：設(shè)實(shí)驗(yàn)E的樣本空間為S，A為E的事件，

2、B1,B2,.Bn為 S 的一個(gè)劃分（也即類別）且有P（A）0,P(Bi)0, (i=1,2,n),則下式niBPBAPBPBAPABPniiijjj,.2, 1,)()/()()/()/(1整理整理ppt貝葉斯決策理論貝葉斯決策理論 本次酒瓶顏色分類屬于多類（4類）判別情況，對(duì)于一個(gè)模式樣本X要判別它屬于哪一類要基于以下步驟進(jìn)行： 設(shè)定類別i =(1,2,m),模式樣本x=(x1,x2, xn) 1. 確定判別函數(shù)：M類有M個(gè)判別函數(shù)g1(x), g2(x), gm(x)，用于表示多類決策規(guī)則。多類判別函數(shù)可以定義為如下三種形式： 如果使得 ， 對(duì)于一切ij成立，則將x歸于i類。)/()(x

3、Pxgii)()/()(iiiPxPxg)(ln)/(ln)(iiiPxPxg)()(xgxgjii整理整理ppt貝葉斯決策理論貝葉斯決策理論 2.確定決策面方程：3.進(jìn)行分類器設(shè)0)()(),()(xgxgxgxgjiji即整理整理ppt最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯決策方法 在模式分類問題中，人們往往希望盡量減少分類的錯(cuò)誤，從這樣的要求出發(fā)，利用概率論中的貝葉斯公式，就能得出使錯(cuò)誤率為最小的分類規(guī)則，稱之為基于最小錯(cuò)誤率的貝葉斯決策。整理整理ppt最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯決策方法設(shè)有M類模式，分類規(guī)則為 若 則 。 上式稱為最小錯(cuò)誤貝葉斯決策規(guī)則。顧名思義，這一決策的錯(cuò)誤

4、率是最小的。(|)max(|),1, 2ijPXPXjMiX整理整理ppt最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯決策方法l對(duì)于兩類情況： 如果l對(duì)于多類情況： 如果 且Tdxxxxxww,),(32121ijjiwxxwPxwP)|(max)|(2, 1Tdcxxxxxwww,),(32121cjxwPxwPji, 2 , 1),|()|(iwxij整理整理ppt最小錯(cuò)誤貝葉斯決策方法最小錯(cuò)誤貝葉斯決策方法l化為對(duì)數(shù)形式為l或者 其中 為待測(cè)試的樣本值， 為學(xué)習(xí)樣本的類均值， 為學(xué)習(xí)樣本的協(xié)方差矩陣。ijicjjiiwxwPwPwPwPXG)(ln)(lnmax)(ln)(ln)(1iiiiTi

5、iSwpXXSXXXGln21)(ln)()(21)(1XiXiS整理整理ppt最小錯(cuò)誤貝葉斯分類的計(jì)算過程l首先計(jì)算每一類樣品的均值 這里我們以第二類為例，其他各類同理計(jì)算B= 2352.12 2297.28 2092.62 2205.36 2949.16 2802.88 2063.54 2557.04 3340.14 3177.21 3243.74 3244.44 3017.11 3199.76 1411.53 535.62 584.32 1202.69 662.42 1984.98 1257.21; X2 = 1.0e+03 * 2.3947 3.1113 1.0913 123411(,

6、) (i=0,1,2,Ni)IINTijjjjjNijjXXXXXXXN整理整理ppt最小錯(cuò)誤貝葉斯分類的計(jì)算過程 然后求出每一類樣品的協(xié)方差矩陣Si，并出其逆矩陣Si-1和行列式，l為樣品在每一類序號(hào)，j和k為特征值序號(hào)，Ni為每類學(xué)習(xí)樣本中包含元素的個(gè)數(shù)。 其中：lllllllllnnn2n12n22211n1211uuuuuuuuuSijk11u()(),(j,k=1,2,n)1iNljkijlkiixxxxN整理整理ppt最小錯(cuò)誤貝葉斯分類的計(jì)算過程l第二類樣品的協(xié)方差如下：S2 =1.0e+05 * 1.2035 -0.0627 0.4077 -0.0627 0.6931 -0.74

7、99 0.4077 -0.7499 2.8182l協(xié)方差逆矩陣為S2_ =1.0e-04 * 0.0877 -0.0081 -0.0149 -0.0081 0.2033 0.0553 -0.0149 0.0553 0.0523 在計(jì)算S2的行列式的值，前期的數(shù)值計(jì)算基本完成。整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)重要程序代碼介紹：u 初始化程序l%輸入訓(xùn)練樣本數(shù)，類別數(shù)，特征數(shù)，以及屬于各類別的樣品個(gè)數(shù)N=29;w=4;n=3;N1=4;N2=7;N3=8;N4=10;u 參數(shù)計(jì)算l%計(jì)算每一類訓(xùn)練樣品的均值lX1=mean(A);X2=mean(B);X3=mean(C);X4=

8、mean(D); l%求每一類樣品的協(xié)方差矩陣l S1=cov(A);S2=cov(B);S3=cov(C);S4=cov(D); l%計(jì)算協(xié)方差矩陣的逆矩陣l S1_=inv(S1);S2_=inv(S2);S3_=inv(S3);S4_=inv(S4);l %計(jì)算協(xié)方差矩陣的行列式l S11=det(S1);S22=det(S2);S33=det(S3);S44=det(S4); 整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)重要程序代碼介紹：l%計(jì)算訓(xùn)練樣本的先驗(yàn)概率l Pw1=N1/N;Pw2=N2/N;Pw3=N3/N;Pw4=N4/N;%Priori probabilityl%

9、 計(jì)算后驗(yàn)概率：在這里定義了一個(gè)循環(huán)lfor k=1:30lP1=-1/2*(sample(k,:)-X1)*S1_*(sample(k,:)-X1)+log(Pw1)-1/2*log(S11);lP2=-1/2*(sample(k,:)-X2)*S2_*(sample(k,:)-X2)+log(Pw2)-1/2*log(S22);lP3=-1/2*(sample(k,:)-X3)*S3_*(sample(k,:)-X3)+log(Pw3)-1/2*log(S33);lP4=-1/2*(sample(k,:)-X4)*S4_*(sample(k,:)-X4)+log(Pw4)-1/2*log(

10、S44);整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)完整程序：lclear;lclc;lN=29;w=4;n=3;N1=4;N2=7;N3=8;N4=10;lA=864.45 877.88 1418.79 1449.58;1647.31 2031.66 1775.89 1641.58;2665.9 3071.18 2772.9 3045.12; % A belongs to w1lB=2352.12 2297.28 2092.62 2205.36 2949.16 2802.88 2063.54 2557.04 3340.14 3177.21 3243.74 3244.44 3017.1

11、1 3199.76 1411.53 535.62 584.32 1202.69 662.42 1984.98 1257.21; %B belongs to w2lC=1739.94 1756.77 1803.58 1571.17 1845.59 1692.62 1680.67 1651.52 1675.15 1652 1583.12 1731.04 1918.81 1867.5 1575.78 1713.28 2395.96 1514.98 2163.05 1735.33 2226.49 2108.97 1725.1 1570.38; %C belongs to w3整理整理ppt最小錯(cuò)誤貝葉

12、斯分類的Matlab實(shí)現(xiàn)lD=373.3 222.85 401.3 363.34 104.8 499.85 172.78 341.59 291.02 237.63 3087.05 3059.54 3259.94 3477.95 3389.83 3305.75 3084.49 3076.62 3095.68 3077.78 2429.47 2002.33 2150.98 2462.86 2421.83 3196.22 2328.65 2438.63 2088.95 2251.96; % D belongs to w4l%以上為學(xué)習(xí)樣本數(shù)據(jù)的輸入lX1=mean(A);X2=mean(B);X3=

13、mean(C);X4=mean(D); %求樣本均值lS1=cov(A);S2=cov(B);S3=cov(C);S4=cov(D); %求樣本協(xié)方差矩陣lS1_=inv(S1);S2_=inv(S2);S3_=inv(S3);S4_=inv(S4); % 求協(xié)方差矩陣的逆矩陣lS11=det(S1);S22=det(S2);S33=det(S3);S44=det(S4); % 求協(xié)方差矩陣的行列式lPw1=N1/N;Pw2=N2/N;Pw3=N3/N;Pw4=N4/N; %先驗(yàn)概率整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)l%這部分為初始樣本數(shù)據(jù)計(jì)算l sample=1702.8 1

14、639.79 2068.74 1877.93 1860.96 1975.3 67.81 2334.68 2535.1 1831.49 1713.11 1604.68 460.69 3274.77 2172.99 2374.98 3346.98 975.31 2271.89 3482.97 946.7 1783.64 1597.99 2261.31 198.83 3250.45 2445.08 1494.63 2072.59 2550.51 1597.03 1921.52 2126.76整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn) 1598.93 1921.08 1623.33 1243.

15、13 1814.07 3441.07 2336.31 2640.26 1599.63 3300.12 2373.61 2144.47 2501.62 591.51 426.31 3105.29 2057.8 1507.13 1556.89 1954.51 343.07 3271.72 2036.94 2201.94 3196.22 935.53 2232.43 3077.87 1298.87 1580.1 1752.07 2463.04 1962.4 1594.97 1835.95整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn) 1495.18 1957.44 3498.02 1125.17

16、 1594.39 2937.73 24.22 3447.31 2145.01 1269.07 1910.72 2701.97 1802.07 1725.81 1966.35 1817.36 1927.4 2328.79 1860.45 1782.88 1875.13;%這部分為測(cè)試數(shù)據(jù)輸入lfor k=1:30lP1=-1/2*(sample(k,:)-X1)*S1_*(sample(k,:)-X1)+log(Pw1)-1/2*log(S11);l%第一類的判別函數(shù)lP2=-1/2*(sample(k,:)-X2)*S2_*(sample(k,:)-X2)+log(Pw2)-1/2*log(S

17、22);l%第二類的判別函數(shù)整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)lP3=-1/2*(sample(k,:)-X3)*S3_*(sample(k,:)-X3)+log(Pw3)-1/2*log(S33);%第三類的判別函數(shù)lP4=-1/2*(sample(k,:)-X4)*S4_*(sample(k,:)-X4)+log(Pw4)-1/2*log(S44);l%第四類的判別函數(shù)lP= P1 P2 P3 P4lPmax=max(P)l if P1=max(P)l w=1 plot3(sample(k,1),sample(k,2),sample(k,3),ro);grid on;hol

18、d on; elseif P2=max(P) w=2 plot3(sample(k,1),sample(k,2),sample(k,3),b);grid on;hold on; 整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)lelseif P3=max(P)l w=3l plot3(sample(k,1),sample(k,2),sample(k,3),g+);grid on;hold on;l elseif P4=max(P)l w=4l plot3(sample(k,1),sample(k,2),sample(k,3),y*);grid on;hold on;l elsel return%判別函數(shù)最大值對(duì)應(yīng)的類別l endlend整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)運(yùn)行程序，查看仿真結(jié)果：整理整理ppt最小錯(cuò)誤貝葉斯分類的Matlab實(shí)現(xiàn)MATLAB程序運(yùn)行結(jié)果：P =-34.7512 -37.7619 -16.6744 -171.1604Pmax =-16.6744w =3P =-49.5808 -32.0756 -19.1319 -185.7206Pmax =-19.131