模式識別上機(jī)實(shí)驗(yàn)報(bào)告講解

1、實(shí)驗(yàn)一、二維隨機(jī)數(shù)的產(chǎn)生1實(shí)驗(yàn)?zāi)康?1) 學(xué)習(xí)采用Matlab程序產(chǎn)生正態(tài)分布的二維隨機(jī)數(shù)(2) 掌握估計(jì)類均值向量和協(xié)方差矩陣的方法(3) 掌握類間離散度矩陣、類內(nèi)離散度矩陣的計(jì)算方法(4) 熟悉matlab中運(yùn)用mvnrnd函數(shù)產(chǎn)生二維隨機(jī)數(shù)等matlab語言2、實(shí)驗(yàn)原理多元正態(tài)分布概率密度函數(shù):P(X)_1(X _,)TI)其中：是d維均值向量：.二=EX =11廠12工是dx d維協(xié)方差矩陣：3二E(X)(X- -)T(1) 估計(jì)類均值向量和協(xié)方差矩陣的估計(jì)1各類均值向量mXNi X融1各類協(xié)方差矩陣 二(Xi)(Xi)TN i x勵(lì)(2) 類間離散度矩陣、類內(nèi)離散度矩陣的計(jì)算類內(nèi)離散

2、度矩陣：s =無(x m)(x m)T， i=1,2X .總的類內(nèi)離散度矩陣：Sw =Si S2類間離散度矩陣：S = (m1 -m2)(mm2)T3、實(shí)驗(yàn)內(nèi)容及要求50個(gè)。產(chǎn)生兩類均值向量、協(xié)方差矩陣如下的樣本數(shù)據(jù)，每類樣本各7十2,-2 , q1_0011014(1) 畫出樣本的分布圖；(2) 編寫程序，估計(jì)類均值向量和協(xié)方差矩陣；(3) 編寫程序，計(jì)算類間離散度矩陣、類內(nèi)離散度矩陣;(4) 每類樣本數(shù)增加到 500個(gè)，重復(fù)(1) - ( 3)模式識別課程上機(jī)實(shí)驗(yàn)報(bào)告4、實(shí)驗(yàn)結(jié)果(1) 、樣本的分布圖樣本數(shù)為和時(shí)的樣本分布團(tuán)1 1 I樣本數(shù)為別0時(shí)的樣本分布圖51235m2=2.1485

3、1.7678m2=2.0428 2.1270(2) 、類均值向量、類協(xié)方差矩陣 根據(jù)matlab程序得出的類均值向量為:N=50 :m仁-1.7160 -2.0374N=500:m仁-2.0379 -2.0352根據(jù)matlab程序得出的類協(xié)方差矩陣為:1.64280.1354N=50:1 “0.13541.0628N=500 :0.9 1 87 -0.01 627-0.0162 1.0344u 0.8800-0.06240.06244.5687 0.99390.02112 2 0.02113.9038(3) 、類間離散度矩陣、類內(nèi)離散度矩陣 根據(jù)matlab程序得出的類間離散度矩陣為:14.

4、934314.7068N=50 :Sb =14.706814.4 8 2N=500 :16.6519 16.9843Sb “16.9843 17.3233根據(jù)matlab程序得出的類內(nèi)離散度矩陣為:78.10527.308842.8975-1.3966N=50 : S 7.308853.0703S2 一-1.3966 225.73971 2 10026 5.91 235.9 1 2 3 2 7 881。0458.6203-8.7490496.0178 7.8420N=500: S1 =S2 =-8.7490516.59647.84201943.8954.6381-0.9071-0.907124

5、60.4 5、結(jié)論由mvnrnd函數(shù)產(chǎn)生的結(jié)果是一個(gè)N*D的一個(gè)矩陣，在本實(shí)驗(yàn)中D是2，N是50和500.根據(jù)實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)樣本容量變多的時(shí)候，兩個(gè)變量的總體誤差變小，觀測變量各個(gè)取值之間的差 異程度減小。6、實(shí)驗(yàn)程序clc;close all ;clear all ; %parameterN = 50;N_1 = 500;mu_1 = -2,-2;Sigma_1 = 1,0;0,1;r_1 = mvnrnd(mu_1,Sigma_1,N); r_11 = mvnrnd(mu_1,Sigma_1,N_1); mu_2 = 2,2;Sigma_2 = 1,0;0,4;r_2 = mvnrn

6、d(mu_2,Sigma_2,N);r_22 = mvnrnd(mu_2,Sigma_2,N_1);%figuresfigure(1);plot(r_1(:,1),r_1(:,2), . ); %將矩陣 r_1 的第一列當(dāng)成橫坐標(biāo)，第二列當(dāng)作縱坐標(biāo)。 title( 樣本數(shù)為 50 時(shí)的第一類樣本分布圖 );figure(2); plot(r_2(:,1),r_2(:,2), . );title( 樣本數(shù)為 50 時(shí)的第二類樣本分布圖 );figure(3);plot(r_11(:,1),r_11(:,2), . );title( 樣本數(shù)為 500 時(shí)的第一類樣本分布圖 );figure(4);

7、 plot(r_22(:,1),r_22(:,2), . ); title( 樣本數(shù)為 500 時(shí)的第二類樣本分布圖 );%類均值向量和類協(xié)方差矩陣m_1 = mean(r_1);%樣本數(shù)為 50 時(shí)第一類 類均值向量m_2 = mean(r_2);%樣本數(shù)為 50 時(shí)第二類 類均值向量m_11 = mean(r_11);%樣本數(shù)為 500 時(shí)第一類 類均值向量m_22 = mean(r_22);%樣本數(shù)為 500 時(shí)第二類 類均值向量sum1 = 0,0;0,0;for n = 1:Nsum1 =sum1 + (r_1(n,:)-mu_1)*(r_1(n,:)-mu_1);endE_1 =

8、sum1/N; %樣本數(shù)為 50 時(shí)，第一類 類協(xié)方差矩陣sum2 = 0,0;0,0;for n = 1:Nsum2 =sum2 + (r_2(n,:)-mu_2)*(r_2(n,:)-mu_2);endE_2 = sum2/N;%樣本數(shù)為 50 時(shí)，第二類 類協(xié)方差矩陣sum3 = 0,0;0,0;for n = 1:N_1sum3 =sum3 + (r_11(n,:)-mu_1)*(r_11(n,:)-mu_1);endE_11 = sum3/N_1;%樣本數(shù)為 500 時(shí)，第一類 類協(xié)方差矩陣sum4 = 0,0;0,0;for n = 1:N_1sum4 =sum4 + (r_22(

9、n,:)-mu_2)*(r_22(n,:)-mu_2);endE_22 = sum4/N_1;%樣本數(shù)為 500 時(shí)，第二類 類協(xié)方差矩陣%計(jì)算類間離散度和類內(nèi)離散度Sb_1 = (m_1 - m_2)*(m_1 - m_2); Sb_2 = (m_11 - m_22)*(m_11 - m_22);%樣本數(shù)為 50 時(shí)的，類間離散度矩陣%樣本數(shù)為 500 時(shí)的，類間離散度矩陣S_1 = 0,0;0,0;S_2 = 0,0;0,0; for n = 1:NS_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1);S_2 = S_2 + (r_2(n,:) - m

10、_2)*(r_2(n,:) - m_2); endSW1 = S_1 + S_2;%樣本數(shù)為 50 時(shí)的，總的類內(nèi)離散度矩陣S_11 = 0,0;0,0;S_22 = 0,0;0,0;for n = 1:N_1S_11 = S_11 + (r_11(n,:) - m_11)*(r_11(n,:) - m_11);S_22 = S_22 + (r_22(n,:) - m_22)*(r_22(n,:) - m_22); endSW2 = S_11 + S_22;%樣本數(shù)為 500 時(shí)的，總的類內(nèi)離散度矩陣實(shí)驗(yàn)二、Fisher線性分類器的設(shè)計(jì)1實(shí)驗(yàn)?zāi)康?1) 掌握Fisher線性判別方法(2) 掌握

11、Bayes決策的錯(cuò)誤率的計(jì)算(3) 掌握分類器錯(cuò)誤率的估算方法(4) 對模式識別有一個(gè)初步的理解2、實(shí)驗(yàn)原理Fisher準(zhǔn)則基本原理：如果在二維空間中一條直線能將兩類樣本分開，或者錯(cuò)分類很少，則同一類別樣本數(shù)據(jù)在該直線的單 位法向量上的投影的絕大多數(shù)都應(yīng)該超過某一值。而另一類數(shù)據(jù)的投影都應(yīng)該小于(或絕大多數(shù)都小于)該值，則這條直線就有可能將兩類分開。準(zhǔn)則：向量 W的方向選擇應(yīng)能使兩類樣本投影的均值之差盡可能大些，而使類內(nèi)樣本的離散程度盡可能小。這就是 Fisher準(zhǔn)則函數(shù)的基本思路。評價(jià)投影方向W的函數(shù)JF(W)WTSbWWtSwW最佳W值的確定：求取使 JF達(dá)極大值時(shí)的 w* : W*二SW

12、g -m2)向量W*就是使Fisher準(zhǔn)則函數(shù)JF(W)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量 W*的各分量值是對原 d維特征向量求加權(quán)和的權(quán)值。w0確定m1 m22當(dāng)W確定之后，則可按以下規(guī)則分類,WTX-w0 XYWTX-w0 X2使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法的時(shí)間比較早, 仍見有人使用。3、實(shí)驗(yàn)內(nèi)容及要求50及500時(shí))，計(jì)算:考慮Fisher線性判別方法，利用實(shí)驗(yàn)1中程序產(chǎn)生的數(shù)據(jù)(分別在各類樣本數(shù)均為1) 求解最優(yōu)投影方向 W ；2) 畫出表示最優(yōu)投影方向的直線，并且標(biāo)記出投影后的點(diǎn)

13、在直線上的位置;3) 計(jì)算投影后的閾值權(quán)；4) 計(jì)算分類器的各類錯(cuò)誤率及總的平均錯(cuò)誤率；模式識別課程上機(jī)實(shí)驗(yàn)報(bào)告5）計(jì)算按最小錯(cuò)誤率 Bayes決策的錯(cuò)誤率（各類先驗(yàn)概率相同）4、實(shí)驗(yàn)結(jié)果祥本數(shù)為和時(shí)的樣本分布圖-6 -8-6-4-202460上圖可以看出在 N=50時(shí)的情況下綠色的點(diǎn)是第一類樣本點(diǎn)，藍(lán)色的*給出了第二類樣本點(diǎn)，紅色的直線是最優(yōu)投影方向的直線，+標(biāo)出的點(diǎn)是 W0點(diǎn)，直線上不同顏色代表了不同類樣本點(diǎn)所投影的點(diǎn)的位置。N=50時(shí)，類一的錯(cuò)誤概率為0類二的錯(cuò)誤概率為8%平均錯(cuò)誤概率為1%Bayes決策錯(cuò)誤率為0%最佳投影方向 W*二-0.03110.14325、結(jié)論通過對實(shí)驗(yàn)結(jié)果的探

14、究，可以得出當(dāng)樣本數(shù)比較大的時(shí)候類錯(cuò)誤概率會(huì)上升。W的比例因子對于 Fisher判別函數(shù)沒有影響的原因：在本實(shí)驗(yàn)中，最重要的是W的方向，或者說是在此方向上數(shù)據(jù)的投影，所以W的比例因子，即它是單位向量的多少倍長就沒那么重要了，不管比例因子大小是多少，在最后求投影時(shí)都會(huì)被消掉。6、實(shí)驗(yàn)程序N = 50;%羊本數(shù)為50時(shí)mu_1 = -2,-2;模式識別課程上機(jī)實(shí)驗(yàn)報(bào)告Sigma_1 = 1,0;0,1;r_1 = mvnrnd(mu_1,Sigma_1,N);mu_2 = 2,2;Sigma_2 = 1,0;0,4;r_2 = mvnrnd(mu_2,Sigma_2,N);m_1 = mean(r

15、_1);m_2 = mean(r_2);S_1 = 0,0;0,0;S_2 = 0,0;0,0; for n = 1:NS_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1);S_2 = S_2 + (r_2(n,:) - m_2)*(r_2(n,:) - m_2); endSW1 = S_1 + S_2;W_0 = -(m_1+m_2)/2;w = (m_1-m_2)*inv(SW1);%投影向量 Sk = w(:,2)/w(:,1);%最優(yōu)投影方向直線的斜率。x=-7:0.01:7;y = k*(x-W_0(:,1) + W_0(:,2);%最優(yōu)投影方向

16、直線figure(3);plot(r_1(:,1),r_1(:,2), g. ); title( 樣本數(shù)為 50 時(shí)的樣本分布圖 ); hold on;plot(r_2(:,1),r_2(:,2), * ); plot(W_0(1),W_0(2), + );plot(x,y, r ); %畫出最優(yōu)投影方向直線A0=k -1;1 k;X0=zeros(2,N); for n=1:Nb=k*W_0(:,1)-W_0(:,2) r_1(n,1)+k*r_1(n,2);X0(:,n)=inv(A0)*b;endA1=k -1;1 k;X1=zeros(2,N); for n=1:Nb1=k*W_0(:

17、,1)-W_0(:,2) r_2(n,1)+k*r_2(n,2);X1(:,n)=inv(A1)*b1;end plot(X0(1,:),X0(2,:), g );模式識別課程上機(jī)實(shí)驗(yàn)報(bào)告plot(X1(1,:),X1(2,:),b);hold off ;en1=0;en2=0;for m=1:Nif X0(1,m) W_0(:,1) en1=en1+1;endif X1(1,m) N2 erro1=erro1+1;endendendendfor i=1:N1for j=1:N2distance2(i,j)=sqrt(X2(1,i)-Y1(1,j)A2+(X2(2,i)-Y1(2,j)A2);

18、 distance2(i,j+N2)=sqrt(X2(1,i)-Y2(1,j)A2+(X2(2,i)-Y2(2,j)A2);endzuixiao=min(distance2(i,:);for j=1:2*N2if distance2(i,j)=zuixiaoif jN2 erro2=erro2+1;endendendenderro_pingjun=(erro1+erro2)/(2*N1)%k 近鄰k=10;number11=zeros(N1,1);number12=zeros(N1,1);MAX=1e5;k_erro1=0;for ii=1:N1for i=1:kzuixiao=min(distance1(ii,:);for j=1:2*N2if distance1(ii,j)=zuixiaoif j=N2 number11(ii)=number11(ii)+1;else number12(ii)=number12(ii)+1;end distance1(ii,j)=MAX;e