模式識(shí)別實(shí)驗(yàn)

模式識(shí)別》實(shí)驗(yàn)報(bào)告班電子信息科學(xué)與技術(shù)13級(jí)02班級(jí)：姓名：學(xué)號(hào)：指導(dǎo)老師：成績(jī)：通信與信息工程學(xué)院通信與信息工程學(xué)院二O—六年實(shí)驗(yàn)一最大最小距離算法一、實(shí)驗(yàn)內(nèi)容熟悉最大最小距離算法，并能夠用程序?qū)懗?。利用最大最小距離算法尋找到聚類中心，并將模式樣本劃分到各聚類中心對(duì)應(yīng)的類別中。二、實(shí)驗(yàn)原理N個(gè)待分類的模式樣本（X,X…，X｝，分別分類到聚類中心12N｛z,Z…，Z｝對(duì)應(yīng)的類別之中。12N最大最小距離算法描述：（1） 任選一個(gè)模式樣本作為第一聚類中心z。1（2） 選擇離Z距離最遠(yuǎn)的模式樣本作為第二聚類中心Z。12（3） 逐個(gè)計(jì)算每個(gè)模式樣本與已確定的所有聚類中心之間的距離，并選出其中的最小距離。（4） 在所有最小距離中選出一個(gè)最大的距離，如果該最大值達(dá)到了||Z-Z||的一定分?jǐn)?shù)比值以上，則將產(chǎn)生最大距離的那個(gè)模式樣本定義為新增的聚類中心，并返回上一步。否則，聚類中心的計(jì)算步驟結(jié)束。這里的||Z-Z||的一定分?jǐn)?shù)比值就是閾值T，即有：T=吧-ZJ0<9<1（5）重復(fù)步驟（3）和步驟（4），直到?jīng)]有新的聚類中心出現(xiàn)為止。在這個(gè)過(guò)程中，當(dāng)有k個(gè)聚類中心{z,z…，z}時(shí)，分別計(jì)算每12N個(gè)模式樣本與所有聚類中心距離中的最小距離值，尋找到N個(gè)最小距離中的最大距離并進(jìn)行判別，結(jié)果大于閾值T是，z存在，并取k+i為產(chǎn)生最大值的相應(yīng)模式向量；否則，停止尋找聚類中心。（6）尋找聚類中心的運(yùn)算結(jié)束后，將模式樣本{x,i二1,2…,N}i按最近距離劃分到相應(yīng)的聚類中心所代表的類別之中。三、實(shí)驗(yàn)結(jié)果及分析該實(shí)驗(yàn)的問(wèn)題是書(shū)上課后習(xí)題2.1，以下利用的matlab中的元胞存儲(chǔ)10個(gè)二維模式樣本X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6];X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4];利用最大最小距離算法，matlab運(yùn)行可以求得TOC\o"1-5"\h\z匚oniiTijndWindow ?^Lir-r^i：.y-_I3：--^—nit-I2 3r'+^'-rr.-,^7禹于第2類的有：彳一丈4竽衣: 9LO從matlab運(yùn)行結(jié)果可以看出，聚類中心為X,X,X，以X為聚1791類中心的點(diǎn)有X,X,X，以X為聚類中心的點(diǎn)有X,X,X,X，以X為123745679聚類中心的有X,X,X。同時(shí)，做出聚類分析后的分布圖，如下：8910樣本坐標(biāo)聚類顯示圖圖中用藍(lán)色大圈標(biāo)記了聚類中心，用星號(hào)標(biāo)記了以X為聚類中心1的樣本，用三角符號(hào)標(biāo)記了以以X為聚類中心的樣本，用紅色小圈7標(biāo)記了以X為聚類中心的樣本，該程序成功進(jìn)行了分類9實(shí)驗(yàn)二感知器算法一、實(shí)驗(yàn)內(nèi)容熟悉感知器算法，并能夠用程序?qū)懗觥＠酶兄魉惴ㄟM(jìn)行判別分類，算出判別函數(shù)，畫(huà)出判別界面。二、實(shí)驗(yàn)原理直接用來(lái)對(duì)模式進(jìn)行分類的準(zhǔn)則函數(shù)。若分屬于巴，S’的兩類12模式可用一方程d(X)=0來(lái)劃分，那么稱d(X)為判別函數(shù)，或稱判決函數(shù)、決策函數(shù)。如，一個(gè)二維的兩類判別問(wèn)題，模式分布如圖示，這些分屬于S1，S’兩類的模式可用一直線方程d(X)=0來(lái)劃分。其中d(X)=wx+wx+w=0式中：x,x為坐標(biāo)變量。1122312圖’-1兩類二維模式的分布將某一未知模式X代入：d(X)=wx+wx+w11223若d(X)>0，則Xeo類;1若d(X)<0，則Xeo類;2若d（X）二0，則Xe3或Xe3或拒絕。12兩類線性可分的模式類o,o,設(shè)d(X)=Wtx其中，12W-\w,w，…,w,w Jr，X=lx,x,x,llr應(yīng)具有性質(zhì)1 2 n n+1 1 2 nI>0,Xeo

d(X)-WtX\ i\<0,Xeo2對(duì)樣本進(jìn)行規(guī)范化處理，即32類樣本全部乘以（一1），則有:d(X)-WTX>0感知器算法通過(guò)對(duì)已知類別的訓(xùn)練樣本集的學(xué)習(xí)，尋找一個(gè)滿足上式的權(quán)向量。感知器算法步驟：（1）選擇N個(gè)分屬于31和32類的模式樣本構(gòu)成訓(xùn)練樣本集（X,X…，X｝構(gòu)成增廣向量形式，并進(jìn)行規(guī)范化處理。任取權(quán)向量初12N始值W（1）,開(kāi)始迭代。迭代次數(shù)k=i。用全部訓(xùn)練樣本進(jìn)行一輪迭代，計(jì)算W(k)X的值，并修正i權(quán)向量。分兩種情況，更新權(quán)向量的值：i.若wt()x<0,分類器對(duì)第i個(gè)模式做了錯(cuò)誤分類,i權(quán)向量校正為：w(k+1)=W(k)+cXiC：正的校正增量。2.若WT()X>0分類正確，權(quán)向量不變：W(+1)=W(k)i統(tǒng)一寫(xiě)為：IW(k),WT(k)X>0W(k+1)=< k|W(k)+cX,WT(k)X<0kk分析分類結(jié)果：只要有一個(gè)錯(cuò)誤分類，回到(2)，直至對(duì)所有樣本正確分類。感知器算法是一種賞罰過(guò)程：分類正確時(shí)，對(duì)權(quán)向量“賞”——這里用“不罰”，即權(quán)向量不變；分類錯(cuò)誤時(shí)，對(duì)權(quán)向量“罰”——對(duì)其修改，向正確的方向轉(zhuǎn)換三、實(shí)驗(yàn)結(jié)果與分析已知兩類訓(xùn)練樣本為：①：1(0,0,0)T,(1,0,0)T,(1,0,1)T,(1,1,0)T①:2(0,0,1)T,(0,1,1)T,(0,1,0)T,(1,1,1)T設(shè)W⑴二(-1,-2,-2,0)t，同樣地，利用matlab元胞數(shù)組存儲(chǔ)該兩類訓(xùn)練樣本will}= 007:vl{2}=：1007:wl{3}=：1017:wl{4}=：L107;w2{l}=[00LJ;w2{2}=[01LJ;w2{3}=[010]J;w2{4}=[111]?;利用感知器算法，matlab運(yùn)行得到如下結(jié)果：CommandWindow求得判別函邊為:d(K)-(3^1+0*12+(-3^3)+(11CuuentplotheldA^l因此，可以得到感知器算法算出的判別函數(shù)為：d(X)=3x—2x—3x+1123利用matlab的畫(huà)圖函數(shù)畫(huà)出判別界面以及樣本點(diǎn)，得到如下的分布圖：由樣本分布圖可以看出，判別界面成功將兩類訓(xùn)練樣本分離。實(shí)驗(yàn)三LMSE算法一、實(shí)驗(yàn)內(nèi)容了解LMSE算法，并能夠用程序?qū)懗?。利用LMSE算法進(jìn)行判別分類，算出判別函數(shù)，并畫(huà)出判別界面。二、實(shí)驗(yàn)原理LMSE算法為最小平方誤差算法，其算法過(guò)程如下：（1） 將N個(gè)分屬于o類和①類的N維模式樣本寫(xiě)成增廣形式，12將屬于o的訓(xùn)練樣本乘以（1），寫(xiě)出規(guī)范化增廣樣本矩陣X。2（2） 求X的偽逆矩陣X#=（XTX）-1XT。（3） 設(shè)置初值c和〃⑴，c為正的校正增量，〃⑴的各分量大于0，括號(hào)中數(shù)字代表迭代次數(shù)k=1,開(kāi)始迭代。（4） 計(jì)算e（k）=XW（k）-B（k），進(jìn)行可分性判別。如果e(k)=0，模式線性可分，解為W(k)，算法結(jié)束。如果e(k)>0，模式線性可分，有解。繼續(xù)迭代。如果e(k)<0，停止迭代，檢查XW(k)是否大于0。若大于0，有解，否則無(wú)解，算法結(jié)束。(5)計(jì)算W(k+1)和B(k+1)先計(jì)算B(k+1)=B(k)+c[e(k)+1e(k川，再計(jì)算W(k+1)二X#B(k+1)，迭代次數(shù)k加1，返回第(4)步。三、實(shí)驗(yàn)結(jié)果及分析該實(shí)驗(yàn)用的訓(xùn)練樣本與感知器算法使用的樣本一致，為以下兩類訓(xùn)練樣本：普(0'0'0)T,(l'0'0)T,(l'0'l)T,(1'1'°)T

彎(°'°'1)T,(°'1'1)T,(°'1'°)T,(1'1'1)T設(shè)定初始值B(1)二(1,1,1,1,1,1,1,1)T，同樣地利用matlab中的元胞數(shù)組存放訓(xùn)練樣本點(diǎn)，通過(guò)編寫(xiě)matlab的LMSE程序可以得到以下結(jié)果：CommandWindow所以，LMSE算法求得的該兩類訓(xùn)練樣本的判別函數(shù)為d(X)=2x—2x—2x+1123利用matlab的畫(huà)圖函數(shù)畫(huà)出判別界面以及樣本點(diǎn)，得到如下的分布圖：由樣本分布圖可以看出，LMSE算法所得的判別界面也成功將兩類訓(xùn)練樣本分離。實(shí)驗(yàn)四Parzen窗估計(jì)一、實(shí)驗(yàn)內(nèi)容了解Parzen窗概率密度的估計(jì)方法，能用程序?qū)崿F(xiàn)。編寫(xiě)matlab程序，求解一個(gè)正態(tài)密度的Parzen窗估計(jì)二、實(shí)驗(yàn)原理

設(shè)區(qū)域R是一個(gè)d維的超立方體，并設(shè)h是超立方體的棱長(zhǎng)，則NN超立方體的體積為定義窗函數(shù)申(u)為；j；j=1,2,,d0,其他由于申(u)是以原點(diǎn)為中心的一個(gè)超立方體，所以當(dāng)X落入到以Xi為中心，體積為V的超立方體時(shí)，(p(u)=^[(X—X)/h]二1，否則申(u)=0,NiN因此落入該超立方體內(nèi)的樣本數(shù)為X—i=1p(X)是p(X)的第N次估計(jì)，則有Nk/N—N VN所以聯(lián)立上面兩式得入“、1尹1(X—X)

p(X)=乂9( -)NNVhi=1 N這個(gè)式子就是Parzen窗法的基本公式。三、實(shí)驗(yàn)結(jié)果與分析待估計(jì)的p(X)的均值為零，方差為1的正態(tài)密度函數(shù)，利用matlab可以隨機(jī)產(chǎn)生1個(gè)，16個(gè)，256個(gè)學(xué)習(xí)樣本x的樣本集,i1、畫(huà)出模式識(shí)別系統(tǒng)的基本構(gòu)成單元，并對(duì)各單元簡(jiǎn)要解釋選取正態(tài)窗函數(shù)1 _12甲(u)= e"22兀并設(shè)h=丄，h分別取0.25,1.0,4.0，利用matlab可以得到不同取NJN1值下的估計(jì)結(jié)果。(1)當(dāng)N=1,h=0.25,1.0,4.0時(shí)得到的結(jié)果N=1,h1=0.25的Parzen窗估計(jì)N=1,h1=0.25的Parzen窗估計(jì)從圖中可以看出，估計(jì)概率密度函數(shù)是一個(gè)樣本為中心的小丘誤差很大。當(dāng)N=16,h=0.25,1.0,4.0時(shí)得到的結(jié)果

原概率分布N=16,h1=0.25的Parzen窗估計(jì)-5 0 5N=16,h1=4原概率分布N=16,h1=0.25的Parzen窗估計(jì)-5 0 5N=16,h1=4的Parzen窗估計(jì)從圖中可以看出，在h=0.25時(shí)，噪聲誤差非常大，產(chǎn)生了不連1續(xù)性。慢慢增大h時(shí)，受到了平滑，但平均性誤差也隨之增大，分辨1率降低。當(dāng)n=256，h=0.25,1.0,4.0時(shí)得到的結(jié)果從下圖可以看出，當(dāng)N增大到256，估計(jì)量越來(lái)越好，在h=4時(shí),1估計(jì)量很接近真實(shí)分布。

N=256,h1=1的Parzen窗估計(jì)0.8N=256,h1=0.25的Parzen窗估計(jì)0.60.40.2N=256,h1=1的Parzen窗估計(jì)0.8N=256,h1=0.25的Parzen窗估計(jì)0.60.40.2055N=256,h1=4的Parzen窗估計(jì)從整個(gè)實(shí)驗(yàn)來(lái)看，Parzen窗法只要樣本足夠多，總可以保證收

斂于任何復(fù)雜的未知概率密度函數(shù)，但是也受到h值的影響，當(dāng)h太NN小時(shí)，就會(huì)造成不連續(xù)性，噪聲誤差增大。當(dāng)h太大時(shí)，分辨率就會(huì)N下降，平均性誤差就會(huì)增大。附錄一最大最小距離算法程序clear;clc;X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6];X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4];%取第一個(gè)點(diǎn)為一個(gè)聚類中心z{1}=X{1};position(1)=1;%計(jì)算其它點(diǎn)到z1的距離fori=1:10d(i)=dist(X{i}',z{1});end%找到距離z1最遠(yuǎn)的點(diǎn)的位置max_dist=max(d);pos=find(d==max(d));z{2}=X{pos};position(2)=pos;rate二o.5;%分?jǐn)?shù)比值設(shè)置為0.5T=rate*dist(z{i}',z{2});%初始閾值min_dist=d;flag=2;index=1;while(1)%循環(huán)求出其他距離并與事先設(shè)定的閾值作比較fori=1:10d(flag,i)=dist(X{i}',z{flag});ifmin_dist(i)>d(flag,i)min_dist(index)=d(flag,i);elsemin_dist(index)=min_dist(i);endindex=index+1;endindex=1;max_dist=max(max(min_dist));[xy]=find(min_dist==max(min_dist));if(max_dist>T)flag=flag+1;z{flag}=X{y};position(flag)=y;elsebreak;endendfprintf('以下序號(hào)的樣本為聚類中心:\n');fori=1:flagfprintf('%d\t',position(i));endfprintf('\n=======================');%計(jì)算各樣本到各聚類中心的距離fori=1:10forj=1:flagdistance(i,j)=dist(X{i}',z{j});endendflag1=1;flag2=1;distance2=distance';[mincolI]=min(distance2);%對(duì)10個(gè)樣本進(jìn)行聚類fori=1:10forj=1:flagif(I(i)==j)array(j,flag1)=i;flag1=flag1+1;elsecontinue;endendend%對(duì)聚類結(jié)果進(jìn)行輸出while(flag2<=flag)fprintf('\n第％d類的聚類中心為:％d\n',flag2,position(flag2));fprintf('屬于第%d類的有:\n',flag2);fori=1:10if(array(flag2,i)~=0)fprintf('%d\t',array(flag2,i));ifflag2==1plot(X{array(flag2,i)}(1),X{array(flag2,i)}(2),'b*');holdon;endifflag2==2plot(X{array(flag2,i)}(i),X{array(flag2,i)}(2),'blackA');holdon;endifflag2==3plot(X{array(flag2,i)}(1),X{array(flag2,i)}(2),'ro');title(樣本坐標(biāo)聚類顯示圖');holdon;endendendfprintf('\n');flag2=flag2+1;endgridon;axis([0809]);holdonplot(X{position(1)}(1),X{position(1)}(2),'o','Markersize',10);holdonplot(X{position(2)}(1),X{position(2)}(2),'o','Markersize',10);holdonplot(X{position(3)}(1),X{position(3)}(2),'o','Markersize',10);附錄二感知器算法程序clc;clear;w1{1}=[000]';w1{2}=[100]';w1{3}=[101]';w1{4}=[110]';w2{1}=[001]';w2{2}=[011]';w2{3}=[010]';w2{4}=[111]';[rolcol]=size(w1{1});fori=1:4w1{i}(rol+1,1)=1;w2{i}(rol+1,1)=1;w2{i}=w2{i}.*-1;endk=1;W(k,:)=[-1,-2,-2,0]';flag=0;while(1)%w1的計(jì)算fori=1:4k=k+1;if((W(k-1,:)*w1{i})<=0)W(k,:)=W(k-1,:)'+w1{i};flag=1;%發(fā)生錯(cuò)判，立即將標(biāo)記位賦1elseW(k,:)=W(k-1,:);endend%w2的計(jì)算fori=1:4k=k+1;if((W(k-1,:)*w2{i})<=0)W(k,:)=W(k-1,:)'+w2{i};flag=i;%發(fā)生錯(cuò)判，立即將標(biāo)記位賦1elseW(k,:)=W(k-1,:);endendifflag==1flag=0;elsebreak;endendfprintf('求得判別函數(shù)為：\t');fprintf('d(X)=(%s*x1)+(%s*x2)+(%s*x3)+(%s)\n',num2str(W(k,1)),num2str(W(k,2)),num2str(W(k,3)),num2str(W(k,4)));fori=1:4w2{i}=w2{i}.*-1;endx1=-2:0.01:2;x2=-2:0.01:2;[x1x2]=meshgrid(x1,x2);x3=(W(k,1)*x1+W(k,2)*x2+W(k,4))/(-1*W(k,3));surf(x1,x2,x3);holdfori=1:4plot3(w1{i}(1),w1{i}(2),w1{i}(3),'b*');plot3(w2{i}(i),w2{i}(2),w2{i}(3)f);endtitle('感知器算法判別界面及樣本分布圖');附錄三LMSE算法程序clc;clear;w1{1}=[000]';w1{2}=[100]';w1{3}=[101]';w1{4}=[110]';w2{1}=[001]';w2{2}=[011]';w2{3}=[010]';w2{4}=[111]';[rolcol]=size(w1{1});fori=1:4w1{i}(rol+1,1)=1;w2{i}(rol+1,1)=1;w2{i}=w2{i}.*-1;endX=[w1{1},w1{2},w1{3},w1{4},w2{1},w2{2},w2{3},w2{4}]';XW=inv(X'*X)*X';k=1;B(k,:)=[1,1,1,1,1,1,1,1];flag=0;c=1;while(1)W(k,:)=XW*B(k,:)';e=X*W(k,:)'-B(k,:)';ifmean(abs(e))<1.0e-014|e==0flag=0;break;endife<0ifX*W>=0flag=1;break;endendk=k+1;B(k,:)=B(k-1,:)'+c*(e+abs(e));endifflag==1fpritf('該模式樣本線性不可分\n');elsefprintf('求得判別函數(shù)為：\t');fprintf('d(X)=(%s*x1)+(%s*x2)+(%s*x3)+(%s)\n',num2str(W(k,1)),num2str(W(k,2)),num2str(W(k,3)),num2str(W(k,4)));fori=1:4w2{i}=w2{i}.*-1;endx1=-2:0.01:2;x2=-2:0.01:2;[x1x2]=meshgrid(x1,x2);x3=(W(k,1)*x1+W(k,2)*x2+W(k,4))/(-1*W(k,3));surf(x1,x2,x3);holdfori=1:4plot3(w1{i}(1),w1{i}(2),w1{i}(3),'b*');plot3(w2{i}(i),w2{i}(2),w2{i}(3),'r");endendtitle('LMSE算法判別界面及樣本分布圖');附錄四Parzen估計(jì)算法程序clc;clear;X=randn(1,3000);px=normpdf(X,0,1);%N=1的情況%pNx1_1=parzen(0.25,1,X);pNx1_2=parzen(1,1,X);pNx1_3=parzen(4,1,X);subplot(221);plot(X,px,'.');gridon;title('原概率分布');subplot(222)plot(X,pNx1_1,'.');gridon;title('N=1,h1=0.25的Parzen窗估計(jì)');subplot(223);plot(X,pNx1_2,'.');gridon;title('N=1,h1=1的Parzen窗估計(jì)');subplot(