《模式識(shí)別原理與應(yīng)用》非參數(shù)估計(jì) 第四周

1、模式識(shí)別原理與應(yīng)用非參數(shù)估計(jì) 第四周一、 密度估計(jì)上圖為一個(gè)N(-5,4)正態(tài)分布和N(5,2)正態(tài)分布相疊加的分布，后面將圍繞這個(gè)分布分別使用直方圖密度估計(jì)和核密度估計(jì)。1、基于直方圖密度估計(jì)基于直方圖密度估計(jì)的缺點(diǎn)：樣本量要大，間隔控量，不光滑，下面為直方圖密度估計(jì)的代碼：clear;% 繪制原始圖像X=(-25:0.002:15);Y=(normpdf(X,-5,4)+normpdf(X,5,2)/2;figure(1);plot(X,Y);% 隨機(jī)生成1000個(gè)N(-5,4)正態(tài)分布和1000個(gè)N(5,2)正態(tài)分布rndDistribute=normrnd(-5,4,1000,1);n

2、ormrnd(5,2,1000,1);n=2000; % 直方圖生成dif=1; %直方圖間隔n=(max(rndDistribute)-min(rndDistribute)/dif; %直方圖條數(shù)H X=hist(rndDistribute,n);H=H/sum(H)/dif;figure(2);bar(X,H);結(jié)果：2、核密度估計(jì)概率密度函數(shù)為pnx=knnVn=1n i=1n1VnK(x-xihn) ，其中K(u)為核函數(shù)，這里給出兩種常用的核函數(shù)。利用核函數(shù)Ku=1u120otherwise得到的結(jié)果：其中，hn分別為0.5，0.8，1，2。利用核函數(shù)Kz=12exp-z22得到的結(jié)

3、果：其中，hn分別為0.5，0.8，1，2。這里程序定義了兩個(gè)函數(shù)：Kernel.m，Density.m。Kernel.m主要是通過傳入的method參數(shù)來(lái)分別調(diào)用這兩種核函數(shù)，Density.m是計(jì)算核密度估計(jì)公式pnx=1n i=1n1VnK(x-xihn)主程序就是根據(jù)不同的參數(shù)調(diào)用Density并繪制圖像。源代碼如下：function K = Kernel( ui,method )%KERNEL 01核 高斯核 if strcmp(method,01) t=zeros(size(ui); t(abs(ui)=0.5)=1; K=sum(t); elseif strcmp(method,

4、GAS) t=1/sqrt(2*pi).*exp(-ui.2/2); K=sum(t); endendfunction kn = Density(rndDistribute, x,hn,method )%公式計(jì)算 kn=zeros(size(x); for i=1:1:size(x,2); kn(i)=Kernel(rndDistribute-x(i)/hn,method)/hn; end kn=kn/size(rndDistribute,1);endclear;% 繪制原始圖像X=(-25:0.002:15);Y=(normpdf(X,-5,4)+normpdf(X,5,2)/2;figur

5、e(1);plot(X,Y);% 隨機(jī)生成1000個(gè)N(-5,4)正態(tài)分布和1000個(gè)N(5,2)正態(tài)分布rndDistribute=normrnd(-5,4,1000,1);normrnd(5,2,1000,1);n=2000;% 核密度估計(jì)% 01核 和 高斯核% hn 分別為 0.5 0.8 1 2% 01核figure(2);x=-25:0.01:15;hn=0.5;kn=Density(rndDistribute,x,hn,01);subplot(2,2,1);plot(x,kn);hn=0.8;kn=Density(rndDistribute,x,hn,01);subplot(2,

6、2,2);plot(x,kn);hn=1;kn=Density(rndDistribute,x,hn,01);subplot(2,2,3);plot(x,kn);hn=2;kn=Density(rndDistribute,x,hn,01);subplot(2,2,4);plot(x,kn);% 高斯核figure(3);x=-25:0.01:15;hn=0.5;kn=Density(rndDistribute,x,hn,GAS);subplot(2,2,1);plot(x,kn);hn=0.8;kn=Density(rndDistribute,x,hn,GAS);subplot(2,2,2);

7、plot(x,kn);hn=1;kn=Density(rndDistribute,x,hn,GAS);subplot(2,2,3);plot(x,kn);hn=2;kn=Density(rndDistribute,x,hn,GAS);subplot(2,2,4);plot(x,kn);二、 k近鄰分類器(kNN)根據(jù)貝葉斯公式Pwix=pnxwiPwipnx，其中Pwi=nin、pnxwi=kiniVn、pnx=knnVn，得出Pwix=kikn。也即，某點(diǎn)的類別和其鄰域內(nèi)相鄰的幾個(gè)點(diǎn)有關(guān)（k1+k2+kc=kn，n1+n2+nc=n）。這里用的是iris數(shù)據(jù)拿來(lái)測(cè)試，iris數(shù)據(jù)每類的前25

8、個(gè)為訓(xùn)練數(shù)據(jù)，每類的后25個(gè)為測(cè)試數(shù)據(jù)。clear;% 加載數(shù)據(jù)load fisheriris;irisFeatures=meas;% 創(chuàng)建訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)irisTrain=irisFeatures(1:25,:);irisFeatures(51:75,:);irisFeatures(101:125,:);irisTrainNum=ones(25,1);ones(25,1)*2;ones(25,1)*3;irisTest=irisFeatures(26:50,:);irisFeatures(76:100,:);irisFeatures(126:150,:);% 創(chuàng)建knn分類器，近鄰點(diǎn)個(gè)數(shù)

9、為15mdl=fitcknn(irisTrain,irisTrainNum,NumNeighbors,15);% 預(yù)測(cè)測(cè)試點(diǎn)的類別irisTestNum=predict(mdl,irisTest);% 統(tǒng)計(jì)結(jié)果sum=0;for i=1:1:75 if(irisTestNum(i) = irisTrainNum(i) sum=sum+1; endenddisp(1-sum/75.0);% 顯示結(jié)果stem(irisTestNum);這里采用的是15近鄰分類器，其中測(cè)試數(shù)據(jù)的準(zhǔn)確率達(dá)到93.33%。下圖為具體的結(jié)果。三、 MeanShift聚類MeanShift可以用與聚類、圖像處理以及運(yùn)動(dòng)跟蹤

10、上，其核心公式為x=i=1nxiKx-xihi=1nKx-xih通過多次迭代，最終可以收斂到局部最優(yōu)的位置，其中核函數(shù)K()為Kz=12exp-z22算法的大致流程為：第一步、從x*=xj出發(fā)第二步、 x=i=1nxiKx*-xihi=1nKx*-xih，若x-x*2dif pre_x=x; u=0 0; %分子 d=0; %分母 %公式 分子和分母 累加 for i=1:n ui=(x-data(i,:)/h; k=(1/sqrt(2*pi)*exp(-0.5*norm(ui).2); %高斯核 u=u+data(i,:)*k; d=d+k; end x=u/d; end sortNum(j

11、,:)=x;end% 聚類label=zeros(n,1); %創(chuàng)建標(biāo)簽nowId=1; %最大類別idlabel(1)=nowId; %設(shè)置第一個(gè)點(diǎn)的標(biāo)簽為1% 計(jì)算所有點(diǎn)的標(biāo)簽for i=2:1:size(sortNum,1) % 將該點(diǎn)的最終迭代坐標(biāo)與已知標(biāo)簽點(diǎn)的最終迭代坐標(biāo)比較 % 這里設(shè)置兩坐標(biāo)之差的二范數(shù)小于2到3倍的dif 則聚為一類 % 否則為新的標(biāo)簽 flag=0; %用來(lái)判斷是否找到同類的點(diǎn) for j=1:1:i-1 if norm(sortNum(i,:)-sortNum(j,:)dif*3 label(i)=label(j); flag=1; break; end end if(flag=0) nowId=nowId+1; label(i)=nowId;