模式識(shí)別實(shí)驗(yàn)-C-均值算法與模糊C均值聚類的比較

1、實(shí)驗(yàn)一、c-均值算法與模糊C均值聚類的比較一、實(shí)驗(yàn)?zāi)康耐ㄟ^(guò)對(duì)算法的編程實(shí)現(xiàn)，加強(qiáng)對(duì)該算法的認(rèn)識(shí)和理解，提高自身的知識(shí)水平和編程能力，認(rèn)識(shí)模式識(shí)別在生活中的應(yīng)用；深入理解C均值和模糊C均值的基本原理；采用兩種分類方式進(jìn)行仿真；二、實(shí)驗(yàn)原理1.C均值的原理；C均值聚類算法是一種典型的無(wú)監(jiān)督動(dòng)態(tài)聚類算法。該算法是在類別數(shù)目已知（=廠的條件下進(jìn)行的，能夠使聚類結(jié)果的距離平方和最小，即算法的基礎(chǔ)是誤差平方和準(zhǔn)則。其基本過(guò)程是建立初始的聚心和聚類，通過(guò)多次迭代，逐漸調(diào)整各類的聚心和各像元的類別，直至得到聚類準(zhǔn)則約束下的最好結(jié)果為止。本實(shí)驗(yàn)的具體過(guò)程如下：選擇初始類別中心，假設(shè)有C個(gè)類別，設(shè)置其中心分別為Z

2、1,ZL,ZC1）在第k步迭代中，對(duì)于任何一個(gè)像元x（是一個(gè)N維向量，N是高光譜圖像的波段數(shù)目），按如下方法把它調(diào)整到。各類別中的某一個(gè)類別中去。令d（x，y）為向量x，y之間的距離，若：d（x,Z（k）1是一個(gè)可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下最小化式的損失函數(shù)，就得到不同的模糊聚類方法。其中最有代表的是模糊C均值方法，它要求一個(gè)樣本對(duì)于各個(gè)聚類的隸屬度之和為1，即工u（x）=1,i=1,2,.,njij=1在條件式下求得其極小值，令J對(duì)m和u（x）的偏導(dǎo)數(shù)為0，可得必要條件:fijibi=1/x-mxbi=1/x-mi,j=I,2，c，,i=1,2,.,nj=1,2

3、,.,c。k=11）用迭代的方法求解上式，就是模糊C均值算法。算法步驟如下:設(shè)定聚類數(shù)目c和參數(shù)b1）2）初始化各個(gè)聚類中心m。i3）重復(fù)下面的運(yùn)算，直到各個(gè)樣本的隸屬度值穩(wěn)定：當(dāng)算法收斂時(shí)，就得到了各類的聚類中心和各個(gè)樣本對(duì)于各類的隸屬度值從而完成了模糊聚類劃分。三、實(shí)驗(yàn)要求表1、實(shí)驗(yàn)數(shù)據(jù)（XI、X2、X3是樣本的特征）樣本12345678910X1-7.82-6.684.366.72-8.64-6.874.476.73-7.71-6.91X2-4.583.16-2.190.883.060.57-2.62-2.012.34-0.49X3-3.972.712.092.803.50-5.455.

4、764.18-6.33-5.68樣本111213樣本11121314151617181920X16.186.72-6.25-6.948.096.81-5.19-6.384.086.27X22.81-0.93-0.26-1.220.200.174.24-1.741.300.93X35.82-4.040.561.132.25-4.154.041.435.33-2.781編寫C-均值算法，并用上表數(shù)據(jù)按下列條件分別測(cè)試。c=2(類別數(shù))；初始聚類的均值：m1(0)=(1,1,1),m2(0)=(-1,1,-1)c=2(類別數(shù))；初始聚類的均值：m1(0)=(0,0,0),m2(0)=(1,1,-1)

5、。將得到的結(jié)果與(a)中結(jié)果比較，并解釋差別，包括迭代次數(shù)的差別。c=3(類別數(shù))；初始聚類的均值：m1(0)=(0,0,0),m2(0)=(1丄1),m3(0)=(-1,0,2)c=2(類別數(shù))；初始聚類的均值：m1(0)=(-0丄0,0.1),m2(0)=(0,-0丄0.1)，m3(0)=(-0.1,-0丄0.1)。將得到的結(jié)果與(a)與(c)中結(jié)果比較，并解釋差別，包括迭代次數(shù)的差別。2.重做(1),但利用模糊C均值聚類，并設(shè)置:b=2。并與C-均值算法比較。四、實(shí)驗(yàn)結(jié)果及分析1、c=2(類別數(shù))；初始聚類的均值：m1(0)=(1,1,1),m2(0)=(-1,1,-1)在設(shè)定初始中心m

6、1(0)=(1,1,1),m2(0)=(-1,1,-1)情況下分得的結(jié)果如圖1，綠色和紅色分別是兩種不同的種類。C均值聚類(K均值聚類)是采用歐氏距離作為類別的相似性度量，也就是說(shuō)與某個(gè)類別中心相聚最近就判屬于這類。由圖1可以看出綠色“o”和紅色“*”兩種種類中間存在著一個(gè)較大的間距，因而可以將這兩類樣本區(qū)別開來(lái)。10-5一-5-10-105-5-10X2X1thefirstresultsofkmeans10-5一-5-10-105-5-10X2X1圖1分類結(jié)果在同樣的初始聚類中心條件下，我們采用模糊C均值方式對(duì)樣本進(jìn)行分類,因?yàn)槟：鼵均值屬于一種軟分類方式，因而得到的結(jié)果只能用隸屬度來(lái)描述，

7、對(duì)于模糊C均值的相似度描述是依賴于樣本與類均值間的二范數(shù)(歐式距離)。結(jié)果如表2所示，P1表示樣本屬于第一類的概率，P2表示樣本屬于第二類的概率。從這我們也可以很明顯看出C均值和模糊C均值間的差別，C均值是屬于一種硬分類方式，所以分類結(jié)果只能用0或1來(lái)表示，然而，實(shí)際中存在著介于“是”與“不是”間的類別，采用硬分類方式就得不到合理的結(jié)果。迭代次數(shù)比較，C均值經(jīng)過(guò)2次迭代結(jié)束，而模糊C均值卻需要5次迭代才能結(jié)束，這也許引起的一個(gè)主要原因是循環(huán)結(jié)束條件不一致。表2、模糊C均值的分類結(jié)果樣本12345678910P10.12650.10890.95520.98750.11780.08870.8876

8、0.95830.11850.0977P20.87350.89110.04480.01250.88220.91130.11240.04170.88150.9023樣本11121314151617181920P10.90210.83910.01760.03740.97810.83680.22240.06000.90420.8807P20.09790.16090.98240.96260.02190.16320.77760.94000.09580.11932、c=2(類別數(shù))；初始聚類的均值：ml(0)=(0,0,0),m2(0)=(l,l,-l)在設(shè)定初始中心ml(0)=(0,0,0),m2(0)=

9、(l,l,-l)情況下分得的結(jié)果如圖2,綠色和紅色分別是兩種不同的種類。顯而易見，實(shí)驗(yàn)二的結(jié)果和實(shí)驗(yàn)一的結(jié)果一致，這可能由于初始中心的選取不合理引起的結(jié)果。此外，最為主要的原因可能是，綠色“o”和紅色“*”兩類之間的間隔確實(shí)較遠(yuǎn)，在分兩類的情況下確實(shí)只會(huì)導(dǎo)致這樣的結(jié)果。1010圖2分類結(jié)果由表3可見，在硬分類的條件下，無(wú)法對(duì)紅色“*”類別進(jìn)行合理的描述，而模糊C均值卻能給出一個(gè)較為合理的分析。對(duì)于C均值迭代結(jié)束是3,而模糊C均值的迭代次數(shù)為7。由此可見，迭代次數(shù)不僅依賴于樣本本身，還依賴于初表 、模糊C均值的分類結(jié)果樣本12345678910Pl0.22100.92480.04940.0109

10、0.86520.00890.11770.03880.09310.0049P20.06390.02250.91620.98160.03800.00230.81480.93490.02570.0014P30.71510.05270.03430.00750.09670.98880.06750.02630.88120.9937樣本P1P2P3110.10470.83430.0610120.13140.71760.1511130.85900.02570.1154140.82720.03400.1387150.01940.96600.0147160.13390.71330.1528170.81140.07

11、930.1093180.80020.04630.1534190.10950.83380.0567200.10810.78080.1112樣本P1P2P3110.10470.83430.0610120.13140.71760.1511130.85900.02570.1154140.82720.03400.1387150.01940.96600.0147160.13390.71330.1528170.81140.07930.1093180.80020.04630.1534190.10950.83380.0567200.10810.78080.1112、程序closeallclearallclcda

12、taset=load(F:experience1.mat);center1=111;-11-1;center2=000;11-1;center3=000;111;-102;center4=-0.100.1;0-0.10.1;-0.1-0.10.1;%kmeansk_class1,C1,sumd1,D1=kmeans(dataset.data,2,start,center1);one1=dataset.data(find(k_class1=1),:);second1=dataset.data(find(k_class1=2),:);scatter3(one1(:,1),one1(:,2),one

13、1(:,3),*,r)holdonscatter3(second1(:,1),second1(:,2),second1(:,3),o,g)holdoffxlabel(X1,Fontsize,15);ylabel(X2,Fontsize,15);zlabel(X3,Fontsize,15);title(thefirstresultsofkmeans,Fontsize,15)%k_class2,C2,sumd2,D2=kmeans(dataset.data,2,start,center2);one2=dataset.data(find(k_class2=1),:);second2=dataset.

14、data(find(k_class2=2),:);figure,scatter3(one2(:,1),one2(:,2),one2(:,3),*,r)holdonscatter3(second2(:,1),second2(:,2),second2(:,3),o,g)holdoffxlabel(X1,Fontsize,15);ylabel(X2,Fontsize,15);zlabel(X3,Fontsize,15);title(thesecondresultsofkmeans,Fontsize,15)%k_class3,C3,sumd3,D3=kmeans(dataset.data,3,star

15、t,center3);one3=dataset.data(find(k_class3=1),:);second3=dataset.data(find(k_class3=2),:);third3=dataset.data(find(k_class3=3),:);figure,scatter3(one3(:,1),one3(:,2),one3(:,3),*,r)holdonscatter3(second3(:,1),second3(:,2),second3(:,3),o,g)holdonscatter3(third3(:,1),third3(:,2),third3(:,3),x,b)holdoff

16、xlabel(X1,Fontsize,15);ylabel(X2,Fontsize,15);zlabel(X3,Fontsize,15);title(thethirdresultsofkmeans,Fontsize,15)%k_class4,C4,sumd4,D4=kmeans(dataset.data,3,start,center4);one4=dataset.data(find(k_class4=1),:);second4=dataset.data(find(k_class4=2),:);third4=dataset.data(find(k_class4=3),:);figure,scat

17、ter3(one4(:,1),one4(:,2),one4(:,3),*,r)holdonscatter3(second4(:,1),second4(:,2),second4(:,3),o,g)holdonscatter3(third4(:,1),third4(:,2),third4(:,3),x,b)holdoffxlabel(X1,Fontsize,15);ylabel(X2,Fontsize,15);zlabel(X3,Fontsize,15);title(thefourthresultsofkmeans,Fontsize,15)%fcmclass_jwei1,fuzzy_jwei1=f

18、cm_jwei(dataset.sample,2,center1,2);class_jwei2,fuzzy_jwei2=fcm_jwei(dataset.sample,2,center2,2);class_jwei3,fuzzy_jwei3=fcm_jwei(dataset.sample,2,center3,3);class_jwei4,fuzzy_jwei4=fcm_jwei(dataset.sample,2,center4,3);子函數(shù)fcm_jwei部分functionclass_center,fuzzy,time=fcm_jwei(sample,b,initial_center,class_num)%closeall%clearall%clc%dataset=load(F:總坯總？&2010experience1.mat);%initial_center=000;111;-102;%b=2;%class_num=3;%sample=dataset.sample;%sampleisatwodementionmatrix,eachrowisafe