模式識別實驗---C-均值算法與模糊C均值聚類的比較

1、實驗一、C-均值算法與模糊C均值聚類的比較一、實驗?zāi)康?. 通過對算法的編程實現(xiàn)，加強對該算法的認(rèn)識和理解，提高自身的知識水平 和編程能力，認(rèn)識模式識別在生活中的應(yīng)用；2. 深入理解C均值和模糊C均值的基本原理；3. 采用兩種分類方式進行仿真；二、實驗原理1. C均值的原理；C均值聚類算法是一種典型的無監(jiān)督動態(tài)聚類算法。該算法是在類別數(shù)目已知(二k)的條件下進行的，能夠使聚類結(jié)果的距離平方和最小，即算法的基礎(chǔ)是 誤差平方和準(zhǔn)則。其基本過程是建立初始的聚心和聚類，通過多次迭代，逐漸調(diào)整各類的聚心和各像元的類別，直至得到聚類準(zhǔn)則約束下的最好結(jié)果為止。本實驗的具體過程如下： 選擇初始類別中心，假設(shè)有

2、c個類別，設(shè)置其中心分別為 乙，Z2，,Zc 在第k步迭代中，對于任何一個像元x(是一個N維向量，N是高光譜圖像的 波段數(shù)目)，按如下方法把它調(diào)整到。各類別中的某一個類別中去。令d(x，y)為向量x，y之間的距離，若：d(x,Zi(k) "d(x,Zj(k)，j = 1 2 , c (jG)則S(k)，其中S(k)是以Zi(k)為中心的類。由上一步得到的S(k)(i=1 2, c)個類別新的中心乙化刊Z,k i)Ni x S(k)其中Ni是類別S(k)的數(shù)目。Zi(&)是按照最小J的原則，J的表達式為:cJ-d(xZ(k1)y xWs(k)對所有的i=1 2, c。如果，Zi

3、(k1) =Zi(k)，則迭代結(jié)束(在程序中，則按照每 個類別的對應(yīng)的那些像素不再變化，則停止迭代)，否則轉(zhuǎn)到第二步繼續(xù)迭代。2. 模糊C均值的原理在數(shù)字圖像由于存在混合像素的原因，也就是說一個像素中不僅存在一類 地物，因而采用硬分類方式往往不合適，而模糊C均值就是引入模糊集對每個像素的劃分概率不單單是用0或1這樣的硬分類方式，而是0和1之間的范圍內(nèi)（包 括0和1）。定義 認(rèn)，i =1,2,n是n個樣本組成的樣本集合，c為預(yù)定的類別數(shù)目,口/，2,c為每個聚類中心，uj（Xi）是第i個樣本對于第j類的隸屬度函數(shù)。用 隸屬度函數(shù)定義的聚類損失函數(shù)可以寫為：c nbJf =遲 XUj(x) |x

4、_mj|j i 4_其中，b 1是一個可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下最小化式的損失函數(shù)，就得到不同的模糊聚類 方法。其中最有代表的是模糊 C均值方法，它要求一個樣本對于各個聚類的隸 屬度之和為1，即cuj（x= 1,i=1,2,.n.,j 二在條件式下求得其極小值，令jf對m和uj（xi）的偏導(dǎo)數(shù)為0,可得必要條件:Uj(Xi) bXiUj(Xi)2 1/fb(1/|x-m,)j = h2,., C。U(x)= =1,2,nZ (1/|xi-mj|)k=1用迭代的方法求解上式，就是模糊 C均值算法。算法步驟如下:1）.設(shè)定聚類數(shù)目c和參數(shù)bo2）初始化各個聚類中心m

5、。3）重復(fù)下面的運算，直到各個樣本的隸屬度值穩(wěn)定：當(dāng)算法收斂時，就得到了各類的聚類中心和各個樣本對于各類的隸屬度值, 從而完成了模糊聚類劃分。三、實驗要求表1、實驗數(shù)據(jù)（X1、X2、X3是樣本的特征）樣本12345678910X1-7.82-6.684.366.72-8.64-6.874.476.73-7.71-6.91X2-4.583.16-2.190.883.060.57-2.62-2.012.34-0.49X3-3.972.712.092.803.50-5.455.764.18-6.33-5.68樣本11121314151617181920X16.186.72-6.25-6.948.09

6、6.81-5.19-6.384.086.27X22.81-0.93-0.26-1.220.200.174.24-1.741.300.93X35.82-4.040.561.132.25-4.154.041.435.33-2.78利用表1數(shù)據(jù)完成下面的實驗：1. 編寫C-均值算法，并用上表數(shù)據(jù)按下列條件分別測試。(a) c=2(類別數(shù))；初始聚類的均值：m1(0)=(1,1,1),m2(0)=(-1,1,-1)(b) c=2(類別數(shù))；初始聚類的均值：m1(0)=(0,0,0),m2(0)=(1,1,-1)。將得到的結(jié) 果與(a)中結(jié)果比較，并解釋差別，包括迭代次數(shù)的差別。(c) c=3(類別數(shù))

7、；初始聚類的均值：m1(0)=(0,0,0),m2(0)=(1,1,1),m3(0)=(-1,0,2)(d) c=2(類別數(shù))；初始聚類的均值：m1(0)=(-0.1,0,0.1),m2(0)=(0,-0.1,0.1), m3(0)=(-0.1,-0.1,0.1)。將得到的結(jié)果與(&)與(c)中結(jié)果比較，并解釋 差別，包括迭代次數(shù)的差別。2. 重做(1)，但利用模糊C均值聚類，并設(shè)置:b=2。并與C-均值算法比較。四、實驗結(jié)果及分析1、c=2(類別數(shù))；初始聚類的均值：m1(0)=(1,1,1),m2(0)=(-1,1,-1) 在設(shè)定初始中心m1(0)=(1,1,1),m2(0)=(-

8、1,1,-1)情況下分得的結(jié)果如圖1,綠色 和紅色分別是兩種不同的種類。C均值聚類(K均值聚類)是采用歐氏距離作為 類別的相似性度量，也就是說與某個類別中心相聚最近就判屬于這類。由圖1可以看出綠色“ o”和紅色“ * ”兩種種類中間存在著一個較大的間距，因而可以 將這兩類樣本區(qū)別開來。圖1分類結(jié)果在同樣的初始聚類中心條件下，我們采用模糊 C均值方式對樣本進行分類,因為模糊C均值屬于一種軟分類方式，因而得到的結(jié)果只能用隸屬度來描述， 對于模糊C均值的相似度描述是依賴于樣本與類均值間的二范數(shù)(歐式距離)。結(jié)果如表2所示，P1表示樣本屬于第一類的概率，P2表示樣本屬于第二類的概 率。從這我們也可以很

9、明顯看出 C均值和模糊C均值間的差別，C均值是屬于 一種硬分類方式，所以分類結(jié)果只能用0或1來表示，然而，實際中存在著介于 “是”與“不是”間的類別，采用硬分類方式就得不到合理的結(jié)果。迭代次數(shù)比較，C均值經(jīng)過2次迭代結(jié)束，而模糊C均值卻需要5次迭代才 能結(jié)束，這也許引起的一個主要原因是循環(huán)結(jié)束條件不一致。表2、模糊C均值的分類結(jié)果樣本12345678910P10.12650.10890.95520.98750.11780.08870.88760.95830.11850.0977P20.87350.89110.04480.01250.88220.91130.11240.04170.88150.9

10、023樣本11121314151617181920P10.90210.83910.01760.03740.97810.83680.22240.06000.90420.8807P20.09790.16090.98240.96260.02190.16320.77760.94000.09580.11932、c=2(類別數(shù))；初始聚類的均值：m1(0)=(0,0,0),m2(0)=(1,1,-1)在設(shè)定初始中心m1(0)=(0,0,0),m2(0)=(1,1,-1)情況下分得的結(jié)果如圖2,綠色 和紅色分別是兩種不同的種類。顯而易見，實驗二的結(jié)果和實驗一的結(jié)果一致， 這可能由于初始中心的選取不合理引起的

11、結(jié)果。此外，最為主要的原因可能是， 綠色“o”和紅色“ * ”兩類之間的間隔確實較遠(yuǎn)，在分兩類的情況下確實只會導(dǎo) 致這樣的結(jié)果。50-5the sec ond results of kmea ns10圖2分類結(jié)杲由表3可見，在硬分類的條件下，無法對紅色“ *”類別進行合理的描述， 而模糊C均值卻能給出一個較為合理的分析。對于C均值迭代結(jié)束是3,而模糊 C均值的迭代次數(shù)為7。由此可見，迭代次數(shù)不僅依賴于樣本本身，還依賴于初值的選取表3、模糊C均值的分類結(jié)果樣本12345678910P10.87240.89280.04510.01270.88380.91010.11390.04230.88050.

12、9009P20.12760.10720.95490.98730.11620.08990.88610.95770.11950.0991樣本11121314151617181920P10.09910.15890.98290.96320.02170.16120.77990.94060.09760.1176P20.90090.84110.01710.03680.97830.83880.22010.05940.90240.88243、c=3(類別數(shù));初始聚類的均值:m1(0)=(0,0,0),m2(0)=(1,1,1).m3(0)=(-1,0,2)在設(shè)定初始中心 m1(0)=(0,0,0),m2(0)

13、=(1,1,1), m3(0)=(-1,0,2)情況下分得的結(jié)果如圖3,綠色“ 0”、紅色“ *”和藍色“ x”分別是三種不同的種類。如圖 3可 見，在實驗一和實驗二中的某一類被分成兩個子類，這主要是C均值只利用到均值特征，而沒有利用方差特征，對于上兩個實驗中某一類的類內(nèi)方差較大，所以不能簡單的把它當(dāng)做一類對待，采用分三類的方式就能得到一個更好的實驗結(jié) 果。X2X1圖3分類結(jié)果C均值分類迭代次數(shù)為3,而模糊C均值迭代次數(shù)為11,模糊C均值所需的迭代次數(shù)較多。當(dāng)然不僅影響這個結(jié)果主要原因依賴于程序本身的設(shè)計。而C均值方法是引用MATLAB自帶的程序。表4、模糊C均值的分類結(jié)果樣本12345678

14、910P10.70740.05800.03430.00740.10120.99000.06700.02600.88340.9934P20.06430.02490.91610.98180.03990.00200.81570.93540.02500.0014P30.22830.91710.04970.01070.85890.00800.11730.03860.09160.0052樣本11121314151617181920P10.06070.15170.10470.12820.01470.15350.11430.14350.05630.1119P20.83560.71570.02350.03170

15、.96580.71150.08310.04370.83530.7791P30.10370.13260.87180.84000.01950.13500.80270.81280.10840.10904、c=3(類別數(shù))；初始聚類的均值(初始聚類中心)：m1(0)=(-0.1,0,0.1),m2(0)=(0,-0.1,0.1), m3(0)=(-0.1,-0.1,0.1)在設(shè)定初始中心 m1(0)=(-0.1,0,0.1),m2(0)=(0,-0.1,0.1), m3(0)=(-0.1,-0.1,0.1) 情況下分得的結(jié)果如圖4,綠色“ 0”、紅色“ *”和藍色“ x”分別是三種不同的 種類。如圖4

16、可見，實驗四的結(jié)果與實驗三的結(jié)果不一致，從而說明初值的選擇 對實驗結(jié)果有較大的影響。對于那種類似較難區(qū)分的數(shù)據(jù)，我們應(yīng)該根據(jù)經(jīng)驗等 合理方式來給定。the fourth results of kmeans17。從以上結(jié)果，可以C均值分類迭代次數(shù)為4，而模糊C均值迭代次數(shù)為 看出迭代次數(shù)依賴于程序本身、初始類別中心和樣本數(shù)據(jù)。表5、模糊C均值的分類結(jié)果樣本12345678910P10.22100.92480.04940.01090.86520.00890.11770.03880.09310.0049P20.06390.02250.91620.98160.03800.00230.81480.934

17、90.02570.0014P30.71510.05270.03430.00750.09670.98880.06750.02630.88120.9937樣本11121314151617181920P10.10470.13140.85900.82720.01940.13390.81140.80020.10950.1081P20.83430.71760.02570.03400.96600.71330.07930.04630.83380.7808P30.06100.15110.11540.13870.01470.15280.10930.15340.05670.1112四、程序close allclea

18、r allclcdataset=load('F:experie ncel.mat');cen ter1=1 1 1;-1 1-1;center2=0 0 0;1 1-1;cen ter3=0 0 0;1 1 1;-1 0 2;cen ter4=-0.1 0 0.1;0 -0.1 0.1;-0.1 -0.1 0.1;%kmea nsk_class1,C1,sumd1,D1=kmea ns(dataset.data,2,'start',ce nter1); on e1=dataset.data(fi nd(k_class1=1),:);sec on d1=datas

19、et.data(fi nd(k_class1=2),:);scatter3(o ne1(:,1),o ne1(:,2),o ne1(:,3),'*','r')hold onscatter3(seco nd1(:,1),seco nd1(:,2),seco nd1(:,3),'o','g')hold offxlabel('X1','Fo ntsize',15);ylabel('X2','Fo ntsize',15);zlabel('X3','F

20、on tsize',15);title('the first results of kmea ns','F on tsize',15)%k_class2,C2,sumd2,D2=kmea ns(dataset.data,2,'start',ce nter2); on e2=dataset.data(fi nd(k_class2=1),:);sec on d2=dataset.data(fi nd(k_class2=2),:);figure,scatter3(o ne2(:,1),o ne2(:,2),o ne2(:,3),'*&#

21、39;,'r')hold onscatter3(seco nd2(:,1),seco nd2(:,2),seco nd2(:,3),'o','g')hold offxlabel('X1','Fo ntsize',15);ylabel('X2','Fo ntsize',15);zlabel('X3','F on tsize',15);title('the sec ond results of kmea ns','F on tsiz

22、e',15)%k_class3,C3,sumd3,D3=kmea ns(dataset.data,3,'start',ce nter3); on e3=dataset.data(fi nd(k_class3=1),:);second3=dataset.data(find(k_class3=2),:); third3=dataset.data(find(k_class3=3),:); figure,scatter3(one3(:,1),one3(:,2),one3(:,3),'*','r') hold on scatter3(second3

23、(:,1),second3(:,2),second3(:,3),'o','g') hold onscatter3(third3(:,1),third3(:,2),third3(:,3),'x','b') hold offxlabel('X1','Fontsize',15);ylabel('X2','Fontsize',15);zlabel('X3' ,'Fontsize',15);title('the third results

24、 of kmeans','Fontsize',15)% k_class4,C4,sumd4,D4=kmeans(dataset.data,3,'start',center4); one4=dataset.data(find(k_class4=1),:);second4=dataset.data(find(k_class4=2),:); third4=dataset.data(find(k_class4=3),:); figure,scatter3(one4(:,1),one4(:,2),one4(:,3),'*','r')

25、 hold onscatter3(second4(:,1),second4(:,2),second4(:,3),'o','g') hold onscatter3(third4(:,1),third4(:,2),third4(:,3),'x','b') hold offxlabel('X1','Fontsize',15);ylabel('X2','Fontsize',15);zlabel('X3' ,'Fontsize',15);titl

26、e('the fourth results of kmeans','Fontsize',15)%fcm class_jwei1,fuzzy_jwei1=fcm_jwei(dataset.sample,2,center1',2); class_jwei2,fuzzy_jwei2=fcm_jwei(dataset.sample,2,center2',2); class_jwei3,fuzzy_jwei3=fcm_jwei(dataset.sample,2,center3',3); class_jwei4,fuzzy_jwei4=fcm_jwei(dataset.sample,2,center4',3);子函數(shù) fcm_jwei 部分function class_center,fuzzy,time=fcm_jwei(sample,b,initial_center,class_num