K均值聚類課件

進入夏天，少不了一個熱字當頭，電扇空調(diào)陸續(xù)登場，每逢此時，總會想起那一把蒲扇。蒲扇，是記憶中的農(nóng)村，夏季經(jīng)常用的一件物品。記憶中的故鄉(xiāng)，每逢進入夏天，集市上最常見的便是蒲扇、涼席，不論男女老少，個個手持一把，忽閃忽閃個不停，嘴里叨叨著“怎么這么熱”，于是三五成群，聚在大樹下，或站著，或隨即坐在石頭上，手持那把扇子，邊嘮嗑邊乘涼。孩子們卻在周圍跑跑跳跳，熱得滿頭大汗，不時聽到“強子，別跑了，快來我給你扇扇”。孩子們才不聽這一套，跑個沒完，直到累氣喘吁吁，這才一跑一踮地圍過了，這時母親總是，好似生氣的樣子，邊扇邊訓(xùn)，“你看熱的，跑什么？”此時這把蒲扇，是那么涼快，那么的溫馨幸福，有母親的味道！蒲扇是中國傳統(tǒng)工藝品，在我國已有三千年多年的歷史。取材于棕櫚樹，制作簡單，方便攜帶，且蒲扇的表面光滑，因而，古人常會在上面作畫。古有棕扇、葵扇、蒲扇、蕉扇諸名，實即今日的蒲扇，江浙稱之為芭蕉扇。六七十年代，人們最常用的就是這種，似圓非圓，輕巧又便宜的蒲扇。蒲扇流傳至今，我的記憶中，它跨越了半個世紀，也走過了我們的半個人生的軌跡，攜帶著特有的念想，一年年，一天天，流向長長的時間隧道，裊K均值聚類進入夏天，少不了一個熱字當頭，電扇空調(diào)陸續(xù)登場，每逢此時1目錄

K均值聚類簡介K均值聚類的原理K均值算法的優(yōu)缺點K均值聚類的MATLAB實現(xiàn)待聚類樣本的分類結(jié)果結(jié)論

目錄K均值聚類簡介2一.K均值聚類簡介K均值聚類發(fā)明于1956年，該算法最常見的形式是采用被稱為勞埃德算法（Lloydalgorithm）的迭代式改進探索法。勞埃德算法首先把輸入點分成K個初始化分組，可以是隨機的或者使用一些啟發(fā)式數(shù)據(jù)。然后計算每組的中心點，根據(jù)中心點的位置把對象分到離它最近的中心，重新確定分組。繼續(xù)重復(fù)不斷地計算中心并重新分組，直到收斂，即對象不再改變分組（中心點位置不再改變）。一.K均值聚類簡介K均值聚類發(fā)明于1956年，該算法最常見的3K均值聚類課件4K均值聚類課件5K均值聚類課件6二.K均值聚類的原理2.4算法流程①給出個n混合樣本，令表示迭代運算次數(shù)，選取K個初始聚心；②計算每個樣本與聚合中心的距離，若，則。③計算K個新的集合中心：。④判斷：若，則，返回②，否則算法結(jié)束。二.K均值聚類的原理2.4算法流程7二.K均值聚類的原理012345678910012345678910012345678910012345678910K=2將每個對象賦給最類似的中心更新簇的平均值重新賦值更新簇的平均值重新賦值算法流程示意圖:二.K均值聚類的原理012345678910012345678三.K均值算法的優(yōu)缺點優(yōu)點：（1）如果變量很大，k均值比層次聚類的計算速度更快。（2）與層次聚類相比，k均值可以得到更緊密的簇，尤其是對于球狀簇。（3）大數(shù)據(jù)集合，效率比較高。（4）算法嘗試找出使平方誤差函數(shù)最小的k個劃分。當結(jié)果簇是密集的，而簇與簇之間區(qū)別明顯的時候，效果較好。缺點：（1）沒有指明初始化均值的方法。常用的方法是隨機的選取k個樣本作為均值。（2）產(chǎn)生的結(jié)果依賴于均值的初始值，經(jīng)常發(fā)生得到次優(yōu)劃分的情況。解決方法是多次嘗試不同的初始值。（3）可能發(fā)生距離簇中心mj最近的樣本集為空的情況，因此，mj將得不到更新。（4）不適合發(fā)現(xiàn)非凸面形狀的簇，并且對噪聲和離群點數(shù)據(jù)是比較敏感的，因為少量的這類數(shù)據(jù)能夠?qū)诞a(chǎn)生極大的影響。三.K均值算法的優(yōu)缺點優(yōu)點：9四.K均值聚類的MATLAB實現(xiàn)完整程序：clearall;data=[1702.8 1639.792068.741877.931860.961975.3867.81 2334.682535.11831.491713.111604.68460.69 3274.772172.992374.983346.98975.312271.893482.97946.71783.641597.992261.31198.83 3250.452445.081494.632072.592550.511597.031921.522126.761598.93 1921.08 1623.331243.13 1814.07 3441.07四.K均值聚類的MATLAB實現(xiàn)完整程序：10四.K均值聚類的MATLAB實現(xiàn)完整程序：2336.31 2640.26 1599.63354 3300.12 2373.612144.47 2501.62 591.51426.31 3105.29 2057.81507.13 1556.89 1954.51343.07 3271.72 2036.942201.94 3196.22 935.532232.43 3077.87 1298.871580.1 1752.07 2463.041962.4 1594.97 1835.951495.18 1957.44 3498.021125.17 1594.39 2937.7324.22 3447.31 2145.011269.07 1910.72 2701.971802.07 1725.81 1966.35四.K均值聚類的MATLAB實現(xiàn)完整程序：11四.K均值聚類的MATLAB實現(xiàn)完整程序：1817.36 1927.4 2328.791860.45 1782.88 1875.13];[IDX,C,SUMD,D]=kmeans(data,4);plot3(data(:,1),data(:,2),data(:,3),'*');grid;D=D'minD=min(D);index1=find(D(1,:)==min(D))index2=find(D(2,:)==min(D))index3=find(D(3,:)==min(D))index4=find(D(4,:)==min(D))line(data(index1,1),data(index1,2),data(index1,3),'linestyle','none','marker','*','color','g');line(data(index2,1),data(index2,2),data(index2,3),'linestyle',四.K均值聚類的MATLAB實現(xiàn)完整程序：12四.K均值聚類的MATLAB實現(xiàn)完整程序：'none','marker','*','color','r');line(data(index3,1),data(index3,2),data(index3,3),'linestyle','none','marker','+','color','b');line(data(index4,1),data(index4,2),data(index4,3),'linestyle','none','marker','+','color','y');title('C均值聚類分析圖');xlabel('第一特征坐標');ylabel('第二特征坐標');zlabel('第三特征坐標');四.K均值聚類的MATLAB實現(xiàn)完整程序：13五.待聚類樣本的分類結(jié)果（1）所分4類的聚類中心C：C=1.0e+03*1.29641.91942.8753（index1聚類中心）

0.30123.27492.2052（index2聚類中心）

2.26033.04101.0579（index3聚類中心）

1.75831.74931.9655（index4聚類中心）（2）所分的4類：index1=3101322242527index2=5915171926index3=6714162021index4=124811121823282930五.待聚類樣本的分類結(jié)果（1）所分4類的聚類中心C：14五.待聚類樣本的分類結(jié)果五.待聚類樣本的分類結(jié)果15六.總結(jié)在K均值聚類算法中，Kmeans算法主要通過迭代搜索獲得聚類的劃分結(jié)果，雖然Kmeans算法運算速度快，占用內(nèi)存小，比較適合于大樣本量的情況，但是聚類結(jié)果受初始凝聚點的影響很大，不同的初始點選擇會導(dǎo)致截然不同的結(jié)果。并且當按最近鄰歸類時，如果遇到兩個凝聚點距離相等的情況，不同的選擇也會造成不同的結(jié)果。因此，K均值動態(tài)聚類法具有因初始中心的不確定性而存在較大偏差的情況。K均值算法使用的聚類準則函數(shù)是誤差平方和準則。在算法迭代過程中，樣本分類不斷調(diào)整，因此誤差平方和JK也在逐步減小，直到?jīng)]有樣本調(diào)整為止，此時JK不再變化，聚類達到最優(yōu)。但是，此算法中沒有計算JK值，也就是說JK不是算法結(jié)束的明顯依據(jù)。因此，有待進一步對K均值算法進行改進，以優(yōu)化K均值聚類算法。六.總結(jié)在K均值聚類算法中，Kmeans算法主要通過迭代搜索16話題閱讀與交際話題閱讀與交際17Ⅰ.完形填空。

IliveinthePhilippines(菲律賓).Ithaswarmwinters.I1seesnowinmylifehere.Lastwinter,IwenttoAmerica2myfamily.OurlaststopwasCalifornia.Myauntdroveustoaparktoski(滑雪).WhenIgotoffthecar,Isawawhiteworld.Iwasso3,becauseitwasmyfirsttimetosee4.Icouldn’tski,soIjustraninthesnow,madesnowballsand5photos.Ididnotfeelverycold,becauseI6athickcoat(厚外套).7playingkeptmewarm.Myshoeswerewet,butitwas8tome.We9thewhole(整個的）dayinthepark.AndIhadalotof10.WhatadifferentdayIhad!Ⅰ.完形填空。18()1.A.oftenB.neverC.alwaysD.sometimes()2.A.toB.byC.for D.with()3.A.hungryB.boredC.excited D.cold()4.A.parksB.snowC.rainD.photos

()5.A.tookB.boughtC.sold D.learnedBDCBA()1.A.oftenB19()6.A.madeB.putC.woreD.saw()7.A.AndB.IfC.SoD.But()8.A.everythingB.somethingC.anythingD.nothing ()9.A.paidB.sleptC.stayedD.spent()10.A.foodB.timeC.fun D.newsCADDC()6.A.madeB20II.閱讀理解。

MyfamilyandIwentonvacationinLasVegaslastyear.Itwasanexcitingtrip.Butonthelastday,therewassomethingbad.Myfamilywenttowatchashow.Thereweremanypeopleinthecinemawatchingit.Whentheshowwasover,thepeoplestartedtoleave.Mynine-year-oldsisterwalkedwithme.Butafewminuteslatersomepeopleseparatedus.Icouldn’tfindher!Ithoughtshewouldbewithmyparents.ButwhenIfoundthem,mysisterwasnotthere.Aftertwohours,westilldidn’tfindher.Wehadtogobacktoourhotel.Tooursurprise,mysisterwasatthehotel.Shesaidakindwomantookherback.II.閱讀理解。21Thethingtaughtmeanimportantlesson.Ineedtolookafter(照顧)mysisterwell.Andtherearealwaysgoodpeople.()11.Thewriterthoughtthevacationwas

.badB.interestingC.boringD.exciting()12.Thefamily

onthelastday.A.visitedamuseumB.watchedashowC.didsomeshoppingD.stayedatthehotel()13.Theunderlinedword“separated”means“_____”inChinese.A.分開B.斥責C.綁架D.注意DBAThethingtaughtmeanimporta22()14.Wheredidtheyfindthewriter'ssister?A.Inaclassroom.B.Atthehotel.C.Inthecinema.D.Inthepolicestation.()15.Whichcanbethebesttitle?A.MyfamilyB.NoonehelpedusC.AlessoninatripD.BekindtochildrenBCIII.情景交際。從方框中選擇適當?shù)木渥友a全對話。（其中兩項是多余的）A:Hi,Jack.16B:Notverygood.A:17()14.Wheredidtheyfind23B:IwantedtogotoHunanformyvacation.Butitsnowedhardthere,soIhadtostayathome.A:Whatapity!18B:Ionlydidmyhomeworkeveryday.Itwassoboring.19A:Oh,IwenttoHarbin.B:Itwasgreat.WhatwastheweatherlikeinHarbin?A:Itwasverycoldandsometimesitsnowed.B:20A:Yes.Ihadawonderfultime.B:IwantedtogotoHunanfor24A.Howaboutyours?B.Howwasyourwintervacation?C.Itwasreallyterrible.D.Why?E.Didyouskatethere?F.Whodidyougowith?G.Thenwhatdidyoudoathome?16.

17.

18.

19.

20.＿＿＿BDGAEA.Howaboutyours?16.25進入夏天，少不了一個熱字當頭，電扇空調(diào)陸續(xù)登場，每逢此時，總會想起那一把蒲扇。蒲扇，是記憶中的農(nóng)村，夏季經(jīng)常用的一件物品。記憶中的故鄉(xiāng)，每逢進入夏天，集市上最常見的便是蒲扇、涼席，不論男女老少，個個手持一把，忽閃忽閃個不停，嘴里叨叨著“怎么這么熱”，于是三五成群，聚在大樹下，或站著，或隨即坐在石頭上，手持那把扇子，邊嘮嗑邊乘涼。孩子們卻在周圍跑跑跳跳，熱得滿頭大汗，不時聽到“強子，別跑了，快來我給你扇扇”。孩子們才不聽這一套，跑個沒完，直到累氣喘吁吁，這才一跑一踮地圍過了，這時母親總是，好似生氣的樣子，邊扇邊訓(xùn)，“你看熱的，跑什么？”此時這把蒲扇，是那么涼快，那么的溫馨幸福，有母親的味道！蒲扇是中國傳統(tǒng)工藝品，在我國已有三千年多年的歷史。取材于棕櫚樹，制作簡單，方便攜帶，且蒲扇的表面光滑，因而，古人常會在上面作畫。古有棕扇、葵扇、蒲扇、蕉扇諸名，實即今日的蒲扇，江浙稱之為芭蕉扇。六七十年代，人們最常用的就是這種，似圓非圓，輕巧又便宜的蒲扇。蒲扇流傳至今，我的記憶中，它跨越了半個世紀，也走過了我們的半個人生的軌跡，攜帶著特有的念想，一年年，一天天，流向長長的時間隧道，裊K均值聚類進入夏天，少不了一個熱字當頭，電扇空調(diào)陸續(xù)登場，每逢此時26目錄

K均值聚類簡介K均值聚類的原理K均值算法的優(yōu)缺點K均值聚類的MATLAB實現(xiàn)待聚類樣本的分類結(jié)果結(jié)論

目錄K均值聚類簡介27一.K均值聚類簡介K均值聚類發(fā)明于1956年，該算法最常見的形式是采用被稱為勞埃德算法（Lloydalgorithm）的迭代式改進探索法。勞埃德算法首先把輸入點分成K個初始化分組，可以是隨機的或者使用一些啟發(fā)式數(shù)據(jù)。然后計算每組的中心點，根據(jù)中心點的位置把對象分到離它最近的中心，重新確定分組。繼續(xù)重復(fù)不斷地計算中心并重新分組，直到收斂，即對象不再改變分組（中心點位置不再改變）。一.K均值聚類簡介K均值聚類發(fā)明于1956年，該算法最常見的28K均值聚類課件29K均值聚類課件30K均值聚類課件31二.K均值聚類的原理2.4算法流程①給出個n混合樣本，令表示迭代運算次數(shù)，選取K個初始聚心；②計算每個樣本與聚合中心的距離，若，則。③計算K個新的集合中心：。④判斷：若，則，返回②，否則算法結(jié)束。二.K均值聚類的原理2.4算法流程32二.K均值聚類的原理012345678910012345678910012345678910012345678910K=2將每個對象賦給最類似的中心更新簇的平均值重新賦值更新簇的平均值重新賦值算法流程示意圖:二.K均值聚類的原理0123456789100123456733三.K均值算法的優(yōu)缺點優(yōu)點：（1）如果變量很大，k均值比層次聚類的計算速度更快。（2）與層次聚類相比，k均值可以得到更緊密的簇，尤其是對于球狀簇。（3）大數(shù)據(jù)集合，效率比較高。（4）算法嘗試找出使平方誤差函數(shù)最小的k個劃分。當結(jié)果簇是密集的，而簇與簇之間區(qū)別明顯的時候，效果較好。缺點：（1）沒有指明初始化均值的方法。常用的方法是隨機的選取k個樣本作為均值。（2）產(chǎn)生的結(jié)果依賴于均值的初始值，經(jīng)常發(fā)生得到次優(yōu)劃分的情況。解決方法是多次嘗試不同的初始值。（3）可能發(fā)生距離簇中心mj最近的樣本集為空的情況，因此，mj將得不到更新。（4）不適合發(fā)現(xiàn)非凸面形狀的簇，并且對噪聲和離群點數(shù)據(jù)是比較敏感的，因為少量的這類數(shù)據(jù)能夠?qū)诞a(chǎn)生極大的影響。三.K均值算法的優(yōu)缺點優(yōu)點：34四.K均值聚類的MATLAB實現(xiàn)完整程序：clearall;data=[1702.8 1639.792068.741877.931860.961975.3867.81 2334.682535.11831.491713.111604.68460.69 3274.772172.992374.983346.98975.312271.893482.97946.71783.641597.992261.31198.83 3250.452445.081494.632072.592550.511597.031921.522126.761598.93 1921.08 1623.331243.13 1814.07 3441.07四.K均值聚類的MATLAB實現(xiàn)完整程序：35四.K均值聚類的MATLAB實現(xiàn)完整程序：2336.31 2640.26 1599.63354 3300.12 2373.612144.47 2501.62 591.51426.31 3105.29 2057.81507.13 1556.89 1954.51343.07 3271.72 2036.942201.94 3196.22 935.532232.43 3077.87 1298.871580.1 1752.07 2463.041962.4 1594.97 1835.951495.18 1957.44 3498.021125.17 1594.39 2937.7324.22 3447.31 2145.011269.07 1910.72 2701.971802.07 1725.81 1966.35四.K均值聚類的MATLAB實現(xiàn)完整程序：36四.K均值聚類的MATLAB實現(xiàn)完整程序：1817.36 1927.4 2328.791860.45 1782.88 1875.13];[IDX,C,SUMD,D]=kmeans(data,4);plot3(data(:,1),data(:,2),data(:,3),'*');grid;D=D'minD=min(D);index1=find(D(1,:)==min(D))index2=find(D(2,:)==min(D))index3=find(D(3,:)==min(D))index4=find(D(4,:)==min(D))line(data(index1,1),data(index1,2),data(index1,3),'linestyle','none','marker','*','color','g');line(data(index2,1),data(index2,2),data(index2,3),'linestyle',四.K均值聚類的MATLAB實現(xiàn)完整程序：37四.K均值聚類的MATLAB實現(xiàn)完整程序：'none','marker','*','color','r');line(data(index3,1),data(index3,2),data(index3,3),'linestyle','none','marker','+','color','b');line(data(index4,1),data(index4,2),data(index4,3),'linestyle','none','marker','+','color','y');title('C均值聚類分析圖');xlabel('第一特征坐標');ylabel('第二特征坐標');zlabel('第三特征坐標');四.K均值聚類的MATLAB實現(xiàn)完整程序：38五.待聚類樣本的分類結(jié)果（1）所分4類的聚類中心C：C=1.0e+03*1.29641.91942.8753（index1聚類中心）

0.30123.27492.2052（index2聚類中心）

2.26033.04101.0579（index3聚類中心）

1.75831.74931.9655（index4聚類中心）（2）所分的4類：index1=3101322242527index2=5915171926index3=6714162021index4=124811121823282930五.待聚類樣本的分類結(jié)果（1）所分4類的聚類中心C：39五.待聚類樣本的分類結(jié)果五.待聚類樣本的分類結(jié)果40六.總結(jié)在K均值聚類算法中，Kmeans算法主要通過迭代搜索獲得聚類的劃分結(jié)果，雖然Kmeans算法運算速度快，占用內(nèi)存小，比較適合于大樣本量的情況，但是聚類結(jié)果受初始凝聚點的影響很大，不同的初始點選擇會導(dǎo)致截然不同的結(jié)果。并且當按最近鄰歸類時，如果遇到兩個凝聚點距離相等的情況，不同的選擇也會造成不同的結(jié)果。因此，K均值動態(tài)聚類法具有因初始中心的不確定性而存在較大偏差的情況。K均值算法使用的聚類準則函數(shù)是誤差平方和準則。在算法迭代過程中，樣本分類不斷調(diào)整，因此誤差平方和JK也在逐步減小，直到?jīng)]有樣本調(diào)整為止，此時JK不再變化，聚類達到最優(yōu)。但是，此算法中沒有計算JK值，也就是說JK不是算法結(jié)束的明顯依據(jù)。因此，有待進一步對K均值算法進行改進，以優(yōu)化K均值聚類算法。六.總結(jié)在K均值聚類算法中，Kmeans算法主要通過迭代搜索41話題閱讀與交際話題閱讀與交際42Ⅰ.完形填空。

IliveinthePhilippines(菲律賓).Ithaswarmwinters.I1seesnowinmylifehere.Lastwinter,IwenttoAmerica2myfamily.OurlaststopwasCalifornia.Myauntdroveustoaparktoski(滑雪).WhenIgotoffthecar,Isawawhiteworld.Iwasso3,becauseitwasmyfirsttimetosee4.Icouldn’tski,soIjustraninthesnow,madesnowballsand5photos.Ididnotfeelverycold,becauseI6athickcoat(厚外套).7playingkeptmewarm.Myshoeswerewet,butitwas8tome.We9thewhole(整個的）dayinthepark.AndIhadalotof10.WhatadifferentdayIhad!Ⅰ.完形填空。43()1.A.oftenB.neverC.alwaysD.sometimes()2.A.toB.byC.for D.with()3.A.hungryB.boredC.excited D.cold()4.A.parksB.snowC.rainD.photos

()5.A.tookB.boughtC.sold D.learnedBDCBA()1.A.oftenB44()6.A.madeB.putC.woreD.saw()7.A.AndB.IfC.SoD.But()8.A.everythingB.somethingC.anythingD.nothing ()9.A.paidB.sleptC.stayedD.spent()10.A.foodB.timeC.fun D.newsCADDC()6.A.madeB45II.閱讀理解。

MyfamilyandIwentonvacationinLasVegaslastyear.Itwasanexcitingtrip.Butonthelastday,therewassomethingbad.Myfamilywenttowatchashow.Thereweremanypeopleinthecinemawatchingit.Whentheshowwasover,thepeoplestartedtoleave.Mynine-year-oldsisterwalkedwithme.Butafewminuteslatersomepeopleseparatedus.Icouldn’tfindher!Ithoughtshewouldbewithmyparents.ButwhenIfoundthem,mysisterwasnotthere.Aftertwohours,westilldidn’tfindher.Wehadtogobacktoourhotel.Tooursurprise,mysisterwasa