《多元統(tǒng)計(jì)分析及R語(yǔ)言》第7章聚類(lèi)分析

問(wèn)題：采用何種方法將樣本或指標(biāo)進(jìn)行分類(lèi)處理？問(wèn)題提出聚類(lèi)方法模糊聚類(lèi)法系統(tǒng)聚類(lèi)法快速聚類(lèi)法(kmeans)食品衣著設(shè)備醫(yī)療交通教育居住雜項(xiàng)北京4934.051512.88981.131294.072328.512383.961246.19649.66天津4249.311024.15760.561163.981309.941639.831417.45463.64河北2789.85975.94546.75833.511010.51895.06917.19266.16山西2600.371064.61477.74640.221027.991054.05991.77245.07內(nèi)蒙古2824.891396.86561.71719.131123.821245.09941.79468.17遼寧3560.211017.65439.28879.081033.361052.941047.04400.16吉林2842.681127.09407.35854.8873.88997.751062.46394.29黑龍江2633.181021.45355.67729.55746.03938.21784.51310.67………………………第7章聚類(lèi)分析7.1聚類(lèi)分析的概念和類(lèi)型7.2聚類(lèi)統(tǒng)計(jì)量7.3系統(tǒng)聚類(lèi)法7.4Kmeans聚類(lèi)法7.5聚類(lèi)分析的一些問(wèn)題7.1聚類(lèi)分析的概念和類(lèi)型思想：研究樣品或指標(biāo)（變量）之間存在著程度不同的相似性（親疏），并按相似程度不同將指標(biāo)和樣品形成一個(gè)分類(lèi)系統(tǒng)。指標(biāo)樣本X1X2…Xp1x11x12…x1p2x21x22…x2p3x21x22…x2p……………nxn1xn2…xnp聚類(lèi)方法類(lèi)型R型聚類(lèi)：對(duì)變量的聚類(lèi)Q型聚類(lèi)：對(duì)樣品的聚類(lèi)7.2聚類(lèi)統(tǒng)計(jì)量定義：用來(lái)進(jìn)行類(lèi)型劃分的統(tǒng)計(jì)量，對(duì)樣品進(jìn)行劃分統(tǒng)計(jì)量為距離，對(duì)變量進(jìn)行劃分的統(tǒng)計(jì)量為相似系數(shù)。聚類(lèi)統(tǒng)計(jì)量相似系數(shù)距離蘭氏距離歐式距離馬氏距離相關(guān)系數(shù)夾角余弦1.距離-樣本公式（1）明氏距離q=1,絕對(duì)值距離q=2,歐式距離q=∞,切比雪夫距離（2）馬氏距離（3）蘭氏距離（4）程序?qū)崿F(xiàn)dist(x,method="euclidean",diag=FALSE,upper=FALSE,p=2)x數(shù)據(jù)矩陣，數(shù)據(jù)框架method計(jì)算方法，“euclidean(歐式)”,“maximum（切比雪夫）“,”manhattan（絕對(duì)數(shù)）”,“canberra（蘭氏）“,”binary”or“minkowski（明氏）"diag是否包含對(duì)角線元素upper是否需要上三角pMinkowski距離的冪次123426.32535.3854.12342.2364.1234.24351.4145.09951dist(X,)#歐式距離dist(X,method=“manhattan”)#絕對(duì)值距離1234283754356526712.相似系數(shù)-指標(biāo)公式：（1）夾角余弦（2）相關(guān)系數(shù)（3）距離和相關(guān)系數(shù)轉(zhuǎn)換7.3系統(tǒng)聚類(lèi)法取距離方法類(lèi)平均法最短距離最長(zhǎng)距離n個(gè)樣本分成n類(lèi)計(jì)算任何兩類(lèi)距離最小距離歸為1類(lèi)整個(gè)過(guò)程畫(huà)成聚類(lèi)圖離差平方和法（Ward法）重心法中心距離法1.基本思想2.系統(tǒng)聚類(lèi)法計(jì)算公式（1）最短距離法距離：Gp與Gq合并為Gr后，Gr與其它類(lèi)Gs之間距離：（2）最長(zhǎng)距離法距離：Gp與Gq合并為Gr后，Gr與其它類(lèi)Gs之間距離：（1）最短距離法分析過(guò)程D0G1G2G3G4G5G106.325.382.231.41G204.124.125.09G304.245.00G401.00G50D1G1G2G3G6G106.325.381.41G204.124.12G304.24G60D2G2G3G7G204.124.12G304.24G7045213（3）中間距離法取最短距離和最長(zhǎng)距離的折中：（4）重心法距離：設(shè)Gr={Gp,Gq},則：遞推公式：（5）類(lèi)平均法兩類(lèi)之間距離平方：兩類(lèi)元素兩兩之間的平均基本公式：（6）離差平方和法（Ward法）設(shè)將n個(gè)樣品分成k類(lèi)G1,G2,…,Gk，用Xit表示Gi中的第i個(gè)樣品，nt為Gt中樣品的個(gè)數(shù)，是Gt的重心，則Gt的樣品離差平方和為：如果Gp和Gq合并為新類(lèi)Gr，類(lèi)內(nèi)離差平方和為：統(tǒng)一遞推公式方法αrαsβγ最短距離法1/21/20-1/2最長(zhǎng)距離法1/21/201/2類(lèi)平均法nr/npns/np00中間距離法1/21/2-1/40重心法nr/npns/np-αrαs0Ward法(nq+nr)/(nq+np)(nq+ns)/(nq+np)-nq/(nq+np)0結(jié)論：六種系統(tǒng)聚類(lèi)法的并類(lèi)原則和過(guò)程完全相同，不同之處在于類(lèi)與類(lèi)之間的距離定義不同。（7）程序?qū)崿F(xiàn)hc<-hclust(dist(X),“ward")#ward距離法cbind(hc$merge,hc$height)；plot(hc)#聚類(lèi)圖[,1][,2][,3][1,]-4-51[2,]-111.414[3,]-224.123[4,]-334.123hc<-hclust(dist(X),method="single")#最短距離法cbind(hc$merge,hc$height)#分類(lèi)過(guò)程plot(hc)#聚類(lèi)圖[,1][,2][,3][1,]-4-51[2,]-112.100[3,]-2-34.123[4,]238.356問(wèn)題：使用31個(gè)省、市、自治區(qū)調(diào)查資料對(duì)區(qū)域消費(fèi)做類(lèi)型劃分，并作出聚類(lèi)分析圖。食品衣著設(shè)備醫(yī)療交通教育居住雜項(xiàng)北京4934.051512.88981.131294.072328.512383.961246.19649.66天津4249.311024.15760.561163.981309.941639.831417.45463.64河北2789.85975.94546.75833.511010.51895.06917.19266.16山西2600.371064.61477.74640.221027.991054.05991.77245.07內(nèi)蒙古2824.891396.86561.71719.131123.821245.09941.79468.17遼寧3560.211017.65439.28879.081033.361052.941047.04400.16吉林2842.681127.09407.35854.8873.88997.751062.46394.29黑龍江2633.181021.45355.67729.55746.03938.21784.51310.678.實(shí)例分析程序?qū)崿F(xiàn)plot(d7.2)library(mvstats)H.clust(d7.2,"euclidean","single",plot=T)#最短距離法7.4kmeans聚類(lèi)法任選所有樣本分成k類(lèi)使用歐式最小距離將某樣本劃入離中心最近的類(lèi)中重新計(jì)算兩個(gè)新類(lèi)的中心坐標(biāo)整個(gè)過(guò)程畫(huà)成聚類(lèi)圖1.基本思想分完未分完優(yōu)點(diǎn)：分類(lèi)速度快，占用內(nèi)存少任選n個(gè)樣本分成k簇計(jì)算每個(gè)簇對(duì)象均值（中心對(duì)象），計(jì)算每個(gè)對(duì)象與這些中心對(duì)象的距離根據(jù)歐式最小距離對(duì)相應(yīng)對(duì)象進(jìn)行劃分重新計(jì)算有變化簇均值,如C中新的中心點(diǎn)與之前A中的中心點(diǎn)相比變化極小，則迭代結(jié)束2.Kmeans聚類(lèi)原理與計(jì)算未分完分完生成聚類(lèi)圖3.隨機(jī)模擬實(shí)驗(yàn)結(jié)論：Kmeans準(zhǔn)確將均值為0和1的兩類(lèi)數(shù)據(jù)聚類(lèi)開(kāi)，體現(xiàn)了其準(zhǔn)確性和快速性，采用系統(tǒng)聚類(lèi)則可能死機(jī)。x1=matrix(rnorm(10000,mean=0,sd=0.3),ncol=10)#均值1,標(biāo)準(zhǔn)差為0.3的1000x10的正態(tài)隨機(jī)數(shù)矩陣x2=matrix(rnorm(10000,mean=1,sd=0.3),ncol=10)x=rbind(x1,x2)cl=kmeans(x,2)#kmeans聚類(lèi)pch1=rep("1",1000)pch2=rep("2",1000)plot(x,col=cl$