統(tǒng)計(jì)學(xué),數(shù)據(jù)到結(jié)論11

統(tǒng)計(jì)學(xué),從數(shù)據(jù)到結(jié)論,第十一章聚類分析,分類,物以類聚、人以群分；但根據(jù)什么分類呢？如要想把中國的縣分類，就有多種方法可以按照自然條件來分，比如考慮降水、土地、日照、濕度等，也可考慮收入、教育水準(zhǔn)、醫(yī)療條件、基礎(chǔ)設(shè)施等指標(biāo)；既可以用某一項(xiàng)來分類，也可以同時(shí)考慮多項(xiàng)指標(biāo)來分類。,聚類分析,對一個(gè)數(shù)據(jù)，既可以對變量(指標(biāo))進(jìn)行分類(相當(dāng)于對數(shù)據(jù)中的列分類)，也可以對觀測值(事件，樣品)來分類(相當(dāng)于對數(shù)據(jù)中的行分類)。當(dāng)然，不一定事先假定有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。本章要介紹的分類的方法稱為聚類分析（clusteranalysis）。對變量的聚類稱為R型聚類，而對觀測值聚類稱為Q型聚類。它們在數(shù)學(xué)上是無區(qū)別的。,飲料數(shù)據(jù)（drink.txt）,16種飲料的熱量、咖啡因、鈉及價(jià)格四種變量,11.1如何度量距離遠(yuǎn)近？,如果想要對100個(gè)學(xué)生進(jìn)行分類，而僅知道他們的數(shù)學(xué)成績，則只好按照數(shù)學(xué)成績分類；這些成績在直線上形成100個(gè)點(diǎn)。這樣就可以把接近的點(diǎn)放到一類。如果還知道他們的物理成績，這樣數(shù)學(xué)和物理成績就形成二維平面上的100個(gè)點(diǎn)，也可以按照距離遠(yuǎn)近來分類。,11.1如何度量距離遠(yuǎn)近？,三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數(shù)據(jù)中，每種飲料都有四個(gè)變量值。這就是四維空間點(diǎn)的問題了。,兩個(gè)距離概念,按照遠(yuǎn)近程度來聚類需要明確兩個(gè)概念：一個(gè)是點(diǎn)和點(diǎn)之間的距離，一個(gè)是類和類之間的距離。點(diǎn)間距離有很多定義方式。最簡單的是歐氏距離。當(dāng)然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點(diǎn)越相似度越大，就相當(dāng)于距離越短。,兩個(gè)距離概念,由一個(gè)點(diǎn)組成的類是最基本的類；如果每一類都由一個(gè)點(diǎn)組成，那么點(diǎn)間的距離就是類間距離。但是如果某一類包含不止一個(gè)點(diǎn)，那么就要確定類間距離，類間距離是基于點(diǎn)間距離定義的：比如兩類之間最近點(diǎn)之間的距離可以作為這兩類之間的距離，也可以用兩類中最遠(yuǎn)點(diǎn)之間的距離或各類的中心之間的距離來作為類間距離。,兩個(gè)距離概念,在計(jì)算時(shí)，各種點(diǎn)間距離和類間距離的選擇是通過統(tǒng)計(jì)軟件的選項(xiàng)實(shí)現(xiàn)的。不同的選擇的結(jié)果會不同，但一般不會差太多。,向量x=(x1,xp)與y=(y1,yp)之間的距離或相似系數(shù):,歐氏距離:Euclidean,平方歐氏距離:SquaredEuclidean,夾角余弦(相似系數(shù)1):cosine,Pearsoncorrelation(相似系數(shù)2):,Chebychev:Maxi|xi-yi|,Block(絕對距離):Si|xi-yi|,Minkowski:,當(dāng)變量的測量值相差懸殊時(shí),要先進(jìn)行標(biāo)準(zhǔn)化.如R為極差,s為標(biāo)準(zhǔn)差,則標(biāo)準(zhǔn)化的數(shù)據(jù)為每個(gè)觀測值減去均值后再除以R或s.當(dāng)觀測值大于0時(shí),有人采用Lance和Williams的距離,類Gp與類Gq之間的距離Dpq(d(xi,xj)表示點(diǎn)xiGp和xjGq之間的距離),最短距離法:,最長距離法:,重心法:,離差平方和:(Wald),類平均法:,(中間距離,可變平均法,可變法等可參考各書).在用歐氏距離時(shí),有統(tǒng)一的遞推公式,有了上面的點(diǎn)間距離和類間距離的概念，就可以介紹聚類的方法了。這里介紹兩個(gè)簡單的方法。,11.2事先要確定分多少類：k-均值聚類,前面說過，聚類可以走著瞧，不一定事先確定有多少類；但是這里的k-均值聚類（k-meanscluster，也叫快速聚類，quickcluster）卻要求你先說好要分多少類?？雌饋碛行┲饔^，是吧！假定你說分3類，這個(gè)方法還進(jìn)一步要求你事先確定3個(gè)點(diǎn)為“聚類種子”(SPSS軟件自動為你選種子)；也就是說，把這3個(gè)點(diǎn)作為三類中每一類的基石。,11.2事先要確定分多少類：k-均值聚類,然后，根據(jù)和這三個(gè)點(diǎn)的距離遠(yuǎn)近，把所有點(diǎn)分成三類。再把這三類的中心(均值)作為新的基石或種子(原來“種子”就沒用了)，再重新按照距離分類。如此疊代下去，直到達(dá)到停止疊代的要求（比如，各類最后變化不大了，或者疊代次數(shù)太多了）。顯然，前面的聚類種子的選擇并不必太認(rèn)真，它們很可能最后還會分到同一類中呢。下面用飲料例的數(shù)據(jù)來做k-均值聚類。,假定要把這16種飲料分成3類。利用SPSS，只疊代了三次就達(dá)到目標(biāo)了（計(jì)算機(jī)選的種子還可以）。這樣就可以得到最后的三類的中心以及每類有多少點(diǎn),根據(jù)需要，可以輸出哪些點(diǎn)分在一起。結(jié)果是：第一類為飲料1、10；第二類為飲料2、4、8、11、12、13、14；第三類為剩下的飲料3、5、6、7、9、15、16。,SPSS實(shí)現(xiàn)(聚類分析),K-均值聚類以數(shù)據(jù)drink.sav為例，在SPSS中選擇AnalyzeClassifyK-MenasCluster，然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價(jià)格）選入Variables,在NumberofClusters處選擇3（想要分的類數(shù)），如果想要知道哪種飲料分到哪類，則選Save，再選ClusterMembership等。注意k-均值聚類只能做Q型聚類，如要做R型聚類，需要把數(shù)據(jù)陣進(jìn)行轉(zhuǎn)置。,11.2事先不用確定分多少類：分層聚類,另一種聚類稱為分層聚類或系統(tǒng)聚類（hierarchicalcluster）。開始時(shí)，有多少點(diǎn)就是多少類。它第一步先把最近的兩類（點(diǎn)）合并成一類，然后再把剩下的最近的兩類合并成一類；這樣下去，每次都少一類，直到最后只有一大類為止。越是后來合并的類，距離就越遠(yuǎn)。,對于飲料聚類。SPSS輸出為,“冰柱圖”(icicle),例:5個(gè)樣品距離陣令Dk為系統(tǒng)聚類法種第k次合并時(shí)的距離,如Dk為單調(diào)的,則稱具有單調(diào)性.前面只有重心和中間距離法不具有單調(diào)性.,步驟:最短距離法最長距離法階段bk(第k階段類的集合)DkDkD(0)(1)(2)(3)(4)(5)00D(1)(1,3)(2)(4)(5)11D(2)(1,3)(2,4)(5)33D(3)(1,3)(2,4,5)45D(4)(1,3,2,4,5)69注:最短和最長距離法結(jié)果一樣(一般不一定一樣),聚類要注意的問題,聚類結(jié)果主要受所選擇的變量影響。如果去掉一些變量，或者增加一些變量，結(jié)果會很不同。相比之下，聚類方法的選擇則不那么重要了。因此，聚類之前一定要目標(biāo)明確。,聚類要注意的問題,另外就分成多少類來說，也要有道理。只要你高興，從分層聚類的計(jì)算機(jī)結(jié)果可以得到任何可能數(shù)量的類。但是，聚類的目的是要使各類之間的距離盡可能地遠(yuǎn)，而類中點(diǎn)的距離盡可能的近，并且分類結(jié)果還要有令人信服的解釋。這一點(diǎn)就不是數(shù)學(xué)可以解決的了。,SPSS實(shí)現(xiàn)(聚類分析),分層聚類對drink.sav數(shù)據(jù)在SPSS中選擇AnalyzeClassifyHierarchicalCluster,然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價(jià)格）選入Variables,在Cluster選Cases（這是Q型聚類：對觀測值聚類），如果要對變量聚類（R型聚類）則選Variables,為了畫出樹狀圖，選Plots，再點(diǎn)Dendrogram等。,附錄,Lance和Williams給出(對歐氏距離)統(tǒng)一遞推公式:D2(k,r)=apD2(k,p)+aqD2(k,q)+bD2(p,q)+g|D2(k,p)-D