統(tǒng)計(jì)學(xué)聚類分析

統(tǒng)計(jì)學(xué)聚類分析第1頁，課件共33頁，創(chuàng)作于2023年2月第十一章聚類分析

第2頁，課件共33頁，創(chuàng)作于2023年2月分類物以類聚、人以群分；但根據(jù)什么分類呢？如要想把中國(guó)的縣分類，就有多種方法可以按照自然條件來分，比如考慮降水、土地、日照、濕度等，也可考慮收入、教育水準(zhǔn)、醫(yī)療條件、基礎(chǔ)設(shè)施等指標(biāo)；既可以用某一項(xiàng)來分類，也可以同時(shí)考慮多項(xiàng)指標(biāo)來分類。第3頁，課件共33頁，創(chuàng)作于2023年2月聚類分析對(duì)一個(gè)數(shù)據(jù)，既可以對(duì)變量(指標(biāo))進(jìn)行分類(相當(dāng)于對(duì)數(shù)據(jù)中的列分類)，也可以對(duì)觀測(cè)值(事件，樣品)來分類(相當(dāng)于對(duì)數(shù)據(jù)中的行分類)。當(dāng)然，不一定事先假定有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。本章要介紹的分類的方法稱為聚類分析（clusteranalysis）。對(duì)變量的聚類稱為R型聚類，而對(duì)觀測(cè)值聚類稱為Q型聚類。它們?cè)跀?shù)學(xué)上是無區(qū)別的。第4頁，課件共33頁，創(chuàng)作于2023年2月飲料數(shù)據(jù)（drink.txt）16種飲料的熱量、咖啡因、鈉及價(jià)格四種變量第5頁，課件共33頁，創(chuàng)作于2023年2月11.1如何度量距離遠(yuǎn)近？如果想要對(duì)100個(gè)學(xué)生進(jìn)行分類，而僅知道他們的數(shù)學(xué)成績(jī)，則只好按照數(shù)學(xué)成績(jī)分類；這些成績(jī)?cè)谥本€上形成100個(gè)點(diǎn)。這樣就可以把接近的點(diǎn)放到一類。如果還知道他們的物理成績(jī)，這樣數(shù)學(xué)和物理成績(jī)就形成二維平面上的100個(gè)點(diǎn)，也可以按照距離遠(yuǎn)近來分類。第6頁，課件共33頁，創(chuàng)作于2023年2月11.1如何度量距離遠(yuǎn)近？三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數(shù)據(jù)中，每種飲料都有四個(gè)變量值。這就是四維空間點(diǎn)的問題了。第7頁，課件共33頁，創(chuàng)作于2023年2月兩個(gè)距離概念按照遠(yuǎn)近程度來聚類需要明確兩個(gè)概念：一個(gè)是點(diǎn)和點(diǎn)之間的距離，一個(gè)是類和類之間的距離。點(diǎn)間距離有很多定義方式。最簡(jiǎn)單的是歐氏距離。當(dāng)然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點(diǎn)越相似度越大，就相當(dāng)于距離越短。第8頁，課件共33頁，創(chuàng)作于2023年2月兩個(gè)距離概念由一個(gè)點(diǎn)組成的類是最基本的類；如果每一類都由一個(gè)點(diǎn)組成，那么點(diǎn)間的距離就是類間距離。但是如果某一類包含不止一個(gè)點(diǎn)，那么就要確定類間距離，類間距離是基于點(diǎn)間距離定義的：比如兩類之間最近點(diǎn)之間的距離可以作為這兩類之間的距離，也可以用兩類中最遠(yuǎn)點(diǎn)之間的距離或各類的中心之間的距離來作為類間距離。第9頁，課件共33頁，創(chuàng)作于2023年2月兩個(gè)距離概念在計(jì)算時(shí)，各種點(diǎn)間距離和類間距離的選擇是通過統(tǒng)計(jì)軟件的選項(xiàng)實(shí)現(xiàn)的。不同的選擇的結(jié)果會(huì)不同，但一般不會(huì)差太多。第10頁，課件共33頁，創(chuàng)作于2023年2月向量x=(x1,…,xp)與y=(y1,…,yp)之間的距離或相似系數(shù):歐氏距離:Euclidean平方歐氏距離:SquaredEuclidean夾角余弦(相似系數(shù)1):cosinePearsoncorrelation(相似系數(shù)2):Chebychev:Maxi|xi-yi|Block(絕對(duì)距離):Si|xi-yi|Minkowski:當(dāng)變量的測(cè)量值相差懸殊時(shí),要先進(jìn)行標(biāo)準(zhǔn)化.如R為極差,s為標(biāo)準(zhǔn)差,則標(biāo)準(zhǔn)化的數(shù)據(jù)為每個(gè)觀測(cè)值減去均值后再除以R或s.當(dāng)觀測(cè)值大于0時(shí),有人采用Lance和Williams的距離第11頁，課件共33頁，創(chuàng)作于2023年2月類Gp與類Gq之間的距離Dpq

(d(xi,xj)表示點(diǎn)xi∈Gp和xj∈Gq之間的距離)最短距離法:最長(zhǎng)距離法:重心法:離差平方和:(Wald)類平均法:(中間距離,可變平均法,可變法等可參考各書).在用歐氏距離時(shí),有統(tǒng)一的遞推公式第12頁，課件共33頁，創(chuàng)作于2023年2月最短距離（NearestNeighbor)x21?x12?x22?x11?第13頁，課件共33頁，創(chuàng)作于2023年2月最長(zhǎng)距離（FurthestNeighbor

）???x11?x21????第14頁，課件共33頁，創(chuàng)作于2023年2月??????組間平均連接（Between-groupLinkage)第15頁，課件共33頁，創(chuàng)作于2023年2月組內(nèi)平均連接法（Within-groupLinkage)x21?x12?x22?x11?第16頁，課件共33頁，創(chuàng)作于2023年2月重心法（Centroidclustering):均值點(diǎn)的距離??第17頁，課件共33頁，創(chuàng)作于2023年2月離差平方和法連接2，41，56，5第18頁，課件共33頁，創(chuàng)作于2023年2月紅綠（2，4，6，5）8.75

離差平方和增加8.75－2.5＝6.25

黃綠（6，5，1，5）14.75離差平方和增加14.75－8.5＝6.25黃紅（2，4，1，5）10－10＝0故按該方法的連接和黃紅首先連接。第19頁，課件共33頁，創(chuàng)作于2023年2月有了上面的點(diǎn)間距離和類間距離的概念，就可以介紹聚類的方法了。這里介紹兩個(gè)簡(jiǎn)單的方法。第20頁，課件共33頁，創(chuàng)作于2023年2月11.2事先要確定分多少類：k-均值聚類前面說過，聚類可以走著瞧，不一定事先確定有多少類；但是這里的k-均值聚類（k-meanscluster，也叫快速聚類，quickcluster）卻要求你先說好要分多少類?？雌饋碛行┲饔^，是吧！假定你說分3類，這個(gè)方法還進(jìn)一步要求你事先確定3個(gè)點(diǎn)為“聚類種子”(SPSS軟件自動(dòng)為你選種子)；也就是說，把這3個(gè)點(diǎn)作為三類中每一類的基石。第21頁，課件共33頁，創(chuàng)作于2023年2月11.2事先要確定分多少類：k-均值聚類然后，根據(jù)和這三個(gè)點(diǎn)的距離遠(yuǎn)近，把所有點(diǎn)分成三類。再把這三類的中心(均值)作為新的基石或種子(原來“種子”就沒用了)，再重新按照距離分類。如此疊代下去，直到達(dá)到停止疊代的要求（比如，各類最后變化不大了，或者疊代次數(shù)太多了）。顯然，前面的聚類種子的選擇并不必太認(rèn)真，它們很可能最后還會(huì)分到同一類中呢。下面用飲料例的數(shù)據(jù)來做k-均值聚類。第22頁，課件共33頁，創(chuàng)作于2023年2月假定要把這16種飲料分成3類。利用SPSS，只疊代了三次就達(dá)到目標(biāo)了（計(jì)算機(jī)選的種子還可以）。這樣就可以得到最后的三類的中心以及每類有多少點(diǎn)

第23頁，課件共33頁，創(chuàng)作于2023年2月根據(jù)需要，可以輸出哪些點(diǎn)分在一起。結(jié)果是：第一類為飲料1、10；第二類為飲料2、4、8、11、12、13、14；第三類為剩下的飲料3、5、6、7、9、15、16。第24頁，課件共33頁，創(chuàng)作于2023年2月SPSS實(shí)現(xiàn)(聚類分析)K-均值聚類以數(shù)據(jù)drink.sav為例，在SPSS中選擇Analyze－Classify－K-MenasCluster，然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價(jià)格）選入Variables,在NumberofClusters處選擇3（想要分的類數(shù)），如果想要知道哪種飲料分到哪類，則選Save，再選ClusterMembership等。注意k-均值聚類只能做Q型聚類，如要做R型聚類，需要把數(shù)據(jù)陣進(jìn)行轉(zhuǎn)置。第25頁，課件共33頁，創(chuàng)作于2023年2月11.2事先不用確定分多少類：分層聚類另一種聚類稱為分層聚類或系統(tǒng)聚類（hierarchicalcluster）。開始時(shí)，有多少點(diǎn)就是多少類。它第一步先把最近的兩類（點(diǎn)）合并成一類，然后再把剩下的最近的兩類合并成一類；這樣下去，每次都少一類，直到最后只有一大類為止。越是后來合并的類，距離就越遠(yuǎn)。第26頁，課件共33頁，創(chuàng)作于2023年2月對(duì)于飲料聚類。SPSS輸出為第27頁，課件共33頁，創(chuàng)作于2023年2月第28頁，課件共33頁，創(chuàng)作于2023年2月“冰柱圖”(icicle)第29頁，課件共33頁，創(chuàng)作于2023年2月例:5個(gè)樣品距離陣

令Dk為系統(tǒng)聚類法種第k次合并時(shí)的距離,如{Dk}為單調(diào)的,則稱具有單調(diào)性.前面只有重心和中間距離法不具有單調(diào)性.步驟: 最短距離法

最長(zhǎng)距離法階段 bk(第k階段類的集合) Dk DkD(0) (1)(2)(3)(4)(5) 0 0D(1)

(1,3)(2)(4)(5) 1 1D(2) (1,3)(2,4)(5) 3 3D(3) (1,3)(2,4,5) 4 5D(4)

(1,3,2,4,5) 6 9注:最短和最長(zhǎng)距離法結(jié)果一樣(一般不一定一樣)第30頁，課件共33頁，創(chuàng)作于2023年2月聚類要注意的問題聚類結(jié)果主要受所選擇的變量影響。如果去掉一些變量，或者增加一些變量，結(jié)果會(huì)很不同。相比之下，聚類方法的選擇則不那么重要了。因此，聚類之前一定要目標(biāo)明確。

第31頁，課件共33頁，創(chuàng)作于2023年2月聚類要注意的問題另外就分成多少類來說，也要有道理。只要你高興，從分層聚類的計(jì)算機(jī)結(jié)果可以得到任何可能數(shù)量的類。但是，聚類的目的是要使各類之間的距離盡可能地遠(yuǎn)，而類中點(diǎn)的距離盡可能的近，并且分類結(jié)果還要有令人信服的解釋。這一點(diǎn)就不是數(shù)學(xué)可以解決的了。第32頁，課件共33頁，創(chuàng)作于2023年2月SPSS實(shí)現(xiàn)(聚類分析)分層聚類對(duì)drink.sav數(shù)據(jù)在SPSS中選擇Analyze－