spss使用教程-聚類分析與判別分析-課件

1、SPSS 16實(shí)用教程第8章 聚類分析與判別分析1ppt課件聚類分析與判別分析的基本概念8.1層次聚類分析中的Q型聚類8.2層次聚類分析中的R型聚類8.3快速聚類分析8.4判 別 分 析8.52ppt課件 本章介紹統(tǒng)計學(xué)中經(jīng)常使用的分類統(tǒng)計分析方法聚類分析與判別分析。主要內(nèi)容有層次聚類分析、快速聚類分析和判別分析。其中層次聚類分析根據(jù)聚類的對象不同分成Q型聚類和R型聚類。3ppt課件8.1 聚類分析與判別分析的基本概念 統(tǒng)計學(xué)研究這類問題的常用分類統(tǒng)計方法主要有聚類分析（cluster analysis）與判別分析（discriminant analysis）。其中聚類分析是統(tǒng)計學(xué)中研究這種“

2、物以類聚”問題的一種有效方法，它屬于統(tǒng)計分析的范疇。聚類分析的實(shí)質(zhì)是建立一種分類方法，它能夠?qū)⒁慌鷺颖緮?shù)據(jù)按照他們在性質(zhì)上的親密程度在沒有先驗(yàn)知識的情況下自動進(jìn)行分類。這里所說的類就是一個具有相似性的個體的集合，不同類之間具有明顯的區(qū)別。4ppt課件 聚類分析是一種探索性的分析，在分類的過程中，人們不必事先給出一個分類的標(biāo)準(zhǔn)，聚類分析能夠從樣本數(shù)據(jù)出發(fā)，自動進(jìn)行分類。聚類分析所使用方法的不同，常常會得到不同的結(jié)論。不同研究者對于同一組數(shù)據(jù)進(jìn)行聚類分析，所得到的聚類數(shù)未必一致。因此我們說聚類分析是一種探索性的分析方法。5ppt課件 對個案的聚類分析類似于判別分析，都是將一些觀察個案進(jìn)行分類。聚類

3、分析時，個案所屬的群組特點(diǎn)還未知。也就是說，在聚類分析之前，研究者還不知道獨(dú)立觀察組可以分成多少個類，類的特點(diǎn)也無所得知。6ppt課件 變量的聚類分析類似于因素分析。兩者都可用于辨別變量的相關(guān)組別。不同在于，因素分析在合并變量的時候，是同時考慮所有變量之間的關(guān)系；而變量的聚類分析，則采用層次式的判別方式，根據(jù)個別變量之間的親疏程度逐次進(jìn)行聚類。7ppt課件 聚類分析的方法，主要有兩種，一種是“快速聚類分析方法”（KMeans Cluster Analy- sis），另一種是“層次聚類分析方法”（Hierarchical Cluster Analysis）。如果觀察值的個數(shù)多或文件非常龐大（通常

4、觀察值在200個以上），則宜采用快速聚類分析方法。因?yàn)橛^察值數(shù)目巨大，層次聚類分析的兩種判別圖形會過于分散，不易解釋。8ppt課件 判別分析是一種有效的對個案進(jìn)行分類分析的方法。和聚類分析不同的是，判別分析時，組別的特征已知。如銀行為了對貸款進(jìn)行管理，需要預(yù)測哪些類型的客戶可能不會按時歸還貸款。已知過去幾年中，900個客戶的貸款歸還信譽(yù)度，據(jù)此可以將客戶分成兩組：可靠客戶和不可靠客戶。 9ppt課件 再通過收集客戶的一些資料，如年齡、工資收入、教育程度、存款等，將這些資料作為自變量。通過判別分析，建立判別函數(shù)。那么，如果有150個新的客戶提交貸款請求，就可以利用創(chuàng)建好的判別函數(shù)，對新的客戶進(jìn)行

5、分析，從而判斷新的客戶是屬于可靠客戶類，還是不可靠客戶類。10ppt課件8.2 層次聚類分析中的Q型聚類 層次聚類分析是根據(jù)觀察值或變量之間的親疏程度，將最相似的對象結(jié)合在一起，以逐次聚合的方式（Agglomerative Clustering），它將觀察值分類，直到最后所有樣本都聚成一類。11ppt課件 層次聚類分析有兩種形式，一種是對樣本（個案）進(jìn)行分類，稱為Q型聚類，它使具有共同特點(diǎn)的樣本聚齊在一起，以便對不同類的樣本進(jìn)行分析；另一種是對研究對象的觀察變量進(jìn)行分類，稱為R型聚類。它使具有共同特征的變量聚在一起，以便從不同類中分別選出具有代表性的變量作分析，從而減少分析變量的個數(shù)。 12p

6、pt課件 本節(jié)講述Q型聚類的原理和SPSS的實(shí)現(xiàn)過程，下一節(jié)將講述R型聚類的實(shí)現(xiàn)過程。13ppt課件 定義：層次聚類分析中的Q型聚類，它使具有共同特點(diǎn)的樣本聚齊在一起，以便對不同類的樣本進(jìn)行分析。8.2.1 統(tǒng)計學(xué)上的定義和計算公式14ppt課件 層次聚類分析中，測量樣本之間的親疏程度是關(guān)鍵。聚類的時候會涉及到兩種類型親疏程度的計算：一種是樣本數(shù)據(jù)之間的親疏程度，一種是樣本數(shù)據(jù)與小類、小類與小類之間的親疏程度。下面講述這兩種類型親疏程度的計算方法和公式。15ppt課件 計算公式如下。 樣本數(shù)據(jù)之間的親疏程度主要通過樣本之間的距離、樣本間的相關(guān)系數(shù)來度量。SPSS根據(jù)變量數(shù)據(jù)類型的不同，采用不同

7、的測定親疏程度的方法。16ppt課件 樣本若有k個變量，則可以將樣本看成是一個k維的空間的一個點(diǎn)，樣本和樣本之間的距離就是k維空間點(diǎn)和點(diǎn)之間的距離，這反映了樣本之間的親疏程度。聚類時，距離相近的樣本屬于一個類，距離遠(yuǎn)的樣本屬于不同類。1連續(xù)變量的樣本距離測量方法17ppt課件 （1）歐氏距離（Euclidean Distance）兩個樣本之間的歐氏距離是樣本各個變量值之差的平方和的平方根，計算公式為18ppt課件 （2）歐氏距離平方（Squared Euclidean Distance） 兩個樣本之間的歐氏距離平方是各樣本每個變量值之差的平方和，計算公式為19ppt課件 （3）Chebyche

8、v距離 兩個樣本之間的Chebychev距離是各樣本所有變量值之差絕對值中的最大值，計算公式為20ppt課件 （4）Block距離 兩個樣本之間的Block距離是各樣本所有變量值之差絕對值的總和，計算公式為21ppt課件 （5）Minkowski距離 兩個樣本之間的Minkowski距離是各樣本所有變量值之差絕對值的p次方的總和，再求p次方根。計算公式為22ppt課件 （6）Customized距離（用戶自定義距離） 兩個樣本之間的Customized距離是各樣本所有變量值之差絕對值的p次方的總和，再求q次方根。計算公式為23ppt課件 連續(xù)變量親疏程度的度量，除了上面的各種距離外，還可以計算

9、其他統(tǒng)計指標(biāo)。如Pearson相關(guān)系數(shù)、Sosine相似度等。2連續(xù)變量的樣本親疏程度的其他測量方法24ppt課件25ppt課件3順序或名義變量的樣本親疏程度測量方法 對于此類變量，可以計算一些有關(guān)相似性的統(tǒng)計指標(biāo)來測定樣本間的親疏程度。也可以通過下面兩個計算公式來得到。26ppt課件27ppt課件28ppt課件4樣本數(shù)據(jù)與小類、小類與小類之間的親疏程度測量方法 SPSS默認(rèn)的變量為Var00001、Var00002等，用戶也可以根據(jù)自己的需要來命名變量。SPSS變量的命名和一般的編程語言一樣，有一定的命名規(guī)則，具體內(nèi)容如下。29ppt課件 所謂小類，是在聚類過程中根據(jù)樣本之間親疏程度形成的中

10、間類，小類和樣本、小類與小類繼續(xù)聚合，最終將所有樣本都包括在一個大類中。 在SPSS聚類運(yùn)算過程中，需要計算樣本與小類、小類與小類之間的親疏程度。SPSS提供了多種計算方法（計算規(guī)則）。 30ppt課件 （1）最短距離法（Nearest Neighbor） 以當(dāng)前某個樣本與已經(jīng)形成小類中的各樣本距離的最小值作為當(dāng)前樣本與該小類之間的距離。31ppt課件 （2）最長距離法（Furthest Neighbor） 以當(dāng)前某個樣本與已經(jīng)形成小類中的各樣本距離的最大值作為當(dāng)前樣本與該小類之間的距離。32ppt課件 （3）類間平均鏈鎖法（Between-groups Linkage） 兩個小類之間的距離為

11、兩個小類內(nèi)所有樣本間的平均距離。33ppt課件 （4）類內(nèi)平均鏈鎖法（Within-groups Linkage） 與小類間平均鏈鎖法類似，這里的平均距離是對所有樣本對的距離求平均值，包括小類之間的樣本對、小類內(nèi)的樣本對。34ppt課件 （5）重心法（Centroid Clustering） 將兩小類間的距離定義成兩小類重心間的距離。每一小類的重心就是該類中所有樣本在各個變量上的均值代表點(diǎn)。35ppt課件 （6）離差平方和法（Wards Method） 小類合并的方法：在聚類過程中，使小類內(nèi)各個樣本的歐氏距離總平方和增加最小的兩小類合并成一類。36ppt課件 研究問題 對一個班同學(xué)的數(shù)學(xué)水平進(jìn)

12、行聚類。聚類的依據(jù)是第一次數(shù)學(xué)考試的成績和入學(xué)考試的成績。數(shù)據(jù)如表8-1所示。8.2.2 SPSS中實(shí)現(xiàn)過程37ppt課件表8-1學(xué)生的數(shù)學(xué)成績姓 名數(shù) 學(xué)入 學(xué) 成 績hxh99.0098.00yaju88.0089.00yu79.0080.00shizg89.0078.00hah75.0078.00john60.0065.00watet79.0087.00jess75.0076.00wish60.0056.00Iiakii100.00100.0038ppt課件 實(shí)現(xiàn)步驟圖8-1 在菜單中選擇“Hierarchical Cluster”命令39ppt課件圖8-2 “Hierarchical

13、Cluster Analysis”對話框（一） 40ppt課件圖8-3 “Hierarchical Cluster Analysis：Method”對話框（一） 41ppt課件 圖8-4 “Hierarchical Cluster Analysis：Plots” 對話框（一） 42ppt課件圖8-5 “Hierarchical Cluster Analysis：Statistics”對話框（一）43ppt課件圖8-6 “Hierarchical Cluster Analysis：Save New Var”對話框44ppt課件 由于本例中選中的選項較多，這里按照各個結(jié)果分別解釋。 （1）首先是層

14、次聚類分析的概要結(jié)果，該結(jié)果是SPSS輸出結(jié)果文件中的第一個表格，如下表所示。8.2.3 結(jié)果和討論45ppt課件 （2）輸出的結(jié)果文件中第二個表格如下表所示。46ppt課件 （3）輸出的結(jié)果文件中第三個表格為層次聚類分析的凝聚狀態(tài)表，包括：47ppt課件 （4）輸出的結(jié)果文件中第四個表格如下表所示。48ppt課件 （5）輸出的結(jié)果文件中第五個表格如下表所示。49ppt課件 （6）輸出的結(jié)果文件中第六部分如圖8-7所示。50ppt課件 （7）由于對圖8-6“Hierarchical Cluster Analysis: Save New Var”對話框進(jìn)行了設(shè)置，將聚類成三類時，各個樣本的類歸屬

15、情況保存為一個變量，因此在SPSS數(shù)據(jù)編輯窗口中就新增了一個變量的值，如圖8-8所示。51ppt課件圖8-8 層次聚類分析結(jié)果保存52ppt課件8.3 層次聚類分析中的R型聚類8.3.1 統(tǒng)計學(xué)上的定義和計算公式 定義：層次聚類分析中的R型聚類是對研究對象的觀察變量進(jìn)行分類，它使具有共同特征的變量聚在一起。以便可以從不同類中分別選出具有代表性的變量作分析，從而減少分析變量的個數(shù)。53ppt課件 計算公式：R型聚類的計算公式和Q型聚類的計算公式是類似的，不同的是R型聚類是對變量間進(jìn)行距離的計算，Q型聚類則是對樣本間進(jìn)行距離的計算。54ppt課件 研究問題 對一個班同學(xué)的各科成績進(jìn)行聚類，分析哪些

16、課程是屬于一個類的。聚類的依據(jù)是4門功課的考試成績，數(shù)據(jù)如表8-2所示。8.3.2 SPSS中實(shí)現(xiàn)過程55ppt課件表8-2學(xué)生的四門課程的成績姓 名數(shù) 學(xué)物 理語 文政 治hxh99.0098.0078.0080.00yaju88.0089.0089.0090.00yu79.0080.0095.0097.00shizg89.0078.0081.0082.00hah75.0078.0095.0096.00john60.0065.0085.0088.00watet79.0087.0050.0051.00jess75.0076.0088.0089.00wish60.0056.0089.0090.0

17、0Iiakii100.00100.0085.0084.0056ppt課件 實(shí)現(xiàn)步驟圖8-9 在菜單中選擇“Hierarchical Cluster”命令57ppt課件圖8-10 “Hierarchical Cluster Analysis”對話框（二）58ppt課件圖8-11 “Hierarchical Cluster Analysis：Method”對話框（二） 59ppt課件圖8-12 “Hierarchical Cluster Analysis：Plots”對話框（二）60ppt課件圖8-13 “Hierarchical Cluster Analysis：Statistics”對話框（二

18、）61ppt課件 （1）首先是層次R型聚類分析的結(jié)果，該結(jié)果是SPSS輸出結(jié)果文件中的第一個表格。8.3.3 結(jié)果和討論62ppt課件 （2）輸出的結(jié)果文件中第二個表格如下表所示。63ppt課件 （3）輸出的結(jié)果文件中第三個表格如下表所示。64ppt課件 （4）輸出的結(jié)果文件中第四個表格如下表所示。65ppt課件 （5）輸出的結(jié)果文件中第五個表格如下表所示。66ppt課件 （6）輸出的結(jié)果文件中第六部分如下：67ppt課件8.4 快速聚類分析 SPSS層次聚類分析對計算機(jī)的要求比較高，在大樣本的情況下，可以采用快速聚類分析的方法。采用快速聚類分析，得到的結(jié)果比較簡單易懂，對計算機(jī)的性能要求也不

19、高，因此應(yīng)用也比較廣。68ppt課件 定義：快速聚類分析是由用戶指定類別數(shù)的大樣本資料的逐步聚類分析。它先對數(shù)據(jù)進(jìn)行初始分類，然后逐步調(diào)整，得到最終分類。快速聚類分析的實(shí)質(zhì)是K-Mean聚類。 8.4.1 統(tǒng)計學(xué)上的定義和計算公式69ppt課件 和層次聚類分析一致，快速聚類分析也以距離為樣本間親疏程度的標(biāo)志。但兩者的不同在于：層次聚類可以對不同的聚類類數(shù)產(chǎn)生一系列的聚類解，而快速聚類只能產(chǎn)生固定類數(shù)的聚類解，類數(shù)需要用戶事先指定。70ppt課件 另外，在快速聚類分析中，用戶可以自己指定初始的類中心點(diǎn)。如果用戶的經(jīng)驗(yàn)比較豐富，則可以指定比較合理的初始類中心點(diǎn)，否則，需要增加迭代的次數(shù)，以保證最終

20、聚類結(jié)果的準(zhǔn)確性。71ppt課件 計算公式如下。 快速聚類分析計算過程如下。 首先需要用戶指定聚類成多少類（比如k類）。 然后SPSS確定k個類的初始類中心點(diǎn)。SPSS會根據(jù)樣本數(shù)據(jù)的實(shí)際情況，選擇k個由代表性的樣本數(shù)據(jù)作為初始類中心。初始類中心也可以由用戶自行指定，需要指定K組樣本數(shù)據(jù)作為初始類中心點(diǎn)。72ppt課件 計算所有樣本數(shù)據(jù)點(diǎn)到k個類中心點(diǎn)的歐氏距離，SPSS按照距k個類中心點(diǎn)距離最短原則，把所有樣本分派到各中心點(diǎn)所在的類中，形成一個新的k類，完成一次迭代過程。其中歐氏距離（Euclidean Distance）的計算公式為73ppt課件74ppt課件 SPSS重新確定k個類的中心

21、點(diǎn)。SPSS計算每個類中各個變量的變量值均值，并以均值點(diǎn)作為新的類中心點(diǎn)。 重復(fù)上面的兩步計算過程，直到達(dá)到指定的迭代次數(shù)或終止迭代的判斷要求為止。75ppt課件 研究問題 為研究不同公司的運(yùn)營特點(diǎn)，調(diào)查了15個公司的組織文化、組織氛圍、領(lǐng)導(dǎo)角色和員工發(fā)展4方面的內(nèi)容?，F(xiàn)要將這15個公司按照其各自的特點(diǎn)分成4種類型，數(shù)據(jù)如表8-3所示。8.4.2 SPSS中實(shí)現(xiàn)過程76ppt課件表8-3不同公司的特點(diǎn) 公 司組 織 文 化組 織 氛 圍領(lǐng) 導(dǎo) 角 色員 工 發(fā) 展Microsof80.0085.0075.0090.00IBM 85.0085.0090.0090.00Dell 85.0085.0

22、085.0060.00Apple 90.0090.0075.0090.00聯(lián)想 99.0098.0078.0080.00NPP 88.0089.0089.0090.00北京電子79.0080.0095.0097.00清華紫光89.0078.0081.0082.00北大方正75.0078.0095.0096.00TCL 60.0065.0085.0088.00娃哈哈 79.0087.0050.0051.00Angel 75.0076.0088.0089.00Hussar 60.0056.0089.0090.00世紀(jì)飛揚(yáng)100.00100.0085.0084.00Vinda 61.0064.008

23、9.0060.0077ppt課件 實(shí)現(xiàn)步驟圖8-15 在菜單中選擇“K-Means Cluster”命令 78ppt課件圖8-16 “K-Means Cluster Analysis”對話框79ppt課件圖8-17 “K-Means Cluster Analysis：Options”對話框80ppt課件圖8-18 “K-Means Cluster Analysis：Iterate”對話框 81ppt課件圖8-19 “K-Means Cluster :Save New Variable”對話框 82ppt課件圖8-20 指定初始類中心點(diǎn)83ppt課件 本例中選中的選項較多，這里按照各個結(jié)果分別解

24、釋。 （1）SPSS輸出結(jié)果文件中的第一部分如下表所示。 8.4.3 結(jié)果和討論84ppt課件 （2）輸出的結(jié)果文件中第二部分如下表所示。85ppt課件 （3）輸出的結(jié)果文件中第三部分是快速聚類分析后的各個類包含樣本的情況。 86ppt課件 （4）輸出的結(jié)果文件中第四部分如下表所示。87ppt課件 （5）輸出的結(jié)果文件中第五個部分如下表所示。88ppt課件 （6）輸出的結(jié)果文件中第六個部分如下表所示。89ppt課件 （7）輸出結(jié)果的最后一個表格列出了4個類中分別包括的樣本數(shù)，如下表所示。90ppt課件 （8）在步驟5中曾指定了將樣本所屬類以及樣本和類中心點(diǎn)的距離，作為樣本的2個新變量保存到SP

25、SS的數(shù)據(jù)編輯窗口中。SPSS運(yùn)行后，數(shù)據(jù)編輯窗口如圖8-21所示，其中我們可以看到新增加了兩個變量（圖中加深的兩列），分別表示樣本所屬類以及樣本和類中心點(diǎn)的距離。91ppt課件92ppt課件8.5 判 別 分 析 前面3節(jié)講述了不同種聚類分析的方法，不論是哪種方法，聚類分析都是直接比較各事物之間的性質(zhì)，將性質(zhì)相近的歸為一類，將性質(zhì)差別較大的歸入不同的類。93ppt課件 本節(jié)講述的判別分析，也是一種比較常用的分類分析方法。判別分析先根據(jù)已知類別的事物的性質(zhì)，利用某種技術(shù)建立函數(shù)式，然后對未知類別的新事物進(jìn)行判斷以將之歸入已知的類別中。94ppt課件 有學(xué)者在研究中提出，可以利用判別分析來對聚類

26、分析結(jié)果的準(zhǔn)確性進(jìn)行檢驗(yàn)。聚類分析分成幾類后，即可以作為判別分析的類別輸入，進(jìn)行判斷。95ppt課件 定義：判別分析先根據(jù)已知類別的事物的性質(zhì)（自變量），建立函數(shù)式（自變量的線性組合，即判別函數(shù)），然后對未知類別的新事物進(jìn)行判斷以將之歸入已知的類別中。8.5.1 統(tǒng)計學(xué)上的定義和計算公式96ppt課件 判別分析有如下的假定： 預(yù)測變量服從正態(tài)分布。 預(yù)測變量之間沒有顯著的相關(guān)。 預(yù)測變量的平均值和方差不相關(guān)。 預(yù)測變量應(yīng)是連續(xù)變量，因變量（類別或組別）是間斷變量。 兩個預(yù)測變量之間的相關(guān)性在不同類中是一樣的。97ppt課件 在分析的各個階段應(yīng)把握如下的原則： 事前組別（類）的分類標(biāo)準(zhǔn)（作為判別

27、分析的因變量）要盡可能準(zhǔn)確和可靠，否則會影響判別函數(shù)的準(zhǔn)確性，從而影響判別分析的效果。 所分析的自變量應(yīng)是因變量的重要影響因素，應(yīng)該挑選既有重要特性又有區(qū)別能力的變量，達(dá)到以最少變量而有高辨別能力的目標(biāo)。 初始分析的數(shù)目不能太少。98ppt課件99ppt課件100ppt課件101ppt課件 這些判別函數(shù)是各個獨(dú)立預(yù)測變量的線性組合。程序自動選擇第一個判別函數(shù)，以盡可能多地區(qū)別各個類，然后再選擇和第一個判別函數(shù)獨(dú)立的第二個判別函數(shù)，盡可能多地提供判別能力。程序?qū)凑者@種方式，提供剩下的判別函數(shù)。判別函數(shù)的個數(shù)為k。 102ppt課件圖8-22 判別分析的示意圖103ppt課件 研究問題 調(diào)查了1

28、5個公司的組織文化、領(lǐng)導(dǎo)角色和員工發(fā)展3個方面內(nèi)容作為預(yù)測變量，因變量為公司對員工的吸引力。為符合研究問題，將公司對員工的吸引力根據(jù)被測的實(shí)際填答情形，劃分為高吸引力組（group=1）、中吸引力組（group=2）和低吸引力組（group=3）。數(shù)據(jù)如表8-4所示。8.5.2 SPSS中實(shí)現(xiàn)過程104ppt課件表8-4不同類的不同公司特點(diǎn)公 司組 織 文 化領(lǐng) 導(dǎo) 角 色員 工 發(fā) 展GroupMicrosoft80.0075.0090.001IBM85.0090.0090.001Dell85.0085.0060.001Apple90.0075.0090.001聯(lián)想99.0078.0080.

29、001NPP88.0089.0090.002北京電子79.0095.0097.003清華紫光89.0081.0082.001北大方正75.0095.0096.001TCLE60.0085.0088.003世紀(jì)成79.0050.0051.002Angel75.0088.0089.001Hussar160.0089.0090.003世紀(jì)飛揚(yáng)100.0085.0084.003Vinda61.0089.0060.003105ppt課件 實(shí)現(xiàn)步驟圖8-23 在菜單中選擇“Discriminant”命令106ppt課件圖8-24 “Discriminant Analysis”對話框107ppt課件圖8-25 “Discriminant Analysis：Define”對話框108ppt課件圖8-26 “Discriminant Analysis：Stepwise Method”對話框 109ppt課件圖8-27 “Discriminant Analysis：Statistics”對話框 110ppt課件圖8-28 “Discriminant Analysis：Classification”對話框 111ppt課件圖8-29 “Discriminant Analysis：Save”對話框112ppt課件 （1）SPSS輸出結(jié)果文件中