(應(yīng)用統(tǒng)計(jì)學(xué)經(jīng)濟(jì)與管理中的數(shù)據(jù)分析)第十二章聚類分析和判別分析

1、( (應(yīng)用統(tǒng)計(jì)學(xué)經(jīng)濟(jì)與管理中的數(shù)據(jù)分析應(yīng)用統(tǒng)計(jì)學(xué)經(jīng)濟(jì)與管理中的數(shù)據(jù)分析) )第十二章聚類分析和判別分析第十二章聚類分析和判別分析2第十二章 聚類分析和判別分析【本章導(dǎo)讀及學(xué)習(xí)目標(biāo)】【本章導(dǎo)讀及學(xué)習(xí)目標(biāo)】聚類分析和判別分析是重要的多元統(tǒng)計(jì)分析方法。聚類分析是研究樣品或指標(biāo)分類問(wèn)題的一種多元統(tǒng)計(jì)方法，判別分析是判別樣品所屬類型的一種統(tǒng)計(jì)方法。這兩種方法在國(guó)民經(jīng)濟(jì)許多領(lǐng)域中有著廣泛的應(yīng)用，并取得了許多卓有成效的成果。本章主要介紹聚類分析和判別分析這兩種多元統(tǒng)計(jì)分析的重要方法。通過(guò)學(xué)習(xí)主要掌握聚類分析的主要分析方法系統(tǒng)聚類法和K-均值聚類法。其中，系統(tǒng)聚類法主要包括最短距離法、最長(zhǎng)距離法、中間距離法、

2、重心法、類平均法和離差平方和法。掌握判別分析的主要方法距離判別法、Bayes判別法和Fisher判別法，會(huì)利用SPSS軟件在實(shí)際問(wèn)題中進(jìn)行聚類和判別分析。3第一節(jié)第一節(jié) 聚聚 類類 分分 析析一、聚類分析概述一、聚類分析概述聚類分析的主要功能是建立一種分類方法，將一批聚類分析的主要功能是建立一種分類方法，將一批樣品或變量，按照它們?cè)谛再|(zhì)上的親疏、相似程度樣品或變量，按照它們?cè)谛再|(zhì)上的親疏、相似程度進(jìn)行分類。根據(jù)分類對(duì)象的不同又分為進(jìn)行分類。根據(jù)分類對(duì)象的不同又分為R型聚類型聚類(R-type cluster)和和Q型聚類型聚類(Q-type cluster)兩大類，兩大類，R型聚類是對(duì)變量型聚

3、類是對(duì)變量(指標(biāo)指標(biāo))進(jìn)行分類，進(jìn)行分類，Q型聚類是對(duì)樣型聚類是對(duì)樣品進(jìn)行分類。品進(jìn)行分類。聚類分析給人們提供了豐富多彩的分類方法，最常聚類分析給人們提供了豐富多彩的分類方法，最常用的聚類方法是系統(tǒng)聚類法和用的聚類方法是系統(tǒng)聚類法和K-均值聚類法，這兩均值聚類法，這兩種方法的根本思想如下。種方法的根本思想如下。(1) 系統(tǒng)聚類法。系統(tǒng)聚類法。(2) K-均值聚類法。均值聚類法。此外，還有模糊聚類法、有序樣品聚類法、分解法此外，還有模糊聚類法、有序樣品聚類法、分解法和參加法等。本節(jié)重點(diǎn)介紹在實(shí)際問(wèn)題中應(yīng)用最廣和參加法等。本節(jié)重點(diǎn)介紹在實(shí)際問(wèn)題中應(yīng)用最廣泛的系統(tǒng)聚類法和泛的系統(tǒng)聚類法和K-均值聚類

4、法，且主要討論均值聚類法，且主要討論Q型型聚類分析問(wèn)題。聚類分析問(wèn)題。4一、聚類分析概述聚類分析是將一批樣品或變量按照它們?cè)谛再|(zhì)上的親疏程度聚類分析是將一批樣品或變量按照它們?cè)谛再|(zhì)上的親疏程度或相似程度來(lái)進(jìn)行分類。那么如何度量樣品間的親疏程度呢或相似程度來(lái)進(jìn)行分類。那么如何度量樣品間的親疏程度呢？研究樣品或變量的親疏程度的數(shù)量指標(biāo)有兩種，一種叫距？研究樣品或變量的親疏程度的數(shù)量指標(biāo)有兩種，一種叫距離，它是將每一個(gè)樣品看作離，它是將每一個(gè)樣品看作p維空間的一個(gè)點(diǎn)，并用某種度維空間的一個(gè)點(diǎn)，并用某種度量測(cè)量點(diǎn)與點(diǎn)之間的距離，距離較近的點(diǎn)歸為一類，距離較量測(cè)量點(diǎn)與點(diǎn)之間的距離，距離較近的點(diǎn)歸為一類，

5、距離較遠(yuǎn)的點(diǎn)應(yīng)屬于不同的類；另一種叫相似系數(shù)，性質(zhì)越接近的遠(yuǎn)的點(diǎn)應(yīng)屬于不同的類；另一種叫相似系數(shù)，性質(zhì)越接近的變量或樣品，它們的相似系數(shù)越接近于變量或樣品，它們的相似系數(shù)越接近于1或或-l，而彼此無(wú)關(guān)，而彼此無(wú)關(guān)的變量或樣品，它們的相似系數(shù)那么越接近于的變量或樣品，它們的相似系數(shù)那么越接近于0，相似的為，相似的為一類，不相似的為不同類。一類，不相似的為不同類。樣品之間的聚類，常用距離來(lái)測(cè)度樣品之間的親疏程度。而樣品之間的聚類，常用距離來(lái)測(cè)度樣品之間的親疏程度。而變量之間的聚類，常用相似系數(shù)來(lái)測(cè)度變量之間的親疏程度變量之間的聚類，常用相似系數(shù)來(lái)測(cè)度變量之間的親疏程度。5二、距離和相似系數(shù)二、距離

6、和相似系數(shù)(一一)數(shù)據(jù)的變換處理數(shù)據(jù)的變換處理1中心化變換中心化變換2極差規(guī)格化變換極差規(guī)格化變換3標(biāo)準(zhǔn)化變換標(biāo)準(zhǔn)化變換(二二)定義距離的準(zhǔn)那么定義距離的準(zhǔn)那么(三三)常用的距離常用的距離1閔可夫斯基距離閔可夫斯基距離2馬氏距離馬氏距離3蘭氏距離蘭氏距離(四四)相似系數(shù)相似系數(shù)1相關(guān)系數(shù)相關(guān)系數(shù)2夾角余弦夾角余弦6三、系統(tǒng)聚類法三、系統(tǒng)聚類法(一一)最短距離法最短距離法(二二)最長(zhǎng)距離法最長(zhǎng)距離法(三三)中間距離法中間距離法(四四)重心法重心法(五五)類平均法類平均法(六六)可變類平均法可變類平均法(七七)可變法可變法(八八)離差平方和法離差平方和法(九九)系統(tǒng)聚類方法的統(tǒng)一系統(tǒng)聚類方法的統(tǒng)一

7、7四、動(dòng)態(tài)聚類法四、動(dòng)態(tài)聚類法(一一)動(dòng)態(tài)聚類的根本思想動(dòng)態(tài)聚類的根本思想(二二)凝聚點(diǎn)的選擇凝聚點(diǎn)的選擇(三三)K-均值聚類方法均值聚類方法8第二節(jié)第二節(jié) 判判 別別 分分 析析一、判別分析概述一、判別分析概述判別分析判別分析(discriminant analysis)是用于判斷樣品所屬類型的一是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分析方法，其特點(diǎn)是根據(jù)已掌握的、歷史上每個(gè)類別的假種統(tǒng)計(jì)分析方法，其特點(diǎn)是根據(jù)已掌握的、歷史上每個(gè)類別的假設(shè)干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判別設(shè)干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判別公式和判別準(zhǔn)那么，在遇到新的樣本點(diǎn)時(shí)，只要根據(jù)總結(jié)

8、出來(lái)的公式和判別準(zhǔn)那么，在遇到新的樣本點(diǎn)時(shí)，只要根據(jù)總結(jié)出來(lái)的判別公式和判別準(zhǔn)那么，就能判別該樣本點(diǎn)所屬的類別。判別公式和判別準(zhǔn)那么，就能判別該樣本點(diǎn)所屬的類別。在生產(chǎn)、科研和日常生活中經(jīng)常遇到需要判別的問(wèn)題，例如，醫(yī)在生產(chǎn)、科研和日常生活中經(jīng)常遇到需要判別的問(wèn)題，例如，醫(yī)院存有局部肝炎、肺炎、冠心病、糖尿病等病人的資料，幾類每院存有局部肝炎、肺炎、冠心病、糖尿病等病人的資料，幾類每個(gè)患者假設(shè)干項(xiàng)病癥指標(biāo)數(shù)據(jù)，利用現(xiàn)有的這些資料可以建立判個(gè)患者假設(shè)干項(xiàng)病癥指標(biāo)數(shù)據(jù)，利用現(xiàn)有的這些資料可以建立判別的準(zhǔn)那么和方法，進(jìn)而對(duì)一個(gè)新病人的數(shù)據(jù)進(jìn)行判定，判定其別的準(zhǔn)那么和方法，進(jìn)而對(duì)一個(gè)新病人的數(shù)據(jù)進(jìn)行判

9、定，判定其患有哪種疾病。有一些昆蟲的性別很難看出，只有通過(guò)解剖才能患有哪種疾病。有一些昆蟲的性別很難看出，只有通過(guò)解剖才能夠判別；但是雄性和雌性昆蟲在假設(shè)干體表度量上有些綜合的差夠判別；但是雄性和雌性昆蟲在假設(shè)干體表度量上有些綜合的差異，于是統(tǒng)計(jì)學(xué)家就根據(jù)雌雄的昆蟲體表度量得到一個(gè)標(biāo)準(zhǔn)，并異，于是統(tǒng)計(jì)學(xué)家就根據(jù)雌雄的昆蟲體表度量得到一個(gè)標(biāo)準(zhǔn)，并且利用這個(gè)標(biāo)準(zhǔn)來(lái)判別其他未知性別的昆蟲。這樣的判別雖然不且利用這個(gè)標(biāo)準(zhǔn)來(lái)判別其他未知性別的昆蟲。這樣的判別雖然不能保證百分之百準(zhǔn)確，但至少大局部判別都是對(duì)的，而且不用殺能保證百分之百準(zhǔn)確，但至少大局部判別都是對(duì)的，而且不用殺死昆蟲來(lái)進(jìn)行判別了。在市場(chǎng)預(yù)測(cè)

10、中，根據(jù)以往調(diào)查所得的種種死昆蟲來(lái)進(jìn)行判別了。在市場(chǎng)預(yù)測(cè)中，根據(jù)以往調(diào)查所得的種種指標(biāo)，判別季度產(chǎn)品是暢銷、平?；蛘邷N。在天氣預(yù)報(bào)中，我指標(biāo)，判別季度產(chǎn)品是暢銷、平?；蛘邷N。在天氣預(yù)報(bào)中，我們有一段較長(zhǎng)時(shí)間關(guān)于某地區(qū)每天氣象的記錄資料，包括濕度、們有一段較長(zhǎng)時(shí)間關(guān)于某地區(qū)每天氣象的記錄資料，包括濕度、溫度、氣壓等，可以建立一種方法，通過(guò)連續(xù)五天的氣象資料來(lái)溫度、氣壓等，可以建立一種方法，通過(guò)連續(xù)五天的氣象資料來(lái)預(yù)報(bào)第六天的天氣。預(yù)報(bào)第六天的天氣。9一、判別分析概述10二、距離判別法二、距離判別法(一一)距離判別法的根本思想距離判別法的根本思想(二二)兩總體的距離判別兩總體的距離判別1. 時(shí)

11、的判別時(shí)的判別2. 時(shí)的判別時(shí)的判別(三三)多個(gè)總體的距離判別多個(gè)總體的距離判別12 12 11三、三、Bayes判別法判別法(一一)最大后驗(yàn)概率準(zhǔn)那么最大后驗(yàn)概率準(zhǔn)那么(二二)最小平均誤判損失準(zhǔn)那么最小平均誤判損失準(zhǔn)那么12四、四、Fisher判別法判別法(一一)Fisher判別的根本思想判別的根本思想(二二)Fisher判別準(zhǔn)那么判別準(zhǔn)那么(三三)Fisher線性判別函數(shù)確實(shí)定線性判別函數(shù)確實(shí)定13第三節(jié)第三節(jié) 統(tǒng)計(jì)軟件應(yīng)用統(tǒng)計(jì)軟件應(yīng)用在用在用SPSS統(tǒng)計(jì)軟件進(jìn)行聚類分析和判別分析時(shí)，統(tǒng)計(jì)軟件進(jìn)行聚類分析和判別分析時(shí)，一般不用太關(guān)心點(diǎn)間距離和類間距離的計(jì)算方法以一般不用太關(guān)心點(diǎn)間距離和類間

12、距離的計(jì)算方法以及判別函數(shù)的計(jì)算方法，計(jì)算時(shí)機(jī)很容易完成這一及判別函數(shù)的計(jì)算方法，計(jì)算時(shí)機(jī)很容易完成這一繁雜的任務(wù)。對(duì)多數(shù)使用者而言，重要的不是計(jì)算繁雜的任務(wù)。對(duì)多數(shù)使用者而言，重要的不是計(jì)算問(wèn)題，而是理解聚類和判別分析的思想和原理，懂問(wèn)題，而是理解聚類和判別分析的思想和原理，懂得統(tǒng)計(jì)軟件輸出的結(jié)果，并對(duì)這些結(jié)果做出合理的得統(tǒng)計(jì)軟件輸出的結(jié)果，并對(duì)這些結(jié)果做出合理的解釋和分析。解釋和分析。本節(jié)主要講述利用本節(jié)主要講述利用SPSS統(tǒng)計(jì)軟件進(jìn)行聚類和判別統(tǒng)計(jì)軟件進(jìn)行聚類和判別分析的方法，從實(shí)例出發(fā)分別闡述聚類分析和判別分析的方法，從實(shí)例出發(fā)分別闡述聚類分析和判別分析在實(shí)際中的應(yīng)用。分析在實(shí)際中的應(yīng)

13、用。14一、聚類分析一、聚類分析(一一)利用利用SPSS進(jìn)行系統(tǒng)聚類進(jìn)行系統(tǒng)聚類(二二)利用利用SPSS進(jìn)行進(jìn)行K-均值聚類均值聚類15二、判別分析二、判別分析利用利用SPSS軟件進(jìn)行判別分析的具體操作步驟如下。軟件進(jìn)行判別分析的具體操作步驟如下。(1) 新建或翻開新建或翻開SPSS數(shù)據(jù)文件。將要分析的數(shù)據(jù)輸入到數(shù)據(jù)文件。將要分析的數(shù)據(jù)輸入到SPSS數(shù)據(jù)文件數(shù)據(jù)文件中，或翻開已有的中，或翻開已有的SPSS數(shù)據(jù)文件。數(shù)據(jù)文件。(2) 在在SPSS窗口中選擇窗口中選擇Analyze | Classify | Discriminant命令，調(diào)出命令，調(diào)出判別分析的主界面，將左邊的要分析的變量移入到自

14、變量中，并將分類判別分析的主界面，將左邊的要分析的變量移入到自變量中，并將分類變量移入到分組變量當(dāng)中。選中變量移入到分組變量當(dāng)中。選中Enter independents together單項(xiàng)選單項(xiàng)選擇按鈕，表示使用所有自變量進(jìn)行判別分析。擇按鈕，表示使用所有自變量進(jìn)行判別分析。(3) 單擊單擊Define Range按鈕，定義分組變量的取值范圍，在分類變量的按鈕，定義分組變量的取值范圍，在分類變量的范圍中輸入最小值和最大值，單擊范圍中輸入最小值和最大值，單擊Continue按鈕，返回主界面。按鈕，返回主界面。(4) 單擊單擊Statistics按鈕，指定輸出的描述統(tǒng)計(jì)量和判別函數(shù)系數(shù)。選中按

15、鈕，指定輸出的描述統(tǒng)計(jì)量和判別函數(shù)系數(shù)。選中Functions Coefficients欄中的欄中的Fishers和和Unstandardized復(fù)選框。這復(fù)選框。這兩個(gè)選項(xiàng)的含義如下。兩個(gè)選項(xiàng)的含義如下。Fishers：給出：給出Bayes判別函數(shù)的系數(shù)判別函數(shù)的系數(shù)(注意：這個(gè)選項(xiàng)不是要給出注意：這個(gè)選項(xiàng)不是要給出Fisher判別函數(shù)的系數(shù)。這個(gè)復(fù)選框的名字之所以為判別函數(shù)的系數(shù)。這個(gè)復(fù)選框的名字之所以為Fishers，是因?yàn)椋且驗(yàn)榘磁袆e函數(shù)值最大的一組進(jìn)行歸類這種思想是由按判別函數(shù)值最大的一組進(jìn)行歸類這種思想是由Fisher提出來(lái)的。這里提出來(lái)的。這里極易混淆，請(qǐng)注意區(qū)分極易混淆，請(qǐng)注

16、意區(qū)分)。Unstandardized：給出未標(biāo)準(zhǔn)化的：給出未標(biāo)準(zhǔn)化的Fisher判別函數(shù)判別函數(shù)(即典型判別函數(shù)即典型判別函數(shù))的的系數(shù)系數(shù)(SPSS默認(rèn)給出標(biāo)準(zhǔn)化的默認(rèn)給出標(biāo)準(zhǔn)化的Fisher判別函數(shù)系數(shù)判別函數(shù)系數(shù))。(5) 單擊單擊Classify按鈕，定義判別分組參數(shù)和選擇輸出結(jié)果。其中可以按鈕，定義判別分組參數(shù)和選擇輸出結(jié)果。其中可以選擇選擇Display中的中的Casewise results，表示輸出一個(gè)判別結(jié)果表，包含，表示輸出一個(gè)判別結(jié)果表，包含每一個(gè)樣品的判別分?jǐn)?shù)、后驗(yàn)概率、實(shí)際組和預(yù)測(cè)組的編號(hào)等。每一個(gè)樣品的判別分?jǐn)?shù)、后驗(yàn)概率、實(shí)際組和預(yù)測(cè)組的編號(hào)等。(6) 單擊單擊S

17、ave按鈕，可以選擇存放預(yù)測(cè)的分類、判別得分以及所屬類別按鈕，可以選擇存放預(yù)測(cè)的分類、判別得分以及所屬類別的概率。的概率。16本本 章章 小小 結(jié)結(jié)(1) 聚類分析主要是建立一種分類方法，將一批樣品或變量，按照它們?cè)谛再|(zhì)上的親疏、聚類分析主要是建立一種分類方法，將一批樣品或變量，按照它們?cè)谛再|(zhì)上的親疏、相似程度進(jìn)行分類。本章主要用距離來(lái)度量樣本或變量之間的親疏和相似程度，并介紹相似程度進(jìn)行分類。本章主要用距離來(lái)度量樣本或變量之間的親疏和相似程度，并介紹聚類分析的主要分析方法聚類分析的主要分析方法系統(tǒng)聚類法和系統(tǒng)聚類法和K-均值聚類法。其中，講解了系統(tǒng)聚類的八均值聚類法。其中，講解了系統(tǒng)聚類的八

18、種方法：最短距離法、最長(zhǎng)距離法、中間距離法、重心法、類平均法、可變類平均法、種方法：最短距離法、最長(zhǎng)距離法、中間距離法、重心法、類平均法、可變類平均法、可變法和離差平方和法?？勺兎ê碗x差平方和法。(2) 判別分析是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分析方法，其特點(diǎn)是根據(jù)已掌握的每個(gè)判別分析是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分析方法，其特點(diǎn)是根據(jù)已掌握的每個(gè)類別的假設(shè)干樣本的數(shù)據(jù)信息，建立判別公式和判別準(zhǔn)那么，在遇到新的樣本點(diǎn)時(shí)，只類別的假設(shè)干樣本的數(shù)據(jù)信息，建立判別公式和判別準(zhǔn)那么，在遇到新的樣本點(diǎn)時(shí)，只要根據(jù)總結(jié)出來(lái)的判別公式和判別準(zhǔn)那么，就能判別該樣本點(diǎn)所屬的類別。本章重點(diǎn)講要根據(jù)總結(jié)出來(lái)的判別

19、公式和判別準(zhǔn)那么，就能判別該樣本點(diǎn)所屬的類別。本章重點(diǎn)講述距離判別、述距離判別、Bayes判別、判別、Fisher判別的判別公式和判別準(zhǔn)那么的建立，并舉例說(shuō)明判別判別的判別公式和判別準(zhǔn)那么的建立，并舉例說(shuō)明判別分析的主要步驟。分析的主要步驟。(3) 在距離判別中，判別的規(guī)那么是按給定個(gè)體在距離判別中，判別的規(guī)那么是按給定個(gè)體X距總體的距離最小來(lái)判別個(gè)體的類別。距總體的距離最小來(lái)判別個(gè)體的類別。距離判別法簡(jiǎn)單、結(jié)論明確，是很實(shí)用的方法。距離判別法簡(jiǎn)單、結(jié)論明確，是很實(shí)用的方法。(4) 距離判別法存在判別方法與各總體出現(xiàn)的概率無(wú)關(guān)，而且與錯(cuò)判之后所造成的損失無(wú)距離判別法存在判別方法與各總體出現(xiàn)的概率無(wú)關(guān)，而且與錯(cuò)判之后所造成的損失無(wú)關(guān)的缺點(diǎn)。關(guān)的缺點(diǎn)。Bayes判別法正是為解決這兩方面問(wèn)題而提出的判別方法，主要有兩種判別準(zhǔn)判別法正是為解決這兩方面問(wèn)題而提出的判別方法，主要有兩種判別準(zhǔn)那么：最大后驗(yàn)概率準(zhǔn)那么和最小平均誤判損失準(zhǔn)那么。最大后驗(yàn)概率準(zhǔn)那么的根本思那么：最大后驗(yàn)概率準(zhǔn)那么和最小平均誤判損失準(zhǔn)那么。最大后驗(yàn)概率準(zhǔn)那么的根本思想是將樣品判別到后驗(yàn)概率最大的那一類，最小平均誤判損失準(zhǔn)那么的根本思想是選擇想是將樣品判別到后驗(yàn)概率最大的那一類，最小平均誤判損失準(zhǔn)那么的根本思想是選擇判別準(zhǔn)那么使平均誤判損失到達(dá)最小。判別準(zhǔn)那么