聚類分析與判別分析

目錄1． 聚類分析 21.1問題描述 21.2數(shù)據(jù)初步分析 21.3層次聚類 21.4結(jié)果解釋 31.5聚類結(jié)果的驗(yàn)證與進(jìn)一步分析 51.6最終的類別特征描述 62． 判別分析 62.1問題描述 62.2數(shù)據(jù)基本分析 92.3判別分析 92.4結(jié)果分析 102.5判別效果的驗(yàn)證 14

聚類分析問題描述對16中飲料的熱量、咖啡因、鈉和價格四個變量作為數(shù)據(jù)進(jìn)行聚類分析，希望通過聚類分析的方法將相似的飲料找出來，即將16種飲料劃分為若干類別，從而更好的指導(dǎo)銷售者制定銷售計(jì)劃，具體數(shù)據(jù)如下表1：表1：飲料數(shù)據(jù)Numbercaloriecaffeinesodiumprice1207.203.3015.502.80236.805.9012.903.30372.207.308.202.40436.70.4010.504.005121.704.109.203.50689.104.0010.203.307146.704.309.701.80857.602.2013.602.10995.90.08.501.3010199.00.010.603.501149.808.006.303.701216.604.706.301.501338.503.707.702.0014.04.2013.102.2015118.804.707.204.1016107.00.08.304.20數(shù)據(jù)初步分析首先對數(shù)據(jù)進(jìn)行初步的考察，對各個指標(biāo)做簡單描述性統(tǒng)計(jì)分析。表2：DescriptiveStatisticsNMinimumMaximumMeanStd.Deviation熱量16.00207.2087.100060.90961咖啡因16.008.003.55002.49212鈉166.3015.509.86252.72271價格161.304.202.8563.96331ValidN(listwise)16 從表2中可以看出4個指標(biāo)的量綱基本不同，尤其以熱量和價格的差距最為明顯，顯示了數(shù)據(jù)量綱間有很強(qiáng)的差異性。為消除不同變量大小對聚類結(jié)果的影響，有必要在聚類分析前對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。層次聚類在SPSS中，實(shí)現(xiàn)層次聚類的過程步驟如下：AnalyzeAnalyze-Classify-HierarchicalCluster：Variables:calorie caffeine sodium priceLabelcaseby:NumberPlots:DendrogramMethod: ClusterMethod:WardsMethods TransformValues:Standardize:ZScoresSave: ClusterMembership:Rangeofsolutions:3-8在Method中，默認(rèn)選擇的是不對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，但在此例子中，采用ZScores方法對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。結(jié)果解釋 層次聚類輸出的聚類過程表(表3)，它說明層次聚類過程中的每一個步驟是如何進(jìn)行的，一般來講，步驟數(shù)為參加聚類的數(shù)據(jù)條數(shù)減1，在這里是15步。表3的第1列列出了聚類過程的步驟號，第2列和第3列列出了在某一步驟中哪些飲料參與了合并，例如在第一步中，飲料5和飲料6首先被合并在一起。第4列列出了每一聚類步驟的聚類系數(shù)，這一數(shù)值表示被合并的兩個類別之間的距離大小。第5列和第6列表示參與合并的飲料是在第幾步中第一次出現(xiàn)的，0表示第一次出現(xiàn)在聚類過程中。第7列表示在這一步驟中合并的類別，下一次將在第幾步中與其他類別再進(jìn)行合并。要注意，在聚類過程的描述中，往往一個記錄號已經(jīng)不單單代表的是一個記錄，而是一個類別。表3：AgglomerationScheduleStageClusterCombinedCoefficientsStageClusterFirstAppearsNextStageCluster1Cluster2Cluster1Cluster2156.23300421213.645001038141.43600745152.428101154163.455001263114.71600117286.47903138798.5470010911011.31600121071215.0008213113518.8476414121426.5999515132735.26271014142345.703131115151260.00012140 聚類過程表中大部分內(nèi)容并不是通常要關(guān)注的對象，因?yàn)樵诖蟛糠謱?shí)際應(yīng)用中，并不關(guān)心聚類的具體過程。但是當(dāng)需要判斷數(shù)據(jù)應(yīng)該分成多少類別時，聚類系數(shù)這一列卻有著很好的參考價值。事實(shí)上，可以根據(jù)該系數(shù)的變化來判斷數(shù)據(jù)應(yīng)該被分成多少類，當(dāng)兩個相鄰步驟系數(shù)變化遠(yuǎn)大于前面相鄰步驟變化時，便可以大致確定應(yīng)該將聚類過程進(jìn)行到哪里的類別數(shù)是較為合適的。在這個例子中，11步時聚類系數(shù)為18.847，比第10步大了3.847，而在12步時聚類系數(shù)為26.599，比第11步大了近8，從統(tǒng)計(jì)意義上來說聚類過程結(jié)束于第12步是合理的；同時在13,14,15步時，聚類系數(shù)同樣比前一步驟大了很多，這說明數(shù)據(jù)被分成5類、3類或是2類都是合理的，當(dāng)然，這種方法只是起到一個參考作用，真正數(shù)據(jù)應(yīng)該分成多少類，還是需要分析者根據(jù)自己實(shí)際問題綜合進(jìn)行判斷。 層次聚類產(chǎn)生的最重要的結(jié)果就是譜系圖，通過譜系圖可以非常直觀地看出整個聚類過程和結(jié)果。 在譜系圖中，聚類的全過程以直觀的方式表現(xiàn)出來，它把類間的最大距離算做相對距離為25，其余的距離均換算成與之相比的相對距離大小。圖形的左邊代表進(jìn)行聚類的對象或是事物，而對象或者類別的合并則通過線條連接的方式來表示，在這個例子中，對應(yīng)的是這些飲料編號列在結(jié)果的最左邊，而在結(jié)果的上部列出的是類別見的相對距離，通過觀察這個結(jié)果，可以將這些飲料分為若干個類別。圖SEQ圖\*ARABIC1：譜系圖下面兩種比較典型的聚類方案，分別聚成5類和3類。 表4：聚類方案Case5Clusters3Clusters1:1112:2223:3334:4415:5336:6337:7528:8229:95210:101111:113312:125213:135214:142215:153316:1641聚類結(jié)果的驗(yàn)證與進(jìn)一步分析為了確定分成多少個類別合適，并且為各個類別命名，還需要對聚類結(jié)果進(jìn)行進(jìn)一步的分析。在進(jìn)行聚類的過程中，總是理想化的希望每個類別包含的對象是差不多相等的，但是從以上的分析可以看出，這幾乎是不可能的，于是找出盡可能等分的分類就是通常確定類別數(shù)目的原則之一。當(dāng)把16種飲料分為3-8類時各類的飲料個數(shù)如表5所示：表5：各類的飲料總數(shù)12345678WardMethod(8)13223212WardMethod(7)2322322WardMethod(6)232234WardMethod(5)23524WardMethod(4)4354WardMethod(3)475從上表中，可以看出分成3類、4類、5類都是合適的，但考慮類別不能過少，并且每類的總數(shù)分布應(yīng)該趨于正態(tài)分布，因此選擇分成5類是相對合理的。在確定的分成多少個類別以及每個類別中含有多少種飲料后，接下來最關(guān)心的就是各個類別間是否有顯著差異，以及各個類別具有怎樣的特征，可以應(yīng)用SPSS中Means過程計(jì)算各個類別的描述統(tǒng)計(jì)量和各個類別中4個變量是否有顯著差異的方差分析表，結(jié)果如表5和表6所示： 表6：ReportMeanWardMethod(5)熱量咖啡因鈉價格1203.10001.650013.05003.1500231.46674.100013.20002.5333390.32005.62008.22003.4000471.8500.20009.40004.1000574.42503.17508.05001.6500Total87.10003.55009.86252.8563從表7中可以看出，各個類別熱量、咖啡因、鈉、價格等4個變量上都是有顯著差異的，且這種差異存在統(tǒng)計(jì)意義。表7：ANOVATable從表6中可以看出，各類之間的F檢驗(yàn)在α=0.05的置信區(qū)間下，都是有顯著差異的，聚類效果明顯。最終的類別特征描述綜合以上的分析，將16種飲料分為5類，并且總結(jié)出各個類別的特征如下：第1類：含高熱量。熱量要明顯高于其他類別，包括第1、10兩種飲料。第2類：含鈉成分高，價格一般。該類飲料含鈉成分要明顯高于其他類別，包括第2、8和14種飲料。第3類：咖啡因含量高，含鈉成分偏高，價格也偏高，包括第3、5、6、11、15種飲料。第4類：咖啡因含量低，價格高的飲料。該類飲料的咖啡因含量明顯低于其他類別，同時價格要明顯高于其他類別，包括第4、16種飲料。第5類：價格低。該類飲料的價格要明顯低于其他類別，包括第7、9、12、13種飲料。判別分析2.1問題描述我們希望用一套打分體系來描繪企業(yè)的狀況，該體系對每個企業(yè)的一些指標(biāo)(變量)進(jìn)行評分。這些指標(biāo)包括：企業(yè)規(guī)模(is)，服務(wù)(se)，雇員工資比例(sa)，利潤增長(prr)，市場份額(ms)，市場份額增長(msr)，流動資金比例(cp)，資金周轉(zhuǎn)速度(cs)等等。 另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。 我們希望根據(jù)這些企業(yè)的上述變量的打分和它們已知的類別(三個類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降)找出一個分類標(biāo)準(zhǔn)，以對沒有被該刊物分類的企業(yè)進(jìn)行分類。 該數(shù)據(jù)有90個企業(yè)(90個觀測值)，其中30個屬于上升型，30個屬于穩(wěn)定型，30個屬于下降型。這個數(shù)據(jù)就是一個“訓(xùn)練樣本”，具體如表8所示：表8：datagroupissesaprrmsmsrcpcs143.208.5214.123.295.415.48.6142.20.114.461.815.447.522.69.1120.110.7248.214.553.918.98.7134.40.214.2123.821.362.412.98.2131.805.8268.12.860.124.99.4122.70.212153.53.497.227.98.7141.80.114.8140.31.853.612.28.4137.80.215.41978.973.825.99.4124.60.114.895.824.269.921.37.71220.215.8256.710.632.926.99.31180.27.4271.917.596.110.87.2111.9015.816212.255.5137.1141.70.115175.519.335.324.17.8119.30.112.1217.78.889.214.48.2143.20.37.2131.98.24612.29.3113.40.211.3161.518.268.313.89.41260.211.6185.912.876.724.871220.115.119011.759.829.87.117.201564.822.980.724.1718.20.28115.19.632.615.58.919.60.115.278.313.140.414.29.41120.26.5175.213.666.910.18.11330.31312124.574.912.37.51290.218.894.11.394.724.79.2140.40.313.2167545.625.69.7122.50.219117.524.770.510.37.612606.493.24.89326.48.7140.80.214.4291.89.93414.98.910.60.39.7225.921.777.726.38.5133.60.2957.92.750.626.77.6251.90.537.410.236.43.57.36.7254.80.538.225.926.618.414.37.32640.459.716.625.913.313.96.5237.90.321.3-3.232.138.113.95.7246.20.714.2-817.949.515.86.52740.659.761.515.811.68.45255.40.315.311.223.2258.55.6265.90.342.6-2.434.544.46.65.7274.20.428.743.921.132.216.45.4263.60.517.526.438.414.119.37.7253.90.32838.922.811.216.35239.80.649.2-8.217.725.87.86.2263.70.242.312.320.622.714.56.2247.20.52441.432.33816.47.32660.547.4-1.528712.27.1240.50.224.468.226.731.5196.5235.70.533.617.81511.319.16.1266.70.748.328.232.541.55.96.52640.338.756.231.71617.75.6270.20.725.637.529.832.38.77.8251.50.238.367.824.528.66.17.2243.90.756.81.832.423.36.95.6267.20.443.295.419.47.6672570.718.1-4.828.1469.57251.20.519.689.322.84.117.96.9257.20.625.566.519.34777269.70.639.38816.135.415.45.3236.30.310.725.238.48.36.25.6243.70.546.482.519.513.16.77.4267.10.651.998.320.72.510.25.3372.90.675.47.737.87.29.22.2382.90.661.3-35.839.110.37.66.1378.10.754.4-10.9471.78.91.2382.30.962.9-7738.619.41.1387.60.758.4-8838.6-1.12.54.7392.40.768.7-51.749.2-8.49.75.7398.3152.5-34.746.87.68.15.2394.30.951.6-64.639.4-2.353.1369.50.851.2-60.845.214.28.24.3397.60.86812.64318.67.41.7389.4163.6-35.132.412.53.31.6366.70.873.7-56.9377.33.62.9396.91550.240.515.42.23.2397.40.858.5-11.433-7.39.64.7369.10.875.66.137.713.25.71.9377.20.966-12.248.616.42.33.4382.60.9587.230.44.42.12.2395.10.863.5-39.546.16.57.35.6378.30.773.8-9.648.211.18.75.3365.20.579.3-42.542.75.58.71.5370.50.879.58.840.317.78.14.4395.10.851.6349.4-1.66.24.1381.60.954-8445.618.86.54.3397.60.862.1-24.230.712.154.8392.90.764.5-13.339.87.24.95.53740.956.8-98.941.9-3.59.96.4387.30.66512.738.13.55.23.1387.90.653.7-82.646.3-7.434.2389.70.673.7-17.834.1-6.85.82.6378.10.957.9-4.132.3-6.53.14.22.2數(shù)據(jù)基本分析 表9為所有變量做單因素的方差分析，其原假設(shè)是：該自變量在各組總體之間沒有差異。從表最后的Sig值可見，很明顯各組之間存在差異，因此這些變量對類間的判別是會起到作用的。表9：TestsofEqualityofGroupMeansWilks'LambdaFdf1df2Sig.服務(wù).205168.241287.000雇員工資比例.179199.700287.000利潤增長.256126.415287.000市場份額.256126.148287.000市場份額增長.271117.063287.000流動資金比例.44155.040287.000資金周轉(zhuǎn)速度.252128.913287.000企業(yè)規(guī)模.190185.828287.0002.3判別分析 在SPSS中實(shí)現(xiàn)判別分析的過程步驟如下：Analyze－Classify－Discriminant；把group放入GroupingVariable，再定義范圍，即在DefineRange輸入1－3的范圍。然后在Independents輸入所有想用的變量；但如果要用逐步判別，則不選Enterindependentstogether，而選擇Usestepwisemethod，在方法（Method）中選挑選變量的準(zhǔn)則（檢驗(yàn)方法；默認(rèn)值為Wilks’Lambda）。為了輸出Fisher分類函數(shù)的結(jié)果可以在Statistics中的FunctionCoefficient選Fisher和UnStandardized（點(diǎn)則判別函數(shù)系數(shù)），在Matrices中選擇輸出所需要的相關(guān)陣；還可以在Classify中的Display選summarytable,Leave-one-outclassification；注意在Classify選項(xiàng)中默認(rèn)的PriorProbability為Allgroupsequal表示所有的類都平等對待，而另一個選項(xiàng)為Computefromgroupsizes，即按照類的大小加權(quán)。在Plots可選Combined-groups,Territorialmap等。在此例子中有8個變量，所以嘗試使用逐步判別方法，剔除作用不明顯的變量。2.4結(jié)果分析 最先輸出的是描述統(tǒng)計(jì)，包括頻數(shù)和缺失值的統(tǒng)計(jì)、總樣本以及各組的均值、標(biāo)準(zhǔn)差和有效案例個數(shù)等。 表10輸出的是判別函數(shù)的特征根以及判別指數(shù)，特征根代表了攜帶信息量的多少，而相應(yīng)的判別指數(shù)(方差解釋度)也是從特征根計(jì)算而來，可見本例中提取了兩個判別函數(shù)，且絕大部分信息都在第一個判別函數(shù)上。 上面分析可知第二個判別函數(shù)攜帶的信息量很少，而表11就是進(jìn)一步對特征根的顯著性檢驗(yàn)，實(shí)際上就是間接地檢驗(yàn)判別函數(shù)有無統(tǒng)計(jì)意義，其原假設(shè)是：各組的均值向量相等(即分組之間的重心是完全重合，無法進(jìn)行判別區(qū)分的)，兩個判別函數(shù)在卡方檢驗(yàn)α=0.05的置信區(qū)間下都是顯著的，即兩個典型判別函數(shù)都有意義，第二個判別函數(shù)應(yīng)當(dāng)保留。表10：EigenvaluesFunctionEigenvalue%ofVarianceCumulative%CanonicalCorrelation126.673a99.099.0.9822.262a1.0100.0.456a.First2canonicaldiscriminantfunctionswereusedintheanalysis.表11：Wilks'LambdaTestofFunction(s)Wilks'LambdaChi-squaredfSig.1through2.029298.48114.0002.79219.5616.003

利用逐步判別分析法剔除了不顯著的變量：流動資金比例，剩下7個變量進(jìn)入判別函數(shù)變量，如表12所示。在逐步判別的每一步，變量的Wilks’值小于總體Wilks’值時，則該變量進(jìn)入判別函數(shù)模型，否則剔除該變量。表12：VariablesEntered/Removeda,b,c,dStepEnteredWilks'LambdaStatisticdf1df2df3ExactFStatisticdf1df2Sig.1雇員工資比例.1791287.000199.700287.000.0002服務(wù).1012287.00092.1984172.000.0003市場份額.0683287.00080.4056170.000.0004市場份額增長.0494287.00073.7858168.000.0005利潤增長.0405287.00065.97110166.000.0006資金周轉(zhuǎn)速度.0346287.00060.54312164.000.0007企業(yè)規(guī)模.0297287.00056.81814162.000.000Ateachstep,thevariablethatminimizestheoverallWilks'Lambdaisentered.a.Maximumnumberofstepsis16.b.MinimumpartialFtoenteris3.84.c.MaximumpartialFtoremoveis2.71.d.Flevel,tolerance,orVINinsufficientforfurthercomputation. 表13為兩個判別函數(shù)中各個變量的標(biāo)準(zhǔn)化系數(shù)，可用來判斷兩個函數(shù)分別主要受哪些變量的影響較大，同時可以寫出標(biāo)準(zhǔn)化的判別函數(shù)表達(dá)式，本例中兩個典型判別函數(shù)如下：表13：StandardizedCanonicalDiscriminantFunctionCoefficientsFunction12服務(wù)(se).437.075雇員工資比例(sa).368.406利潤增長(prr)-.333.554市場份額(ms).461.326市場份額增長(msr)-.355.668資金周轉(zhuǎn)速度(cs)-.436-.180企業(yè)規(guī)模(is).415.062D1=0.437D2=0.075 變量名前加z表明是標(biāo)準(zhǔn)化之后的數(shù)值，實(shí)際上兩個函數(shù)式計(jì)算的是各觀測在各個判別維度上的坐標(biāo)值，這樣就可以通過這兩個函數(shù)式計(jì)算出各觀測值的具體空間位置。 表14給出的是判別得分和自變量之間的相關(guān)系數(shù)，在SPSS中用“*”標(biāo)識出每個自變量中與每組判別得分中相關(guān)系數(shù)最大的一個函數(shù)，由表格可知，第一判別函數(shù)與雇員工資比例、企業(yè)規(guī)模、服務(wù)、資金周轉(zhuǎn)速度和市場份額這些自變量相關(guān)，而市場份額增長和利潤增長主要與第二判別函數(shù)相關(guān)，其中資金流動比例變量是被剔除的變量。表14：StructureMatrixFunction12雇員工資比例.413*.355企業(yè)規(guī)模.400*-.010服務(wù).381*.069資金周轉(zhuǎn)速度-.332*-.325市場份額.329*.226流動資金比例a-.200*-.122市場份額增長-.311.644*利潤增長-.326.521*Pooledwithin-groupscorrelationsbetweendiscriminatingvariablesandstandardizedcanonicaldiscriminantfunctionsVariablesorderedbyabsolutesizeofcorrelationwithinfunction.*.Largestabsolutecorrelationbetweeneachvariableandanydiscriminantfunctiona.Thisvariablenotusedintheanalysis. 表15給出的是各組的判別函數(shù)的重心，或者說是各組的判別得分的均值向量。前面的判別函數(shù)的檢驗(yàn)就是分別檢驗(yàn)這兩個向量在各組是否相等。在得知各類別重心后，只需要為每個待判別個案求出判別得分，然后計(jì)算出該個案的散點(diǎn)離哪一個中心最近，就可以得到該個案的判別結(jié)果了。表15：FunctionsatGroupCentroids組別Function121-6.293.3432.151-.71236.142.369Unstandardizedcanonicaldiscriminantfunctionsevaluatedatgroupmeans表16給出的是未標(biāo)準(zhǔn)化的判別系數(shù)，可以得出直接使用原始變量的判別函數(shù)，在使用上更為方便。D1=-3.166+3.283se+0.037sa-0.007prr+0.068ms-0.023msr-0.385cs+0.035isD2=-4.384+0.567se+0.041sa+0.012prr+0.048ms+0.044msr-0.159cs+0.005is 表16：CanonicalDiscriminantFunctionCoefficientsFunction12服務(wù)(se)3.283.567雇員工資比例(sa).037.041利潤增長(prr)-.007.012市場份額(ms).068.048市場份額增長(msr)-.023.044資金周轉(zhuǎn)速度(cs)-.385-.159企業(yè)規(guī)模(is).035.005(Constant)-3.166-4.384Unstandardizedcoefficients

表17給出了三個Fisher線性分類函數(shù)的系數(shù)。把每個觀測點(diǎn)帶入三個函數(shù)，就可以得到分別代表三類的三個值，哪個值最大，該點(diǎn)就屬于相應(yīng)的那一類。當(dāng)然，用不著自己去算，計(jì)算機(jī)軟件的選項(xiàng)可以把這些訓(xùn)練數(shù)據(jù)的每一個點(diǎn)按照這里的分類法分到某一類。當(dāng)然，我們一開始就知道這些訓(xùn)練數(shù)據(jù)的各個觀測值的歸屬，但即使是這些訓(xùn)練樣本的觀測值（企業(yè)）按照這里推導(dǎo)出的分類函數(shù)來分類，也不一定全都能夠正確劃分。表17：ClassificationFunctionCoefficients組別123服務(wù).77021.32941.616雇員工資比例.345.542.811利潤增長.086.029-.001市場份額.355.7431.203市場份額增長.368.173.081資金周轉(zhuǎn)速度7.5315.2202.742企業(yè)規(guī)模.118.338.554(Constant)-57.521-53.704-96.084Fisher'slineardiscriminantfunctions 如果希望能直接觀察到坐標(biāo)空間的劃分情況，則可以使用Classify子對話框中的Plot框組進(jìn)行結(jié)果的圖形化展示，在本例中我們輸出聯(lián)合分布圖。聯(lián)合分布圖用于展示樣本中各類別在判別空間中的分布情況，繪制出的聯(lián)合分布圖如圖2所示：可以看到兩條坐標(biāo)軸由第一判別函數(shù)和第二判別函數(shù)構(gòu)成，可以看到在第一判別軸和第二判別軸上3個類別的企業(yè)都區(qū)分的很清楚。圖SEQ圖\*ARABIC2：7組變量的聯(lián)合分布圖2.5判別效果的驗(yàn)證 從表18可以看出，我們的分類能夠100%地把訓(xùn)練數(shù)據(jù)的每一個觀測值分到其原本的類別中。表18分成兩部分：上面一半(Original)是用從全部數(shù)據(jù)得到的判別函數(shù)判斷每一個點(diǎn)的結(jié)果，前三行為判斷結(jié)果的數(shù)目，而后三行為相應(yīng)的百分比。下面一半(Crossvalidated)是對每一個觀測值，都用缺少該觀測值的全部數(shù)據(jù)得到的判別函數(shù)來判斷的結(jié)果。這里的判別結(jié)果是100%判別正確，但通常情況下不是100%正確。表18：Classi