《多元統(tǒng)計分析》課程主成分分析和聚類分析法的教學難點

《多元統(tǒng)計分析》課程主成分分析和聚類分析法的教學難點

在師范教育中，許多困難時期的學生很難理解。如果對方法理解不透,只是套用一些公式,不懂得變通地應用到實際問題中,將會產(chǎn)生誤差,可能得出錯誤的結論。如何把對多變量處理的方法結合在一起應用,使學生能較好的掌握這些方法,本文試圖在這方面作一些探討。實際問題中,研究多指標(變量)問題是經(jīng)常遇到的,然而在多數(shù)情況下,不同指標之間往往具有一定的相關性。由于指標較多再加上指標之間有一定的相關性,勢必增加了分析問題的復雜性。而解決這種情況的一個有效途徑就是采用主成分分析的方法。主成分分析就是設法將原來指標重新組合成一組新的互相無關的幾個綜合指標來代替原來指標,同時根據(jù)實際需要從中取幾個較少的綜合指標,盡可能多的反映原來指標的信息。由于主成分分析方法能濃縮信息,簡化指標的結構,使分析問題的過程簡單、直觀、有效,所以廣泛應用于各個領域。人們經(jīng)常利用主成分分析方法綜合評價企業(yè)或事業(yè)單位的經(jīng)濟效益、技術進步狀況,并收到了良好的效果。本文把主成分分析和聚類分析結合在一起應用,對解決實際問題有一定的幫助。下面采用一個案例來分析改進前后的效果差異。1率較高時的排序在主成分分析法中,當?shù)谝恢鞒煞諪1的方差貢獻率較高(一般85%以上)時,可以認為該主成分所能反映的信息與原有p個變量提供的信息差不多,此時可以按第一主成分的得分進行排序評估。1.1構造主成分綜合得分在很多情況下,第一主成分F1的方差貢獻率不夠高,需要考慮多個主成分F1,F2……,Fr為了對樣品進行排序,常用的方法是以各個主成分Fi的方差貢獻率αi為權數(shù),構造主成分的“綜合得分”為:然后根據(jù)這個公式把樣本的主成分綜合得分計算出來,并將其排序。這種綜合得分計算看起來非常合理,似乎可以提高信息含量,即增加方差的貢獻率,其實只是一種錯覺,通過計算H的方差可以發(fā)現(xiàn),有可能得出完全相反的結論。從這個推導過程我們發(fā)現(xiàn)綜合得分的方差比第一主成分F1的方差還小,這說明綜合主成分得分所含信息量比第一主成分所含信息量還少。1.2聚類分析方法對于多指標系統(tǒng)評估中的排序問題,如果第一主成分F1的方差貢獻率不夠大,即第一主成分表達的原始數(shù)據(jù)信息不夠大,僅按第一主成分得分對樣品排序評價會有片面性。這時候可以將主成分分析與聚類分析兩種統(tǒng)計方法結合起來,采用“主成分聚類分析法”。聚類分析是將樣品或變量按照它們性質(zhì)上的親疏程度進行分類的一種方法,盡管聚類分析可以將多個指標的數(shù)據(jù)進行很好的分類,但并不能得到各優(yōu)劣程度的評價結果。主成分聚類的思想是首先做主成分分析,再取若干主成分對樣品進行聚類分析,結合第一主成分得分排序?qū)悠愤M行分類排名。由此得到一種新的綜合評價方法,具體做法如下:設按照累計貢獻率選定前r個主成分,并計算主成分得分:對所選定的新的數(shù)據(jù)矩陣(F1,F2,…,Fr)進行系統(tǒng)聚類。然后計算各類中樣品的均值得分來確定類間的排序;最后根據(jù)類中樣品第一主成分得分,確定各類中樣品的排序,得到綜合評價。2主成分聚類分析湖北省黃岡市橫跨湖北東北部,地域遼闊,人口眾多,下轄10各縣市區(qū),南部縣市瀕臨長江,交通便利,北部北區(qū)交通閉塞,基礎設施較落后,所以整個地區(qū)社會經(jīng)濟發(fā)展不平衡。我們現(xiàn)在用這個主成分聚類分析對其發(fā)展情況進行分析。下面表1為湖北省黃岡市各縣市區(qū)2006年的經(jīng)濟社會發(fā)展的原始數(shù)據(jù)。先將原始數(shù)據(jù)標準化,然后用軟件SPSS進行主成分分析,得到結果如表2。從上表中,我們發(fā)現(xiàn)選取前兩個主成分,方差的累計貢獻率就達到了88.373%。前兩個特征值對應的特征向量如表3。通過Fi=a1iX1+a2iX2+…+apiXp,可以計算出樣本在前兩個主成分上的得分,并通過貢獻率加權求出“綜合得分”見表4。根據(jù)兩上主成分得分進一步利用SPSS進行聚類分析,得到結果如下:{浠水縣,蘄春縣,黃梅縣,麻城市};{紅安縣,羅田縣,團風縣,英山縣};{黃州區(qū),武穴市}。計算出各類中的樣本得分均值可以將三類進行排序:第一類,{黃州區(qū),武穴市};第二類{浠水縣,蘄春縣,黃梅縣,麻城市};第三類{紅安縣,羅田縣,團風縣,英山縣}。我們發(fā)現(xiàn)第一類得分都較高,是黃岡發(fā)達地區(qū),這與實際情況也是相符的,黃州區(qū)是黃岡市行政機關所在地,經(jīng)濟發(fā)展比較活躍;武穴緊鄰長江,交通便利,經(jīng)濟基礎較好。第二類浠水、蘄春、黃梅和麻城規(guī)模較大,都有一定的基礎,是黃岡經(jīng)濟發(fā)展較好的地區(qū)。第三類紅安、羅田、團風和英山有些是革命老區(qū)、有些是立縣時間短,基礎非常薄弱,交通不便,是黃岡經(jīng)濟最落后的地方。再按各類中第一主成分得分排序,得到的排列順序是:武穴市,黃州區(qū),麻城市,浠水縣,黃梅縣,蘄春縣,紅安縣,羅田縣,英山縣,團風縣。這個排名和綜合得分排名(表4)相比,只有浠水縣和黃梅縣的排名不一致,正好反