數(shù)學(xué)之主成分分析課件

1、主成分分析 一項(xiàng)十分著名的工作是美國的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國民經(jīng)濟(jì)的研究。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息外貿(mào)平衡等等。1 基本思想 在進(jìn)行主成分分析后，竟以97.4的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測量的。 主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡化分析的方法。 在社會經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析

2、和研究問題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。 主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對這種多變量的數(shù)據(jù)表進(jìn)行最佳綜合簡化，也就是說，對高維變量空間進(jìn)行降維處理。 很顯然，識辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。 （3） 選擇幾個(gè)主成分。主成分分析的目的是簡化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。 （4）如何解釋主成分所包含的經(jīng)濟(jì)意義。2 數(shù)學(xué)模型與幾何解釋 假設(shè)我們所討論的實(shí)際問題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)

3、變量，記為X1，X2，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問題，而這些新的指標(biāo)Y1，Y2，Yk(k F Model 3 204.77614 68.25871 285.61 |t| Intercept 1 -10.12799 1.21216 -8.36 F Model 2 9.88278 4.94139 379.38 |t| Z1 1 0.68998 0.02552 27.03 10時(shí)，多重共線性是嚴(yán)重的。 2、朗萊用美國聯(lián)邦政府雇員人數(shù)Y和國民總產(chǎn)出隱含平減指數(shù)X1，國民總產(chǎn)出X2，失業(yè)人數(shù)X3，武裝力量人數(shù)X4，14歲及以上非慈善機(jī)構(gòu)人口數(shù)X5，時(shí)間變量X

4、6。朗萊所用數(shù)據(jù)是美國4762年數(shù)據(jù)，該例是主成分回歸用得較早的例子。 Eigenvalues of the Correlation Matrix（相關(guān)系數(shù)矩陣的特征根） Eigenvalue Difference Proportion Cumulative （特征根） （ 差值） (貢獻(xiàn)率） （累計(jì)貢獻(xiàn)率） 1 4.60337745 3.42803711 0.7672 0.7672 2 1.17534035 0.97191518 0.1959 0.9631 3 0.20342517 0.18849689 0.0339 0.9970 4 0.01492828 0.01237624 0.0025

5、 0.9995 5 0.00255204 0.00217533 0.0004 0.9999 6 0.00037671 0.0001 1.0000 Eigenvectors（特征向量） Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.461835 0.057843 -.149120 -.792874 0.337934 -.135193 x2 0.461504 0.053211 -.277681 0.121625 -.149550 0.818485 x3 0.321317 -.595513 0.728306 -.007645 0.009235 0.107451 x

6、4 0.201510 0.798193 0.561607 0.077255 0.024253 0.017970 x5 0.462279 -.045544 -.195985 0.589743 0.548569 -.311589 x6 0.464940 0.000619 -.128116 0.052285 -.749556 -.450388 Prin1 Prin2 Prin3 Prin4 Prin5 Prin63.47885 -0.75147 -0.30795 0.16424 0.008797 -0.0025793.01051 -0.84904 -0.64223 -0.12592 0.061546

7、 -0.0119802.34330 -1.54000 0.49343 0.00882 0.005746 -0.0050622.09390 -1.27632 0.11129 0.06126 -0.061845 0.0136771.43824 1.23579 0.02909 -0.09746 0.052257 0.0426820.09951 0.69349 0.09757 0.10111 -0.098808 0.0189260.44943 0.54784 -0.29295 -0.01756 -0.083762 -0.0141390.95506 0.42945 -0.44524 -0.11933 -

8、0.023694 -0.0271541.81710 -0.86317 0.67742 -0.18706 0.021671 -0.0081081.93999 -0.38657 -0.26596 -0.14392 -0.036686 0.0235302.36112 -0.49910 -0.36567 -0.06160 -0.016235 -0.0043603.07803 -0.98995 0.20196 0.06811 0.056427 0.0013393.34476 -0.17667 -0.42385 0.25968 0.058092 0.008939 Sum of Mean Source DF Squares Square F Value Pr F Model 6 498504 83084 47.22 |t| Intercept 1 386505 122516 3.15 0.0116 x1 1 13.71162 11.68424 1.17 0.2707 x2 1 0.00846 0.00461 1.84 0.0995 x3 1 0.09405 0.06720 1.40 0.1952 x4 1 0.20562 0.02948 6.97 .0001 x5 1 -0.00435 0.03111 -0.14 0.89