主成分分析法

關(guān)于主成分分析法第1頁，講稿共37頁，2023年5月2日，星期三4.1主成分分析法的基本原理主成分分析（PrincipalComponentsAnalysis)是由Hotelling于1933年首先提出的，它是利用降維的思想，把多指標轉(zhuǎn)化為少數(shù)幾個綜合指標的多元統(tǒng)計分析方法。第2頁，講稿共37頁，2023年5月2日，星期三4.1.1基本思想

對原始變量相關(guān)矩陣結(jié)構(gòu)關(guān)系進行研究，找出影響某一經(jīng)濟過程的幾個綜合指標，使綜合指標變?yōu)樵瓉碜兞康木€性組合，從而不僅保留了原始變量的主要信息，彼此之間又不相關(guān)，更有助于抓住主要矛盾。第3頁，講稿共37頁，2023年5月2日，星期三

借助于一個正交變換T，將其分量相關(guān)的原隨機向量x=(x1,x2,L,…,xp)T，轉(zhuǎn)化成其分向量不相關(guān)的新隨機向量u=(u1,u2,L,…,up)T

，這在代數(shù)上表現(xiàn)為將x的協(xié)方差陣變換成對角形陣，在幾何上表現(xiàn)為將遠坐標系變換成新的正交坐標系，使之指向樣本點散布最開的p個正交方向，然后對多維變量系統(tǒng)進行降維處理，使之能以一個較高的精度轉(zhuǎn)換成低維度變量系統(tǒng)，再通過構(gòu)造適當?shù)膬r值函數(shù)，進一步把低維系統(tǒng)轉(zhuǎn)化成一維系統(tǒng)。第4頁，講稿共37頁，2023年5月2日，星期三

定義：稱為第k主成分分量的方差貢獻率，稱為前k個主成分分量的累計方差貢獻率。第5頁，講稿共37頁，2023年5月2日，星期三

例：兒童身高和體重兩個變量之間的關(guān)系。下表表示兒童身高與體重數(shù)據(jù):

變量觀測量身高h體重w1h1w12h2w23h3w3┋┋┋nhnwn第6頁，講稿共37頁，2023年5月2日，星期三使用散點圖表示兒童身高與體重

y1y2

whθ

i=1，2，┅┅，n第7頁，講稿共37頁，2023年5月2日，星期三

以該直線為一個坐標軸y1，以該軸的垂直線為另一個坐標軸y2。因為所有觀測點均在坐標軸y1周圍，而y1與y2

是兩個相互垂直的坐標軸，因此彼此不相關(guān)。

上述也可以看成是將h軸和w軸同時按逆時針方向旋轉(zhuǎn)θ角度，得到新的坐標軸y1和y2

，y1和y2是兩個新的變量。第8頁，講稿共37頁，2023年5月2日，星期三

根據(jù)旋轉(zhuǎn)公式

y1=hcosθ+wsinθy2=-hsinθ+wcosθ

我們看到新變量y1和y2

是原變量h和w的線性組合,它的矩陣表示形式為y1cosθsinθh==U’xy2

一sinθcosθw其中U’為正交矩陣，即有U’=U-1，U’U-1=I第9頁，講稿共37頁，2023年5月2日，星期三

旋轉(zhuǎn)變換的目的是為了使得n個樣本點在y1

軸方向上的離散程度最大，即y1的方差最大。變量y1

代表了原始數(shù)據(jù)的絕大部分信息，即把原始數(shù)據(jù)的信息集中到y(tǒng)1軸上，對數(shù)據(jù)中包含的信息起到了濃縮作用。

y1和y2可稱為原始變量h和w的綜合變量。由于n個點在y1

軸上的方差最大，因而將二維空間的點的描述用y1這個綜合變量來代替，所損失的信息最小，由此稱y1

為第一主成分，y2為第二主成分。

第10頁，講稿共37頁，2023年5月2日，星期三

4.1.2主成分分析法與因子分析法主成分分析通過線性組合將原變量綜合成幾個主成分，用較少的綜合指標來代替原來較多的指標(變量)。在多變量分析中，某些變量間往往存在相關(guān)性。是什么原因使變量間有關(guān)聯(lián)呢？是否存在不能直接觀測到的、但影響可觀測變量變化的公共因子？因子分析法(FactorAnalysis)就是尋找這些公共因子的模型分析方法，它是在主成分的基礎(chǔ)上構(gòu)筑若干意義較為明確的公因子，以它們?yōu)榭蚣芊纸庠兞?，以此考察原變量間的聯(lián)系與區(qū)別。第11頁，講稿共37頁，2023年5月2日，星期三

4.1.2主成分分析法與因子分析法例如，隨著年齡的增長，兒童的身高、體重會隨著變化，具有一定的相關(guān)性，身高和體重之間為何會有相關(guān)性呢？因為存在著一個同時支配或影響著身高與體重的生長因子。那么，我們能否通過對多個變量的相關(guān)系數(shù)矩陣的研究，找出同時影響或支配所有變量的共性因子呢？因子分析就是從大量的數(shù)據(jù)中“由表及里”、“去粗取精”，尋找影響或支配變量的多變量統(tǒng)計方法?？梢哉f，因子分析是主成分分析的推廣，也是一種把多個變量化為少數(shù)幾個綜合變量的多變量分析方法，其目的是用有限個不可觀測的隱變量來解釋原始變量之間的相關(guān)關(guān)系。因子分析主要用于：1、減少分析變量個數(shù)；2、通過對變量間相關(guān)關(guān)系探測，將原始變量進行分類。即將相關(guān)性高的變量分為一組，用共性因子代替該組變量。第12頁，講稿共37頁，2023年5月2日，星期三第13頁，講稿共37頁，2023年5月2日，星期三第14頁，講稿共37頁，2023年5月2日，星期三

4.2主成分分析的一般數(shù)學模型

變量觀測量X1X2X3X4┅┅Xm1X11X12X13X14┅┅X1m2X21X22X23X24┅┅X2m┋┋┋┋┋┅┅┋nXn1Xn2Xn3Xn4┅┅Xnm

推廣到一般情況，實測變量X1——Xm，共測得n個樣品:第15頁，講稿共37頁，2023年5月2日，星期三原始數(shù)據(jù)矩陣為:

X11X12┅┅X1mX21X22┅┅X2m┋┋┋Xn1

Xn2

┅┅XnmX=

第16頁，講稿共37頁，2023年5月2日，星期三

在原始變量的m維空間中，找到新的m個坐標軸，新變量與原始變量的關(guān)系可以表示為：y1=u11x1+u12x2+┅┅+u1mxmy2=u21x1+u22x2+┅┅+u2mxm┅┅┅┅┅┅┅┅ym=um1x1+um2x2+┅┅+ummxm

并且滿足uk12+uk22+┅┅+ukm2=1k=1,2,┅┅,m第17頁，講稿共37頁，2023年5月2日，星期三系數(shù)uij由下列原則來確定:

（1）yi與yj(i≠j,i,j=1,2,┅┅,p)相互無關(guān)。（2）y1是x1、x2、┅┅、xp的一切線性組合中方差最大者；y2是與y1不相關(guān)的x1、x2、┅┅、xp的所有線性組合中方差最大者；yp是與y1、y2、┅┅、yp-1都不相關(guān)的x1、x2、┅┅、xp的所有線性組合中方差最大者。如此決定的綜合變量y1、y2、┅┅、yp分別稱為原始變量的第1、第2、┅、第p個主成分。其中y1在總方差中占的比重最大，綜合變量y1、y2、┅┅、yp的方差依次遞減，在具體分析時只挑選前幾個方差最大的主成分，從而達到簡化系統(tǒng)結(jié)構(gòu)的目的。第18頁，講稿共37頁，2023年5月2日，星期三4.3主成分分析法的算法

主成分分析法原理應(yīng)用于實際課題，必須解決兩個問題：一是隨機向量x的協(xié)方差陣T或相關(guān)系數(shù)陣R通常是未知的，需借助于隨機抽樣的途徑，對T或R作出極大似然估計；二是隨機向量x的各個分量通常是不同的自然科學量或社會科學量，需通過標準化變換的方法，以解決不可公度的問題。

第19頁，講稿共37頁，2023年5月2日，星期三

步驟1：采集p維隨機向量x=(x1,x2,…,xp)T的n個樣品xi=(xi1,xi2,…,xip)T,i=1,2,…,n,n>p,構(gòu)造樣本陣X

x1Tx11x12┅x1px2Tx21

x22

┅x2pX=┇=┇┇┇xnTxn1xn2

┅xnp

第20頁，講稿共37頁，2023年5月2日，星期三

步驟2

對樣本陣X中的元進行如下變換

xij,對正指標

Yij=-xij,對逆指標

得

Y=Yij

n×p

第21頁，講稿共37頁，2023年5月2日，星期三步驟3

對Y正中元進行如下標準化變換

其中得標準化矩陣Z:Z=

z1Tz11z12┅z1pz2T=z21z22┅z2p┇┇┇┇znTzn1zn2┅znp第22頁，講稿共37頁，2023年5月2日，星期三步驟4對標準化陣Z求樣本相關(guān)系數(shù)陣

其中第23頁，講稿共37頁，2023年5月2日，星期三步驟5解樣本相關(guān)系數(shù)陣R的特征方程

得p個特征值第24頁，講稿共37頁，2023年5月2日，星期三步驟6按

得單位特征向量：使信息的利用率達到85%以上。確定m值。對每個

解方程組第25頁，講稿共37頁，2023年5月2日，星期三

步驟7求出zi=(zi1,zi2,┅,zip)T,i=1,2,┅,n的m個主成分量

uij=ziTbj0

,j=1,2,┅,m

得主成分決策陣

U=

=

其中ui為第i個樣品的主成分向量，i=1,2,┅,n，它的第j個分量uij是向量zi在單位特征向量bj0

上的投影，j=1,2,┅,m。

第26頁，講稿共37頁，2023年5月2日，星期三

步驟8選擇適當?shù)闹鞒煞謨r值函數(shù)模型，進一步把m維系統(tǒng)降成一維系統(tǒng)。一般評價函數(shù)模型為：

Fi=,i=1,2,┅,n。

其中，j=1,2,┅,m。第27頁，講稿共37頁，2023年5月2日，星期三

4.4實例分析：企業(yè)經(jīng)濟效益的主成分分析企業(yè)經(jīng)濟效益是指企業(yè)在一定的計劃期內(nèi),以盡量少的資金占用、生產(chǎn)出盡量多的符合社會需求的產(chǎn)品。對企業(yè)經(jīng)濟效益的考核、分析和評價,是國家發(fā)展經(jīng)濟、實施宏觀調(diào)控和科學管理所必須的,也是企業(yè)自我認識、自我發(fā)展、進行科學決策和科學管理的依據(jù)。第28頁，講稿共37頁，2023年5月2日，星期三

4.4.1評價指標體系設(shè)計

(1)銷售利潤率(2)總資產(chǎn)報酬率

(3)資本收益率(4)資本保值增值率

(5)資產(chǎn)負債率(6)速動比率

(7)應(yīng)收帳款周轉(zhuǎn)率(8)存貨周轉(zhuǎn)率

(9)社會貢獻率(10)社會積累率第29頁，講稿共37頁，2023年5月2日，星期三

4.4.2建立數(shù)學模型

(1)根據(jù)調(diào)查研究,取n個樣本,每個樣本觀測p項指標,從十個企業(yè)的財務(wù)報表中計算出所需的十個評價指標,得出原始數(shù)據(jù)矩陣如表1

Book1.xls第30頁，講稿共37頁，2023年5月2日，星期三(2)為了消除原來各指標的量綱,使各指標之間具有可比性,對原始數(shù)據(jù)作標準化處理,其計算公式為:(i=1,2,….n;j=1,2,…p)

標準化原始數(shù)據(jù)矩陣所得結(jié)果如表2

Book1.xls

XIj*=第31頁，講稿共37頁，2023年5月2日，星期三(3)計算相關(guān)系數(shù)矩陣:R=

其中,rij=

(i=1,2,3,…p;j=1,2,3,…p)

根據(jù)標準化矩陣計算相關(guān)矩陣,結(jié)果如表3

Book1.xls第32頁，講稿共37頁，2023年5月2日，星期三(5)根據(jù)特征根計算主成分的貢獻率和主成分的累計貢獻率,選擇m個主分量。當其達到一定水平時,說明前r個主成分來描述原樣本所包含的信息量已經(jīng)達到要求。計算公式如下:

第k個主主成分的貢獻率=,

前r個主成分的累計貢獻率=

計算結(jié)果如表4(Book1.xls)第33頁，講稿共37頁，2023年5月2日，星期三

選擇的4個主分量的方差和占全部方差總和的比例為0.9070接近1,即基本保留了原來的信息,而因子由10個減少為4個。故主成分為4個,根據(jù)Z=CX計算4個主成分的值z1,z2,z3,z4,

如下:

第一主成分:

z1=0.06