主成分分析與因子分析的主要方法和思想

1、1.(10分?jǐn)?shù)據(jù)中心化和標(biāo)準(zhǔn)化在回歸分析中的意義是什么?在多元線性回歸分析中,因?yàn)樯婕岸鄠€(gè)自變量,自變量的單位往往不同,會(huì)給分析帶來(lái)一定的困難,又由于涉及的數(shù)據(jù)量很大,就可能會(huì)以舍入誤差而使得計(jì)算結(jié)果不理想.1.中心化處理后可以減少一個(gè)未知參數(shù),減少了計(jì)算的工作量,對(duì)手工計(jì)算尤為重要.2.標(biāo)準(zhǔn)化處理后有利于消除量綱不同和數(shù)量級(jí)的差異所帶來(lái)的影響,避免不必要的誤差.2.(10分在實(shí)際問(wèn)題中運(yùn)用多元線性回歸應(yīng)注意哪些問(wèn)題?在實(shí)際問(wèn)題中,人們用復(fù)相關(guān)系數(shù)R來(lái)表示回歸方程對(duì)原有數(shù)據(jù)擬合程度的好壞,但是擬合優(yōu)度并不是檢驗(yàn)?zāi)Ｐ蛢?yōu)劣的唯一標(biāo)準(zhǔn),有時(shí)為了使模型從結(jié)構(gòu)上有較合理的經(jīng)濟(jì)解釋,R2等于0.7左右也給

2、回歸模型以肯定的態(tài)度.在多元線性回歸分析中,我們并不看重簡(jiǎn)單相關(guān)系數(shù),而認(rèn)為偏相關(guān)系數(shù)才是真正反映因變量y與自變量x i以及自變量x i與x j的相關(guān)性的數(shù)量.用相關(guān)系數(shù)R2大小來(lái)衡量模型的擬合優(yōu)度,不能僅由R2值很大來(lái)推斷模型優(yōu)劣.在實(shí)際應(yīng)用回歸方程進(jìn)行控制和預(yù)測(cè)時(shí),給定的x0值不能偏離樣本均值太大,如果太大,用回歸方程無(wú)論是作因素分析還是經(jīng)濟(jì)預(yù)測(cè),效果都不會(huì)理想.得到實(shí)際問(wèn)題的經(jīng)驗(yàn)回歸方程后,還不能馬上用它去作分析和預(yù)測(cè),還需運(yùn)用統(tǒng)計(jì)方法對(duì)回歸方程進(jìn)行檢驗(yàn).3.(15分主成分分析與因子分析的主要方法和思想是什么?兩者有何聯(lián)系與區(qū)別?求解主成分的方法:從協(xié)方差陣出發(fā)(協(xié)方差陣已知,從相關(guān)陣出

3、發(fā)(相關(guān)陣R已知,采用的方法只有主成分法。一、主成分分析的基本思想在對(duì)某一事物進(jìn)行實(shí)證研究中,為了更全面、準(zhǔn)確地反映出事物的特征及其發(fā)展規(guī)律,人們往往要考慮與其有關(guān)系的多個(gè)指標(biāo),這些指標(biāo)在多元統(tǒng)計(jì)中也稱(chēng)為變量。這樣就產(chǎn)生了如下問(wèn)題:一方面人們?yōu)榱吮苊膺z漏重要的信息而考慮盡可能多的指標(biāo),而另一方面隨著考慮指標(biāo)的增多增加了問(wèn)題的復(fù)雜性,同時(shí)由于各指標(biāo)均是對(duì)同一事物的反映,不可避免地造成信息的大量重疊,這種信息的重疊有時(shí)甚至?xí)⑹挛锏恼嬲卣髋c內(nèi)在規(guī)律。基于上述問(wèn)題,人們就希望在定量研究中涉及的變量較少,而得到的信息量又較多。主成分分析正是研究如何通過(guò)原來(lái)變量的少數(shù)幾個(gè)線性組合來(lái)解釋原來(lái)變量絕大多

4、數(shù)信息的一種多元統(tǒng)計(jì)方法。既然研究某一問(wèn)題涉及的眾多變量之間有一定的相關(guān)性,就必然存在著起支配作用的共同因素,根據(jù)這一點(diǎn),通過(guò)對(duì)原始變量相關(guān)矩陣或協(xié)方差矩陣內(nèi)部結(jié)構(gòu)關(guān)系的研究,利用原始變量的線性組合形成幾個(gè)綜合指標(biāo)(主成分,在保留原始變量主要信息的前提下起到降維與簡(jiǎn)化問(wèn)題的作用,使得在研究復(fù)雜問(wèn)題時(shí)更容易抓住主要矛盾。一般地說(shuō),利用主成分分析得到的主成分與原始變量之間有如下基本關(guān)系:1.每一個(gè)主成分都是各原始變量的線性組合;通過(guò)主成分分析,可以從事物之間錯(cuò)綜復(fù)雜的關(guān)系中找出一些主要成分,從而能有效利用大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行定量分析,揭示變量之間的內(nèi)在關(guān)系,得到對(duì)事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā)

5、,把研究工作引向深入。因子分析方法:求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。因子分析的基本思想因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組,使得同組內(nèi)的變量之間相關(guān)性較高,而不同組的變量間的相關(guān)性則較低。每組變量代表一個(gè)基本結(jié)構(gòu),并用一個(gè)不可觀測(cè)的綜合變量表示,這個(gè)基本結(jié)構(gòu)就稱(chēng)為公共因子。對(duì)于所研究的某一具體問(wèn)題,原始變量就可以分解成兩部分之和的形式,一部分是少數(shù)幾個(gè)不可測(cè)的所謂公共因子的線性函數(shù),另一部分是與公共因子無(wú)關(guān)的特殊因子。在經(jīng)濟(jì)統(tǒng)計(jì)中,描述一種經(jīng)濟(jì)現(xiàn)象的指標(biāo)可以有很多,比如要反映物價(jià)的變動(dòng)情況,對(duì)各種商品的價(jià)格做全面調(diào)查固然可以達(dá)到目的,

6、但這樣做顯然耗時(shí)耗力,為實(shí)際工作者所不取。兩者的聯(lián)系主成分分析和因子分析方法都屬于多元統(tǒng)計(jì)分析中處理降維的統(tǒng)計(jì)方法。在數(shù)理統(tǒng)計(jì)的基本原理上,兩者都是基于多變量的相關(guān)系數(shù)矩陣,在確保較少信息缺失的前提下(一般小于或等于15%,用少數(shù)幾個(gè)不相關(guān)綜合變量概括多個(gè)變量的信息(多個(gè)變量之間存在較強(qiáng)的相關(guān)性。即用少數(shù)不相關(guān)的綜合變量盡可能全面的反映多個(gè)原始變量的信息,消除了原始變量的相關(guān)性,可信度得到提高,統(tǒng)計(jì)結(jié)果可以有效地解釋現(xiàn)實(shí)問(wèn)題。需要注意的是,兩種方法產(chǎn)生的新的變量(因子不是原始變量篩選后的剩余變量,而是綜合所有變量信息后的新變量。其中,在主成分分析過(guò)程中,新變量是原始變量的線性組合,即將多個(gè)原始

7、變量經(jīng)過(guò)線性(坐標(biāo)變換得到新的變量。在因子分析過(guò)程中,新變量則是通過(guò)原始變量之間的復(fù)雜關(guān)系對(duì)原始變量進(jìn)行分解,得到公共因子和特殊因子。其中公共因子是所有原始變量中所共同具有的特征,而特殊因子則是原始變量所特有的部分。兩種方法下得到的主成分變量與因子變量在數(shù)量上顯著少于原始變量,起到了降維的作用,也提高了數(shù)據(jù)有效利用程度.主成分分析與因子分析的區(qū)別老師的版本1、因子分析把展示在我們面前的諸多變量看成由對(duì)每一個(gè)變量都有作用的一些公共因子和一些僅對(duì)某一個(gè)變量有作用的特殊因子線性組合而成。因此,我們的目的就是要從數(shù)據(jù)中探查能對(duì)變量起解釋作用的公共因子和特殊特殊因子,以及公共因子和特殊因子組合系數(shù)。主成

8、分分析則簡(jiǎn)單一些,它只是從空間生成的角度尋找能解釋諸多變量變異絕大部分的幾組彼此不相關(guān)的新變量(主成分。2、因子分析中是把變量表示成各因子的線性組合,而主成分分析中則是把主成分表示成各變量的線性組合。3、主成分分析中不需要有假設(shè),因子分析則需要一些假設(shè)。因子分析的假設(shè)包括:各個(gè)公共因子之間不相關(guān),特殊因子(specific factor之間也不相關(guān),公共因子和特殊因子之間也不相關(guān)。4、抽取主因子的方法不僅僅有主成分法,還有極大似然法等,基于這些不同算法得到的結(jié)果一般也不同。而主成分只能用主成分法抽取。5、主成分分析中,當(dāng)給定的協(xié)方差矩陣或者相關(guān)矩陣的特征值是唯一的時(shí)候,主成分一般是固定的;而因

9、子分析中因子不是固定的,可以旋轉(zhuǎn)得到不同的因子。6、在因子分析中,因子個(gè)數(shù)需要分析者指定(spss根據(jù)一定的條件自動(dòng)設(shè)定,只要是特征值大于1的因子進(jìn)入分析,指定的因子數(shù)量不同而結(jié)果不同。在主成分分析中,成分的數(shù)量是一定的,一般有幾個(gè)變量就有幾個(gè)主成分。7、和主成分分析相比,由于因子分析可以使用旋轉(zhuǎn)技術(shù)幫助解釋因子,在解釋方面更加有優(yōu)勢(shì)。而如果想把現(xiàn)有的變量變成少數(shù)幾個(gè)新的變量(新的變量幾乎帶有原來(lái)所有變量的信息來(lái)進(jìn)入后續(xù)的分析,則可以使用主成分分析。當(dāng)然,這中情況也可以使用因子得分做到。所以這種區(qū)分不是絕對(duì)的。網(wǎng)上的版本主成分分析基本原理:利用降維(線性變換的思想,在損失很少信息的前提下把多個(gè)

10、指標(biāo)轉(zhuǎn)化為幾個(gè)不相關(guān)的綜合指標(biāo)(主成分,即每個(gè)主成分都是原始變量的線性組合,且各個(gè)主成分之間互不相關(guān),使得主成分比原始變量具有某些更優(yōu)越的性能(主成分必須保留原始變量90%以上的信息,從而達(dá)到簡(jiǎn)化系統(tǒng)結(jié)構(gòu),抓住問(wèn)題實(shí)質(zhì)的目的。因子分析基本原理:利用降維的思想,由研究原始變量相關(guān)矩陣內(nèi)部的依賴(lài)關(guān)系出發(fā),把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量表示成少數(shù)的公共因子和僅對(duì)某一個(gè)變量有作用的特殊因子線性組合而成。就是要從數(shù)據(jù)中提取對(duì)變量起解釋作用的少數(shù)公共因子(因子分析是主成分的推廣,相對(duì)于主成分分析,更傾向于描述原始變量之間的相關(guān)關(guān)系因子分析是把變量表示成各公因子的線性組合;而主成分分析中則是把主成分表示成各變

11、量的線性組合。主成分分析:不需要有假設(shè)(assumptions,因子分析:需要一些假設(shè)。因子分析的假設(shè)包括:各個(gè)共同因子之間不相關(guān),特殊因子(specificfactor之間也不相關(guān),共同因子和特殊因子之間也不相關(guān)。求解主成分的方法:從協(xié)方差陣出發(fā)(協(xié)方差陣已知,從相關(guān)陣出發(fā)(相關(guān)陣R已知,采用的方法只有主成分法。(實(shí)際研究中,總體協(xié)方差陣與相關(guān)陣是未知的,必須通過(guò)樣本數(shù)據(jù)來(lái)估計(jì)注意事項(xiàng):由協(xié)方差陣出發(fā)與由相關(guān)陣出發(fā)求解主成分所得結(jié)果不一致時(shí),要恰當(dāng)?shù)倪x取某一種方法;一般當(dāng)變量單位相同或者變量在同一數(shù)量等級(jí)的情況下,可以直接采用協(xié)方差陣進(jìn)行計(jì)算;對(duì)于度量單位不同的指標(biāo)或是取值范圍彼此差異非常大

12、的指標(biāo),應(yīng)考慮將數(shù)據(jù)標(biāo)準(zhǔn)化,再由協(xié)方差陣求主成分;實(shí)際應(yīng)用中應(yīng)該盡可能的避免標(biāo)準(zhǔn)化,因?yàn)樵跇?biāo)準(zhǔn)化的過(guò)程中會(huì)抹殺一部分原本刻畫(huà)變量之間離散程度差異的信息。此外,最理想的情況是主成分分析前的變量之間相關(guān)性高,且變量之間不存在多重共線性問(wèn)題(會(huì)出現(xiàn)最小特征根接近0的情況;求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。主成分分析:當(dāng)給定的協(xié)方差矩陣或者相關(guān)矩陣的特征值唯一時(shí),主成分一般是固定的獨(dú)特的;因子分析:因子不是固定的,可以旋轉(zhuǎn)得到不同的因子。主成分分析:主成分的數(shù)量是一定的,一般有幾個(gè)變量就有幾個(gè)主成分(只是主成分所解釋的信息量不等,實(shí)際應(yīng)用時(shí)會(huì)根據(jù)碎石圖提取

13、前幾個(gè)主要的主成分。因子分析:因子個(gè)數(shù)需要分析者指定(SPSS和sas根據(jù)一定的條件自動(dòng)設(shè)定,只要是特征值大于1的因子主可進(jìn)入分析,指定的因子數(shù)量不同而結(jié)果也不同;7.解釋重點(diǎn)不同:主成分分析:重點(diǎn)在于解釋個(gè)變量的總方差,因子分析:則把重點(diǎn)放在解釋各變量之間的協(xié)方差。8.算法上的不同:主成分分析:協(xié)方差矩陣的對(duì)角元素是變量的方差;因子分析:所采用的協(xié)方差矩陣的對(duì)角元素不在是變量的方差,而是和變量對(duì)應(yīng)的共同度(變量方差中被各因子所解釋的部分9.優(yōu)點(diǎn)不同:因子分析:對(duì)于因子分析,可以使用旋轉(zhuǎn)技術(shù),使得因子更好的得到解釋,因此在解釋主成分方面因子分析更占優(yōu)勢(shì);其次因子分析不是對(duì)原有變量的取舍,而是根

14、據(jù)原始變量的信息進(jìn)行重新組合,找出影響變量的共同因子,化簡(jiǎn)數(shù)據(jù);主成分分析:第一:如果僅僅想把現(xiàn)有的變量變成少數(shù)幾個(gè)新的變量(新的變量幾乎帶有原來(lái)所有變量的信息來(lái)進(jìn)入后續(xù)的分析,則可以使用主成分分析,不過(guò)一般情況下也可以使用因子分析;第二:通過(guò)計(jì)算綜合主成分函數(shù)得分,對(duì)客觀經(jīng)濟(jì)現(xiàn)象進(jìn)行科學(xué)評(píng)價(jià);第三:它在應(yīng)用上側(cè)重于信息貢獻(xiàn)影響力綜合評(píng)價(jià)。第四:應(yīng)用范圍廣,主成分分析不要求數(shù)據(jù)來(lái)自正態(tài)分布總體,其技術(shù)來(lái)源是矩陣運(yùn)算的技術(shù)以及矩陣對(duì)角化和矩陣的譜分解技術(shù),因而凡是涉及多維度問(wèn)題,都可以應(yīng)用主成分降維;10.應(yīng)用場(chǎng)景不同:主成分分析:可以用于系統(tǒng)運(yùn)營(yíng)狀態(tài)做出評(píng)估,一般是將多個(gè)指標(biāo)綜合成一個(gè)變量,即將多維問(wèn)題降維至一維,這樣才能方便排序評(píng)估;此外還可以應(yīng)用于經(jīng)濟(jì)效益、經(jīng)濟(jì)發(fā)展水平、經(jīng)濟(jì)發(fā)展競(jìng)爭(zhēng)力、生活水平、生活質(zhì)量的評(píng)價(jià)研究上;主成分還可以用于和回歸分析相結(jié)合,進(jìn)行主成分回歸分析,甚至可以利用主成分分析進(jìn)行挑選變量,選擇少數(shù)變量再進(jìn)行進(jìn)一步的研究。一般情況下主成分用于探索性分析,很少單獨(dú)使用,用主成分來(lái)分析數(shù)據(jù),可以讓我們對(duì)數(shù)據(jù)有一