應(yīng)用統(tǒng)計(jì)工作坊讓數(shù)字會(huì)說(shuō)話(huà)課件

1、多元迴歸Multiple Regression 量化研究法二統(tǒng)計(jì)原理與分析技術(shù)第16章 1簡(jiǎn)單迴歸與多元迴歸Simple and Multiple regression基本定義簡(jiǎn)單迴歸：以單一自變項(xiàng)去解釋?zhuān)A(yù)測(cè)）依變項(xiàng)的迴歸分析多元迴歸：同時(shí)以多個(gè)自變項(xiàng)去解釋?zhuān)A(yù)測(cè)）依變項(xiàng)的迴歸分析各變項(xiàng)均為連續(xù)性變項(xiàng)，或是可虛擬為連續(xù)性變項(xiàng)者方程式簡(jiǎn)單迴歸：Y=b1x1+a多元迴歸：Y=b1x1+b2x2+b3x3+bnxn+a多元迴歸的特性：對(duì)於依變項(xiàng)的解釋與預(yù)測(cè)，可以據(jù)以建立一個(gè)完整的模型。各自變項(xiàng)之間概念上具有獨(dú)立性，但是數(shù)學(xué)上可能是非直交（具有相關(guān)）自變項(xiàng)間的相關(guān)對(duì)於迴歸結(jié)果具有關(guān)鍵性的影響。2預(yù)測(cè)

2、與解釋 預(yù)測(cè)型迴歸主要目的在實(shí)際問(wèn)題的解決或?qū)崉?wù)上的應(yīng)用從一組獨(dú)變項(xiàng)中，找出最關(guān)鍵與最佳組合的迴歸方程式，產(chǎn)生最理想的預(yù)測(cè)分?jǐn)?shù)獨(dú)變項(xiàng)的選擇所考慮的是要件為是否具有最大的實(shí)務(wù)價(jià)值，而非基於理論上的適切性 最常用的變項(xiàng)選擇方法是逐步迴歸法（stepwise regression） 解釋型迴歸主要目的則在瞭解現(xiàn)象的本質(zhì)與理論關(guān)係，也就是探討?yīng)氉冺?xiàng)與依變項(xiàng)的關(guān)係檢驗(yàn)變項(xiàng)的解釋力與變項(xiàng)關(guān)係，對(duì)於依變項(xiàng)的變異提出一套具有最合理解釋的迴歸模型理論的重要性不僅在於決定獨(dú)變項(xiàng)的選擇與安排，也影響研究結(jié)果的解釋 最常用的變項(xiàng)選擇方法是為同時(shí)迴歸法（simultaneous regression）或階層迴歸法（hi

3、erarchical regression） 3多元迴歸的資料結(jié)構(gòu)4多元相關(guān)R：多元相關(guān)（multiple correlation）依變項(xiàng)的迴歸預(yù)測(cè)值（Y）與實(shí)際觀(guān)測(cè)值（Y）的相關(guān) R2：多元相關(guān)平方表示Y被X解釋的百分比，是一種機(jī)率的概念簡(jiǎn)單迴歸中，僅有一個(gè)獨(dú)變項(xiàng)，R=r， R2 =r2多元迴歸中，有多個(gè)獨(dú)變項(xiàng)，Rr， R為多個(gè)獨(dú)變項(xiàng)的線(xiàn)性整合分?jǐn)?shù)與依變項(xiàng)的相關(guān)5多元迴歸方程式 迴歸模型：對(duì)於依變項(xiàng)的迴歸方程式6迴歸變異量拆解與F考驗(yàn) 依變項(xiàng)的變異可拆解成迴歸效果與誤差效果殘差為估計(jì)變異誤，開(kāi)方即得估計(jì)標(biāo)準(zhǔn)誤迴歸解釋力的統(tǒng)計(jì)顯著性，可利用F考驗(yàn)來(lái)檢驗(yàn)。分子為迴歸解釋變異數(shù)（SSreg/dfr

4、eg），分母為誤差變異數(shù)（SSres/dfres），相除得到F值。 7多元迴歸的參數(shù)檢定 迴歸分析的檢定整體考驗(yàn)對(duì)於R2的F考驗(yàn)事後考驗(yàn)對(duì)於個(gè)別解釋變數(shù)的顯著性考驗(yàn)：t test若R2具有統(tǒng)計(jì)顯著性，需進(jìn)行參數(shù)的估計(jì)檢定，來(lái)決定各獨(dú)變項(xiàng)的解釋力 8係數(shù) 標(biāo)準(zhǔn)化迴歸係數(shù)b係數(shù)去除單位效果（乘以自變項(xiàng)標(biāo)準(zhǔn)差，除以依變項(xiàng)標(biāo)準(zhǔn)差）表示其他解釋變數(shù)被控制後的淨(jìng)解釋力（邊際解釋力） 9迴歸的基本假設(shè) 基本假設(shè)一:固定自變項(xiàng)假設(shè)（fixed variable） 自變項(xiàng)是研究者在進(jìn)行研究之初，所指定會(huì)影響依變數(shù)的主要變數(shù)，其選用並非隨機(jī)選擇得來(lái)，因此，如果一個(gè)研究可以被重複驗(yàn)證，特定自變數(shù)的特定數(shù)值應(yīng)可以被重

5、複獲得，然後得以此一群特定的X變數(shù)值(自變數(shù))代入方程式而得到預(yù)測(cè)值。我們關(guān)心的是依變項(xiàng)，是否能夠找到重要的自變項(xiàng)來(lái)對(duì)依變項(xiàng)加以闡釋?zhuān)虼宋覀兗僭O(shè)可以找到這些變項(xiàng)的重要數(shù)據(jù)。10基本假設(shè)二 : 線(xiàn)性關(guān)係假設(shè)（linear relationship） -當(dāng)X們與Y的關(guān)係被納入研究之後，迴歸分析必須建立在Y與X變項(xiàng)們之間具有線(xiàn)性關(guān)係的假設(shè)上。 -非線(xiàn)性的變項(xiàng)關(guān)係，需將數(shù)據(jù)進(jìn)行數(shù)學(xué)轉(zhuǎn)換才能視同線(xiàn)性關(guān)係來(lái)進(jìn)行迴歸分析(非線(xiàn)性迴歸)，而類(lèi)別自變項(xiàng)則需以虛擬變項(xiàng)的方式，將單一的類(lèi)別自變項(xiàng)依各水準(zhǔn)分成多個(gè)二分的自變項(xiàng)，以視同連續(xù)變項(xiàng)的形式來(lái)進(jìn)行(虛擬回歸)。 -回歸係數(shù)是線(xiàn)性。11基本假設(shè)三:常態(tài)性假設(shè)（n

6、ormality） -常態(tài)性的假設(shè)係指迴歸分析中的所有觀(guān)察值Y被迴歸方程式解釋剩下的殘差是一個(gè)常態(tài)分配，即Y來(lái)自於一個(gè)呈常態(tài)分配的母群體。因此經(jīng)由迴歸方程式所分離的誤差項(xiàng)e，即由特定群Xi特定值所預(yù)測(cè)得到預(yù)測(cè)值的與實(shí)際Yi之間的差距，也應(yīng)呈常態(tài)分配。 -誤差項(xiàng)e的平均數(shù)為0是個(gè)假設(shè)。 -此假設(shè)是為了迴歸係數(shù)的檢定。 12基本假設(shè)四: 誤差獨(dú)立性假設(shè)（independence） 誤差項(xiàng)除了應(yīng)呈隨機(jī)化的常態(tài)分配外，不同特定值X所產(chǎn)生預(yù)測(cè)值的誤差之間應(yīng)相互獨(dú)立，無(wú)相關(guān)存在，也就是無(wú)自我相關(guān)（non-autocorrelation），而誤差項(xiàng)也需與自變項(xiàng)X們相互獨(dú)立。當(dāng)誤差項(xiàng)出現(xiàn)自我相關(guān)，無(wú)法獲得有效

7、的參數(shù)估計(jì)值(有效:估計(jì)參數(shù)的變異數(shù))，降低統(tǒng)計(jì)檢定力，易得到不顯著的結(jié)果。13基本假設(shè)五:誤差等分散性假設(shè)或稱(chēng)同質(zhì)性（homoscedasticity）誤差等分散性(a)與誤差變異歧異性(b)圖示 14基本假設(shè)六:無(wú)多重共線(xiàn)性假設(shè) -在多元迴歸分析，若自變項(xiàng)間相關(guān)程度過(guò)高，不但自變項(xiàng)之間的概念區(qū)隔模糊，難以解釋之外，在數(shù)學(xué)上會(huì)因?yàn)樽宰冺?xiàng)間共變過(guò)高，造成自變項(xiàng)標(biāo)準(zhǔn)誤膨脹的扭曲現(xiàn)象，這種自變項(xiàng)間過(guò)度高相關(guān)稱(chēng)為多重共線(xiàn)性（multi-collinearnality），迴歸分析應(yīng)避免多重共線(xiàn)性的存在。 -多重共線(xiàn)性若明顯的情況下，迴歸所計(jì)算出的參數(shù)值，變異量嚴(yán)重膨脹，使得參數(shù)估計(jì)的變異數(shù)(標(biāo)準(zhǔn)差)過(guò)

8、大，進(jìn)一步造成推論上的問(wèn)題，如信賴(lài)區(qū)間擴(kuò)大，導(dǎo)致第一類(lèi)型錯(cuò)誤，或是迴歸係數(shù)檢定不容易顯著。15多元共線(xiàn)性（mulitlinearility）獨(dú)變項(xiàng)間的多重相互關(guān)係16多元共線(xiàn)性的檢驗(yàn)對(duì)於某一個(gè)自變項(xiàng)共線(xiàn)性的檢驗(yàn)，可以使用容忍值（tolerance）或變異數(shù)膨脹因素（variance inflation factor, VIF）來(lái)評(píng)估。 Ri2為某一個(gè)自變項(xiàng)被其他自變項(xiàng)當(dāng)作依變項(xiàng)來(lái)預(yù)測(cè)時(shí)，該自變項(xiàng)可以被解釋的比例，1- Ri2（容忍值）為該自變項(xiàng)被其他自變項(xiàng)無(wú)法解釋的殘差比 Ri2比例越高，容忍值越小，代表預(yù)測(cè)變項(xiàng)不可解釋殘差比低，VIF越大，即預(yù)測(cè)變項(xiàng)迴歸係數(shù)的變異數(shù)增加，共變性越明顯。 整體

9、迴歸模式的共線(xiàn)性診斷可以透過(guò)特徵值（eigenvalue）與條件指數(shù)（conditional index; CI）來(lái)判斷。各變量相對(duì)的變異數(shù)比例（variance proportions），可看出自變項(xiàng)之間多元共線(xiàn)性的結(jié)構(gòu)特性。當(dāng)任兩變項(xiàng)在同一個(gè)特徵值上的變異數(shù)比例接近1時(shí)，表示存在共線(xiàn)性組合。 17解釋型迴歸分析目的利用多元迴歸程序來(lái)進(jìn)行變項(xiàng)間關(guān)係的釐清與相對(duì)比較的迴歸應(yīng)用 變數(shù)選擇多利用同時(shí)進(jìn)入法，稱(chēng)為同時(shí)迴歸（simultaneous regression）程序選擇自變數(shù)與依變數(shù)報(bào)告變數(shù)的描述統(tǒng)計(jì)量與相關(guān)矩陣檢驗(yàn)自變數(shù)的多元共線(xiàn)性與其他假設(shè)報(bào)告迴歸模型解釋力（R2）與顯著性考驗(yàn)（整體考驗(yàn)

10、）進(jìn)行個(gè)別自變數(shù)的顯著性考驗(yàn)（事後考驗(yàn)）個(gè)別變數(shù)解釋力（beta係數(shù)）的報(bào)告與比較 18範(fàn)例表16.5 六十位科學(xué)競(jìng)賽活動(dòng)參賽者背景資料與各種測(cè)量數(shù)據(jù)19分析結(jié)果表16.6 科學(xué)競(jìng)賽資料的同時(shí)迴歸法估計(jì)結(jié)果與模式摘要20預(yù)測(cè)型迴歸分析 目的藉由迴歸模型的建立，研究者或?qū)崉?wù)工作者得以發(fā)展出一套對(duì)於依變項(xiàng)的預(yù)測(cè)系統(tǒng) 透過(guò)有效的變項(xiàng)選擇程序，以確立迴歸方程式預(yù)測(cè)誤差的評(píng)估與計(jì)算，以及預(yù)測(cè)分?jǐn)?shù)如何反應(yīng)誤差的影響 迴歸模型的推論效力問(wèn)題 變數(shù)選擇多利用逐步進(jìn)入法，稱(chēng)為逐步迴歸（stepwise regression）程序決定自變數(shù)與依變數(shù)報(bào)告變數(shù)的描述統(tǒng)計(jì)量與相關(guān)矩陣排除無(wú)效變數(shù)，保留有效變數(shù)，建立多元

11、迴歸方程式向前法：各自變項(xiàng)與依變項(xiàng)相關(guān)高低逐一被選入 向後法：自變項(xiàng)全部進(jìn)入模型，再將沒(méi)有解釋力的變數(shù)淘汰逐步法：合併向前法與向後法，逐一納入自變數(shù)，同時(shí)也淘汰沒(méi)有解釋力的變數(shù)報(bào)告迴歸模型解釋力（R2）與顯著性考驗(yàn)（整體考驗(yàn)）進(jìn)行分?jǐn)?shù)預(yù)測(cè)與區(qū)間估計(jì)21逐步迴歸分析結(jié)果（向前法 ）22逐步迴歸分析結(jié)果（向後法 ）23範(fàn)例小結(jié)以向前法、向後法、逐步法，得到的結(jié)果都相同最佳方程式包含有X2、X6、X1三個(gè)獨(dú)變項(xiàng)，可以解釋依變項(xiàng)變異的82.6%（R2=.826）多元迴歸方程式：24逐步法與同時(shí)法比較逐步分析法較同時(shí)進(jìn)入法可以找到最有預(yù)測(cè)力的變項(xiàng)，同時(shí)也可以避免共線(xiàn)性的影響，適合做探索性的研究使用。 逐

12、步法適合用以預(yù)測(cè)性研究，協(xié)助建立最佳預(yù)測(cè)模型逐步法是以統(tǒng)計(jì)程序處理變項(xiàng)重要性，在理論解釋性研究缺乏基礎(chǔ)同時(shí)法的優(yōu)點(diǎn)則是可以從整體效果模式中看到所有自變項(xiàng)的效果，每一個(gè)自變項(xiàng)的解釋力皆被考慮與呈現(xiàn)。 25分?jǐn)?shù)的預(yù)測(cè)依變項(xiàng)平均數(shù)估計(jì)標(biāo)準(zhǔn)誤（standard error of mean predicted score） 個(gè)別觀(guān)察值估計(jì)標(biāo)準(zhǔn)誤（standard error of individual score） 26範(fàn)例科學(xué)實(shí)作能力（X）對(duì)於參賽成績(jī)（Y）的簡(jiǎn)單迴歸 X=50，Y=38.126X的平均數(shù)（71.545），Y預(yù)測(cè)值為54.1027複核效化複核效化（cross-validation） 指

13、測(cè)量或分析的結(jié)果具有跨樣本或跨情境的有效性。迴歸模型的類(lèi)化能力樣本依賴(lài)性：迴歸模型僅能應(yīng)用於建立迴歸模型的該樣本所代表的母體 複核效化是將在某一個(gè)樣本上所得到迴歸模型參數(shù)，以另一個(gè)樣本的觀(guān)察資料來(lái)重新檢驗(yàn)?zāi)Ｐ偷慕忉屃hrinkage（縮動(dòng)）某一個(gè)迴歸模型從當(dāng)初建立的樣本，應(yīng)用到另一個(gè)樣本時(shí)，模型解釋力通常會(huì)降低以原來(lái)迴歸建立時(shí)的解釋力數(shù)據(jù)去套用到新樣本時(shí)，會(huì)產(chǎn)生高估現(xiàn)象。當(dāng)獨(dú)變項(xiàng)越多，樣本數(shù)越少的情況下（也就是變項(xiàng)/樣本比越大時(shí)），高估現(xiàn)象越嚴(yán)重 樣本數(shù)變數(shù)與樣本數(shù)比：1:15到1:30之間，類(lèi)化能力較為穩(wěn)定 一個(gè)獨(dú)變項(xiàng)要有15到30個(gè)樣本，10個(gè)獨(dú)變項(xiàng)的迴歸模型，應(yīng)有150到300個(gè)受測(cè)者

14、，類(lèi)化能力較為穩(wěn)定 28複核效化的程序Stevens, 1996建議程序?qū)颖倦S機(jī)分成兩個(gè)樣本，先利用其中一個(gè)樣本進(jìn)行模型發(fā)展，另一個(gè)樣本作為檢查樣本，重新評(píng)估模型的解釋力 檢核樣本（screening sample）建立模型的樣本測(cè)定樣本（calibration sample）或效度樣本（validation sample） 檢驗(yàn)類(lèi)化能力的樣本操作程序由檢核樣本所得到迴歸方程式，然後以該方程式帶入測(cè)定樣本的預(yù)測(cè)變數(shù)值，得到依變項(xiàng)預(yù)測(cè)值Y複核效度指標(biāo)：測(cè)定樣本的依變項(xiàng)觀(guān)察值（Y）與預(yù)測(cè)值（Y）的相關(guān)係數(shù)亦可直接比較兩個(gè)樣本的解釋力的差異（R2） 複核效化解釋力係數(shù)Pedhazur（1997）

15、29階層迴歸分析 目的將獨(dú)變項(xiàng)以分層來(lái)處理，所進(jìn)行的多步驟多元迴歸分析一種整合性的多層次分析策略，兼具統(tǒng)計(jì)決定與理論決定的變項(xiàng)選擇程序 自變數(shù)的分組，依照研究者的需要或理論上的概念區(qū)分成不同的區(qū)組（block），然後依照特定的次序投入模型中理論組合（theoretical sets）各區(qū)組的決定，是以理論的觀(guān)點(diǎn)進(jìn)行組合功能組合（functional sets）各區(qū)組的決定，是以自變數(shù)的功能與性質(zhì)進(jìn)行組合例如人口變項(xiàng)的組合、社經(jīng)地位的指標(biāo)的組合 時(shí)間序列組合（time-series sets） 各區(qū)組的決定，是以研究設(shè)計(jì)的觀(guān)點(diǎn)，越早進(jìn)入者，表示是影響他人的因，較晚者則為被影響的果 結(jié)構(gòu)組合（st

16、ructural sets）指獨(dú)變項(xiàng)的組合是基於變項(xiàng)間的組成關(guān)係例如類(lèi)別變項(xiàng)的虛擬化處理 操作方法各區(qū)組內(nèi)可以?xún)H有一個(gè)獨(dú)變項(xiàng)或多個(gè)變項(xiàng)多變項(xiàng)的區(qū)組內(nèi)，各變項(xiàng)進(jìn)入方程式方法則可為同時(shí)法或逐步法30表16.10 階層迴歸分析各區(qū)組模型摘要與參數(shù)估計(jì)值 31Basic assumptions to regressionAssumptionsAssumptions for residuals (error scores)Zero MeanHomoscedasticIndependence with predictorsNormalityAssumptions for specification err

17、orsLinear relationshipAll relevant predictors must be includedNo irrelevant predictors can be includedAssumptions for measurement errorsRelevant measurement procedures and variable selectionsProvidence of the goodness index of measurement32Issues in RegressionMulticollinearityTheoretical issuesAnaly

18、tic or Technical issuesMeasurement issuesCategorical variable as predictorsEffect codingDummy codingType of regression analysisDetermination of selection procedures of predictorsSimultaneous regressionStepwise regressionHierarchical regressionControlling for Type I and II errorLess is moreTheoretica

19、l considerationMeasurement consideration33Misusage and threaten factors for correlation coefficientConclusion of causal effectsRestricting or Irrelevant range of variablesUnderestimation due to limited variance of variableSpurious correlationCorrelation due to common causeInfluences of Nuisance vari

20、ablesConfounding effects due to the third variablesSuppressor variable: Irrelevant variance can be SuppressedSkewness to normalityInfluences of extreme scoresPoor measurement attributesLow reliabilityPoor validityIrrelevant criterion variablesViolation of assumption of linear relationshipMisuse of n

21、on-continuous variables34線(xiàn)性關(guān)係分析：路徑分析Path Analysis35路徑分析基本原理一種用以探討多重變項(xiàng)之間因果結(jié)構(gòu)模式的統(tǒng)計(jì)技術(shù) 最初由遺傳學(xué)家Wright於1921年所提出，至1960年代才廣泛受到重視 路徑分析由一系列的迴歸分析所組成，除了借用迴歸方程式的原理，並透過(guò)假設(shè)性的架構(gòu)，將不同的方程式加以組合，形成結(jié)構(gòu)化的模式 36路徑分析的基本概念結(jié)構(gòu)方程式（structural equation）構(gòu)成路徑模型的數(shù)學(xué)方程式，外衍與內(nèi)衍變項(xiàng)之間的關(guān)係係數(shù)bi，稱(chēng)為路徑係數(shù)（path coefficient）。 外衍變項(xiàng)(exogenous variable)

22、模型中作為影響或解釋其他變項(xiàng)的變異量的變項(xiàng)。其變異量由不屬於路徑模型的其他變項(xiàng)所決定。 內(nèi)衍變項(xiàng)(endogenous variable)模型中被他人所影響或解釋的變項(xiàng)。其變異量由外衍變項(xiàng)及殘差（干擾）變異量?jī)刹糠?。干擾變異(disturbances) 內(nèi)衍變項(xiàng)無(wú)法被外衍變項(xiàng)解釋的部分37中介作用（Mediation）Mediation（indirect effect）Occur when the causal effect of an independent variable(X) on a dependent variable (Y) is TRANSMITTED by a mediato

23、r (M).Mediator accounts for the relationship b/w two other variables (Baron & Kenny, 1986)sab is given by Aroian (1944), Mood, Graybill, & Boes (1974), Sobel(1982)38故事一：多拉A夢(mèng)追星族39誰(shuí)是多啦A夢(mèng)的粉絲族？性別喜歡小叮噹的程度年齡成績(jī)童心Y=b1X1+b2X2+b3X3+b4X4+a40任意門(mén)的鑰匙*範(fàn)例一.Data list free /id like gender age gpa child.Begin data.1 8

24、 0 30 1 102 7 0 24 3 93 5 1 39 2 44 5 1 25 2 65 8 1 19 3 96 1 0 45 2 17 2 1 35 2 58 9 0 30 1 10End data.Variable labels like 喜歡程度 gender 性別 age 年齡 gpa 成績(jī)表現(xiàn) child 童心.Value labels gender 0 女 1 男 /gpa 1 前段 2 中段 3 後段.desc var=all.Correlation variables like gender age gpa child.REGRESSION /DEPENDENT like

25、 /METHOD=ENTER gender age gpa child .Exe.41誰(shuí)是多啦A夢(mèng)的粉絲族？42誰(shuí)是多啦A夢(mèng)的粉絲族？43This is a Regression Model性別年齡成績(jī)童心喜歡小叮噹.022.064.000.982這是最好的模型嗎？44誰(shuí)是多啦A夢(mèng)的粉絲族？這樣可以嗎？性別年齡成績(jī)童心喜歡小叮噹.022.064.000.982-.388-.983-.27745誰(shuí)是多啦A夢(mèng)的粉絲族？這是我們的最終解答嗎？還有什麼別的嗎？性別年齡成績(jī)童心喜歡小叮噹.982-.388-.983-.27746中介效果的成立與檢定年齡童心喜歡小叮噹.926*-.788*中介效果基本條件

26、(Judd & Kenny, 1981; Baron & Kenny, 1986; Muller, Judd, & Yzerbyt, 2005)C1: XY significant (-.714)C2: X Me significant (-.788)C3: Me Y significant (.926)C4: Add a Me, X Y non-sigificant (-.714 .043)-.714* .043.959*間接效果=-.788(-.959)=-.76-.714-.043=-.76=(-.788)*(-.959)47誰(shuí)是多啦A夢(mèng)的粉絲族？這個(gè)怎麼樣？EstimateS.E.C.R.P標(biāo)準(zhǔn)化CHILD-GENDER-1.700.834-2.037.042-.28CHILD-AGE-.379.053-7.164*-.98CHILD-GPA-1.687.628-2.688.007-.39LIKE-CHILD.825.1276.482*.9348路徑分析的程序建立假設(shè)模型變項(xiàng)的選擇變項(xiàng)關(guān)係的決定模型的安排參數(shù)估計(jì)迴歸係數(shù)與R2的估計(jì)計(jì)算殘差變異數(shù)估計(jì)各種效果直接、間接與整體效果模型衍生相關(guān)的計(jì)算與運(yùn)用擬似相