衛(wèi)生統(tǒng)計學第24章 多元線性回歸與相關課件

第24章多元線性回歸與相關衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關一、建立回歸方程多元線性回歸方程b1,b2…bk:為偏回歸系數(shù)partialregressioncoefficient。表示在其他自變量固定的條件下，xi

改變一個單位時應變量的改變量采用最小二乘法計算偏回歸系數(shù)見P310,例24-1衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關二、回歸方程的假設檢驗H0：各總體偏回歸系數(shù)均為0H1：各總體偏回歸系數(shù)不等于0或不全為0F>F0.05，則多元回歸有統(tǒng)計學意義衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關三、標準化偏回歸系數(shù)由于自變量單位不同，不能用偏回歸系數(shù)的大小來說明各變量的重要性。需進行標準化變換，再用上述的方法計算多元回歸方程的回歸系數(shù)，即為標準偏回歸系數(shù)即每一個變量值都減去該變量的平均數(shù)后再除以該變量的標準差（Z變換）所得的商就稱為標準化量。用標準化量計算得到偏回歸系數(shù)，沒有單位，其絕對值大小在一定程度上反映了各自變量的重要性。衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關四、偏回歸系數(shù)的統(tǒng)計意義檢驗不僅要對整個回歸方程進行統(tǒng)計意義檢驗還需對每個自變量的作用，即偏回歸系數(shù)作統(tǒng)計意義檢驗x1的偏回歸平方和：是該回歸方程中由于除去變量x1后回歸平方和的減少量衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關以P310例題為例，采用SPSS進行分析數(shù)據(jù)庫見：multiplelinearregressionAnalyze→regression→linearDependent框：yIndependent框：x1、x2、x3Method:選擇系統(tǒng)默認的enter(強制納入回歸模型)OK衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關五、復相關系數(shù)和偏相關系數(shù)1、復相關系數(shù)multiplecorrelationcoefficient：表明多個變量間的相關程度衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關SPSS計算復相關系數(shù)采用典型相關分析：是研究兩組變量之間相關關系的一種多元統(tǒng)計分析方法。常有兩方法，其一為：采用類似于主成分分析的方法，在每一組變量中都選擇若干個有代表性的綜合指標（變量的線性組合），通過研究兩組綜合指標之間的關系來反映兩組變量之間的相關關系。怎樣尋找綜合指標，使它們之間具有最大的相關性，這就是典型（則）相關canonicalcorrelation衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關當兩個變量組均只有一個變量時，典型相關系數(shù)即簡單相關系數(shù)，當一組變量只有一個變量時，典型相關系數(shù)即為復相關系數(shù)。SPSS可采用Manova過程來擬合，或采用專門提供的宏程序來擬合（使用非常簡單，結果又非常詳細，故常用后一種方法）衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關Include’SPSS所在路徑\canonicalcorrelation.sps’.Cancorrset1=第一組變量列表

/set2=第二組變量列表.Runall即可衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關CorrelationsforSet-1yy1.0000CorrelationsforSet-2x1x2x3x11.0000.1718.6409x2.17181.0000.4522x3.6409.45221.0000CorrelationsBetweenSet-1andSet-2x1x2x3y.6945.5864.7288衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關CanonicalCorrelations1.859Testthatremainingcorrelationsarezero:Wilk'sChi-SQDFSig.1.2638.6923.000.034StandardizedCanonicalCoefficientsforSet-11y1.000RawCanonicalCoefficientsforSet-11y.002StandardizedCanonicalCoefficientsforSet-21x1.541x2.456x3.296衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關RawCanonicalCoefficientsforSet-21x1.163x2.101x3.272CanonicalLoadingsforSet-11y1.000CrossLoadingsforSet-11y.859CanonicalLoadingsforSet-21x1.809x2.683x3.849CrossLoadingsforSet-21x1.695x2.586x3.729衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關RedundancyAnalysis:ProportionofVarianceofSet-1ExplainedbyItsOwnCan.Var.PropVarCV1-11.000ProportionofVarianceofSet-1ExplainedbyOppositeCan.Var.PropVarCV2-1.737ProportionofVarianceofSet-2ExplainedbyItsOwnCan.Var.PropVarCV2-1.614ProportionofVarianceofSet-2ExplainedbyOppositeCan.Var.PropVarCV1-1.452------ENDMATRIX-----衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關2、偏相關系數(shù)：固定其他變量，分析某兩個變量間的相關關系偏相關系數(shù)有效的條件：原始數(shù)據(jù)必須是多元正態(tài)分布數(shù)據(jù)的取得必須都是隨機的不分自變量和應變量衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關SPSS實現(xiàn)偏相關分析Analyze→correlate→partialVariables框：x1x2Controllingfor框：x3Options:選中zeroordercorrelation:continueOK衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關六、逐步回歸

stepwiseregressionanalysis多元回歸分析中，較理想的回歸方程，應包括所有對應變量作用有統(tǒng)計意義的自變量，而不包括作用無統(tǒng)計意義的自變量衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關逐步回歸分析的基本原理按每個變量在方程中對應變量作用的大小，由大到小依次引入回歸方程。具體作法：每引入一個自變量都要對回歸方程中每一個已引入的自變量的作用作統(tǒng)計意義檢驗，當發(fā)現(xiàn)一個或幾個已被引入的自變量的作用無統(tǒng)計意義時，即行剔除。每剔除一個自變量后，也要對仍留在回歸方程中的自變量逐個作統(tǒng)計意義檢驗。如果發(fā)現(xiàn)方程中還存在作用無統(tǒng)計意義的自變量時，也就剔除，直到?jīng)]有變是可引入，也無剔除時為止衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關七、SPSS中的逐步回歸方法1、Enter:所有納入自變量框的自變量均進入模型，不涉及變量的篩選問題，為默認選項2、Forward前進法：分別對k個自變量擬合它與應變量的簡單線性模型，將P值最小的引入模型，若均無意義停止。第二步，在已引入模型的基礎上，再分別擬合k-1個線性回歸模型（分別包含已引入變量和其他變量），再取P值最小者，若均無統(tǒng)計意義則停止，反之。重復以上步驟，直到模型外的自變量均無統(tǒng)計學意義為止衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關3、Backward后退法：先擬合包含k個變量的模型，將其中P值最大者剔出模型，若所有自變量P值均有統(tǒng)計意義，則停止。反之重復以上步驟。4、Stepwise逐步法：將上述兩種方法結合應用。前兩步同前進法，第三步，考察第一步引入模型的自變量是否仍有意義，無統(tǒng)計意義，則剔除。擬合包含第二步引入模型的自變量與除第一步引入的自變量外的k-2個自變量的模型，將其中最小P值者引入，若均無統(tǒng)計意義，則停止。若第一步引的自變量有意義，則進行第四步，在前兩個變量的基礎上，引入k-2個模型，如此反復衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關5、Remove移去：規(guī)定為Remove的自變量被強制剔除出模型。但SPSS會給出如果將其引入模型的參數(shù)估計及檢驗結果衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關八、補充說明1、統(tǒng)計學意義，以options控鈕中的entry、removal選項所規(guī)定的P值為準，SPSS默認分別為0.05和0.10。實際中，剔除的P值應大于或等于引入的P值，否則為死循環(huán)2、自變量組合不同，偏回歸系數(shù)的檢驗結果不同，有可能出現(xiàn)有些自變量在前幾步中引入模型，而在后面的運算中被剔除衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關3、前進、后退、逐步法的側重點不同。當自變量間不存在簡單線性相關時，三種方法計算結果一致。當自變量間存在一定的簡單線性相關時：前進法側重于向模型中引入單獨作用較強的變量后退法側重于向模型中引入聯(lián)合作用較強的變量逐步法介于兩者之間衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關4、對于不同的自變量納入方法，在SPSS中可通過“NEXT”按鈕將其分為不同的“Block”，決定其進入模型的方式，同一Block中的自變量進入模型的方式相同衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關九、強影響點識別與處理1、強影響點：指對多重線性回歸模型參數(shù)估計有很強影響的數(shù)據(jù)點2、標準化殘差大于3時幾乎可以肯定該條記錄為強影響點3、強影響點統(tǒng)計量：除殘差外，SPSS中還可通過Save子對話框中的Influencestatistics復選框提供，5種，標準參與P112說明衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關4、檢測到數(shù)據(jù)中有強影響點時，可通過以下途徑解決：1）首先，考慮該條記錄在數(shù)據(jù)記錄、錄入時是否有錯誤，如果是，應改正。查不到原始記錄不能修正者，應將該條記錄刪除2）考慮該記錄是否與數(shù)據(jù)庫中的其他記錄分屬于不同亞群，若是則應刪除3）以上兩條不滿足是，不宜武斷刪除，應再審散點圖矩陣，考慮擬合其他形式的模型予以修正衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關4）進行穩(wěn)健回歸Robustregression:如加權最小二乘法，以普通多元線性模型的殘差為加權變量，進行加權最小二乘法回歸分析5）實際情況允許可考慮增加樣本量6）進行非參數(shù)回歸衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關十、多重共線性識別與處理多重共線性：是指自變量間存在線性相關，即一個自變量可用其他一個或幾個自變量的線性表達式進行表示。導致偏回歸系數(shù)存在無窮多個解或無解，出現(xiàn)偏回歸系數(shù)難以有合乎專業(yè)知識的解釋衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關多重共線性主要有以下幾種類型表現(xiàn)：1）整個模型的方差分析檢驗結果這P<α，但各自變量的偏回歸系數(shù)的統(tǒng)計檢驗結果卻P>α2)專業(yè)上認為應該有統(tǒng)計學意義的自變量檢驗結果卻無統(tǒng)計意義3）自變量的偏回歸系數(shù)取值大小甚至符號明顯與實際情況相違背，難以解釋4）增加或刪除一個自變量或一條記錄，自變量偏回歸系數(shù)發(fā)生較大變化衛(wèi)生統(tǒng)計學第24章多元線性回歸與相關多重共線性識別通過statistics子對話框中的collinearitydiagnostics復選框實現(xiàn)，提供以下統(tǒng)計量1）容忍度