社會統(tǒng)計分析方法（第二版） 課件 第二章 多元線性回歸

第二章多元線性回歸多元線性回歸（ｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎ）是分析一個隨機變量與多個變量之間線性關系的最常用的統(tǒng)計方法。實際工作中，常常希望知道所關心的事物受哪些因素的影響，比如銷售量與價格和廣告費的關系、農(nóng)業(yè)產(chǎn)量與原料和氣候的關系、生育水平與教育水平和經(jīng)濟水平的關系、物價與失業(yè)率的關系、收入與受教育程度和年齡的關系等等。多元線性回歸用觀察數(shù)據(jù)擬合所關注的變量和影響它變化的變量之間的線性關系式，檢驗影響變量的顯著程度和比較它們的作用大小，進而用兩個或多個變量的變化解釋和預測另一個變量的變化。概括地說，回歸分析要解決三個方面的主要任務。第一，依據(jù)研究理論和經(jīng)驗建立關于因變量與一個或多個自變量之間關系的回歸方程，并且根據(jù)數(shù)據(jù)樣本擬合來求解這個回歸方程的各項回歸系數(shù)值。這些回歸系數(shù)值便反映了各自變量對因變量影響作用的方向和幅度。應用ＳＰＳＳ的回歸程序可以非常便利地求解這些回歸系數(shù)，保證得出一套最佳的回歸系數(shù)解。第二，評價這一回歸方程對實際數(shù)據(jù)的擬合程度?；貧w分析保證取得“最佳”系數(shù)的意思只是說，這套系數(shù)對實際數(shù)據(jù)的擬合程度肯定比任何其他的解都要相對更好，但是我們還需要進一步了解采用這套系數(shù)的回歸方程的擬合程度到底有多好。一般用回歸方程對因變量變化解釋的百分比來描述擬合程度，百分比越高就表示擬合程度越好。第三，在樣本回歸分析的基礎上進行總體推斷性統(tǒng)計。前兩個任務還是在數(shù)據(jù)樣本之內(nèi)對回歸方程的分析，但是社會科學的統(tǒng)計研究往往是通過樣本分析來推斷總體。所以，研究者需要對樣本回歸分析指標進行統(tǒng)計顯著性檢驗，看看這些結(jié)果是否能推廣到總體的情況。本章后面將大體按照這三方面的順序來介紹回歸分析。一、變量的關系和回歸的任務二、簡單線性回歸模型我們從簡單的情況開始，先來看含有一個自變量的線性回歸問題。一個自變量的回歸稱為簡單回歸或一元回歸。統(tǒng)計分析經(jīng)常是先對總體中隨機抽樣得到的樣本數(shù)據(jù)進行分析，然后再對總體進行推斷。在抽樣原理統(tǒng)計教科書中，總體的各種指標稱為參數(shù)，樣本的各種指標稱為統(tǒng)計。因此，在后面的統(tǒng)計表述中經(jīng)常需要分清總體參數(shù)和樣本統(tǒng)計量。在很多情況下，兩者相互對應，所以為了簡明，本章采用許多教科書的做法，在一般情況下將總體參數(shù)用大寫符號標注，將樣本統(tǒng)計量用小寫符號標注。（一）簡單線性回歸方程（二）簡單回歸系數(shù)的意義在回歸模型式中，犪和犫稱為回歸直線的系數(shù)。犪是直線在狔軸上的截距，代表狔的基礎水平；犫是直線的斜率，它表示狓變化一個單位時，狔的平均變化。（三）變量變換當因變量狔與自變量狓是非線性關系時，可以通過變量變換使經(jīng)過變換的新變量對于參數(shù)是線性的。spss回歸程序可以檢查變量之間是不是有線性關系，如果是非線性關系，還可以應用spss曲線回歸來探測具體是哪一種非線性關系。我們將在后面進行介紹。這里，我們僅用一個簡單例子介紹如何對自變量進行非線性變換，以使線性回歸能更好地擬合數(shù)據(jù)。（四）最小二乘估計的統(tǒng)計性質(zhì)最小二乘估計在求解回歸方程模型時是最常用的估計方法。通過最小二乘法得到的回歸方程估計，有很好的統(tǒng)計性質(zhì)。（五）模型的假定條件統(tǒng)計理論已經(jīng)證明，在滿足一定的假定先決條件下，樣本數(shù)據(jù)的最小二乘估計是總體參數(shù)的最佳線性無偏估計。這是因為在推斷總體參數(shù)或進行統(tǒng)計檢驗時，必須考慮總體回歸模型中的隨機誤差項ε的分布特征。因此，對隨機誤差項ε提出若干基本假定條件。三、多元線性回歸模型在本節(jié)中，我們要將簡單回歸推廣到多元回歸。在具體介紹有關分析之前需要說明，以上討論的所有簡單回歸的假定條件都適用于多元線性回歸。（一）多元線性回歸方程（二）回歸平面和回歸系數(shù)的意義（三）一般回歸模型乘法模型指數(shù)模型1指數(shù)模型2多項式模型（四）多元回歸模型估計的統(tǒng)計推斷四、方程的擬合程度（一）確定系數(shù)R^2（二）調(diào)整的確定系數(shù)R^2（三）多元相關系數(shù)R（四）偏確定系數(shù)（五）偏相關系數(shù)五、回歸方程的統(tǒng)計檢驗和回歸系數(shù)的推斷統(tǒng)計在一般情況下，我們是通過抽樣樣本觀測數(shù)據(jù)來推斷總體的情況。因此，樣本中計算的各統(tǒng)計量都服從一定的抽樣誤差。檢驗樣本回歸方程各統(tǒng)計量，就是為了根據(jù)樣本統(tǒng)計量來判斷總體各參數(shù)的情況。（一）整個回歸方程的顯著性檢驗對整個回歸方程的統(tǒng)計檢驗也是通過方差分析完成的。將因變量y的總的離差平方和分解為兩個部分：一部分是可以由回歸方程解釋的部分，稱之為回歸平方和；另一部分則是不能由回歸方程解釋的部分，稱之為殘差平方和。然后，用殘差平方和代表隨機波動，來評價回歸方程的解釋能力是否具有統(tǒng)計顯著性。（二）偏確定系數(shù)的統(tǒng)計檢驗偏確定系數(shù)描述的是，在控制前一步回歸中其他變量的條件下，新納入一個或一組自變量的新增解釋能力。偏確定系數(shù)也是一個百分比，只不過它只涉及前一步回歸沒能解釋的因變量變化。（三）各自變量回歸系數(shù)的顯著性檢驗當回歸方程整體檢驗具有統(tǒng)計顯著性時，一般可以表明回歸方程中至少有一個自變量的回歸系數(shù)是顯著的，但并不一定所有自變量的回歸系數(shù)都是顯著的。（四）回歸系數(shù)的置信區(qū)間（五）回歸系數(shù)不顯著的原因（１）樣本量太小，或者自變量個數(shù)較多（２）x(j)的變化范圍太小（３）x(j)與方程中的其他自變量線性相關（４）y與x(j)雖然有關聯(lián)，但卻是非線性關系（５）y與x(j)確實不存在顯著的線性關系六、標準化回歸系數(shù)因為變量的標準化過程中都要除以該變量的標準差，這不僅會改變變量的數(shù)值，而且約分掉了原變量的實際測量單位，所以z變量是無量綱變量，即脫離了任何實際測量單位的純統(tǒng)計量。于是，標準化變量的回歸系數(shù)β稱為標準化回歸系數(shù),它表示當其他變量不變時，x變化１個標準差單位，y的標準差的平均變化。七、多元統(tǒng)計控制對回歸系數(shù)的影響采用多元回歸最重要的優(yōu)越性就是可以將對因變量有重要影響的自變量同時納入分析，在控制其他模型自變量的條件下一一求解對應自變量的偏回歸系數(shù)。因此，偏回歸系數(shù)表達了對應自變量相對“獨立”的影響作用，將更為接近真實情況的反應。盡管研究者可能并不清楚還有哪些重要影響變量，但是多元回歸在方法論層次更為優(yōu)越，提供了研究者進行深入探索和檢驗的工具。八、回歸預測的區(qū)間估計九、回歸診斷前面我們已經(jīng)討論過回歸模型的正確估計和推斷必須依賴于一定的假定條件，如果我們的數(shù)據(jù)及變量分布不滿足這些假定條件，用回歸方法獲得的結(jié)果可能會有誤導性。本節(jié)將討論一些回歸診斷的方法，以檢驗我們的數(shù)據(jù)是否滿足線性回歸的假定條件。此外，還有一些問題并不直接涉及回歸的假定條件，但是對回歸結(jié)果的影響也很大，因此在進行回歸分析時也要多加注意，比如案例的權(quán)勢影響和自變量之間的共線性問題。在回歸分析中對這類問題的檢查稱為診斷。十、最優(yōu)回歸方程的選擇（１）全部納入法（２）全部刪除法（３）向前回歸法（４）向后回歸法（５）逐步回歸法上述五種方式可結(jié)合運用。十一、標識變量在回歸分析中的應用在社會科學研究中，有許多分類變量，比如地區(qū)、時期、公司、民族、性別、婚姻狀況、教育程度、職業(yè)和居住地等分類。這些分類信息對于研究同樣是很重要的。雖然分類變量不能直接用于回歸分析，但是通過將分類變量轉(zhuǎn)換為按特定規(guī)則賦值的一套編碼變量后，便可以將其作為自變量納入多元線性回歸模型，用以解釋因變量的變化。并且，這種編碼變量可以承載原分類變量的所有信息，將其引入回歸方程后，所得到的回歸結(jié)果也具有明確的意義解釋。這類特殊編碼變量在統(tǒng)計分析中通常稱為標識。（一）虛擬變量的建立與應用分析１．建立虛擬變量的規(guī)則２．用單純虛擬變量的回歸模型來分析簡單類別差異３．用虛擬變量和間距變量的回歸模型分析經(jīng)統(tǒng)計調(diào)整的類別差異４．用虛擬變量、間距變量及其交互變量的回歸模型分析類別的水平差異和斜率差異（二）效應變量的建立與應用分析１．建立效應變量的規(guī)則２．用單純效應變量的回歸模型來分析簡單類別差異３．用效應變量和間距變量的回歸模型分析經(jīng)統(tǒng)計調(diào)整的類別差異基本概念基本假定回歸方程截距回歸系數(shù)最小二乘估計確定系數(shù)偏確定系數(shù)整體檢驗偏回歸系數(shù)檢驗標準化回歸系數(shù)特定樣本性質(zhì)統(tǒng)計控制回歸診斷異常值杠桿值權(quán)勢影響偏回歸散點圖殘差正態(tài)性均方差性多元共線性誤差獨立性非線性關系虛擬編碼參照類效應編碼大平均數(shù)方差分析協(xié)方差分析自變量交互作用本章要點１．多元回歸分析的功能是描述和預測多個自變量對一個因變量發(fā)生影響作用的數(shù)量關系。２．多元回歸分析的因變量必須為間距測度等級，其他自變量則必須為間距測度等級或特定的標識編碼形式。３．在多元回歸中，確定系數(shù)表示所有自變量對于因變量的解釋能力。在社會科學研究中，多元回歸確定系數(shù)一般不是很高，因此這一方法多用來進行分析和檢驗，較少用于預測。４．偏回歸系數(shù)表示在控制其他自變量的條件下，某一自變量與因變量之間在變量實際測量單位基礎上的數(shù)量關系，表示自變量每增加１個單位量所造成因變量的變化量。５．標準化偏回歸系數(shù)為某一自變量對因變量的純統(tǒng)計聯(lián)系，不受變量實際測量單位的影響，因此可以用來比較各自變量對因變量相對作用大小。參