北大光華金融碩士統(tǒng)計學考研講義-多元回歸分析

1、新祥旭北京大學光華考研v 統(tǒng)計學考研輔導班講義多元線性回歸模型多元線性回歸模型 v多元線性回歸模型多元線性回歸模型 v多元線性回歸模型的參數(shù)估計多元線性回歸模型的參數(shù)估計v多元線性回歸模型的假設檢驗多元線性回歸模型的假設檢驗v實例實例1 1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式一般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱

2、為回歸參數(shù)回歸參數(shù)（regression coefficient）。一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式一般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)回歸參數(shù)（regression coefficient）。ikikiiiXXXY 22110總體回歸函數(shù)總體回歸函數(shù)為為:kikiikiiiiXXXXXXYE 2211021),|(總體回歸函數(shù)總體回歸函數(shù)的的隨機表達形式為隨機表達形式為可以看到是對應于一元線形回歸模型的，是一元線性回歸模型的可以看到

3、是對應于一元線形回歸模型的，是一元線性回歸模型的自然引申與擴展！自然引申與擴展！ j也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。kikiiiiXXXY22110其其隨機表示式隨機表示式: : ikikiiiieXXXY22110 ei稱為殘差殘差或剩余項剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項 i的近似替代。 用于估計總體回歸函數(shù)的樣本回歸函數(shù)是用于估計總體回歸函數(shù)的樣本回歸函數(shù)是二、多元線性回歸模型的基本假定二、多元線性回

4、歸模型的基本假定 假設1，解釋變量是非隨機的或固定的，且各X之間互不相關（無多重共線性）。 假設2，隨機誤差項具有零均值、同方差及不序列相關性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1, 假設3，解釋變量與隨機項不相關 0),(ijiXCovkj,2 , 1 假設4，隨機項滿足正態(tài)分布 ), 0(2Ni2 2 多元線性回歸模型的估計多元線性回歸模型的估計 一、普通最小二乘估計一、普通最小二乘估計 二、參數(shù)估計量的性質(zhì)二、參數(shù)估計量的性質(zhì) 三、樣本容量問題三、樣本容量問題 四、估計實例四、估計實例 說說 明明估計方法：估計方法：OLS（普通最小二乘法

5、）（普通最小二乘法）一、普通最小二乘估計一、普通最小二乘估計v對于隨機抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有： KikiiiiXXXY22110i=1,2n 根據(jù)最最小二乘原小二乘原理理，參數(shù)估計值應該是右列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXY 于是得到關于待估參數(shù)估計值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102

6、222110112211022110 解該（k+1） 個方程組成的線性代數(shù)方程組，即可得到(k+1) 個待估參數(shù)的估計值$, , ,jj 012 。k隨機誤差項隨機誤差項 的方差的方差 的無偏估計的無偏估計 可以證明，隨機誤差項的方差的無偏估計量為： 二、參數(shù)估計量的性質(zhì)二、參數(shù)估計量的性質(zhì) 在滿足基本假設的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計具有： 線性性線性性、無偏性無偏性、有效性有效性。-也就是滿足高斯-馬爾柯夫定理 三、樣本容量問題三、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣

7、本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）的數(shù)目（包括常數(shù)項）,即 n k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度從統(tǒng)計檢驗的角度：n-k8時, t分布較為穩(wěn)定 一般經(jīng)驗認為一般經(jīng)驗認為: 當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明論上的證明3 3 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗二、方程的顯著性檢驗(F

8、(F檢驗檢驗) ) 三、變量的顯著性檢驗（三、變量的顯著性檢驗（t t檢驗）檢驗） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗1、判定系數(shù)與調(diào)整的判定系數(shù)、判定系數(shù)與調(diào)整的判定系數(shù)則2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總離差平方和的分解總離差平方和的分解由于: )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有： ESSRSSYYYYTSSiii22)()(注意：注意：一個有趣的現(xiàn)象一個有趣的現(xiàn)象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii 判定系數(shù)判定系數(shù)

9、TSSRSSTSSESSR12該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：問題：在應用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量， R2往往增大（Why?) 這就給人一個錯覺一個錯覺：要使得模型擬合得好，要使得模型擬合得好，只要增加解釋變量即可只要增加解釋變量即可。 但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關，R2需調(diào)整需調(diào)整。 調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平將殘差平方和與總離差平方和分別除以各自的自由度，

10、以方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響剔除變量個數(shù)對擬合優(yōu)度的影響:) 1/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) ) 方程的顯著性檢驗，旨在對模型中被解釋變方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系量與解釋變量之間的線性關系在總體上在總體上是否顯著是否顯著成立作出推斷。成立作出推斷。 1、方程顯著性的、方程顯著性的F檢驗檢驗 即檢驗模型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否

11、顯著不為0。 可提出如下原假設與備擇假設： H0： 0=1=2= =k=0 H1： j不全為0 F F檢驗的思想檢驗的思想來自于總離差平方和的分解式： TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對被解釋變量Y的線性作用的結(jié)果，考慮比值 22/iieyRSSESS 如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。 因此因此, ,可通過該比值的大小對總體線性關系可通過該比值的大小對總體線性關系進行推斷進行推斷。 根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設H0成立的條件下，統(tǒng)計量 （注：這里的k是在回歸元的個數(shù)而不是變量的個數(shù)，要

12、注意k的具體含義）) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布。 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設H0，以判定原方程總體上總體上的線性關系是否顯著成立。 對于中國居民人均消費支出的例子： 一元模型：F=285.92 二元模型：F=2057.3給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,19)=3.52顯然有 F F(k,n-k-1) ，即二個模型的線性關系在5%的顯著性水平下顯著成立。

13、2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論關系的討論 由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可推出：kFknnR1112與或) 1/()1 (/22knRkRF 注：課本上是F與R2的關系，因為判定系數(shù)和校正的判定系數(shù)之間的關系，所以此三者的關系的推導是很顯然的。三、變量的顯著性檢驗（三、變量的顯著性檢驗（t t檢驗）檢驗）v 方程的總體線性總體線性關系顯著 每個解釋變量每個解釋變量對被解釋變量的影響都是顯著的。v 因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。v 這一檢驗是由對變量的這

14、一檢驗是由對變量的 t 檢驗完成的。檢驗完成的。 1、t統(tǒng)計量統(tǒng)計量 ),(2iiiicN因此，可構(gòu)造如下t統(tǒng)計量 2、t檢驗檢驗 設計原假設與備擇假設： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設H0，從而判定對應的解釋變判定對應的解釋變量是否應包括在模型中。量是否應包括在模型中。 H0：i=0 （i=1,2k） 注意：注意：一元線性回歸中，一元線性回歸中，t t檢驗與檢驗與F F檢驗一致檢驗一致 （不過多元的就沒那么簡單的關系了?。?一方面一方面，t檢驗與F檢驗都是對相同的原假設H0： 1=0=0 進行檢驗; 另一方面另一方面，兩個統(tǒng)計量之間有如下關系： 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一次抽樣中所在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多估計的參數(shù)值離參數(shù)的真實值有多“近近”。 在變量的顯著性檢驗中已經(jīng)知道：在變量的顯著性檢驗中已經(jīng)知道：容易推出容易推出：在(1-)的置信水平下i的置信區(qū)間是 ($,$)$iitstsii22