北大光華金融碩士統(tǒng)計(jì)學(xué)考研講義-多元回歸分析

1、新祥旭北京大學(xué)光華考研v 統(tǒng)計(jì)學(xué)考研輔導(dǎo)班講義多元線性回歸模型多元線性回歸模型 v多元線性回歸模型多元線性回歸模型 v多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的參數(shù)估計(jì)v多元線性回歸模型的假設(shè)檢驗(yàn)多元線性回歸模型的假設(shè)檢驗(yàn)v實(shí)例實(shí)例1 1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式一般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱

2、為回歸參數(shù)回歸參數(shù)（regression coefficient）。一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式一般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)回歸參數(shù)（regression coefficient）。ikikiiiXXXY 22110總體回歸函數(shù)總體回歸函數(shù)為為:kikiikiiiiXXXXXXYE 2211021),|(總體回歸函數(shù)總體回歸函數(shù)的的隨機(jī)表達(dá)形式為隨機(jī)表達(dá)形式為可以看到是對(duì)應(yīng)于一元線形回歸模型的，是一元線性回歸模型的可以看到

3、是對(duì)應(yīng)于一元線形回歸模型的，是一元線性回歸模型的自然引申與擴(kuò)展！自然引申與擴(kuò)展！ j也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。kikiiiiXXXY22110其其隨機(jī)表示式隨機(jī)表示式: : ikikiiiieXXXY22110 ei稱為殘差殘差或剩余項(xiàng)剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng) i的近似替代。 用于估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)是用于估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)是二、多元線性回歸模型的基本假定二、多元線性回

4、歸模型的基本假定 假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1, 假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān) 0),(ijiXCovkj,2 , 1 假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布 ), 0(2Ni2 2 多元線性回歸模型的估計(jì)多元線性回歸模型的估計(jì) 一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) 二、參數(shù)估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的性質(zhì) 三、樣本容量問題三、樣本容量問題 四、估計(jì)實(shí)例四、估計(jì)實(shí)例 說說 明明估計(jì)方法：估計(jì)方法：OLS（普通最小二乘法

5、）（普通最小二乘法）一、普通最小二乘估計(jì)一、普通最小二乘估計(jì)v對(duì)于隨機(jī)抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： KikiiiiXXXY22110i=1,2n 根據(jù)最最小二乘原小二乘原理理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXY 于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102

6、222110112211022110 解該（k+1） 個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1) 個(gè)待估參數(shù)的估計(jì)值$, , ,jj 012 。k隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的方差 的無偏估計(jì)的無偏估計(jì) 可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為： 二、參數(shù)估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì)具有： 線性性線性性、無偏性無偏性、有效性有效性。-也就是滿足高斯-馬爾柯夫定理 三、樣本容量問題三、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣

7、本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度從統(tǒng)計(jì)檢驗(yàn)的角度：n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明論上的證明3 3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F

8、(F檢驗(yàn)檢驗(yàn)) ) 三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)1、判定系數(shù)與調(diào)整的判定系數(shù)、判定系數(shù)與調(diào)整的判定系數(shù)則2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總離差平方和的分解總離差平方和的分解由于: )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有： ESSRSSYYYYTSSiii22)()(注意：注意：一個(gè)有趣的現(xiàn)象一個(gè)有趣的現(xiàn)象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii 判定系數(shù)判定系數(shù)

9、TSSRSSTSSESSR12該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問題：問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大（Why?) 這就給人一個(gè)錯(cuò)覺一個(gè)錯(cuò)覺：要使得模型擬合得好，要使得模型擬合得好，只要增加解釋變量即可只要增加解釋變量即可。 但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整需調(diào)整。 調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平將殘差平方和與總離差平方和分別除以各自的自由度，

10、以方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:) 1/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F(F檢驗(yàn)檢驗(yàn)) ) 方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系量與解釋變量之間的線性關(guān)系在總體上在總體上是否顯著是否顯著成立作出推斷。成立作出推斷。 1、方程顯著性的、方程顯著性的F檢驗(yàn)檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否

11、顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0 F F檢驗(yàn)的思想檢驗(yàn)的思想來自于總離差平方和的分解式： TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對(duì)被解釋變量Y的線性作用的結(jié)果，考慮比值 22/iieyRSSESS 如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此因此, ,可通過該比值的大小對(duì)總體線性關(guān)系可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷進(jìn)行推斷。 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 （注：這里的k是在回歸元的個(gè)數(shù)而不是變量的個(gè)數(shù)，要

12、注意k的具體含義）) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布。 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上總體上的線性關(guān)系是否顯著成立。 對(duì)于中國居民人均消費(fèi)支出的例子： 一元模型：F=285.92 二元模型：F=2057.3給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,19)=3.52顯然有 F F(k,n-k-1) ，即二個(gè)模型的線性關(guān)系在5%的顯著性水平下顯著成立。

13、2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論關(guān)系的討論 由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可推出：kFknnR1112與或) 1/()1 (/22knRkRF 注：課本上是F與R2的關(guān)系，因?yàn)榕卸ㄏ禂?shù)和校正的判定系數(shù)之間的關(guān)系，所以此三者的關(guān)系的推導(dǎo)是很顯然的。三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)）v 方程的總體線性總體線性關(guān)系顯著 每個(gè)解釋變量每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。v 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。v 這一檢驗(yàn)是由對(duì)變量的這

14、一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。檢驗(yàn)完成的。 1、t統(tǒng)計(jì)量統(tǒng)計(jì)量 ),(2iiiicN因此，可構(gòu)造如下t統(tǒng)計(jì)量 2、t檢驗(yàn)檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 注意：注意：一元線性回歸中，一元線性回歸中，t t檢驗(yàn)與檢驗(yàn)與F F檢驗(yàn)一致檢驗(yàn)一致 （不過多元的就沒那么簡單的關(guān)系了！） 一方面一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0： 1=0=0 進(jìn)行檢驗(yàn); 另一方面另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一次抽樣中所在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道：在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出容易推出：在(1-)的置信水平下i的置信區(qū)間是 ($,$)$iitstsii22