多元線性回歸模型(5)課件

1、多元線性回歸模型(5)課件第八章第八章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型多元線性回歸模型 多元線性回歸模型多元線性回歸模型 多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的參數(shù)估計(jì) 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型(5)課件3.1 3.1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 多元線性回歸模型(5)課件一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式一

2、般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)回歸參數(shù)（regression coefficient）。多元線性回歸模型(5)課件ikikiiiXXXY 22110也被稱為也被稱為總體回歸函數(shù)總體回歸函數(shù)的的隨機(jī)表達(dá)形式隨機(jī)表達(dá)形式。它。它 的的非隨機(jī)（即確定）表達(dá)式非隨機(jī)（即確定）表達(dá)式為為:kikiikiiiiXXXXXXYE 2211021),|(表示：表示：各變量各變量X X值固定（即給定）時(shí)值固定（即給定）時(shí)Y Y的平均響的平均響應(yīng)（即均值）應(yīng)（即均值）。 習(xí)慣上習(xí)慣上：把常數(shù)項(xiàng)常數(shù)項(xiàng)看成為一虛變量虛變量的系數(shù)，該虛變量的樣本觀測(cè)

3、值始終取1。于是：模型中解釋變量的數(shù)目為（模型中解釋變量的數(shù)目為（k+1） 多元線性回歸模型(5)課件 j也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。用來估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)樣本回歸函數(shù)為：kikiiiiXXXY22110多元線性回歸模型(5)課件其其隨機(jī)表示式隨機(jī)表示式: : ikikiiiieXXXY22110 ei稱為殘差殘差或剩余項(xiàng)剩余項(xiàng)(residuals)，可看成是總體回歸模型中隨機(jī)擾動(dòng)項(xiàng) i的近似替代。 多元線性回歸模型(

4、5)課件二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 （注意和一元線性回歸模型的基本假定相比較）（注意和一元線性回歸模型的基本假定相比較） 假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間不存在完全共線性（即無多重共線性，或解釋變量之間不完全線性相關(guān)）(注：這一假設(shè)只有在多元線性回歸模型的基本假定中才有，而在一元線性回歸模型中沒有，為什么？）。假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1,多元線性回歸模型(5)課件 假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān) 0),(ijiXCovkj,2 , 1

5、假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布 ), 0(2Ni 如果X是非隨機(jī)機(jī)的（即為固定值），則該假設(shè)自動(dòng)滿足。因?yàn)橐粋€(gè)固定值與一個(gè)隨機(jī)變量之間當(dāng)然不相關(guān)。 推導(dǎo)：誤差項(xiàng)代表了沒有納入回歸模型的其他所有影響因素。因?yàn)檫@些影響因素中，每種因素對(duì)Y的影響都很微弱。如果所有這些影響因素都是隨機(jī)的，并用代表所有這些影響因素之和，那么根據(jù)中心極限定理，可以假設(shè)誤差項(xiàng)服從正態(tài)分布多元線性回歸模型(5)課件3.2 3.2 多元線性回歸模型的估計(jì)多元線性回歸模型的估計(jì) 一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) * *二、最大或然估計(jì)二、最大或然估計(jì)(Maximum Likelihood) (Maximum Likeliho

6、od) * *三、矩估計(jì)（三、矩估計(jì)（Moment Method) Moment Method) 四、參數(shù)估計(jì)量的性質(zhì)四、參數(shù)估計(jì)量的性質(zhì) * 五、樣本容量問題五、樣本容量問題 六、估計(jì)實(shí)例六、估計(jì)實(shí)例 多元線性回歸模型(5)課件說說 明明（注：參數(shù)有兩類：結(jié)構(gòu)參數(shù)和分布參數(shù)，分布參數(shù)是（注：參數(shù)有兩類：結(jié)構(gòu)參數(shù)和分布參數(shù)，分布參數(shù)是指隨機(jī)誤差項(xiàng)的均值和方差）指隨機(jī)誤差項(xiàng)的均值和方差）估計(jì)方法：估計(jì)方法：3大類方法：大類方法：OLS、ML或者或者M(jìn)M在經(jīng)典模型中多應(yīng)用在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用在非經(jīng)典模型中多應(yīng)用ML或者或者M(jìn)M我們只學(xué)習(xí)我們只學(xué)習(xí)OLS多元線性回歸模型(5)

7、課件一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) 對(duì)于隨機(jī)抽取的n組觀測(cè)值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： KikiiiiXXXY22110i=1,2n 根據(jù)最最小二乘原小二乘原理理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXY多元線性回歸模型(5)課件 于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組正規(guī)方程組： 解該（k+1） 個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1) 個(gè)待估參數(shù)的估計(jì)值$, , ,jj 012 。kSSSSSSSS

8、kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110多元線性回歸模型(5)課件注 意 （特別重要） 經(jīng)濟(jì)計(jì)量學(xué)精要（古亞拉提 著）將多元回歸分析中的解釋變量限定在2個(gè)（該類多元回歸模型也稱為三變量模型）。但實(shí)際中的多元回歸模型的解釋變量往往多于2個(gè)（有3個(gè)或3個(gè)以上），那么估計(jì)公式會(huì)更復(fù)雜。在這種情況下，必須使用矩陣代數(shù)知識(shí)。當(dāng)然，本書沒有使用矩陣代數(shù)知識(shí)。不過現(xiàn)在很少有人手工計(jì)算了，還是讓計(jì)算機(jī)做這些復(fù)雜的工作吧。初學(xué)者只需先掌握含兩個(gè)解釋變量的多元回歸模型（以避免復(fù)雜的

9、矩陣代數(shù)運(yùn)算），以下的分析都建立在以2個(gè)解釋變量為前提的多元回歸模型基礎(chǔ)上。多元線性回歸模型(5)課件三變量模型回歸系數(shù)的OLS估計(jì)量（教材P156）33221XXY 23223223232322iiiiiiiiiiixxxxxxyxxyx 23223222iiiii 3i2ii2i2ii 33xxxxxxyxxyx多元線性回歸模型(5)課件偏回歸系數(shù)的含義 偏回歸系數(shù)體現(xiàn)的是解釋變量對(duì)因變量的凈影響或直接影響。 一元回歸模型中的回歸系數(shù)體現(xiàn)的是解釋變量對(duì)因變量的總影響，包括直接影響和間接影響。多元線性回歸模型(5)課件j也被稱為也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋，表示在其他解釋變量

10、保持不變的情況下，變量保持不變的情況下，Xj每變化每變化1個(gè)單個(gè)單位時(shí)，位時(shí)，Y的均值的均值E(Y)的變化的變化; 或者說或者說j給出了給出了Xj的單位變化對(duì)的單位變化對(duì)Y均值的均值的“直接直接”或或“凈凈”（不含其他變量）影（不含其他變量）影響。響。ikikiiiXXXY 22110多元線性回歸模型(5)課件埋伏筆：三變量模型參數(shù)的OLS估計(jì)量是隨機(jī)變量解釋：因?yàn)榻o定一個(gè)具體的樣本，就能求出一個(gè)特定的估計(jì)值。再換過一個(gè)樣本，又可以求出不同的估計(jì)值。所以參數(shù)的估計(jì)量取值隨著樣本的改變而改變。既然是隨機(jī)變量，就可以求方差。多元線性回歸模型(5)課件三變量模型OLS估計(jì)量方差的代數(shù)公式（教材P15

11、7） 2232232232322223232221iiiiiiii1xxxxxxXXxXxXnvar 23222222323variiiiixxxx x 22232222323variiiiixxxx x多元線性回歸模型(5)課件總體回歸模型的隨機(jī)誤差項(xiàng)總體回歸模型的隨機(jī)誤差項(xiàng) 是一個(gè)隨機(jī)變量，是一個(gè)隨機(jī)變量，既然是隨機(jī)變量，就可以求方差。既然是隨機(jī)變量，就可以求方差。將隨機(jī)誤差項(xiàng)將隨機(jī)誤差項(xiàng) 的方差記為的方差記為 2 2客觀存在，但往往未知。只能對(duì)其進(jìn)行估計(jì)。客觀存在，但往往未知。只能對(duì)其進(jìn)行估計(jì)。多元線性回歸模型(5)課件隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的方差 2的估計(jì)的估計(jì) 2 表示總體誤差

12、項(xiàng)表示總體誤差項(xiàng) 的方差，這個(gè)未知方差的OLS估計(jì)量是：223ten其中222323tttttteyy xy x多元線性回歸模型(5)課件實(shí)例 美國1980-1995年（非農(nóng)業(yè)未償還）抵押貸款數(shù)額Y（億美元）、個(gè)人收入X2（億美元）、新住宅抵押貸款費(fèi)用X3 (%). 利用以下樣本數(shù)據(jù)對(duì)多元線性回歸模型進(jìn)行估計(jì)。多元線性回歸模型(5)課件多元線性回歸模型(5)課件EVIEWS演示過程：多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件 四、參數(shù)估計(jì)量的性質(zhì)四、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)

13、的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì)量“ 尖尖”仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性。多元線性回歸模型(5)課件3.3 3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F(F檢驗(yàn)檢驗(yàn)) ) 三、三、變量的顯著性檢驗(yàn)（變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 多元線性回歸模型(5)課件一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)、可決系

14、數(shù)與調(diào)整的可決系數(shù) 總離差平方和的分解總離差平方和的分解ESSRSSYYYYTSSiii22)()(多元線性回歸模型(5)課件Y 離差分解示意圖多元線性回歸模型(5)課件 可決系數(shù)可決系數(shù)TSSRSSTSSESSR12該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問題：問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大（Why?)。這是因?yàn)闅埐钇椒胶屯S著解釋變量個(gè)數(shù)的增加而減少，至少不會(huì)增加。 多元線性回歸模型(5)課件 這就給人一個(gè)錯(cuò)覺一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即要使得模型擬合得好，只要增加解釋變量即可可。 但是，我們不能這樣做。這是因?yàn)?，在。這是因?yàn)椋?/p>

15、在R2的定義中R2=ESS/TSS并沒有考慮到自由度。 因此，比較相同被解釋變量，但不同個(gè)數(shù)解釋變量的兩個(gè)回歸模型的R2，就像是拿蘋果和桔子比較（不具有可比性）。校正（或調(diào)整）后的判定系數(shù)可以對(duì)相同被解釋變量、不同解釋變量（個(gè)數(shù)不同）的兩個(gè)回歸模型進(jìn)行比較?；貧w平方和的自由度=模型中偏斜率系數(shù)的個(gè)數(shù)殘差平方和的自由度=n-待估計(jì)的（結(jié)構(gòu)）參數(shù)的個(gè)數(shù)總體平方和的自由度=回歸平方和的自由度+殘差平方和的自由度=n-1多元線性回歸模型(5)課件 調(diào)整的可決系數(shù)調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由

16、度減少，所以調(diào)整的思路是:將殘差平將殘差平方和與總離差平方和分別除以各自的自由度，以方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度，此處的k表示模型中偏斜率系數(shù)的個(gè)數(shù)， 。) 1/()1/(12-nTSSknRSSR多元線性回歸模型(5)課件1)1(122-1knnRR 校正（或調(diào)整）后的判定系數(shù)有如下性質(zhì)：1.如果模型中待估計(jì)的（結(jié)構(gòu)）參數(shù)個(gè)數(shù)大于1，則校正后的判定系數(shù) 3.81，所以拒絕原假設(shè)H0，即認(rèn)為抵押貸款債務(wù)與個(gè)人收入和抵押貸款費(fèi)用之間總體上存在線性關(guān)系給定顯著性水

17、平0.05，可得到臨界值F0.05(2,13)=3.81.多元線性回歸模型(5)課件 2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論關(guān)系的討論 ) 1/()1 (/22knRkRF注意：此處的k表示模型中偏斜率系數(shù)的個(gè)數(shù).多元線性回歸模型(5)課件多元線性回歸模型(5)課件 答：有時(shí)方程通過總體線性關(guān)系的顯著性檢驗(yàn)（F檢驗(yàn)），但計(jì)算得到的校正（或調(diào)整）后的擬合優(yōu)度值比較小，比如0.2左右。此時(shí)，我們不應(yīng)對(duì)校正后的擬合優(yōu)度值過分苛求，更重要的是要考察模型的經(jīng)濟(jì)關(guān)系是否合理。多元線性回歸模型(5)課件三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)） 方

18、程的總體線性總體線性關(guān)系顯著 每個(gè)解釋變量每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由對(duì)變量的這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。檢驗(yàn)完成的。多元線性回歸模型(5)課件 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 注意：此處的k表示模

19、型中偏斜率系數(shù)的個(gè)數(shù).多元線性回歸模型(5)課件注意：注意：一元線性回歸中，變量的顯著性一元線性回歸中，變量的顯著性t t檢驗(yàn)與方程檢驗(yàn)與方程的顯著性的顯著性F F檢驗(yàn)是一回事。檢驗(yàn)是一回事。 t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0： 1=0=0 進(jìn)行檢驗(yàn).（假設(shè)常數(shù)項(xiàng)為 0 ）所以，所以，一元線性回歸中，一元線性回歸中，t檢驗(yàn)與檢驗(yàn)與F檢驗(yàn)一致檢驗(yàn)一致 。（如果你是光棍，別人問你全家可好，和問你一人可好（如果你是光棍，別人問你全家可好，和問你一人可好是同一回事，因?yàn)槟闳抑挥心阋粋€(gè)解釋變量）是同一回事，因?yàn)槟闳抑挥心阋粋€(gè)解釋變量）多元線性回歸模型(5)課件 檢驗(yàn)步驟：檢驗(yàn)步驟： （1）對(duì)總體參數(shù)提出假設(shè) H0： 1=0， H1：10（2）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值11St （3）給定顯著性水平，查t分布表得臨界值t /2(n-3)多元線性回歸模型(5)課件 (4) 比較，判斷 若 |t| t /2 (n-3)，則拒絕H0 ，接受H1