復(fù)旦大學(xué)經(jīng)濟(jì)學(xué)院謝識(shí)予計(jì)量經(jīng)濟(jì)學(xué)第三章兩變量線性回歸.ppt

1、1,第三章 兩變量線性回歸,2,本章主要內(nèi)容,第一節(jié) 兩變量線性回歸模型 第二節(jié) 參數(shù)估計(jì) 第三節(jié) 最小二乘估計(jì)量的性質(zhì) 第四節(jié) 回歸擬合度評(píng)價(jià)和決定系數(shù) 第五節(jié) 統(tǒng)計(jì)推斷 第六節(jié) 預(yù)測(cè),3,引言,本章介紹兩變量線性回歸分析。兩變量線性回歸分析的對(duì)象是兩變量單向因果關(guān)系，模型的核心是兩變量線性函數(shù)，分析方法是回歸分析。兩變量線性回歸分析是經(jīng)典計(jì)量經(jīng)濟(jì)分析的基礎(chǔ)，掌握兩變量線性回歸分析的原理和技術(shù)，對(duì)進(jìn)一步學(xué)習(xí)多元回歸和其他計(jì)量經(jīng)濟(jì)分析方法都有幫助,4,第一節(jié) 兩變量線性回歸模型,一、模型的建立 二、模型的假設(shè),5,一、模型的建立,變量和函數(shù)式 變量關(guān)系的隨機(jī)性,6,變量和函數(shù)式,兩變量線性因果

2、關(guān)系：Y = + X Y被解釋變量 X解釋變量 、待定參數(shù),7,1、模型根據(jù),1）研究問(wèn)題的需要； （2）經(jīng)濟(jì)理論和觀點(diǎn)； （3）利用經(jīng)驗(yàn)和數(shù)據(jù)分布情況； （4）非線性函數(shù)和線性變換,8,2、例子,1）上海經(jīng)濟(jì)消費(fèi)函數(shù)研究 P66； （2）科布道格拉斯生產(chǎn)函數(shù) P68,9,例3-1 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,10,例3-1 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,11,變量關(guān)系的隨機(jī)性,1、在經(jīng)濟(jì)問(wèn)題中精確的因果關(guān)系實(shí)際上不存在。 人類經(jīng)濟(jì)行為本身的隨機(jī)性；兩變量線性關(guān)系 通常只是抓了主要矛盾，而忽略的其他眾多因素的影響。 2、正確的計(jì)量經(jīng)濟(jì)模型應(yīng)該是隨機(jī)模型： Y = + X + ； 為隨機(jī)擾動(dòng)項(xiàng),12,二、

3、模型的假設(shè),1、特定的方法適用的模型是有條件的，因此必須對(duì)模型先作設(shè)定。 2、六條假設(shè) （1）變量間存在隨機(jī)函數(shù)關(guān)系Y= + X + ； （2）誤差項(xiàng)均值為0； （3）誤差序列同方差； （4）誤差序列不相關(guān)； （5）X是確定性的，非隨機(jī)變量； （6）誤差項(xiàng)服從正態(tài)分布,13,對(duì)假設(shè)的進(jìn)一步分析,1、前五條假設(shè)是古典線性回歸模型的基本假定； 2、假設(shè)（2）是反映線性回歸模型本質(zhì)的基本假設(shè) ； 3、假設(shè)（3）的意義是對(duì)應(yīng)不同觀測(cè)數(shù)據(jù)組誤差項(xiàng)分布的發(fā)散趨勢(shì)相同，或有相同形狀的概率密度函數(shù)； 4、假設(shè)（4）的意義是對(duì)應(yīng)不同觀測(cè)值的誤差項(xiàng)之間沒(méi)有相關(guān)性； 5、假設(shè)（5）和（6）都是為了回歸分析和統(tǒng)計(jì)推斷

4、的方便而要求的，人為性較大的假設(shè),14,第二節(jié) 參數(shù)估計(jì),一、最小二乘估計(jì) 二、消費(fèi)函數(shù)參數(shù)估計(jì),15,一、最小二乘估計(jì),建立兩變量線性回歸模型后，根據(jù)樣本數(shù)據(jù)估計(jì)模型的參數(shù)，是線性回歸分析的核心步驟。 對(duì)滿足模型假設(shè)兩變量線性回歸模型的參數(shù)，最有效的估計(jì)方法是最小二乘法,16,最小二乘法是根據(jù)隨機(jī)變量理論值和實(shí)際值的擬合程度估計(jì)參數(shù)的。 線性回歸模型的理論值可以用樣本回歸直線上點(diǎn)的坐標(biāo)表示，實(shí)際值就是樣本觀測(cè)數(shù)據(jù)， 因此線性回歸模型理論值與實(shí)際值的擬合，就是樣本回歸直線對(duì)觀測(cè)數(shù)據(jù)的擬合,17,若兩變量線性回歸模型為： 參數(shù)估計(jì)的思路就是找到能很好擬合樣本數(shù)據(jù)的樣本回歸直線，近似模型總體回歸直

5、線E(Y ) =+ X，從而得到和 的估計(jì)a和b,18,判斷擬合程度最基本的標(biāo)準(zhǔn)是樣本點(diǎn)與回歸直線的偏差 ，稱為“回歸殘差”或“殘差” 。 越小回歸直線離樣本點(diǎn)越近，如果所有樣本點(diǎn)的回歸殘差都較小，回歸直線對(duì)樣本趨勢(shì)的擬合當(dāng)然最好。 一般采用殘差平方和 = 作為判斷回歸直線對(duì)樣本數(shù)據(jù)擬合程度的標(biāo)準(zhǔn)，殘差平方和越小就認(rèn)為擬合程度越好,19,核心：殘差平方和 最小,20,參數(shù)估計(jì)值,21,若兩變量線性回歸模型無(wú)常數(shù)項(xiàng)，即模型為 ，這時(shí)只有一個(gè)需要估計(jì)的參數(shù)，上述最小二乘估計(jì)的方法仍然是一致的。 最小二乘估計(jì)的殘差平方和為 令該殘差平方和對(duì)b的偏導(dǎo)數(shù)等于0，不難求得： b,22,二、消費(fèi)函數(shù)參數(shù)估計(jì)

6、,以例31建立的消費(fèi)函數(shù)模型為例，具體說(shuō)明如何用最小二乘法估計(jì)模型中的參數(shù),23,例3-3上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,24,例3-3 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,Estimation Command: = LS Y C X Estimation Equation: = Y = C(1) + C(2)*X Substituted Coefficients: = Y = 237.5 + 0.75*X,25,例3-3 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,Dependent Variable: Y Method: Least Squares Date: 10/04/04 Time: 20:14 Sample: 1981

7、2002 Included observations: 18 - Variable CoefficientStd. Error t-Statistic Prob. C 237.5 35.50781 4.074556 0.0009 X 0.75 0.008022 98.45858 0.0000 - R-squared 0.998352 Mean dependent var 2807.444 Adjusted R-squared 0.998249 S.D. dependent var 2333.000 S.E. of regression 97.61747 Akaike info criterio

8、n 12.10443 Sum squared resid 152466.7 Schwarz criterion12.20336 Log likelihood-106.9399 F-statistic9694.092 Durbin-Watson stat1.082919 Prob(F-statistic)0.000000,26,第三節(jié) 最小二乘估計(jì)量的性質(zhì),一、最小二乘估計(jì)的線性性 二、最小二乘估計(jì)的均值和無(wú)偏性 三、最小二乘估計(jì)的方差和最小方差性 四、最小二乘估計(jì)的一致性,27,一、最小二乘估計(jì)的線性性,參數(shù)估計(jì)量可以表示為被解釋變量觀測(cè)值的線性組合。 b的線性性 b,28,若把每項(xiàng)因子 記為

9、 ，就得到： b = ，這表明b是隨機(jī)變量Y 的線性組合。 a 的線性性：,29,令 = V ，得a = 這表明a同樣是隨機(jī)變量Y 的線性組合。 線性性對(duì)于確定最小二乘估計(jì)量服從什么分布非常重要。由于解釋變量X是確定性的，與最小二乘估計(jì)量的分布性質(zhì)無(wú)關(guān)，因此最小二乘估計(jì)量可以表示為被解釋變量觀測(cè)值Y的線性組合，就與Y有相同類型的概率分布,30,和V 兩個(gè)指標(biāo)的性質(zhì),0， 1， 1， 0,31,二、最小二乘估計(jì)的均值和無(wú)偏性,定義：參數(shù)估計(jì)量的均值就是真實(shí)值： b的無(wú)偏性的證明,32,a的無(wú)偏性同理可證。 意義：參數(shù)估計(jì)量是以參數(shù)真實(shí)值為分布中心的隨機(jī)變量，反復(fù)抽樣估計(jì)可得真實(shí)值。這是重要的分布

10、性質(zhì)，是推斷分析的基礎(chǔ)。 因?yàn)橥瑫r(shí)具有線性性和無(wú)偏性，因此最小二乘估計(jì)量是線性無(wú)偏估計(jì)量,33,三、最小二乘估計(jì)的方差和最小方差性,在參數(shù)估計(jì)是無(wú)偏估計(jì)、線性無(wú)偏估計(jì)的基礎(chǔ)上，方差較小的則意味著參數(shù)估計(jì)的精確程度較高，統(tǒng)計(jì)推斷的效果也較好。 b的方差： a的方差,34,在所有可能的線性無(wú)偏估計(jì)中，最小二乘估計(jì)a和b的方差最小。 這個(gè)性質(zhì)稱為最小方差性，也稱為有效性。 最小二乘估計(jì)是參數(shù)真實(shí)值的最小方差線性無(wú)偏估計(jì)，也稱為最優(yōu)線性無(wú)偏估計(jì)或BLUE估計(jì),35,四、最小二乘估計(jì)的一致性,定義：參數(shù)估計(jì)量的概率極限等于參數(shù)真實(shí)值。 意義：屬于大樣本性質(zhì)。保證增加樣本容量可以逼近參數(shù)真實(shí)值。 最小二乘

11、估計(jì)在模型假設(shè)下是一致估計(jì),36,第四節(jié) 回歸擬合度評(píng)價(jià)和決定系數(shù),一、擬合度評(píng)價(jià)的意義 二、離差分解和決定系數(shù),37,一、擬合度評(píng)價(jià)的意義,評(píng)價(jià)回歸分析、參數(shù)估計(jì)優(yōu)劣的根本標(biāo)準(zhǔn)，是回歸直線對(duì)樣本數(shù)據(jù)的吻合程度，也稱為“擬合度”或“回歸擬合度”。 回歸擬合度是判斷和檢驗(yàn)參數(shù)估計(jì)方法的方法之一。 回歸擬合度也是檢驗(yàn)?zāi)Ｐ妥兞筷P(guān)系真實(shí)性，判斷模型假設(shè)是否成立的重要方法,38,二、離差分解和決定系數(shù),殘差平方和不適用作為擬合度的評(píng)價(jià)指標(biāo)。 用Y 的離差被回歸值或X 的離差決定的程度作為評(píng)價(jià)擬合度的標(biāo)準(zhǔn)。 離差分解 SST = SSR + SSE （式33,39,1、離差分解,總離差平方和 SST= 其

12、中 稱為“回歸平方和”，記為SSR 。 殘差平方和 記為SSE,40,3-3）式表明被解釋變量Y的離差平方和可以分解為兩部分，一部分是回歸平方和，另一部分則是殘差平方和。 前一部分SSR相對(duì)后一部分SSE越大，說(shuō)明回歸擬合程度越好，Y與X之間的線性決定關(guān)系越明顯,41,2、決定系數(shù),為了突出這幾部分之間的相對(duì)關(guān)系，將（3-3）式兩邊同除以SST 得到： 1= + 式中的 正是反映解釋變量（或回歸直線）對(duì)被解釋變量決定程度的指標(biāo)，稱為“決定系數(shù)”，通常用R 表示,42,R 的數(shù)值在0到1之間，是一個(gè)相對(duì)比重指標(biāo)，可以避免樣本數(shù)量和樣本數(shù)值、單位的影響，因此在不同模型和不同樣本的回歸分析中具有可比

13、性，是比殘差平方和更合理的回歸擬合度指標(biāo),43,第五節(jié) 統(tǒng)計(jì)推斷,一、最小二乘估計(jì)的分布和標(biāo)準(zhǔn)化 二、誤差項(xiàng)方差的估計(jì) 三、參數(shù)的置信區(qū)間和假設(shè)檢驗(yàn),44,一、最小二乘估計(jì)的分布和標(biāo)準(zhǔn)化,線性回歸模型的統(tǒng)計(jì)推斷需要以參數(shù)估計(jì)量的概率分布為基礎(chǔ)。 根據(jù)對(duì)最小二乘估計(jì)量性質(zhì)的分析，已知最小二乘估計(jì)量服從以參數(shù)真實(shí)值為中心，以誤差項(xiàng)方差的一個(gè)比例為方差的正態(tài)分布,45,參數(shù)最小二乘估計(jì)量的這種分布性質(zhì)，使得參數(shù)估計(jì)量與真實(shí)值通過(guò)概率分布聯(lián)系在一起，從而可以通過(guò)參數(shù)估計(jì)量的分布性質(zhì)推斷參數(shù)真實(shí)值的情況等 。 在利用正態(tài)分布隨機(jī)變量進(jìn)行統(tǒng)計(jì)推斷分析之前，需要先把它們變換為服從標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計(jì)量。對(duì)于b

14、可以通過(guò)下列變換轉(zhuǎn)化為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量,46,二、誤差項(xiàng)方差的估計(jì),標(biāo)準(zhǔn)狀態(tài)分布中包含未知參數(shù) ,必須先估計(jì)出來(lái)。 本身也是線性回歸模型的重要組成部分，是反映這一部分情況的基本參數(shù)。 因?yàn)?因此 是 的無(wú)偏估計(jì),47,稱“殘差的標(biāo)準(zhǔn)差”。 用 代 ，得到的統(tǒng)計(jì)量服從t分布，而不是正態(tài)分布。如： 服從自由度為n-2的t分布,48,三、參數(shù)的置信區(qū)間和假設(shè)檢驗(yàn),1、參數(shù)的置信區(qū)間 2、模型參數(shù)的顯著性檢驗(yàn) 3、其他假設(shè)檢驗(yàn),49,1、參數(shù)的置信區(qū)間（以參數(shù) 為例,假設(shè)要求的置信度是95%，也就是顯著性水平 根據(jù)t分布的意義，有： 整理該式得到,50,這就是參數(shù) 的置信度為95%的置信區(qū)間

15、，或者說(shuō)區(qū)間估計(jì)。 構(gòu)造參數(shù)的置信區(qū)間是非常重要的。置信區(qū)間限定了參數(shù)估計(jì)量與參數(shù)真實(shí)值的偏差程度，使我們對(duì)變量關(guān)系的了解更加深入和明確，對(duì)經(jīng)濟(jì)規(guī)律的可靠程度和適用情況更有把握。區(qū)間估計(jì)常常比點(diǎn)估計(jì)更加重要,51,2、模型參數(shù)的顯著性檢驗(yàn),模型參數(shù)的顯著性檢驗(yàn)，即檢驗(yàn)?zāi)Ｐ蛥?shù)是否顯著異于0，是其中基本的一種假設(shè)檢驗(yàn)。 兩變量線性回歸模型的基本出發(fā)點(diǎn)就是兩個(gè)變量之間存在因果關(guān)系，認(rèn)為解釋變量是影響被解釋變量變化的主要因素，而這種變量關(guān)系是否確實(shí)存在或者是否明顯，會(huì)在參數(shù)中反映出來(lái),52,檢驗(yàn)的具體方法如下：作原假設(shè) 備擇假設(shè) 仍然選擇95%置信度，那么95%的可能性 應(yīng)該滿足,53,如果原假設(shè)

16、成立，也就是說(shuō)可以認(rèn)為 是等于0的，那么就意味著： 95%的可能性會(huì)成立。 如果結(jié)果該不等式不成立，應(yīng)該拒絕接受原假設(shè)，認(rèn)為參數(shù)是顯著的，變量關(guān)系是存在的。如果該不等式不成立，就不能拒絕接受原假設(shè)，只能認(rèn)為沒(méi)有顯著性，變量關(guān)系并不明顯存在,54,第六節(jié) 預(yù)測(cè),一、點(diǎn)預(yù)測(cè) 二、點(diǎn)預(yù)測(cè)的性質(zhì) 三、區(qū)間預(yù)測(cè),55,一、點(diǎn)預(yù)測(cè),預(yù)測(cè)就是以估計(jì)出參數(shù)的線性回歸模型為基礎(chǔ)，對(duì)對(duì)應(yīng)解釋變量特定水平、未來(lái)值的被解釋變量水平進(jìn)行估計(jì)判斷。 檢驗(yàn)?zāi)Ｐ蜁r(shí)通常把觀測(cè)數(shù)據(jù)分成兩部分，一部分用來(lái)進(jìn)行回歸估計(jì)參數(shù)，一部分用來(lái)進(jìn)行預(yù)測(cè)和評(píng)估模型的預(yù)測(cè)效果,56,點(diǎn)預(yù)測(cè)公式 預(yù)測(cè)殘差（誤差）： 由于 未知，因此預(yù)測(cè)誤差也未知,57,二、點(diǎn)預(yù)測(cè)的性質(zhì),1、線性性 是一個(gè)線性預(yù)測(cè)，線性性的意義仍然是可以表示為 的線性組合。,58,2、無(wú)偏性,的第二個(gè)性質(zhì)是無(wú)偏性，即是 的無(wú)偏預(yù)測(cè)， 或 。 這個(gè)性質(zhì)也很容易證明，因?yàn)?0,59,3、預(yù)測(cè)方差和