第2講 簡單線性回歸

1、1計量經(jīng)濟學(xué)(1) 簡單二元回歸y = b0 + b1x + u2本章大綱本章大綱n簡單回歸模型的定義簡單回歸模型的定義n普通最小二乘法的推導(dǎo)普通最小二乘法的推導(dǎo)nOLS的操作技巧n測量單位和函數(shù)形式nOLS估計量的期望值和方差n過原點回歸3講義大綱講義大綱n一些術(shù)語的注解n一個簡單假定n條件期望零值假定 n何為普通最小二乘法n普通最小二乘法的推導(dǎo)4術(shù)語注解術(shù)語注解n在簡單二元回歸模型y = b0 + b1x + u中， y通常被稱為因變量因變量，左邊變量，被解釋變量被解釋變量，或回歸子。nx通常被稱為自變量自變量，右邊變量，解釋變量解釋變量，回歸元，協(xié)變量，或控制變量控制變量。5n等式y(tǒng) =

2、 b0 + b1x + u只有一個非常數(shù)回歸元。我們稱之為簡單回歸模型簡單回歸模型， 兩變量回歸模型或雙變量回歸模型.nb0 , b1被稱為回歸系數(shù)。 b0也被稱為常數(shù)項常數(shù)項或截矩項，或截矩參數(shù)。 b1代表了回歸元x的邊際效果，也被成為斜率參數(shù)參數(shù)。nu 為誤差項或擾動項擾動項，它代表了除了x之外可以影響y的因素。6n線性的含義：線性的含義： y 和x 之間并不一定存在線性關(guān)系，但是，只要通過轉(zhuǎn)換可以使y的轉(zhuǎn)換形式和x的轉(zhuǎn)換形式存在相對于參數(shù)的線性關(guān)系，該模型即稱為線性模型。n如, y=eb0+b1x+u 。7簡單二元回歸模型例子簡單二元回歸模型例子n如：簡單的工資方程wage= b0 +

3、b1(years of education) + un上述簡單工資函數(shù)描述了受教育年限和工資之間的關(guān)系, b1 衡量了多接受一年教育工資可以增加多少。8.y4y1y2y3x1x2x3x4u1u2u3u4xy總體回歸線，樣本觀察點和相應(yīng)誤差總體回歸線，樣本觀察點和相應(yīng)誤差E(y|x) = b b0 + b b1x9.y4y1y2y3x1x2x3x41234xy樣本回歸線，樣本數(shù)據(jù)點和相關(guān)的誤差估計項樣本回歸線，樣本數(shù)據(jù)點和相關(guān)的誤差估計項xy10bb10推導(dǎo)方法（一）：推導(dǎo)方法（一）：OLSn正式解一個最小化問題，即通過選取參數(shù)而使下列值最?。?niiiniixyu121012bb11推導(dǎo)方法（

4、一）推導(dǎo)方法（一）n如果直接解上述方程我們得到下面兩式：00110110niiiiniiixyxxybbbb12普通最小二乘法的推導(dǎo)普通最小二乘法的推導(dǎo)niiiniiniiiniiiniiiixxyyxxxxxyyxxxyyx12111111110bbbb13因此因此OLS估計出的斜率為估計出的斜率為112121 0niiiniiniixxyyxxxxb給定條件：14普通最小二乘法的推導(dǎo)普通最小二乘法的推導(dǎo)根據(jù)樣本均值的定義以及加總的性質(zhì)，可將第一個條件寫為xyxy1010or,bbbb15普通最小二乘法的推導(dǎo)（二）：普通最小二乘法的推導(dǎo)（二）：矩方法n回歸的基本思想是從樣本去估計總體參數(shù)。

5、n我們用(xi,yi): i=1, ,n 來表示一個隨機樣本，并假定每一觀測值滿足yi = b0 + b1xi + ui。16普通最小二乘法的推導(dǎo)普通最小二乘法的推導(dǎo)n 首先由E(u|x) = E(u) = 0 可知： Cov(x,u) = E(xu) = 0 n為什么? nCov(x,u) = E(xu) E(x)E(u)而由E(u|x) = E(u) = 0 可得Cov(x,u) = E(xu) = 0 。17普通最小二乘法的推導(dǎo)普通最小二乘法的推導(dǎo)n可將u = y b0 b1x代入以得上述兩個矩條件。n這樣我們可以得到兩個矩條件約束：n E(y b0 b1x) = 0n Ex(y b0

6、b1x) = 018普通最小二乘法的推導(dǎo)（二）普通最小二乘法的推導(dǎo)（二）n目標(biāo)是通過選擇參數(shù)值，使得在樣本中矩條件也可以成立。n樣本中矩條件可以表示為：0011011101niiiiniiixyxnxynbbbb19關(guān)于關(guān)于u的假定的假定n假定總體中誤差項u的平均值為零 E(u) = 0(2.5)n該假定是否具有很大的限制性呢?20關(guān)于關(guān)于u的假定的假定n比如, E(u)=5. 那么 y = (b0 +5)+ b1x + (u-5),所以, E(u*)=E(u-5)=0.n上述推導(dǎo)說明我們總可以通過調(diào)整常數(shù)項來實現(xiàn)誤差項的均值為零, 因此該假定的限制性不大。21條件期望零值假定條件期望零值假定

7、 我們需要對u和 x之間的關(guān)系做一個關(guān)鍵假定。理想狀況是對x的了解并不增加對u的任何信息。換句話說，我們需要u和x完全不相關(guān)：E(u|x) = E(u)22由于我們已經(jīng)假定了E(u) = 0，因此有E(u|x) = E(u) = 0。該假定是何含義？E(u|x) = E(u) = 0. (2.6)條件期望零值假定條件期望零值假定23n在教育一例中，假定u 代表內(nèi)在能力，條件期望零值假定說明不管解釋教育的年限如何，該能力的平均值相同。 E(ability|edu=6)=E(ability|edu=18)=0.條件期望零值假定條件期望零值假定24n假設(shè)期末成績分?jǐn)?shù)取決于出勤次數(shù)和影響學(xué)生現(xiàn)場發(fā)揮的

8、因素，如學(xué)生個人素質(zhì)。score =b0 + b1attend +un那么上述模型中假設(shè)（2.6）何時能夠成立？條件期望零值假定條件期望零值假定25OLS斜率估計法總結(jié)斜率估計法總結(jié)n斜率估計量等于樣本中x 和 y 的協(xié)方差除以x的方差。n若x 和 y 正相關(guān)則斜率為正，反之為負(fù)。1121niiiniixxyyxxb26關(guān)于關(guān)于OLS的更多信息的更多信息nOLS法是要找到一條直線，使殘差平方和最小。n殘差是對誤差項的估計，因此，它是擬合直線（樣本回歸函數(shù)）和樣本點之間的距離。27講義總結(jié)講義總結(jié)n介紹簡單線性回歸模型n介紹通過隨機樣本的數(shù)據(jù)運用普通最小二乘法估計斜率和截距的參數(shù)值28(2)簡單

9、二元回歸簡單二元回歸y = b0 + b1x + u29本章大綱本章大綱n簡單回歸模型的定義n推導(dǎo)普通最小二乘法的估計量nOLS的操作技巧的操作技巧n測量單位和回歸方程形式測量單位和回歸方程形式nOLS估計量的期望值和方差n過原點的回歸30講義大綱講義大綱nOLS的代數(shù)特性n擬合優(yōu)度Goodness of fit n使用stata做OLS 回歸n改變測量單位對OLS統(tǒng)計量的效果31OLS的代數(shù)性質(zhì)的代數(shù)性質(zhì)nOLS 的樣本殘差平均值也為零.32OLS的代數(shù)性質(zhì)的代數(shù)性質(zhì)n解釋變量和OLS殘差之間的樣本協(xié)方差為零：33OLS的代數(shù)性質(zhì)的代數(shù)性質(zhì)nOLS回歸線總是通過樣本的均值。xy10bb 34

10、 OLS的代數(shù)性質(zhì)的代數(shù)性質(zhì)n我們可把每一次觀測看作由被解釋部分和未解釋部分構(gòu)成.n預(yù)測值和殘差在樣本中是不相關(guān)的iiiuyy 0),cov(iiuy35 OLS的代數(shù)性質(zhì)的代數(shù)性質(zhì) 0)()()()()()()()(),cov(1010iiiiiiiiiiiiiiiiiuxEuEuxEuEyuyEuyEyEuEuyEyEuybbbb36更多術(shù)語：擬合優(yōu)度更多術(shù)語：擬合優(yōu)度n定義總平方和為n總平方和SST是對y在樣本中所有變動的度量，即它度量了y在樣本中的分散程度n將總平方和除以n-1，我們得到y(tǒng)的樣本方差。21()niiSSTyy37更多術(shù)語更多術(shù)語n解釋平方和定義為n它度量了y的預(yù)測值的在

11、樣本中的變動n殘差平方和定義為n殘差平方和度量了殘差的樣本變異21()niiSSEyySSR=2iu 38SST, SSR 和和 SSEny 的總變動可以表示為已解釋的變動SSE和 未解釋的變動SSR之和，即： SST=SSE+SSR SSE 2 SSR 222222yyuyyyyuuyyuyyyyyyiiiiiiiiiiii39證明證明 SST = SSE + SSRn因此我們得到： SST = SSE + SSR.n該證明中我們使用了一個事實, 即樣本中因變量的擬合值和殘差不相關(guān).nn11n1 0,0 ()0.iiiiiiiiuxuyyu yy利用因此擬合的平均值與樣本平均值：40擬合優(yōu)度

12、擬合優(yōu)度n 我們?nèi)绾魏饬繕颖净貧w線是否很好地擬合了樣本數(shù)據(jù)呢?n 可以計算模型解釋的總平方和的比例，并把它定義為回歸的R-平方n R2 = SSE/SST = 1 SSR/SST41擬合優(yōu)度擬合優(yōu)度nR-平方是已解釋的變動占所有變動的比例n它因此可被看作是y的樣本變動中被可以被x解釋的部分nR-平方的值總是在0和1之間42擬合優(yōu)度擬合優(yōu)度n在社會科學(xué)中，特別是在截面數(shù)據(jù)分析中, 回歸方程得到小的R-平方值并不罕見。n值得強調(diào)的是表面上低的R-平方值不一定說明OLS回歸方程是沒有價值的43擬合優(yōu)度擬合優(yōu)度nExample 2.8CEO薪水和凈資產(chǎn)回報nExample 2.9競選結(jié)果和選舉活動開支

13、20.0132R 20.856R 44 例：CEO的薪水和資本權(quán)益報酬率45例：例：CEO的薪水和的薪水和資本權(quán)益報酬率資本權(quán)益報酬率n變量salary衡量了已1000美元為單位的年薪，其最小值，均值和最大值分別為：(min, mean, max)=(223, 1281, 14822).nRoe凈收入/所有者權(quán)益，為三年平均值。nN=209. 估計得到的關(guān)系為：(estimated salary)=963.191 + 18.501 roe.46例：例：CEO的薪水和的薪水和資本權(quán)益報酬率資本權(quán)益報酬率n對估計量的解釋：n963.19:常數(shù)項的估計值衡量了當(dāng)roe為零時CEO的薪水。n18.5:

14、b1 的估計值反應(yīng)了ROE若增加一個百分點工資將增加18500美元。n如果 roe=30, 估計的薪水應(yīng)該是多少?47使用使用 Stata 進行進行OLS回歸回歸n n我們已經(jīng)推導(dǎo)出公式計算參數(shù)的OLS估計值，所幸的是我們不必親手去計算它們。n 在Stata中進行回歸非常簡單，要讓y對x進行回歸，只需要輸入n reg y x48測量單位測量單位n假定薪水的單位是美元，而不是千美元，salarys.n在Salarys對roe進行回歸時OLS截距和斜率的估計值是多少？49測量單位測量單位n原估計方程(estimated salarys)=963.191 + 18.501 roen現(xiàn)在估計方程 (e

15、stimated salarys)=963191 + 18501 roen一般而言，當(dāng)因變量乘上常數(shù)c，而自變量不改變時，OLS的截距和斜率估計量也要乘上c。50測量單位測量單位n如果定義 roedec = roe/100，那么樣本回歸線將會從(estimated salary)=963.191 + 18.501roe 改變到 (estimated salary)=963.191 + 1850.1roedecn一般而言，如果自變量除以或乘上某個非零常數(shù)，c，那么OLS斜率將乘以或除以c，而截距則不改變。51在簡單回歸中加入非線性在簡單回歸中加入非線性n線性關(guān)系并不適合所有的經(jīng)濟學(xué)運用n然而，通

16、過對因變量和自變量進行恰當(dāng)?shù)亩x, 我們可以在簡單回歸分析中非常容易地處理許多y和x之間的非線性關(guān)系.52自然對數(shù)自然對數(shù)n log( )yxlog( )001log(1)0log( )01xforxxforx12121212log()log()log()log(/)log()log()log()log( )cx xxxxxxxxcxlog(1)xx0forx 101000log()log()()/xxxxxx x 53n在工資教育的例子中，假定每增加一年的教育，工資的百分比增長都是相同的n能夠給出不變的百分比效果的模型是：n如果 , 可以得到01log()wageeducubb1%(100)

17、.wageeducb0u 54例例 2.10n將對數(shù)工資方程將對數(shù)工資方程n和該方程相比和該方程相比log()0.5840.083wageeduc526n 20.186R 0.900.54wageeduc 20.165R 55n自然對數(shù)的另一個重要用途是用于獲得彈性為常數(shù)的模型n在CEO的薪水和企業(yè)銷售額的例子中，常數(shù)彈性模型是01log()log()salarysalesubb209,n log()4.8220.257log()salarysales20.211R 56 變量的原始形式和其自然對數(shù)的不同組合變量的原始形式和其自然對數(shù)的不同組合 Model Dependent variable

18、 Independent variable Interpretation of 1b Level-level y x 1yxb Level-log y log( ) x 1(/100)%yxb Log-level log( ) y x 1%(100)yxb Log-log log( ) y log( ) x 1%yxb 57簡單二元回歸簡單二元回歸 (3)y = b0 + b1x + u58本章大綱本章大綱 n二元回歸模型的定義n推導(dǎo)普通最小二乘法的估計量nOLS的操作技巧n測量單位和函數(shù)形式nOLS估計量的期望值和方差估計量的期望值和方差n過原點回歸59OLS估計量的期望值和方差估計量的期望

19、值和方差n從總體中抽取的不同的隨機樣本可得到不同的OLS估計量，我們將研究這些OLS估計量的分布。n首先，我們在一些假定下證明OLS的無偏性。60假定假定SLR.1 （關(guān)于參數(shù)是線性的）（關(guān)于參數(shù)是線性的）n在總體模型中，因變量 y 和自變量 x 和誤差 u 的關(guān)系可寫作y = b0 + b1x + u , 其中 b0 和 b1 分別是總體的截距參數(shù)和斜率參數(shù)61假定假定SLR.2 （隨機抽樣）：（隨機抽樣）：n假定我們從總體模型隨機抽取容量為n的樣本, (xi, yi): i=1, 2, , n, 那么可以寫出樣本模型為： yi = b0 + b1xi + ui62假定假定 SLR.3 和和

20、 SLR.4n SLR.3, 零條件期望：n假定 E(u|x) = 0 . 那么在隨機樣本中我們有 E(ui|xi) = 0nSLR.4 (自變量中的樣本變動)：在樣本中，自變量 x 并不是一個不變常數(shù)。( | )0E u x 63定理定理2.1 （OLS的無偏性）的無偏性）n使用假定SLR.1到SLR.4，我們可以得到無論b0,和b1 取什么值，它們的OLS估計量的期望值等于它們各自的真值。n證明: 64OLS的無偏性（繼續(xù)）的無偏性（繼續(xù)）n 為了考慮無偏性，我們需要用總體的參數(shù)改寫 估計量n 把公式簡單地改寫為1222, iixxixx yssxxb在這里65OLS的無偏性（繼續(xù)）的無偏

21、性（繼續(xù)）010101iiiiiiiiiiiiiiixx yxxxuxxxxxxx uxxxx xxx ubbbbbb66OLS的無偏性（繼續(xù)）的無偏性（繼續(xù)）20,iiiixxxx xxx21112, and thusxiiiixsxx uxx usbbb因此，分子可被改寫為:67OLS的無偏性（繼續(xù)）的無偏性（繼續(xù)） 212111 , 1, 1iiiiixiixdxxd usEd E usbbbbb讓因此有進而68OLS的無偏性（繼續(xù)）的無偏性（繼續(xù)）0110011011010)()()()(bbbbbbbbbbbbbuExEEuxxuxxy故而由于69無偏性總結(jié)無偏性總結(jié)n b1 和 b

22、0 的OLS估計量是無偏的n 無偏性的證明依賴于我們的四個假定-如果任何假定不成立，OLS未必是無偏的n記住無偏性是對估計量的描述-對于一個給定的樣本我們可能靠近也可能遠離真實的參數(shù)值70例例2.12n 學(xué)生的數(shù)學(xué)表現(xiàn)和學(xué)校的午餐項目nUsing 409 Michigan high school data for 1992 1993, we estimated thatPredicted math10=32.14-0.319lnchprg,Math10: maths score for the 10th gradeLnchprg: partipation of the lunch progra

23、m該例研究了是否參加學(xué)校的免費午餐項目是否能夠提高學(xué)生在數(shù)學(xué)考試中的成績。我們用Math10來表示10年級學(xué)生的數(shù)學(xué)成績，用Lnchprg表示可以參加學(xué)校的免費午餐項目的學(xué)生的比例。71學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目n估計所得方程說明參加免費午餐的學(xué)生的比例越多，他們的成績越差?？尚艈幔?2學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目n產(chǎn)生上述結(jié)果的一個可能是u 和 x是相關(guān)的。比如，u包括了貧困率，它影響學(xué)生的學(xué)習(xí)表現(xiàn)，又和是否有資格參加免費午餐項目高度相關(guān)。73OLS估計量的抽樣方差估計量的抽樣方差n現(xiàn)在我們知道估計量的隨機抽樣

24、分布以真值為中心 ; n接下來想知道的是這個分布散開的程度;n了解這一點（分布的分散程度），將對我們?nèi)绾文軌蛟谒械墓烙嬃恐?，或至少在無偏估計量這一類估計量中選出最優(yōu)的一個具有一定的指導(dǎo)意義。74OLS估計量的抽樣方差估計量的抽樣方差n在一個附加假定下計算這個方差會容易的多，因此有n假定 SLR.5 (同方差性): Var(u|x) = s2 (Homoskedasticity) 75.x1x2同方差的情形同方差的情形E(y|x) = b0 + b1xyf(y|x)76.x x1x2yf(y|x)異方差的情形異方差的情形x3.E(y|x) = b0 + b1x77OLS的抽樣方差（繼續(xù)）的抽樣

25、方差（繼續(xù)）n Var(u|x) = E(u2|x)-E(u|x)2n E(u|x) = 0, 所以 s2 = E(u2|x) = E(u2) = Var(u)n因此 s2 也是無條件方差，被稱作誤差方差n s, 誤差方差的平方根，被稱作是誤差的標(biāo)準(zhǔn)差n 所以: E(y|x)=b0 + b1x and Var(y|x) = s278工資方程中的異方差性工資方程中的異方差性n當(dāng)Var(y|x)值和x 相關(guān)時，我們稱誤差項具有異方差性。n舉例來說，如果我們假設(shè)工資一式滿足同方差性，那么就意味著不管educ值為何水平，工資的分布相對于教育水平而言都是相同的。Var(u|educ)=Var(wage|

26、educ)= s2n如果接受高等教育的人面臨的機會更多，收入的差異可能更大，在這一情形中，上述假定未必成立。79OLS的方差（繼續(xù)）的方差（繼續(xù)） 12222222222222222222211111111bssssbbVarsssdsdsuVardsudVarsudsVarVarxxxixixiixiixiix80OLS的方差（繼續(xù)）的方差（繼續(xù)）00111112122222222222()()() )( )()( )()( )()()()ixiiiVarVarxuVarxVar uVarxVar ux VarVar unxxxxsnnxxxxxnbbbbbbbbssss81定理定理 2.2 ( OLS 估計量的抽樣方差估計量的抽樣方差 )n在假定 SLR.1 到 SLR.5 下，我們有(2.57):n并且 niixxxsVar122221)(ssb2202()()iixVarxxnsb82OLS估計量樣本方差的總結(jié)估計量樣本方差的總結(jié)n 誤差方差 s2 越大，斜率估計量的方差也越大n xi 的變動越大，斜率估計量的方差越小，因此我們應(yīng)該選擇盡可能的分散開的xi。 在實驗數(shù)據(jù)中這一點（增大xi的變動）有時是可能的，但在社會科學(xué)中我們很少可以人為地增加xi的變動。n