計(jì)量經(jīng)濟(jì)學(xué)簡單回歸模型PPT課件.ppt

第二章簡單回歸模型 2 1簡單回歸模型的定義 簡單回歸模型 即一元線性回歸 用來研究兩個(gè)變量之間的關(guān)系 y和x是兩個(gè)代表某個(gè)總體的變量 我們感興趣的是用x來解釋y 或研究y如何隨x而變化 在建立計(jì)量經(jīng)濟(jì)學(xué)模型前 我們會(huì)面臨三個(gè)問題 y和x的函數(shù)關(guān)系是怎樣的呢 我們應(yīng)該如何考慮其他影響y的因素呢 我們何以確定我們在其他條件不變的情況下刻畫了y和x之間的關(guān)系 術(shù)語注解 基本形式 y通常被稱為 DependentVariable因變量Left HandSideVariable左邊變量ExplainedVariable被解釋變量ResponseVariable響應(yīng)變量PredictedVariable被預(yù)測變量Regressand回歸子 x通常被稱為 IndependentVariable自變量Right HandSideVariable右邊變量ExplanatoryVariable解釋變量Regressor回歸元ControlVariable控制變量PredictorVariable預(yù)測變量Covariate協(xié)變量 術(shù)語注解 u 誤差項(xiàng)或者干擾項(xiàng) 代表了除了x之外 可以影響y的其他所有因素 包括沒有觀測到的 unobserved 或不可觀測的因素 unobservable 截矩參數(shù) 斜率參數(shù) 代表了回歸元x的邊際效果 是研究的主要興趣所在 例一個(gè)簡單的工資方程 wage b0 b1 educ u上述簡單工資函數(shù)描述了工資和受教育年限 以及其他不可觀測因素u之間的關(guān)系 b1衡量的是 在其他因素 包含在誤差項(xiàng)u里面 不變的情況下 多接受一年教育 可以增加多少工資 其他因素包括 勞動(dòng)力市場經(jīng)驗(yàn) 內(nèi)在的能力 目前所從事工作的工齡 職業(yè)道德 以及其他許多因素 包含在u中 幾點(diǎn)說明 2 1 方程給出了y和x之間的函數(shù)關(guān)系 若u中的其他因素都保持不變 即 u 0 則x對y具有線性影響 即 y b1 x 線性形式意味著 不管x的初始值為多少 它的任何一單位變化對y的影響都是相同的 最困難的問題是 模型 2 1 是否真的能讓我們得到關(guān)于x如何在其他條件不變的情況下影響y的結(jié)論 簡單回歸模型的一個(gè)重要假定 零條件均值假定ZeroConditionalMeanAssumption 一個(gè)重要問題 在簡單回歸模型中 y b0 b1x u b1衡量的是 在其他因素 包含在誤差項(xiàng)u中 不變的情況下 x對于y的影響 ceterisparibuseffectofxony y b1 x if u 0 但是 在實(shí)際中 包含于誤差項(xiàng)u中的其他因素往往是不確定的 也就是說 u是一個(gè)隨機(jī)變量 一個(gè)重要問題 如果我們忽略包含于誤差項(xiàng)u中的其他因素 能否通過簡單回歸模型 得到x對于y的其他因素不變情況下的影響 ceterisparibuseffectofxony 呢 不能 需要對u和x的關(guān)系作出假定 或者是說 假定x與y的關(guān)系符合一定的條件 才能通過上述模型估計(jì)x對于y的其他因素不變情況下的影響 ceterisparibuseffectofxony 關(guān)于u的一個(gè)簡單假定 假定總體 population 中誤差項(xiàng)u的平均值為零 即 E u 0 2 5 Isitveryrestrictive 該假定對于模型是否具有很大的限制性呢 關(guān)于u的一個(gè)簡單假定 一個(gè)例子 只要簡單回歸模型中包含常數(shù)項(xiàng) 我們總可以等價(jià)變換 使得誤差項(xiàng)u均值為0舉一個(gè)例子 對于一個(gè)簡單回歸模型 y b0 b1x u a 假如E u 1 則可以進(jìn)行如下變換 y b0 1 b1x u 1 b0 b1x u b 這里 E u E u 1 E u 1 0 上述推導(dǎo)說明 我們總可以通過調(diào)整常數(shù)項(xiàng)b0 來實(shí)現(xiàn)誤差項(xiàng)u的均值為零 因此 假定E u 0 對于模型的限制性不大 ZeroConditionalMeanAssumption零條件均值假定 單純對u作出零值假定是不夠的 我們需要對u和x之間的關(guān)系做一個(gè)關(guān)鍵假定 我們所希望的狀況是 u的期望值不依賴于x的數(shù)值 也就是 無論x的取值是多少 u的期望值不變 即 E u x E u 換句話說 我們需要u和x完全不相關(guān) 零條件期望假定 在前面我們已經(jīng)假定了E u 0 因此 零條件均值假定可以表述為 E u x E u 0 2 6 Whatdoesitmean 該假定是何含義 零條件均值假定 例1 在簡單工資 教育方程中 工資 b0 b1 教育年限 u假定u代表 內(nèi)在能力 零條件均值假定則表示 E 內(nèi)在能力 教育年限 6 E 內(nèi)在能力 教育年限 18 E 內(nèi)在能力 即 對于不同教育年限的人 他們的內(nèi)在能力的平均值相同 零條件均值假定 例2 假設(shè)期末成績分?jǐn)?shù) score 取決于出勤次數(shù) attend 以及其他不可觀測的因素u 則可以寫出一個(gè)簡單二元回歸模型 成績 b0 b1 出勤次數(shù) u假定u代表 心理素質(zhì) 零條件均值假定則表示 E 心理素質(zhì) 出勤次數(shù) 1 E 心理素質(zhì) 出勤次數(shù) 18 E 心理素質(zhì) 即 對于不同出勤次數(shù)的同學(xué) 他們的心理素質(zhì)的平均值相同 零條件均值假定 對b1的另一種解釋 對于簡單二元回歸模型 y b0 b1x u對y求關(guān)于x的條件期望 則E y x E b0 b1x u x b0 b1x E u x 注 E b1x x b1x 由零條件均值假定E u x 0 得E y x b0 b1x 該方程是x的線性函數(shù) 即y對于x的條件期望是x的線性函數(shù) 又稱總體回歸函數(shù) Populationregressionfunction PRF b1表示 在零條件均值假定的條件下 相對于x的一個(gè)單位的變化 y的期望值的變化數(shù)量 x1 1 x2 2 E y x b0 b1x y E y x x2 E y x x1 總體回歸線 PRF E y x b0 b1x x 2 2普通最小二乘法 OLS 的推導(dǎo) 普通最小二乘法 OLS 的推導(dǎo) 方法一 矩估計(jì)方法 零條件均值假定 E u x E u 0有兩個(gè)意義 1 E u 0 2 E u x E u 根據(jù)本書附錄中條件期望性質(zhì)5 PropertyCE 5 p 719 由 2 可得 Cov u x 0因?yàn)?Cov u x E u E u x E x E ux E u E x E ux 由 1 得 故有 E ux 0 總體矩條件 假定對于一個(gè)總體 population 存在簡單回歸方程 y b0 b1x u假定零條件均值假定成立 E u x E u 0于是有 1 E u 0 2 E ux 0將u y b0 b1x代入上述等式 1 2 3 E y b0 b1x 0 4 E x y b0 b1x 0 3 4 稱為總體的矩條件 將總體矩條件應(yīng)用于樣本 從總體中隨機(jī)抽取一個(gè)樣本容量為n的隨機(jī)樣本 用 xi yi i 1 n i表示單個(gè)樣本 observation 的編號 n是樣本總量 xi yi表示第i個(gè)樣本的相應(yīng)的變量 每一觀測樣本i均應(yīng)滿足 yi b0 b1xi ui將前面所假定的總體矩條件 3 4 應(yīng)用于樣本中 這種方法稱為矩估計(jì)法 methodofmoments 選擇參數(shù)值b0 b1 使得樣本的矩條件成立 與總體中的矩條件 3 4 相對應(yīng) 在樣本中相應(yīng)的矩條件 samplecounterparts 為 現(xiàn)在的問題就是 通過選擇參數(shù)值 使得樣本相應(yīng)的矩條件 3 4 成立 即 求解關(guān)于的方程組 3 4 普通最小二乘法的推導(dǎo) 根據(jù)樣本均值的定義以及加總的性質(zhì) 可將第一個(gè)條件變換為代入到第二個(gè)矩條件中 普通最小二乘法的推導(dǎo) 因此 OLS估計(jì)的斜率為 關(guān)于OLS斜率估計(jì)量 斜率估計(jì)量b1等于樣本中x和y的協(xié)方差除以x的方差 若x和y正相關(guān) 則斜率為正 反之 為負(fù) 唯一需要假定的是 x的樣本方差不為零 或者說 在樣本中 x的觀測值必須要有變化 擬合值 fittedvalue 與殘差 residual 用樣本觀測值估計(jì)出的回歸方程的參數(shù)記作根據(jù)樣本估計(jì)參數(shù)值和樣本觀測值xi 我們可計(jì)算相應(yīng)的yi的擬合值 fittedvalue 實(shí)際樣本觀測值yi與其擬合值之間的差值 稱為殘差 residual 它可以看作是利用樣本回歸后 估計(jì)出來的誤差項(xiàng) 樣本回歸函數(shù) sampleregressionfucntion SRF 同時(shí) 根據(jù)特定樣本估計(jì)出的參數(shù) 我們可以寫出一個(gè)與總體回歸函數(shù) PRF 相對應(yīng)的樣本回歸函數(shù) sampleregressionfucntion SRF 對于一個(gè)特定的總體而言 總體回歸函數(shù) PRF 是固定的 是未知的 樣本回歸函數(shù) SRF 則是根據(jù)實(shí)際的樣本數(shù)據(jù)回歸所得到的 是總體回歸函數(shù) PRF 的一個(gè)估計(jì)形式 它隨著樣本的不同而不同 用不同的方法所得到的樣本回歸函數(shù) 可能也會(huì)有差異 家庭人均消費(fèi) 395 96 0 48 家庭人均收入2003年四川省農(nóng)戶調(diào)查樣本 n 100 消費(fèi)和收入單位 元 y4 y1 y2 y3 x1 x2 x3 x4 1 2 3 4 x y 理解 樣本回歸線 樣本數(shù)據(jù)點(diǎn)和殘差 y3 關(guān)于OLS的一點(diǎn)說明 殘差平方和OLS估計(jì)方法實(shí)際上就是 找到一條直線 使得殘差的平方和 Q 最小 因此 得名 普通最小二乘法 OrdinaryLeastSquares OLS OLS推導(dǎo)方法二 經(jīng)典OLS估計(jì)方法 解一個(gè)最小化問題 即通過選取參數(shù) 使下列殘差平方和最小 推導(dǎo)方法二 對上述殘差平方和Q分別對求偏導(dǎo)數(shù) 可以得到此最小化問題的一階條件 這兩個(gè)方程與前面的矩條件完全一致 可以用相同的方法求解參數(shù) 總結(jié) 介紹簡單線性回歸模型的結(jié)構(gòu) 術(shù)語 含義零值條件期望假定如何利用矩估計(jì)法和經(jīng)典普通最小二乘法 估計(jì)簡單回歸模型的截矩和斜率參數(shù) 2 3OLS的操作技巧 擬合值和殘差OLS統(tǒng)計(jì)量的代數(shù)性質(zhì)OLS殘差和及樣本均值都為零回歸元和OLS殘差的樣本協(xié)方差為零點(diǎn)總在OLS回歸線上擬合值的樣本平均值與 的樣本均值相等擬合值與殘差之間的樣本協(xié)方差為零擬合優(yōu)度 OLS的操作技巧 擬合值和殘差 擬合值 定義y在x 時(shí)的擬合值為殘差 第i次觀測的殘差是 與其擬合值的差若為正 則回歸線低估了 若為負(fù) 則回歸線高估了 換言之 實(shí)際上沒有一個(gè)數(shù)據(jù)點(diǎn)必須在OLS線上 OLS的操作技巧 OLS統(tǒng)計(jì)量的代數(shù)性質(zhì) OLS殘差和及其樣本均值均為零代數(shù)表示由OLS的一階條件得出 OLS的操作技巧 OLS統(tǒng)計(jì)量的代數(shù)性質(zhì) 回歸元和OLS殘差的樣本協(xié)方差為零代數(shù)表示由OLS的一階條件得出 OLS的操作技巧 OLS統(tǒng)計(jì)量的代數(shù)性質(zhì) 點(diǎn)總在OLS回歸線上代數(shù)表示可以由推導(dǎo)出 OLS的操作技巧 OLS統(tǒng)計(jì)量的代數(shù)性質(zhì) 擬合值的樣本平均值與 的樣本均值相等代數(shù)表示 擬合值與殘差之間的樣本協(xié)方差為零 OLS的操作技巧 擬合優(yōu)度 定義總平方和SST解釋平方和SSE殘差平方和SSR 總平方和SST 總平方和 總平方和 SST 是y在樣本中所有變動(dòng)的測度指標(biāo) 即它度量了y在樣本中的總分散程度 將總平方和除以n 1 可得到y(tǒng)的樣本方差 解釋平方和SSE 回歸模型所解釋的平方和 SSE 回歸模型所解釋的平方和 SSE 是yi的擬合值 yi的在樣本中的變動(dòng)程度的測度指標(biāo) 有時(shí)記作 MSS 殘差平方和SSR 殘差平方和 SSR 殘差平方和 SSR 是殘差 ui的樣本變異程度的測度指標(biāo) 表示模型所未解釋的y的變動(dòng) 有時(shí)記作 RSS SST SSE SSR y的總變動(dòng)SST等于模型所解釋的變動(dòng)SSE與模型所未解釋的變動(dòng)SSR之和 即SST SSE SSR OLS的操作技巧 擬合優(yōu)度 SST SSE SSR的證明 擬合優(yōu)度的定義 Goodness of Fit 想要衡量樣本回歸線是否很好地?cái)M合了樣本數(shù)據(jù) R 平方 回歸模型所解釋的平方和SSE占總平方和SST的比例 R2 SSE SST 1 SSR SSTR 平方 R2 R squared 決定系數(shù) coefficientofdetermination 擬合優(yōu)度的意義 R2是模型所解釋的變動(dòng)SSE占所有變動(dòng)SST的比例 可以看作是y的樣本變動(dòng)中可以被x解釋的部分的比例 R2的取值在0和1之間 一個(gè)接近于1的判定系數(shù)表明OLS給出了一個(gè)良好的擬合 一個(gè)于0的判定系數(shù)表明OLS給出了一個(gè)糟糕的擬合 一點(diǎn)說明 擬合優(yōu)度 在社會(huì)科學(xué)中 尤其是在截面數(shù)據(jù)分析中 一些回歸方程的R2 有時(shí)很低 但是 較低的R2 不一定說明OLS回歸方程沒有價(jià)值的 2 4度量單位和函數(shù)形式 改變度量單位對OLS統(tǒng)計(jì)量的影響在簡單回歸中加入非線性因素 線性 回歸的含義 改變度量單位對OLS統(tǒng)計(jì)量的影響 一般而言 當(dāng)因變量乘上常數(shù)c 而自變量不改變時(shí) OLS的截距和斜率估計(jì)量也要乘上c例 用千美元來計(jì)算年薪salary 963 191 18 501roesalardol 963191 18501roe 千美元 若自變量被除以或乘以一個(gè)非零常數(shù)c 則OLS斜率系數(shù)也會(huì)分別被乘以或者除以c定義roedec roe 100 那么樣本回歸線將會(huì)從 estimatedsalary 963 191 18 501roe改變到 estimatedsalary 963 191 1850 1roedec可見 改變自變量的度量單位一般不改變截距值 在簡單回歸中加入非線性因素 非線性因素的必要性 線性關(guān)系并不適合所有的經(jīng)濟(jì)學(xué)運(yùn)用通過對因變量和自變量進(jìn)行恰當(dāng)?shù)亩x 我們可以在簡單回歸分析中非常容易地處理許多y和x之間的非線性關(guān)系例子 工資 教育模型 見下頁 在簡單回歸中加入非線性因素 自然對數(shù)形式 模型 在工資 教育的例子中 假定每增加一年的教育 工資的百分比增長都是相同的能夠給出不變的百分比的模型是log wage educ u如果 全微分得出 經(jīng)濟(jì)含義是多接受一年教育時(shí)工資變化的百分比 例 工資與教育之間的非線性關(guān)系 9初中12高中15大專 Y3Y2y1 wage exp b0 b1 edu u withb1 0 對數(shù)工資方程 對數(shù)工資方程 假定每增加一年的教育 工資的增長率都相同 log 工資 b0 b1 教育 u半彈性模型 semi elasticity log level b1衡量的是 其他不變 每增加一年的教育 工資的增長率 y y b1 x if u 0比較 在以前所舉的工資方程中 工資 b0 b1 教育 u 工資 b1 教育 if u 0b1衡量的是 其他不變 每增加一年的教育 工資的增長數(shù)量 元 估計(jì)彈性 有時(shí) 我們想要知道 y對于x的彈性 即x變化1個(gè)百分點(diǎn)時(shí) y變化多少個(gè)百分點(diǎn) y y x x b1 不變彈性模型 constantelasticity 假定y對x的彈性為常數(shù) 對x和y進(jìn)行對數(shù)變換 建立簡單回歸模型 log y b0 b1 log x u y y b1 x x if u 0例 收入增加1 消費(fèi)增加b1 log 消費(fèi) b0 b1 log 收入 u 在簡單回歸中加入非線性因素 自然對數(shù)形式 例 消費(fèi)與收入的關(guān)系 收入增加1元 消費(fèi)增加多少元 1 Level level y b0 b1x u收入增加1 消費(fèi)增加多少元 1 level log y b0 b1log x u收入增加1元 消費(fèi)增加比率是多少 1 100 半彈性 Log level log y b0 b1x u收入增加1 消費(fèi)增加 1 不變彈性 Log log log y b0 b1log x u 問題 什么是線性 線性 回歸的含義 我們在本章研究的簡單回歸模型又被稱為簡單線性回歸模型 看一下方程 就會(huì)明白 關(guān)鍵是 方程中的參數(shù) 和 是線性的 至于y和x與我們關(guān)注的被解釋變量和解釋變量有何聯(lián)系 并沒有限制 比方說 用簡單回歸去估計(jì)一個(gè)諸如 的模型也是毫無問題的 OLS估計(jì)量的期望值和方差 OLS的無偏性O(shè)LS估計(jì)量的方差 OLS的無偏性 我們首先在一組簡單假定的基礎(chǔ)上構(gòu)建OLS的無偏性 假定SLR 1 線性于參數(shù) 在總體模型中 因變量y與自變量x的誤差項(xiàng)u的關(guān)系如下 其中 和分別表示總體的截矩和斜率參數(shù) OLS的無偏性 假定SLR 2 隨機(jī)抽樣 我們具有一個(gè)服從從整體模型方程的隨機(jī)樣本 i 1 2 n 其樣本容量為n OLS的無偏性 假定SLR 3 解釋變量的樣本有變異 x的樣本結(jié)果即 i 1 n 不是完全相同的數(shù)值 OLS的無偏性 假定SLR 4 零條件均值 給定解釋變量的任何值 誤差的期望值都是零 換言之 E u x 0恒成立 OLS的無偏性 定理2 1OLS的無偏性利用假定SLR 1 SLR 4 對的任何值 我們都有 換言之公式的推導(dǎo) 引理 OLS的無偏