數(shù)學(xué)簡(jiǎn)單線性回歸模型PPT學(xué)習(xí)教案

1、數(shù)學(xué)簡(jiǎn)單線性回歸模型數(shù)學(xué)簡(jiǎn)單線性回歸模型第1頁(yè)/共89頁(yè)第2頁(yè)/共89頁(yè)第3頁(yè)/共89頁(yè)第4頁(yè)/共89頁(yè)第5頁(yè)/共89頁(yè)第6頁(yè)/共89頁(yè)第7頁(yè)/共89頁(yè)第8頁(yè)/共89頁(yè)第9頁(yè)/共89頁(yè)第10頁(yè)/共89頁(yè)第11頁(yè)/共89頁(yè)第12頁(yè)/共89頁(yè)第13頁(yè)/共89頁(yè)第14頁(yè)/共89頁(yè)也服從正態(tài)分布。服從正態(tài)分布，的隨機(jī)性。的隨機(jī)性導(dǎo)致正是由于變量：服從正態(tài)分布的隨機(jī)：參數(shù)，：解釋變量被解釋變量YYYYiiniiixx010:第15頁(yè)/共89頁(yè)第16頁(yè)/共89頁(yè) 1. 經(jīng)濟(jì)變量間的相互關(guān)系 確定性的函數(shù)關(guān)系 不確定性的統(tǒng)計(jì)關(guān)系相關(guān)關(guān)系 (為隨機(jī)變量) 沒(méi)有關(guān)系 一、回歸與相關(guān) （對(duì)統(tǒng)計(jì)學(xué)的回顧）()Yf

2、X()Yf X第17頁(yè)/共89頁(yè)2.相關(guān)關(guān)系 相關(guān)關(guān)系的描述 相關(guān)關(guān)系最直觀的描述方式坐標(biāo)圖（散布圖） YX第18頁(yè)/共89頁(yè) 3.相關(guān)程度的度量相關(guān)系數(shù) 總體線性相關(guān)系數(shù)： 其中： X 的方差； Y的方差 X和Y的協(xié)方差樣本線性相關(guān)系數(shù)： 其中： 和 分別是變量 和 的樣本觀測(cè)值 和 分別是變量 和 樣本值的平均值Cov(,)Var()Var( )X YXYVar()XVar( )YCov(, )X Y_22()()()()iiXYiiXX YYXXYY_YiXiYXXYXY第19頁(yè)/共89頁(yè)XY第20頁(yè)/共89頁(yè)4. 回歸分析回歸的古典意義： 高爾頓遺傳學(xué)的回歸概念 ( 父母身高與子女身高

3、的關(guān)系)回歸的現(xiàn)代意義： 一個(gè)應(yīng)變量對(duì)若干解釋變量 依存關(guān)系 的研究回歸的目的（實(shí)質(zhì)）： 由固定的解釋變量去 估計(jì)應(yīng)變量的平均值第21頁(yè)/共89頁(yè)iXXYYYYYYYXYXE()iY X第22頁(yè)/共89頁(yè) iXYX回歸線: 對(duì)于每一個(gè) 的取值， 都有 的條件期望 與之對(duì)應(yīng)， 代表這些 的條件期 望的點(diǎn)的軌跡所形成 的直線或曲線，稱為 回歸線。回歸線與回歸函數(shù)XYYE()iY X第23頁(yè)/共89頁(yè)舉例：假如已知100個(gè)家庭構(gòu)成的總體。YXXE()()iiY Xf XYE()iY XE()iY X第24頁(yè)/共89頁(yè)每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X X100015002000

4、250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每每960121013101432183510682319248828563201月月125913401520188520662321258729003288家家132414001615194321852365265030213399庭庭1448165020372210239827893064消消1489171

5、220782289248728533142費(fèi)費(fèi)1538177821792313251329343274支支160018412298239825383110出出17021886231624232567 Y1900238724532610201224982487271025892586900115014001650190021502400265029003150E()iY X例:100個(gè)家庭構(gòu)成的總體 (單位:元)第25頁(yè)/共89頁(yè) 1. 總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟(jì)現(xiàn)象的總體應(yīng)變量 和解釋變量 的每個(gè)觀測(cè)值, 可以計(jì)算出總體應(yīng)變量 的條件均值 ，并將其表現(xiàn)為解釋變量 的某種函數(shù)

6、 這個(gè)函數(shù)稱為總體回歸函數(shù)（PRF）二、總體回歸函數(shù)（PRF）E()()iiY X= f XYYXXE()iY X第26頁(yè)/共89頁(yè) iuiXXY)(iXYEiY （1）條件均值表現(xiàn)形式 假如 的條件均值 是解 釋變量 的線性函數(shù)，可表示為： （2）個(gè)別值表現(xiàn)形式 對(duì)于一定的 ， 的各個(gè)別值 分布 在 的周圍，若令各個(gè) 與條件 均值 的偏差為 , 顯然 是隨機(jī)變量,則有 或 2.總體回歸函數(shù)的表現(xiàn)形式iXE()iY X12E()()iiiiY Xf XXiYE()iY XiYE()iY Xiuiu12E()iiiiiiuYY XYX12iiiYXuYYX第27頁(yè)/共89頁(yè)YXYYX第28頁(yè)/共

7、89頁(yè)計(jì)量經(jīng)濟(jì)學(xué)中: 線性回歸模型主要指就參數(shù)而言是“線性”,因?yàn)橹灰獙?duì)參數(shù)而言是線性的,都可以用類似的方法估計(jì)其參數(shù)。12E()iiiY XX212E()iiiY XX12E()iiiY XX“線性”的判斷第29頁(yè)/共89頁(yè)uiYiuYXiXuE()iY XYiu第30頁(yè)/共89頁(yè)引入隨機(jī)擾動(dòng)項(xiàng)的原因第31頁(yè)/共89頁(yè)四、樣本回歸函數(shù)（SRF）X 樣本回歸線： 對(duì)于 的一定值，取得 的樣本觀測(cè)值，可計(jì)算其條件均值，樣本觀測(cè)值條件均值的軌跡稱為樣本回歸線。 樣本回歸函數(shù)： 如果把應(yīng)變量 的樣本條件均值表示為解釋變量 的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸函數(shù)（SRF）。 XYYYX第32頁(yè)/共89頁(yè)

8、SRF2SRF1YX第33頁(yè)/共89頁(yè)第34頁(yè)/共89頁(yè)12iiYX 樣本回歸函數(shù)如果為線性函數(shù)，可表示為 其中： 是與 相對(duì)應(yīng)的 的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù) 應(yīng)變量 的實(shí)際觀測(cè)值 不完全等于樣本條件均值，二者之差用 表示, 稱為剩余項(xiàng)或殘差項(xiàng)： 或者 樣本回歸函數(shù)的表現(xiàn)形式21iiiYXeiiieYYieiXiYiY12ieYY第35頁(yè)/共89頁(yè)ieiYiuE()iY X12iiiYXe122112iu第36頁(yè)/共89頁(yè)iY 樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 SRF PRF A iuieiY()iiE Y XiYYiXX第37頁(yè)/共89頁(yè)1 回歸分析的目的 用樣本回歸函數(shù)S

9、RF去估計(jì)總體回歸函數(shù)PRF。 由于樣本對(duì)總體總是存在代表性誤差，SRF 總會(huì)過(guò) 高或過(guò)低估計(jì)PRF。要解決的問(wèn)題：尋求一種規(guī)則和方法，使得到的SRF的參數(shù) 和 盡可能“接近”總體回歸函數(shù)中的參數(shù) 和 。這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法212第38頁(yè)/共89頁(yè)第39頁(yè)/共89頁(yè)第40頁(yè)/共89頁(yè)2、基本假定的內(nèi)容12iiiYXuXuX第41頁(yè)/共89頁(yè)iuiu（2）對(duì)隨機(jī)擾動(dòng)項(xiàng) 的假定uiuXXE()0iiu X2iu22Var()EE()iiiiiu Xuu X第42頁(yè)/共89頁(yè) 假定3：無(wú)自相關(guān)假定 隨機(jī)擾動(dòng)項(xiàng) 的逐次值互不相關(guān) 假定4：隨機(jī)擾動(dòng) 與解釋變量 不相關(guān) iui

10、uX( ,)( )()ijiijjCov u uE uE uuE u()0()ijE uuij( ,)( )()0iiiiiiCov u XE uE uXE X第43頁(yè)/共89頁(yè) 假定5：對(duì)隨機(jī)擾動(dòng)項(xiàng)分布的正態(tài)性假定 即假定 服從均值為零、方差為 的正態(tài)分布 （說(shuō)明：正態(tài)性假定不影響對(duì)參數(shù)的點(diǎn)估計(jì)，但對(duì)確定所估計(jì)參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當(dāng)樣本容量趨于無(wú)窮大時(shí)， 的分布會(huì)趨近于正態(tài)分布。所以正態(tài)性假定是合理的）iu2(0,)iuNiu2iu第44頁(yè)/共89頁(yè)iYCov( ,)0()ijY YijiiiuXY21iuiuiY12E()iiiY XX2Var()iY X212(,

11、)iiYNXY第45頁(yè)/共89頁(yè)OLS的基本思想二、普通最小二乘法 （rdinary Least Squares ）12iYiYiYieie2ie2212min()min()iiieYX第46頁(yè)/共89頁(yè) 正規(guī)方程和估計(jì)式用克萊姆法則求解得觀測(cè)值形式的OLS估計(jì)式： 2122()iiiiiiiXYXX YnXX取偏導(dǎo)數(shù)為0，得正規(guī)方程222()iiiiiinX YXYnXX12iiYnX212iiiiX YXX第47頁(yè)/共89頁(yè) 為表達(dá)得更簡(jiǎn)潔，或者用離差形式OLS估計(jì)式： 注意其中：而且樣本回歸函數(shù)可寫為 22_2)()(iiiiiixyxXXYYXXXY2_1XXxiiYYyii用離差表現(xiàn)

12、的OLS估計(jì)式iiixy 第48頁(yè)/共89頁(yè)XYXYiYiY12YXiYYn第49頁(yè)/共89頁(yè) 剩余項(xiàng) 的均值為零應(yīng)變量估計(jì)值 與剩余項(xiàng) 不相關(guān) 解釋變量 與剩余項(xiàng) 不相關(guān) ie0neeiCov(,)0iiY eiYieieiXCov(,)0iiX e第50頁(yè)/共89頁(yè)( )fE( )E( )第51頁(yè)/共89頁(yè)前提：樣本相同、用不同的方法估計(jì)參數(shù)， 可以找到若干個(gè)不同的估計(jì)式 目標(biāo)：努力尋求其抽樣分布具有最小方差的 估計(jì)式 最小方差準(zhǔn)則，或稱最佳 性準(zhǔn)則 既是無(wú)偏的同時(shí)又具有最小方差的估計(jì)式，稱為 最佳無(wú)偏估計(jì)式。2. 最小方差性第52頁(yè)/共89頁(yè) 4. 漸近性質(zhì)（大樣本性質(zhì)）nP)lim(思

13、想:當(dāng)樣本容量較小時(shí)，有時(shí)很難找到最佳無(wú)偏估計(jì)，需要考慮樣本擴(kuò)大后的性質(zhì)一致性： 當(dāng)樣本容量 n 趨于無(wú)窮大時(shí)，如果估計(jì)式 依概率收斂于總體參數(shù)的真實(shí)值，就稱這個(gè)估計(jì)式 是 的一致估計(jì)式。即 或 漸近有效性：當(dāng)樣本容量 n 趨于無(wú)窮大時(shí)，在所有的一致估計(jì)式中，具有最小的漸近方差。1)(limP第53頁(yè)/共89頁(yè)iYiX2122()iiiiiiiXYXX YnXX222()iiiiiinX YXYnXXkk第54頁(yè)/共89頁(yè)1. 線性特征 是 的線性函數(shù) 2. 無(wú)偏特性 3. 最小方差特性 在所有的線性無(wú)偏估計(jì)中，OLS估計(jì) 具有最小方差結(jié)論：在古典假定條件下,OLS估計(jì)式是最佳線性無(wú) 偏估計(jì)式

14、（BLUE） kOLS估計(jì)式的統(tǒng)計(jì)性質(zhì)高斯定理kkE)(iiiiiiiiykxyxXXYYXX222)()(2iiixkxkY第55頁(yè)/共89頁(yè)第56頁(yè)/共89頁(yè) 一、什么是擬合優(yōu)度? 概念：樣本回歸線是對(duì)樣本數(shù)據(jù)的一種擬合，不同估計(jì)方法可擬合出不同的回歸線，擬合的回歸線與樣本觀測(cè)值總有偏離。 樣本回歸線對(duì)樣本觀測(cè)數(shù)據(jù)擬合的優(yōu)劣程度 擬合優(yōu)度擬合優(yōu)度的度量建立在對(duì)總變差分解的基礎(chǔ)上XY第57頁(yè)/共89頁(yè))()(iiiiYYYYYY222)()()(iiiiYYYYYY第58頁(yè)/共89頁(yè)2iy2iy2ie第59頁(yè)/共89頁(yè)iY總變差i(Y -Y )SRFi(Y -Y ) 來(lái)自回歸ie來(lái)自殘差iX

15、Y變差分解的圖示YX第60頁(yè)/共89頁(yè)222iyyrTSSRSSTSSESSTSSTSS2iy2r2iy2221iiyer22221iiiyeyy第61頁(yè)/共89頁(yè)可決系數(shù)的作用和特點(diǎn)102 r2r第62頁(yè)/共89頁(yè)運(yùn)用可決系數(shù)時(shí)應(yīng)注意 可決系數(shù)只是說(shuō)明列入模型的所有解釋變量對(duì) 因變量的聯(lián)合的影響程度，不說(shuō)明模型中每個(gè) 解釋變量的影響程度（在多元中） 回歸的主要目的如果是經(jīng)濟(jì)結(jié)構(gòu)分析，不能只 追求高的可決系數(shù)，而是要得到總體回歸系數(shù) 可信的估計(jì)量，可決系數(shù)高并不表示每個(gè)回歸 系數(shù)都可信任 如果建模的目的只是為了預(yù)測(cè)因變量值，不是 為了正確估計(jì)回歸系數(shù)，一般可考慮有較高的 可決系數(shù)第63頁(yè)/共8

16、9頁(yè)第64頁(yè)/共89頁(yè)問(wèn)題的提出 為什么要作區(qū)間估計(jì)？OLS估計(jì)只是通過(guò)樣本得到的點(diǎn)估計(jì)，不一定等于真實(shí)參數(shù)，還需要找到真實(shí)參數(shù)的可能范圍，并說(shuō)明其可靠性為什么要作假設(shè)檢驗(yàn)？OLS 估計(jì)只是用樣本估計(jì)的結(jié)果，是否可靠？ 是否抽樣的偶然結(jié)果？還有待統(tǒng)計(jì)檢驗(yàn)。區(qū)間估計(jì)和假設(shè)檢驗(yàn)都是建立在確定參數(shù)估計(jì)值概率分布性質(zhì)的基礎(chǔ)上。第65頁(yè)/共89頁(yè)iYkkkiukkiYiY第66頁(yè)/共89頁(yè) 的期望： (無(wú)偏估計(jì)） 的方差和標(biāo)準(zhǔn)誤差 (標(biāo)準(zhǔn)誤差是方差的算術(shù)平方根) 注意：以上各式中 未知，其余均是樣本觀測(cè)值 的期望和方差2212Var()iiXNx2E()kk222Var()ix22SE()ix212SE

17、()iiXNx第67頁(yè)/共89頁(yè) 可以證明 的無(wú)偏估計(jì)為 (n-2為自由度,即可自由變化的樣本觀測(cè)值個(gè)數(shù))2對(duì)隨機(jī)擾動(dòng)項(xiàng)方差 的估計(jì)2222ien第68頁(yè)/共89頁(yè)在 已知時(shí)將 作標(biāo)準(zhǔn)化變換2) 1 , 0()(22111111NxnXSEzii) 1 , 0()(2222222NxSEzi第69頁(yè)/共89頁(yè)2 (2)()kkktt nSE22當(dāng) 未知時(shí) 第70頁(yè)/共89頁(yè)k1),(kk1)(kkkP01第71頁(yè)/共89頁(yè)回歸系數(shù)區(qū)間估計(jì)的方法22*222 (2)()tt nSE第72頁(yè)/共89頁(yè)22n1)(22222tSEtP1)()(2222222SEtSEtP第73頁(yè)/共89頁(yè)三、回歸系

18、數(shù)的假設(shè)檢驗(yàn)1. 假設(shè)檢驗(yàn)的基本思想為什么要作假設(shè)檢驗(yàn)？ 所估計(jì)的回歸系數(shù) 、 和方差 都是通過(guò) 樣本估計(jì)的，都是隨抽樣而變動(dòng)的隨機(jī)變量， 它們是否可靠？是否抽樣的偶然結(jié)果呢？還需 要加以檢驗(yàn)。212第74頁(yè)/共89頁(yè)XYXY第75頁(yè)/共89頁(yè)*2(2) ttn*2(2) ttn* 2 2-t(n - 2) t t(n - 2)2t(n- 2)22*22222 (2)()()tt nSESE02H :012H :002H :02. 回歸系數(shù)的檢驗(yàn)方法第76頁(yè)/共89頁(yè) P用 P 值判斷參數(shù)的顯著性假設(shè)檢驗(yàn)的 p 值：p 值是基于既定的樣本數(shù)據(jù)所計(jì)算的統(tǒng)計(jì)量，是拒絕原假設(shè)的最低顯著性水平。統(tǒng)計(jì)分析軟件中通常都給出了檢驗(yàn)的 p 值統(tǒng)計(jì)量 t由樣本計(jì)算的統(tǒng)計(jì)量為:相對(duì)于顯著性水平 的臨界值: