線性回歸模型課件

1、線性回歸模型1線性回歸模型線性回歸模型線性回歸模型2學(xué)習(xí)目標(biāo) 了解：經(jīng)濟(jì)變量之間的關(guān)系 “回歸”名稱的來源、逐個(gè)剔除法、逐步回歸法的優(yōu)缺點(diǎn) 理解：多元線性回歸模型的一般形式、隨機(jī)項(xiàng)的來源及基本假定、回歸分析的基本思想和方法、t檢驗(yàn)、f檢驗(yàn)、r檢驗(yàn)的關(guān)系、判定系數(shù)、選元的標(biāo)準(zhǔn)。 掌握：線性回歸模型的一般形式、誤差隨機(jī)項(xiàng)的基本假定、回歸分析的主要內(nèi)容、普通最小平方法、t檢驗(yàn)、f檢驗(yàn)、r檢驗(yàn)的檢驗(yàn)思想及步驟、點(diǎn)預(yù)測(cè)、區(qū)間預(yù)測(cè)、應(yīng)用計(jì)算機(jī)軟件進(jìn)行線性回歸分析 線性回歸模型3 內(nèi)內(nèi) 容容2.1 回歸模型的一般描述2.2 一元線性回歸的參數(shù)估計(jì)2.3 一元線性回歸的顯著性檢驗(yàn)2.4 一元線性回歸的預(yù)測(cè)2.

2、5 多元線性回歸模型及其假設(shè)2.6 多元線性回歸的參數(shù)估計(jì)2.7 多元線性回歸的顯著性檢驗(yàn)2.8 利用多元線性回歸方程進(jìn)行預(yù)測(cè)2.9 解釋變量的選擇2.10 殘差分析與異常值檢測(cè)2.11 模型的結(jié)構(gòu)穩(wěn)定性檢驗(yàn)：chow檢驗(yàn)2.12正態(tài)性檢驗(yàn)：jarquebera檢驗(yàn)線性回歸模型41 1 回歸模型的一般描述回歸模型的一般描述一、變量間的關(guān)系1. 函數(shù)關(guān)系：變量間卻定性的對(duì)應(yīng)關(guān)系2. 相關(guān)關(guān)系：變量間不確定的對(duì)應(yīng)關(guān)系（1）相關(guān)關(guān)系強(qiáng)弱的測(cè)度相關(guān)系數(shù)：（2）相關(guān)系數(shù)的取值范圍-1，1，正負(fù)號(hào)僅表示方向，不表示大小。22) y(y)x(x)x)(xy(yriiii線性回歸模型51 1 回歸模型的一般描

3、述回歸模型的一般描述二、回歸模型的一般形式三、一元線性回歸模型yf(x)u01iiiy xu線性回歸模型61 1 回歸模型的一般描述回歸模型的一般描述四、一元回歸模型的基本假定（最小二乘假定）（1）（2） 等方差性（3） 無序列相關(guān)（4）進(jìn)一步假定,n,i)e(ui210,n,i)var(uui212,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),un(u20線性回歸模型71 1 回歸模型的一般描述回歸模型的一般描述五、回歸分析預(yù)測(cè)的一般步驟以預(yù)測(cè)對(duì)象為因變量建立回歸模型；利用樣本數(shù)據(jù)對(duì)模型的參數(shù)進(jìn)行估計(jì)；對(duì)參數(shù)的估計(jì)值及回歸方程進(jìn)行顯著性檢驗(yàn)；1.利用通過檢

4、驗(yàn)的方程進(jìn)行預(yù)測(cè)。線性回歸模型82 一元線性回歸的參數(shù)估計(jì)一、散點(diǎn)圖與回歸直線1. 散點(diǎn)圖：將n組相關(guān)數(shù)據(jù)在直角坐標(biāo)系中描述出來即為散點(diǎn)，由坐標(biāo)系和散點(diǎn)共同構(gòu)成的圖形稱作散點(diǎn)圖。作用：直觀描述變量間的關(guān)系。例如：電的供應(yīng)量與產(chǎn)值之間的關(guān)系線性回歸模型92 一元線性回歸的參數(shù)估計(jì)2. 回歸直線 當(dāng)散點(diǎn)圖的數(shù)據(jù)點(diǎn)的走向大致趨于一條直線時(shí)，通過散點(diǎn)圖作一條直線，使它能夠擬合這些點(diǎn)，近似的描述變量間的關(guān)系，稱這條直線為回歸直線，記作iixbby線性回歸模型102.2 一元線性回歸的參數(shù)估計(jì)二、最小二乘法1. 基本原理：找到一條直線，使直線上的點(diǎn)與實(shí)際觀察值之間的距離最小，即 ，其中 。3. 根據(jù)微分極

5、值原理求解解該方程組得其中， ，min2)y(yqiiioixy1iiiii)xxbb(ybq)xbb(ybqxbyb)x(x)x)(xy(ybiiiixnx1iyny1線性回歸模型112 一元線性回歸的參數(shù)估計(jì)例 已知一個(gè)工廠的年產(chǎn)值與電的供應(yīng)量之間存在一元線性關(guān)系，數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實(shí)現(xiàn)回歸于是所求的方程為 這說明，該廠電的供應(yīng)量每增加一萬度，年產(chǎn)值增加6.9712萬元。產(chǎn)值（萬元）y電的供應(yīng)量（萬度）x21312.524216.328620.730522.43062334228.635130.137332.537932.63773338435.439537

6、.93873740239.241840.7.xyb.)x(x)x)(xy(ybiiiiix.y971263480138線性回歸模型122.3 一元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)線性回歸模型133 一元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)（邏輯檢驗(yàn)）檢驗(yàn)內(nèi)容：參數(shù)估計(jì)值的符號(hào)和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì)實(shí) 際相符合，是否有經(jīng)濟(jì)意義。二、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度（可決系數(shù)）：回歸直線與實(shí)際數(shù)據(jù)的擬合程度 ，記作 ?；貧w變差的分解：tss=rss+ess 擬合優(yōu)度經(jīng)驗(yàn)結(jié)果，通常要求 。2rssrtss802.r 2r線性回歸模型143 一元線性

7、回歸的顯著性檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和所有自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為自變量和因變量之間的線性關(guān)系顯著。1122msrrssff( ,n)mseess n-),n(f21),n(ff21001110:h:h線性回歸模型153 一元線性回歸的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和每個(gè)自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量 , 其中在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性

8、關(guān)系顯著。001110:h:h)t(n)s(bbt)x(x)(n)y(y)s(biii)(nt22)(nt2t2線性回歸模型163 一元線性回歸的顯著性檢驗(yàn)五、一元回歸方程的顯著性檢驗(yàn)小結(jié)擬合優(yōu)度通常要求 ，且與相關(guān)系數(shù)之間的關(guān)系 ，但通常不用相關(guān)系數(shù)判斷擬合優(yōu)度；1.對(duì)于一元回歸，方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)是一致的，做一個(gè)即可。802.r 22rr 線性回歸模型173 一元線性回歸的顯著性檢驗(yàn)六、續(xù)例，給定顯著性水平 ，進(jìn)行統(tǒng)計(jì)檢驗(yàn)解：根據(jù)運(yùn)行結(jié)果（1）方程的擬合優(yōu)度較高；（2）20 990 8rssr.tss0 051710 254 671132.rssf.f( ,)ess n

9、-05. 0線性回歸模型182.4 一元線性回歸的預(yù)測(cè)一、回歸預(yù)測(cè)定義：給定自變量一個(gè)特定的值，利用回歸方程對(duì)因變量的值進(jìn)行估計(jì)。分類：點(diǎn)預(yù)測(cè)、區(qū)間預(yù)測(cè)二、點(diǎn)預(yù)測(cè)定義：假定y與x的回歸方程為 ，對(duì)于給定的自變量 ，求得 ，稱這種預(yù)測(cè)為點(diǎn)預(yù)測(cè)。續(xù)例，已求出該廠產(chǎn)值與電的供應(yīng)量之間的回歸方程為 ，并通過檢驗(yàn)。如果電的供應(yīng)量達(dá)到50萬度，對(duì)產(chǎn)值進(jìn)行點(diǎn)預(yù)測(cè)，iix.y971263480138ioixybb0 xx 00bbxyo（萬元）91.486509712. 63480.138971263480138iix.y線性回歸模型194 一元線性回歸的預(yù)測(cè)三、區(qū)間預(yù)測(cè)預(yù)測(cè)誤差：點(diǎn)預(yù)測(cè)值與實(shí)際觀測(cè)值之間的差

10、異 ?？梢宰C明 ，其中給定置信水平 ，置信區(qū)間為 ，其中， 是自由度為年n-2的t分布臨界值，其中1.4. 例置信水平95%的置信區(qū)間（464.73，509.09）。000yye)(e,n(e020011 220202)x -(x)x(xn)(eiu1)( )( (ety ,ety2i20u0)xx()xx(n11)( etn)y(yn-eiiiu線性回歸模型205 5 多元線性回歸模型及其假設(shè)多元線性回歸模型及其假設(shè)一、線性回歸模型的一般形式 如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸模型可以表示為： 寫成矩陣形式為： 其中nyyyy01 1

11、22kkyxxxuyxuknnnkkxxxxxxxxxxk10nuuuu線性回歸模型212.5 2.5 多元線性回歸模型及其假設(shè)多元線性回歸模型及其假設(shè)二、多元回歸模型的基本假定（1）（2） 等方差性（3） 無序列相關(guān)（4）（5）進(jìn)一步假定（6） 各自變量之間不存在顯著相關(guān)關(guān)系,n,i,n,i,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),n(uuinkxrank)(12|,0iiikie uxxx212(|,.,)iiikiuvar uxxx線性回歸模型222.6 多元線性回歸的參數(shù)估計(jì)一、參數(shù)估計(jì)方法1. 基本原理：2. 根據(jù)微分極值原理，采用矩陣形式求解

12、一元回歸的參數(shù)估計(jì)是多元回歸參數(shù)估計(jì)的特例。min2)y(yqiiyxxxt1t)(b線性回歸模型232.6 多元線性回歸的參數(shù)估計(jì)二、利用excel進(jìn)行參數(shù)估計(jì)其操作步驟為：點(diǎn)擊工具點(diǎn)擊數(shù)據(jù)分析選擇回歸點(diǎn)擊確定輸入值輸入?yún)^(qū)域輸入值輸入?yún)^(qū)域輸入置信度在輸出選項(xiàng)選擇輸出區(qū)域或新工作組表或新工作簿點(diǎn)擊確定，即可得到輸出結(jié)果 線性回歸模型242.6 多元線性回歸的參數(shù)估計(jì)三、最小二乘估計(jì)量（olse)的統(tǒng)計(jì)性質(zhì) 線性 = +最小二乘估計(jì)量b不僅是y的線性組合，也是u的線性組合。 無偏 = + = 最優(yōu)性最小二乘估計(jì)量b的最優(yōu)性，又稱有效性或最小方差性。 （ ）其中， 是 主對(duì)角線上的元素?？梢宰C明，

13、 具有最小方差的特性。（證明略）1()ttx xx u1()( )ttx xx e u21()tujjx x2ujjc0,1,2,jkjjc1()tx x)b(eyx)xx(bt1t)var(jbjb線性回歸模型252.6 多元線性回歸的參數(shù)估計(jì)四、隨機(jī)誤差項(xiàng)的方差的估計(jì)量 是 的無偏估計(jì)量（m=k+1，為變量個(gè)數(shù)或參數(shù)個(gè)數(shù)，k為自變量個(gè)數(shù)）。它的算術(shù)方根稱為估計(jì)標(biāo)準(zhǔn)誤差，記為：222211()1nniiiiiueeyysnmnk2u2211()1nniiiiiueeyysnmnk線性回歸模型262.6 多元線性回歸的參數(shù)估計(jì)此時(shí)，估計(jì)量的標(biāo)準(zhǔn)差可表示為： 是 主對(duì)角線上的元素（j=0,1,k

14、）。()jjbbjsvar b221()1niiijjujjyyccnkjjc1()tx x線性回歸模型272.6 多元線性回歸的參數(shù)估計(jì)五、回歸系數(shù)的置信區(qū)間由于 ； ； 故可得的置信度為 的置信區(qū)間為：excel能夠自動(dòng)給出各回歸系數(shù)的上下限()jje b2var()jjjubc122(1),jjjubtnkc22(1)jjjubtnkc線性回歸模型282.6 多元線性回歸的參數(shù)估計(jì)六、例2.2 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實(shí)現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費(fèi)增加0.497萬元，人口每增加1萬人消費(fèi)增加0.665萬元。iiix.

15、x.y年份消費(fèi)收入人口1994913.148.219959.513.948.919961013.849.54199710.614.850.25199813.416.451.02199916.220.951.84200017.724.253.76200120.128.153.69200221.830.154.55200325.335.855.35200431.348.556.1620053654.856.98線性回歸模型292.7 多元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)五、序列相關(guān)檢驗(yàn)線性回歸模型302.7 多元線性回歸的顯著性檢驗(yàn)一

16、、經(jīng)濟(jì)檢驗(yàn)（邏輯檢驗(yàn)）1. 檢驗(yàn)內(nèi)容：參數(shù)估計(jì)值的符號(hào)和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì) 實(shí)際相符合。2. 回歸系數(shù)的估計(jì)值與實(shí)際相反的原因（1）某些變量的取值范圍太窄；（2）模型中遺漏了某些重要因素；（3）模型中自變量之間有較強(qiáng)的線性關(guān)系。線性回歸模型312.7 多元線性回歸的顯著性檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)判定系數(shù) 與修正判定系數(shù) 判定系數(shù)的大小還取決于包含在模型中的自變量的個(gè)數(shù)。2. 修正判定系數(shù) 的計(jì)算 注：（1）如果k=0，則（2）如果k0，則（3） 有可能為負(fù)值。2rr rrknn)r(rrrr2r線性回歸模型322.7 多元線性回歸的顯著性檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和所有

17、自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和自變量全體之間的線性關(guān)系顯著。11msrrss kf f(k,nk)mseess nk -)k(k,nf)k(k,nff0不全為ik:h:h線性回歸模型332.7 多元線性回歸的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和每個(gè)自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量 , 在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。,k,i:h:hii)kt(n)s(tiii)k(nt)k(ntti線性回歸模型342.7 多元線性回歸的顯著性檢驗(yàn)五、多元回歸的顯著性檢驗(yàn)小結(jié)。擬合優(yōu)度的檢驗(yàn)需要采用修正判定系數(shù)；1.回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)不再一致，需要分別進(jìn)行；線性回歸模型352.7 多元線性回歸的顯著性檢驗(yàn)六、續(xù)例2.2，給定顯著性水平 ，進(jìn)行檢驗(yàn)解：根據(jù)運(yùn)行結(jié)果（1）方程的擬合優(yōu)度較高；（2）方程通過