線性回歸模型

1、線性回歸模型學(xué)習(xí)目標(biāo)了解：經(jīng)濟(jì)變量之間的關(guān)系 “回歸”名稱的來源、逐個(gè)剔除法、逐步回歸法的優(yōu)缺點(diǎn)理解：多元線性回歸模型的一般形式、隨機(jī)項(xiàng)的來源及基本假定、回歸分析的基本思想和方法、t檢驗(yàn)、f檢驗(yàn)、r檢驗(yàn)的關(guān)系、判定系數(shù)、選元的標(biāo)準(zhǔn)。 掌握：線性回歸模型的一般形式、誤差隨機(jī)項(xiàng)的基本假定、回歸分析的主要內(nèi)容、普通最小平方法、t檢驗(yàn)、f檢驗(yàn)、r檢驗(yàn)的檢驗(yàn)思想及步驟、點(diǎn)預(yù)測、區(qū)間預(yù)測、應(yīng)用計(jì)算機(jī)軟件進(jìn)行線性回歸分析 內(nèi) 容2.1 回歸模型的一般描述2.2 一元線性回歸的參數(shù)估計(jì)2.3 一元線性回歸的顯著性檢驗(yàn)2.4 一元線性回歸的預(yù)測2.5 多元線性回歸模型及其假設(shè)2.6 多元線性回歸的參數(shù)估計(jì)2.7

2、 多元線性回歸的顯著性檢驗(yàn)2.8 利用多元線性回歸方程進(jìn)行預(yù)測2.9 解釋變量的選擇2.10 殘差分析與異常值檢測2.11 模型的結(jié)構(gòu)穩(wěn)定性檢驗(yàn)：Chow檢驗(yàn)2.12正態(tài)性檢驗(yàn)：JarqueBera檢驗(yàn)1 回歸模型的一般描述一、變量間的關(guān)系1. 函數(shù)關(guān)系：變量間卻定性的對應(yīng)關(guān)系2. 相關(guān)關(guān)系：變量間不確定的對應(yīng)關(guān)系（1）相關(guān)關(guān)系強(qiáng)弱的測度相關(guān)系數(shù)：（2）相關(guān)系數(shù)的取值范圍-1，1，正負(fù)號僅表示方向，不表示大小。1 回歸模型的一般描述二、回歸模型的一般形式三、一元線性回歸模型1 回歸模型的一般描述四、一元回歸模型的基本假定（最小二乘假定）（1）（2） 等方差性（3） 無序列相關(guān)（4）進(jìn)一步假定1

3、 回歸模型的一般描述五、回歸分析預(yù)測的一般步驟以預(yù)測對象為因變量建立回歸模型；利用樣本數(shù)據(jù)對模型的參數(shù)進(jìn)行估計(jì)；對參數(shù)的估計(jì)值及回歸方程進(jìn)行顯著性檢驗(yàn)；利用通過檢驗(yàn)的方程進(jìn)行預(yù)測。2 一元線性回歸的參數(shù)估計(jì)一、散點(diǎn)圖與回歸直線1. 散點(diǎn)圖：將n組相關(guān)數(shù)據(jù)在直角坐標(biāo)系中描述出來即為散點(diǎn)，由坐標(biāo)系和散點(diǎn)共同構(gòu)成的圖形稱作散點(diǎn)圖。作用：直觀描述變量間的關(guān)系。例如：電的供應(yīng)量與產(chǎn)值之間的關(guān)系2 一元線性回歸的參數(shù)估計(jì)2. 回歸直線 當(dāng)散點(diǎn)圖的數(shù)據(jù)點(diǎn)的走向大致趨于一條直線時(shí)，通過散點(diǎn)圖作一條直線，使它能夠擬合這些點(diǎn)，近似的描述變量間的關(guān)系，稱這條直線為回歸直線，記作2.2 一元線性回歸的參數(shù)估計(jì)二、最小

4、二乘法1. 基本原理：找到一條直線，使直線上的點(diǎn)與實(shí)際觀察值之間的距離最小，即 ，其中 。3. 根據(jù)微分極值原理求解解該方程組得其中， ，2 一元線性回歸的參數(shù)估計(jì)例 已知一個(gè)工廠的年產(chǎn)值與電的供應(yīng)量之間存在一元線性關(guān)系，數(shù)據(jù)如右表所示，試求該回歸方程。解：使用Excel實(shí)現(xiàn)回歸于是所求的方程為 這說明，該廠電的供應(yīng)量每增加一萬度，年產(chǎn)值增加6.9712萬元。產(chǎn)值（萬元）Y電的供應(yīng)量（萬度）X21312.524216.328620.730522.43062334228.635130.137332.537932.63773338435.439537.93873740239.241840.72.3

5、 一元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)3 一元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)（邏輯檢驗(yàn)）檢驗(yàn)內(nèi)容：參數(shù)估計(jì)值的符號和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì)實(shí) 際相符合，是否有經(jīng)濟(jì)意義。二、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度（可決系數(shù)）：回歸直線與實(shí)際數(shù)據(jù)的擬合程度 ，記作 ?；貧w變差的分解：TSS=RSS+ESS 擬合優(yōu)度經(jīng)驗(yàn)結(jié)果，通常要求 。3 一元線性回歸的顯著性檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和所有自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為自變量

6、和因變量之間的線性關(guān)系顯著。3 一元線性回歸的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和每個(gè)自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量 , 其中在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。3 一元線性回歸的顯著性檢驗(yàn)五、一元回歸方程的顯著性檢驗(yàn)小結(jié)擬合優(yōu)度通常要求 ，且與相關(guān)系數(shù)之間的關(guān)系 ，但通常不用相關(guān)系數(shù)判斷擬合優(yōu)度；對于一元回歸，方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)是一致的，做一個(gè)即可。3 一元線性回歸的顯著性檢驗(yàn)六、續(xù)例，給定顯著性水平 ，進(jìn)行統(tǒng)計(jì)檢驗(yàn)解：根據(jù)運(yùn)行結(jié)果（1）方程的擬合優(yōu)度

7、較高；（2）2.4 一元線性回歸的預(yù)測一、回歸預(yù)測定義：給定自變量一個(gè)特定的值，利用回歸方程對因變量的值進(jìn)行估計(jì)。分類：點(diǎn)預(yù)測、區(qū)間預(yù)測二、點(diǎn)預(yù)測定義：假定Y與X的回歸方程為 ，對于給定的自變量 ，求得 ，稱這種預(yù)測為點(diǎn)預(yù)測。續(xù)例，已求出該廠產(chǎn)值與電的供應(yīng)量之間的回歸方程為 ，并通過檢驗(yàn)。如果電的供應(yīng)量達(dá)到50萬度，對產(chǎn)值進(jìn)行點(diǎn)預(yù)測，4 一元線性回歸的預(yù)測三、區(qū)間預(yù)測預(yù)測誤差：點(diǎn)預(yù)測值與實(shí)際觀測值之間的差異 ?？梢宰C明 ，其中給定置信水平 ，置信區(qū)間為 ，其中， 是自由度為年n-2的t分布臨界值，其中4. 例置信水平95%的置信區(qū)間（464.73，509.09）。5 多元線性回歸模型及其假設(shè)一

8、、線性回歸模型的一般形式 如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸模型可以表示為： 寫成矩陣形式為： 其中2.5 多元線性回歸模型及其假設(shè)二、多元回歸模型的基本假定（1）（2） 等方差性（3） 無序列相關(guān)（4）（5）進(jìn)一步假定（6） 各自變量之間不存在顯著相關(guān)關(guān)系2.6 多元線性回歸的參數(shù)估計(jì)一、參數(shù)估計(jì)方法1. 基本原理：2. 根據(jù)微分極值原理，采用矩陣形式求解一元回歸的參數(shù)估計(jì)是多元回歸參數(shù)估計(jì)的特例。2.6 多元線性回歸的參數(shù)估計(jì)二、利用Excel進(jìn)行參數(shù)估計(jì)其操作步驟為：點(diǎn)擊工具點(diǎn)擊數(shù)據(jù)分析選擇回歸點(diǎn)擊確定輸入值輸入?yún)^(qū)域輸入值輸入?yún)^(qū)域

9、輸入置信度在輸出選項(xiàng)選擇輸出區(qū)域或新工作組表或新工作簿點(diǎn)擊確定，即可得到輸出結(jié)果 2.6 多元線性回歸的參數(shù)估計(jì)三、最小二乘估計(jì)量（OLSE)的統(tǒng)計(jì)性質(zhì) 線性 = +最小二乘估計(jì)量B不僅是Y的線性組合，也是U的線性組合。 無偏 = + = 最優(yōu)性最小二乘估計(jì)量B的最優(yōu)性，又稱有效性或最小方差性。 （ ）其中， 是 主對角線上的元素?？梢宰C明， 具有最小方差的特性。（證明略）2.6 多元線性回歸的參數(shù)估計(jì)四、隨機(jī)誤差項(xiàng)的方差的估計(jì)量 是 的無偏估計(jì)量（m=k+1，為變量個(gè)數(shù)或參數(shù)個(gè)數(shù)，k為自變量個(gè)數(shù)）。它的算術(shù)方根稱為估計(jì)標(biāo)準(zhǔn)誤差，記為：2.6 多元線性回歸的參數(shù)估計(jì)此時(shí)，估計(jì)量的標(biāo)準(zhǔn)差可表示為

10、： 是 主對角線上的元素（j=0,1,k）。2.6 多元線性回歸的參數(shù)估計(jì)五、回歸系數(shù)的置信區(qū)間由于 ； ； 故可得的置信度為 的置信區(qū)間為：Excel能夠自動(dòng)給出各回歸系數(shù)的上下限2.6 多元線性回歸的參數(shù)估計(jì)六、例2.2 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。解：使用Excel實(shí)現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費(fèi)增加0.497萬元，人口每增加1萬人消費(fèi)增加0.665萬元。年份消費(fèi)收入人口1994913.148.219959.513.948.919961013.849.54199710.614.850.25199813.416.451.02199916.22

11、0.951.84200017.724.253.76200120.128.153.69200221.830.154.55200325.335.855.35200431.348.556.1620053654.856.982.7 多元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)五、序列相關(guān)檢驗(yàn)2.7 多元線性回歸的顯著性檢驗(yàn)一、經(jīng)濟(jì)檢驗(yàn)（邏輯檢驗(yàn)）1. 檢驗(yàn)內(nèi)容：參數(shù)估計(jì)值的符號和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì) 實(shí)際相符合。2. 回歸系數(shù)的估計(jì)值與實(shí)際相反的原因（1）某些變量的取值范圍太窄；（2）模型中遺漏了某些重要因素；（3）模型中自變量之間有較強(qiáng)的線

12、性關(guān)系。2.7 多元線性回歸的顯著性檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)判定系數(shù) 與修正判定系數(shù) 判定系數(shù)的大小還取決于包含在模型中的自變量的個(gè)數(shù)。2. 修正判定系數(shù) 的計(jì)算 注：（1）如果k=0，則（2）如果k0，則（3） 有可能為負(fù)值。2.7 多元線性回歸的顯著性檢驗(yàn)三、回歸方程的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和所有自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和自變量全體之間的線性關(guān)系顯著。2.7 多元線性回歸的顯著性檢驗(yàn)四、回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和每個(gè)自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計(jì)量 , 在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。2.7 多元線性回歸的顯著性檢驗(yàn)五、多元回歸的顯著性檢驗(yàn)小結(jié)。擬合優(yōu)度的檢驗(yàn)需要采用修正判定系數(shù)；回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)不再一致，需要分別進(jìn)行；2.7 多元線性回