應(yīng)用回歸分析liu改

1、第八章應(yīng)用回歸分析1回歸分析的研究對象家庭收入與家庭支出的關(guān)系父母身高與子/女身高的關(guān)系平時(shí)作業(yè)成績與最后的考試成績的關(guān)系銀行利率與股票指數(shù)的關(guān)系現(xiàn)實(shí)世界中變量之間的關(guān)系并不總是可以用函數(shù)關(guān)系(自變量確定,因變量唯一)來表示的比如:2經(jīng)驗(yàn)和統(tǒng)計(jì)數(shù)據(jù)表明某些變量的取值相互之間是有關(guān)系的,不是完全無關(guān)的,這種關(guān)系稱為統(tǒng)計(jì)相關(guān)關(guān)系 統(tǒng)計(jì)相關(guān)關(guān)系: 回歸分析及回歸方程: 回歸分析就是研究變量間的統(tǒng)計(jì)相關(guān)關(guān)系一種統(tǒng)計(jì)方法. 根據(jù)變元的統(tǒng)計(jì)數(shù)據(jù),用一個(gè)函數(shù)來近似變元間的統(tǒng)計(jì)相關(guān)關(guān)系,這個(gè)函數(shù)叫回歸方程或回歸函數(shù)3本例中, 父親身高與兒子身高的關(guān)系就是統(tǒng)計(jì)相關(guān)關(guān)系上述高爾頓得到的近似直線方程就是回歸方程45

2、8.1 一元線性回歸一元線性回歸的模型:其中,X為確定性變量,它是可以測量和控制的,也稱解釋變量或自變量; Y為被解釋變量或響應(yīng)變量 6根據(jù)變元（X，Y）的一組觀測值代入上述一元線性回歸模型，得：78我們導(dǎo)出了參數(shù)的極大似然估計(jì)，但是，歷史上高爾頓是用我們高等數(shù)學(xué)中所學(xué)過的最小二乘法導(dǎo)出的，因此，一般稱之為最小二乘估計(jì)9重要公式1011關(guān)于上述例1，請大家思考如下問題： 我們得到的回歸方程有什么用？ 根據(jù)哪些指標(biāo)可以判斷回歸的效果？上述回歸的效果如何？ 上例中：年齡為自變量（控制變量），體重為因變量（響應(yīng)變量），回 歸方程為： y = 7.83+2.01x , 那么據(jù)此方程得： x = (y

3、-7.83)/2.01 ，它 可否視為把體重作為自變量，年齡作為因變量的回歸方程？ 對于任意給定的一組數(shù)值（xi, yi) i=1,2,n，比如 xi 表示第i天的最高 氣溫， yi表示第i天股市的收盤指數(shù)，是否都可以像例1一樣代入?yún)?shù)的公 式并求出回歸方程？ 如果觀測值較多，直接手算比較復(fù)雜，如何借助計(jì)算機(jī)求解回歸方程？12關(guān)于問題1：回歸方程有什么用途？回歸方程的主要用途是預(yù)測和控制，比如根據(jù)上例的回歸方程 y = 7.83+2.01x ，我們可以預(yù)測 x=2.2(歲）時(shí)兒童的體重為:y = 7.83+2.01*2.2=12.252(kg)-這是y的點(diǎn)估計(jì)，我們還可以得到y(tǒng)的區(qū)間估計(jì)。對于

4、一元線性回歸模型 ，其中誤差項(xiàng)滿足正態(tài)性，獨(dú)立性，及方差齊性的條件 ， 給定 ，則對應(yīng) 的點(diǎn)估計(jì)為 ；當(dāng) n 充分大時(shí)， 置信水平為此外，我們還可以求出參數(shù)13關(guān)于問題2:哪些指標(biāo)可以判斷回歸的效果？如下指標(biāo)都可以直接或間接用來表示回歸的效果： 殘差平方和 SSE 估計(jì)標(biāo)準(zhǔn)差 相關(guān)系數(shù) R 判定系數(shù) 修正判定系數(shù) 其中p為自變元個(gè)數(shù) 從例1第二問的結(jié)果看，該例回歸的效果還是很好的 14關(guān)于問題3: 能否由體重關(guān)于年齡的回歸方程： y = 7.83+2.01x , 得出年齡關(guān)于體重的回歸方程： x = (y -7.83)/2.01=0.4975y 3.8955 ？不可以。事實(shí)上，如果把體重作為自

5、變量年齡作為因變量，代入一元回歸的公式，得：x = 0.4939y 3.853; 二者為何不同呢？因?yàn)槲覀冞@里介紹的一元回歸模型中，自變量與響應(yīng)變量的地位是不等同的 還有一種回歸，叫距離回歸，即通過各散點(diǎn)到回歸函數(shù)的距離平方和最小來求出回歸參數(shù)，此時(shí)自變量與響應(yīng)變量的地位是等同的，這種情況下是可以直接從 y關(guān)于 x 的回歸方程解出 x 關(guān)于 y 的回歸方程的 15關(guān)于問題4: 對于任意給定的一組數(shù)值（xi, yi) i=1,2,n，是否都可以求變量的回歸方程？可以代入?yún)?shù)最小二乘估計(jì)的公式求出變元的回歸方程，但是，如果變元 X 和 Y 沒有統(tǒng)計(jì)相關(guān)關(guān)系，這樣求出的回歸方程是沒有意義的（如氣溫與

6、股票點(diǎn)數(shù)）；而如果回歸模型的三個(gè)條件，即正態(tài)性，獨(dú)立性，方差齊性 不滿足，我們就無法對參數(shù)的概率特性（分布，區(qū)間估計(jì) 等）作出判斷。直觀地說，如果根據(jù)變元 X 和 Y 的觀測值算出的相關(guān)系數(shù)的絕對值越大（越接近1），即表示變元 X 和 Y 線性關(guān)系越強(qiáng)，這時(shí)擬合觀測值（xi, yi)的回歸方程越有意義那么，相關(guān)系數(shù)的絕對值要達(dá)到多大才可以求回歸方程呢？在統(tǒng)計(jì)上，我們是用假設(shè)檢驗(yàn)的方法來判定變元的線性關(guān)系是否顯著，因?yàn)闄z驗(yàn)的統(tǒng)計(jì)量服從F分布（證明略），因此這個(gè)檢驗(yàn)叫F檢驗(yàn)16關(guān)于問題4: 如何借助計(jì)算機(jī)算法進(jìn)行回歸分析？各種統(tǒng)計(jì)軟件都有回歸分析的功能，比如SAS，SPSS，R，包括MATLAB的

7、統(tǒng)計(jì)包 等，這里我們介紹EXCEL的回歸分析功能操作步驟（多元回歸同樣操作，但利用EXCEL多元回歸分析時(shí)自變元個(gè)數(shù)不能超過16個(gè)）：1）把數(shù)據(jù)輸入EXCEL表2）點(diǎn)工具菜單 加載宏 數(shù)據(jù)分析 回歸17對例1中數(shù)據(jù)的EXCEL回歸分析結(jié)果：相關(guān)系數(shù)判定系數(shù)修正判定系數(shù)估計(jì)標(biāo)準(zhǔn)差F統(tǒng)計(jì)量觀測值F檢驗(yàn)的P值，當(dāng)P值小于給定顯著性水平時(shí)，說明變元線性關(guān)系顯著P值小于顯著性水平時(shí)說明常數(shù)項(xiàng)顯著性非零P值小于顯著性水平時(shí)說明x系數(shù)顯著性非零回歸參數(shù)置信區(qū)間的上下限SSRSSESSTF=(SSR/1)/(SSE/n-2)F(1,n-2)18例2：恩格爾系數(shù)（食品支出與收入之比）的估算已知人均月收入X與人均食品月支出Y的15組抽樣數(shù)據(jù)如下，求恩格爾系數(shù)：X1020960970102091015805408301230106012901380810920640Y270260250280270360190260310310340380270280200分析：根據(jù)給定數(shù)據(jù)，先找出X，Y的回歸函數(shù)，再根據(jù)回歸函數(shù)來估計(jì)恩 格爾系數(shù)19解：利用EXCEL進(jìn)行回歸分析，得：208.2 多元線性回歸2122令：23解方程組得參數(shù)的此外：24例3：試根據(jù)表中居民月收入X1（單位百元）及 某商品的單價(jià)X2（單位十元）來擬合該商 品的需求量Y（單位百件）的函數(shù)需求 Y月收入 X1商品單價(jià) X21