《統(tǒng)計(jì)學(xué)》線性回歸模型

1 第八章回歸和相關(guān)分析 2 1導(dǎo)言 3 在自然界和人類社會(huì)中 經(jīng)常會(huì)遇到一些變量共處于一個(gè)統(tǒng)一體中 他們相互聯(lián)系 相互制約 在一定條件下相互轉(zhuǎn)化 社會(huì)經(jīng)濟(jì)現(xiàn)象尤其如此 例如某生產(chǎn)廠家的生產(chǎn)費(fèi)用由所生產(chǎn)的產(chǎn)品數(shù)量和各種生產(chǎn)投入要素的價(jià)格等因素所決定 4 在社會(huì)經(jīng)濟(jì)現(xiàn)象中 變量之間的關(guān)系大致可以分為兩種 1 函數(shù)關(guān)系2 統(tǒng)計(jì)關(guān)系 5 函數(shù)關(guān)系 變量之間依一定的函數(shù)形式形成的一一對(duì)應(yīng)關(guān)系稱為函數(shù)關(guān)系 若兩個(gè)變量分別記作y和x 則當(dāng)y與x之間存在函數(shù)關(guān)系時(shí) x值一旦被指定 y值就是唯一確定的 函數(shù)關(guān)系可以用公式確切的反映出來(lái) 一般記為y f x 6 例如 某種商品的銷售額 y 與銷售量 x 之間的關(guān)系 在銷售價(jià)格 p 一定的條件下 只要給定一個(gè)商品銷售量 就有一個(gè)唯一確定的商品銷售額與之對(duì)應(yīng) 用公式表示為y p x 7 統(tǒng)計(jì)關(guān)系 兩個(gè)變量之間存在某種依存關(guān)系 但變量Y并不是由變量X唯一確定的 它們之間沒(méi)有嚴(yán)格的一一對(duì)應(yīng)關(guān)系 兩個(gè)變量之間的這種關(guān)系就是統(tǒng)計(jì)關(guān)系 也稱為相關(guān)關(guān)系 8 相關(guān)關(guān)系與函數(shù)關(guān)系有十分密切的聯(lián)系 在實(shí)際中 由于觀察和測(cè)量誤差等原因 函數(shù)關(guān)系往往是通過(guò)相關(guān)關(guān)系表現(xiàn)的 而在研究相關(guān)關(guān)系時(shí) 又常用函數(shù)關(guān)系作為工具 以相應(yīng)的函數(shù)關(guān)系數(shù)學(xué)表達(dá)式表現(xiàn)相關(guān)關(guān)系的一般數(shù)量關(guān)系 9 例如 同樣收入的家庭 用于食品的消費(fèi)支出往往并不相同 因?yàn)閷?duì)家庭食品費(fèi)用的影響 不僅有家庭收入的多少 還有家庭人口 生活習(xí)慣等因素 所以 家庭食品費(fèi)用支出與家庭收入之間不是函數(shù)關(guān)系 而是相關(guān)關(guān)系 10 在含有變量的系統(tǒng)中 考察一些變量對(duì)另一些變量的影響 它們之間可能存在一種簡(jiǎn)單的函數(shù)關(guān)系 也可能存在一種非常復(fù)雜的函數(shù)關(guān)系 有些變量之間的關(guān)系是非確定性的關(guān)系 這種關(guān)系無(wú)法用一個(gè)精確的數(shù)學(xué)來(lái)表示 11 我們需要區(qū)分兩種主要類型的變量 一種變量相當(dāng)于通常函數(shù)關(guān)系中的自變量 它或者能控制或者雖不能控制但可觀測(cè) 這種變量稱為自變量 自變量的變化能波及另一些變量 這樣的變量稱為因變量 人們通常感興趣的問(wèn)題是自變量的變化對(duì)因變量的取值有什么樣的影響 12 回歸分析正是研究自變量的變動(dòng)對(duì)因變量的變動(dòng)的影響程度 其目的在于根據(jù)已知自變量的變化來(lái)估計(jì)或預(yù)測(cè)因變量的變化情況 13 回歸的內(nèi)容包括如何確定因變量與自變量之間的回歸模型 如何根據(jù)樣本觀測(cè)數(shù)據(jù)估計(jì)并檢驗(yàn)回歸模型及未知參數(shù) 在眾多的自變量中 判斷哪些變量對(duì)因變量的影響是顯著的 哪些變量的影響是不顯著的 根據(jù)自變量的已知值或給定值來(lái)估計(jì)和預(yù)測(cè)因變量的平均值等等 14 線性回歸分析是研究變量與變量之間的線性相關(guān)關(guān)系 從分析的內(nèi)容上看 線性回歸是建立變量間的擬合線性相關(guān)模型 主要用于估計(jì)和預(yù)測(cè) 線性回歸模型應(yīng)用領(lǐng)域極為廣泛 在許多領(lǐng)域里都有應(yīng)用非常成功的例子 它是現(xiàn)代應(yīng)用統(tǒng)計(jì)分析方法中的重要內(nèi)容之一 15 一元線性回歸模型 16 8 2 1一元線性回歸模型的數(shù)學(xué)表示式 如果兩個(gè)變量之間存在相關(guān)關(guān)系 并且一個(gè)變量的變化會(huì)引起另一個(gè)變量按某一線性關(guān)系變化 則兩個(gè)變量間的關(guān)系可以用一元線性回歸模型描述 17 其數(shù)學(xué)模型為 y 8 1 其中 y為因變量 x為自變量 為模型參數(shù) 為回歸截距 為回歸系數(shù) 為隨機(jī)誤差項(xiàng) 且 N 0 18 在實(shí)際問(wèn)題中 8 1 中的模型參數(shù)是未知的 通常只能在自變量的一些點(diǎn)上對(duì)因變量進(jìn)行觀測(cè) 得到一定量的數(shù)據(jù) 由數(shù)據(jù)出發(fā)對(duì)模型進(jìn)行推斷 19 8 2 2回歸系數(shù)的最小二乘估計(jì) 假定 為n次獨(dú)立試驗(yàn)所得到的樣本觀測(cè)值 則有 i 1 2 n 8 2 其中i i 1 2 n為隨機(jī)誤差項(xiàng) 對(duì)i i 1 2 n的基本假定是i i 1 2 n相互獨(dú)立 服從N 0 分布 20 記Q Q 是直線y 對(duì)于所有數(shù)據(jù)點(diǎn)的偏差平方和 取直線y 使得Q 達(dá)到最小即Q Q z用y 來(lái)估計(jì)回歸直線 這種方法稱為最小二乘法 21 為求與分別對(duì)應(yīng)的最小二乘估計(jì) 注意到Q 是的非負(fù)二次函數(shù) 因此最小值點(diǎn)存在且唯一 應(yīng)滿足以下方程組 22 求解方程組得 其中 23 8 2 3利用最小二乘法所得到的估計(jì)量有如下性質(zhì) 1 分別是的無(wú)偏估計(jì) 2 和的最小二乘估計(jì)和為 方差最小 線性無(wú)偏估計(jì) 3 的無(wú)偏估計(jì)為 24 在實(shí)際中 方差是未知的 因此 可用估計(jì)量來(lái)估計(jì) 25 例題1 在某類企業(yè)中隨機(jī)抽取10個(gè)企業(yè) 搜集它們的產(chǎn)量和生產(chǎn)費(fèi)用情況 獲得數(shù)據(jù)如表1所示 26 表1企業(yè)產(chǎn)量和生產(chǎn)費(fèi)用 27 我們可作出散點(diǎn)圖 易看出變量x與y之間的關(guān)系近似可看作是線性關(guān)系 根據(jù)表1的數(shù)據(jù) 利用最小二乘法 求一元線性回歸方程 28 以下列出的為計(jì)算表 29 30 134 7909 0 3978x為所求的一元回歸模型 31 8 2 4一元線性回歸模型的檢驗(yàn) 我們根據(jù)樣本觀測(cè)值 利用最小二乘法建立起一元線性回歸模型 該模型是否滿足回歸模型的基本假設(shè) 還需要進(jìn)行統(tǒng)計(jì)檢驗(yàn) 32 統(tǒng)計(jì)檢驗(yàn)應(yīng)包括兩方面的內(nèi)容 一是回歸方程的顯著性檢驗(yàn) 即反映回歸模型 對(duì)樣本觀測(cè)值的擬合程度如何 一是回歸系數(shù)的顯著性檢驗(yàn) 即檢驗(yàn)變量y與變量x之間是否能用線性關(guān)系來(lái)描述 以下介紹三種檢驗(yàn)的方法 33 1 回歸模型的擬合程度的測(cè)度 變量y的各個(gè)觀測(cè)點(diǎn)聚集在回歸直線 周圍的緊密程度 稱為回歸直線對(duì)樣本數(shù)據(jù)點(diǎn)的擬合程度 常用可決系數(shù)R2來(lái)表示 34 總的離差平方和SST 35 因?yàn)?0故SST 記SSR SSE 則SST SSR SSE 8 5 SSR稱為回歸平方和 SSE稱為殘差平方和 36 8 5 可作如下解釋 因變量的總變化量 有SST表示 可分成兩部分之和 其中一部分是由自變量所引起的變化 由SSR刻畫 另一部分是隨機(jī)誤差所引起的變化 由SSE刻畫 變量y的各個(gè)觀測(cè)值點(diǎn)與回歸直線越靠近 SSR在SST中所占的比重越大 可見(jiàn) 比值SSR SST的大小 能反映回歸模型擬合程度的優(yōu)劣 37 由此 可定義統(tǒng)計(jì)量 R2 R2稱為 可決系數(shù) 顯然 0 R2 1 當(dāng)R2接近于1時(shí) 回歸平方和SSR在總的平方和SST中所占的比重大 說(shuō)明自變量對(duì)因變量的影響較大 反之 當(dāng)R2接近與0時(shí) 回歸平方和SSR在總的平方和SST中所占的比重小 說(shuō)明自變量對(duì)因變量的影響較小 綜上所述 R2越接近與1 說(shuō)明模型越有效 R2越接近與0 說(shuō)明模型越無(wú)效 應(yīng)該注意的是 R2通常只用于模型有效性的一個(gè)大致的判斷 38 R2稱為 可決系數(shù) 顯然 0 R2 1 當(dāng)R2接近于1時(shí) 回歸平方和SSR在總的平方和SST中所占的比重大 說(shuō)明自變量對(duì)因變量的影響較大 反之 當(dāng)R2接近與0時(shí) 回歸平方和SSR在總的平方和SST中所占的比重小 說(shuō)明自變量對(duì)因變量的影響較小 綜上所述 R2越接近與1 說(shuō)明模型越有效 R2越接近與0 說(shuō)明模型越無(wú)效 應(yīng)該注意的是 R2通常只用于模型有效性的一個(gè)大致的判斷 39 可決系數(shù)R2只說(shuō)明了回歸方程對(duì)樣本觀察值擬合程度的好壞 卻不能表示回歸直線估計(jì)值與變量y的各實(shí)際觀察值的絕對(duì)離差的數(shù)額 估計(jì)標(biāo)準(zhǔn)誤差則是反映回歸估計(jì)值與樣本實(shí)際觀察值的平均差異程度的指標(biāo) 用Syx表示估計(jì)標(biāo)準(zhǔn)誤差 其計(jì)算公式為 Syx 40 若估計(jì)標(biāo)準(zhǔn)誤差Syx小 表示各實(shí)際觀察值與回歸估計(jì)值平均差異小 實(shí)際觀察點(diǎn)靠近回歸直線 回歸直線的擬合程度好 代表性高 若樣本觀察點(diǎn)全部落在直線上 則Syx 0 說(shuō)明樣本實(shí)際值與估計(jì)值沒(méi)有差別 若Syx大 則說(shuō)明回歸直線擬合不好 代表性差 41 估計(jì)標(biāo)準(zhǔn)誤差也可化簡(jiǎn)為Syx 42 2 回歸系數(shù)的顯著性檢驗(yàn) 一元線性回歸模型中 一次項(xiàng)系數(shù)是一個(gè)關(guān)鍵的量 通過(guò)可反映自變量x的變動(dòng)對(duì)因變量y的影響 若 0意味著y不隨x變動(dòng)而變動(dòng) 因此y與x之間不存在線性關(guān)系 若0 說(shuō)明變量y與x之間存在線性關(guān)系 當(dāng) 0時(shí) x對(duì)y的影響為正效應(yīng) 當(dāng) 0時(shí)x對(duì)y的影響為負(fù)效應(yīng) 影響的大小由的絕對(duì)值來(lái)反映 43 回歸系數(shù)的顯著性檢驗(yàn)通常是通過(guò)回歸系數(shù)的t值檢驗(yàn) 檢驗(yàn)步驟如下 統(tǒng)計(jì)假設(shè) H0 0H1 0 44 計(jì)算回歸系數(shù)的t值 t 其中 45 在原假設(shè)成立的條件下 t服從自由度為n 2的t分布 即t t n 2 若給定的顯著性水平為 通常取 0 05 查t分布表 得到臨界值使得P t 46 假設(shè)的檢驗(yàn)決策規(guī)則是 若 t 則拒絕接受原假設(shè)H0 若 t 時(shí)說(shuō)明變量y與x之間存在線性關(guān)系 t 時(shí) 意味著y不隨x變動(dòng)而變動(dòng) 47 雖然在回歸函數(shù)中常數(shù)項(xiàng)的作用不如重要 但有時(shí)也要對(duì)它作區(qū)間估計(jì)或假設(shè)檢驗(yàn) 例如有時(shí)要檢驗(yàn)假設(shè) 0 這相當(dāng)于要檢驗(yàn)回歸直線是否通過(guò)原點(diǎn) 下面介紹以下關(guān)于的統(tǒng)計(jì)假設(shè)檢驗(yàn) 48 檢驗(yàn)步驟如下 統(tǒng)計(jì)假設(shè) H0 0H1 0計(jì)算回歸系數(shù)的t值t 在原假設(shè)H0成立時(shí) t服從自由度為n 2的t分布 49 對(duì)給定的顯著性水平 決策規(guī)則是 若 t 則拒絕接受原假設(shè)H0 若 t 則接受原假設(shè)H0 50 3 回歸方程線性關(guān)系的顯著性檢驗(yàn) 該檢驗(yàn)是以方差分析方法為基礎(chǔ) 反映y與x之間是否存在線性相關(guān)關(guān)系的檢驗(yàn) 也被稱為回歸方程的F檢驗(yàn) 其檢驗(yàn)步驟如下 51 統(tǒng)計(jì)假設(shè)H0 0H1 0計(jì)算回歸方程的F統(tǒng)計(jì)量 F 可證明 在原假設(shè)H0成立時(shí) 有F F 1 n 2 52 根據(jù)給定的顯著性水平 查F分布表 對(duì)于給定的顯著性水平 假設(shè)檢驗(yàn)決策的規(guī)則為 若F 1 n 2 時(shí) 則拒絕接受原假設(shè)H0若F 1 n 2 時(shí) 則接受原假設(shè)H0 53 也就是說(shuō) F 1 n 2 時(shí) 回歸方程的回歸效果是顯著的 F 1 n 2 時(shí) 回歸方程的回歸效果是不顯著的 54 例題2 利用例題1的結(jié)果 檢驗(yàn)生產(chǎn)費(fèi)用和產(chǎn)量之間存在著線性關(guān)系的假設(shè)是否成立 解 1 F檢驗(yàn)統(tǒng)計(jì)假設(shè) H0 0H1 0 55 SSR 1666 3577SST 887 7423統(tǒng)計(jì)量F 15 0166 56 給定的顯著性水平 0 01 查F分布表 得 1 8 11 26由于F 15 0166 1 8 11 26 所以 拒絕接受H0 即生產(chǎn)費(fèi)用和參量之間存在著十分顯著的線性關(guān)系 57 8 2 5一元線性回歸模型的應(yīng)用 回歸模型在應(yīng)用領(lǐng)域里一項(xiàng)重要的研究?jī)?nèi)容是如何利用回歸模型進(jìn)行預(yù)測(cè) 預(yù)測(cè)就是在確定自變量的某一個(gè)值時(shí) 求相應(yīng)的因變量y的估計(jì)值 其中可分為點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè) 58 1 點(diǎn)預(yù)測(cè)點(diǎn)預(yù)測(cè)是將自變量的預(yù)測(cè)值代入回歸模型 所得到的因變量y的值作為與相對(duì)應(yīng)的的預(yù)測(cè) 不難驗(yàn)證 是無(wú)偏預(yù)測(cè) 59 2 區(qū)間預(yù)測(cè)類似于對(duì)參數(shù)作置信區(qū)間估計(jì) 可對(duì)預(yù)測(cè)作指定置信水平的預(yù)測(cè)區(qū)間 這樣可以以相當(dāng)大的概率保證預(yù)測(cè)的 方向 及精度 60 對(duì)于與相對(duì)應(yīng)的值為 由于樣本的不得到的回歸模型的 會(huì)不同 通過(guò) 預(yù)測(cè)的 這個(gè)與之間總存在一定的抽樣誤差 可證明 N 0 61 其中 因此 的概率為1 的預(yù)測(cè)區(qū)間為 62 因而 對(duì)于給定的置信水平1 有 為的置信水平100 1 的預(yù)測(cè)區(qū)間 63 例題3 依據(jù)例題1中所建立的回歸模型 給定x0 50 千個(gè) 時(shí) 試預(yù)測(cè)y0 并求 0 05時(shí)y0的預(yù)測(cè)區(qū)間 64 解 當(dāng)x0 50時(shí) 134 7909 0 397850 154 6809 千元 8 2 306 26 3301所以 128 3607 181 0209 為y0的置信水平95 的預(yù)測(cè)區(qū)間 65 3多元線性回歸模型及其應(yīng)用 一元線性回歸將影響因變量的自變量限制在一個(gè) 但在實(shí)際中 社會(huì)經(jīng)濟(jì)現(xiàn)象的復(fù)雜性決定了某一現(xiàn)象的變動(dòng)往往受多種因素的影響 如某種產(chǎn)品單位成本的高低受產(chǎn)品原材料消耗量 原材料價(jià)格 產(chǎn)品產(chǎn)量等多種因素影響 企業(yè)的利潤(rùn)受產(chǎn)品銷售收入 產(chǎn)品銷售成本 期間費(fèi)用等因素影響 這就需要研究?jī)蓚€(gè)或兩個(gè)以上自變量對(duì)因變量的影響 一個(gè)因變量與多個(gè)自變量之間的線性相關(guān)關(guān)系稱為多元線性回歸 66 8 3 1多元線性回歸模型的數(shù)學(xué)表示式為 y 8 6 其中 y為因變量 i 1 2 n為自變量 i 0 1 k為回歸參數(shù) 為隨機(jī)變量 且 67 8 3 2參數(shù)的最小二乘估計(jì) 實(shí)際上 回歸參數(shù) 通常是未知的 需要對(duì)其進(jìn)行估計(jì) 假定對(duì)于自變量 和因變量y已得到n次觀測(cè) 第i次觀測(cè)值為 i 1 2 n 68 于是有 i 1 2 n其中 為相互獨(dú)立的隨機(jī)變量 且 69 回歸參數(shù) 常用最小二乘法來(lái)估計(jì) 記Q 70 求它的最小值點(diǎn) 即Q Q 則就是 的最小二乘估計(jì) 71 令Q對(duì) 的一階偏導(dǎo)數(shù)為零 即可求出最小二乘估計(jì) j 1 2 n 72 將上述方程組整理可得到 8 7 方程組 8 7 稱為 正規(guī)方程組 73 記 74 則模型 8 6 可表示為Y X 正規(guī)方程組 8 7 可表示為 XTX XTY 75 當(dāng)k 1階方陣XTX滿秩時(shí) 即等價(jià)于r X k 1 可解出的唯一最小二乘估計(jì)這樣就得到了y的估計(jì)式可以看出 最小二乘估計(jì)是y的觀測(cè)值的線性函數(shù) 且是的無(wú)偏估計(jì) 76 因?yàn)镋 XTX 1XTE y XTX 1XTX 類似于一元線性模型 可證明最小二乘估計(jì)為的 方差最小 線性無(wú)偏估計(jì) 方差最小 可理解為 對(duì)的每個(gè)分量 最小二乘估計(jì)的方差最小 77 8 3 3多元線性回歸模型的檢驗(yàn) 多元線性回歸模型的檢驗(yàn)包括兩個(gè)方面 對(duì)回歸模型的擬合程度的評(píng)價(jià) 和回歸線性相關(guān)關(guān)系的檢驗(yàn) 方法和一元線性回歸類同 78 8 3 4多元線性回歸模型的應(yīng)用 在多元線性回歸模型中 預(yù)測(cè)的方法與一元線性回歸模型的情況非常類似 建立了線性回歸模型之后 便可用它對(duì)有關(guān)變量進(jìn)行預(yù)測(cè) 79 給定 對(duì)應(yīng)的因變量記為y0 則y0的點(diǎn)估計(jì)可由模型求得 80 若記 則可證明 N于是 N 0 1 用代替 便有 t n k 1 81 對(duì)于給定的 的置信度為100 1 的置信區(qū)間為 82 4回歸分析中的一些特殊問(wèn)題 83 前面我們介紹了線性回歸模型的建立和應(yīng)用 一元線性回歸分析在實(shí)際中應(yīng)用并不廣泛 而更多的是多元線性回歸模型 但在實(shí)際中 正確應(yīng)用線性回歸模型分析實(shí)際問(wèn)題并不是一件容易的事 由于有多個(gè)自變量 以下我們來(lái)介紹回歸分析中的一些特殊問(wèn)題 84 8 4 1自變量的選擇問(wèn)題 在建立一個(gè)回歸模型時(shí) 我們要將所有可能對(duì)因變量產(chǎn)生影響的自變量考慮到模型中去 而通常在所有備選的自變量中 只有一部分真正對(duì)因變量有影響 這樣的變量稱為有效變量 而其它的則可能對(duì)因變量沒(méi)有影響 稱為無(wú)效變量 因此需要將有效變量保留在模型中 而無(wú)效變量應(yīng)從模型中去掉 這樣就產(chǎn)生了自變量的篩選問(wèn)題 具體方法略 85 8 4 2多重共線型問(wèn)題 在許多場(chǎng)合 如社會(huì)研究 時(shí)常分析等領(lǐng)域中 自變量是隨機(jī)的 在這種情況下 自變量之間就會(huì)有很強(qiáng)的統(tǒng)計(jì)相關(guān)性 即多重共線性 由于樣本數(shù)據(jù)間存在著線性相關(guān)關(guān)系而產(chǎn)生的問(wèn)題就稱為多重共線性問(wèn)題 因此檢驗(yàn)多重共線型問(wèn)題是必要的 具體方法略 86 在多重共線性現(xiàn)象中 一種極端情況是自變量間的相關(guān)系數(shù)為 這種情況稱為完全的多重共線性現(xiàn)象 此時(shí) 某個(gè)自變量可表