概率論與數(shù)理統(tǒng)計：第八章 應(yīng)用回歸分析

1、第八章應(yīng)用回歸分析回歸分析的研究對象家庭收入與家庭支出的關(guān)系父母身高與子/女身高的關(guān)系平時作業(yè)成績與最后的考試成績的關(guān)系銀行利率與股票指數(shù)的關(guān)系現(xiàn)實世界中變量之間的關(guān)系并不總是可以用函數(shù)關(guān)系來表示的，比如: 經(jīng)驗和統(tǒng)計數(shù)據(jù)表明，某些變量的取值相互之間是有關(guān)系的,不是完全無關(guān)的，這種關(guān)系稱為統(tǒng)計相關(guān)關(guān)系。 回歸分析及回歸方程: 回歸分析就是研究變量間的統(tǒng)計相關(guān)關(guān)系一種統(tǒng)計方法. 根據(jù)變元的統(tǒng)計數(shù)據(jù)，用一個函數(shù)來近似變元間的統(tǒng)計相關(guān)關(guān)系，這個函數(shù)叫回歸方程或回歸函數(shù)。 統(tǒng)計相關(guān)關(guān)系:本例中, 父親身高與兒子身高的關(guān)系就是統(tǒng)計相關(guān)關(guān)系上述高爾頓得到的近似直線方程就是回歸方程8.1 一元線性回歸一元線

2、性回歸的模型:其中，X為確定性變量,它是可以測量和控制的,也稱解釋變量或自變量；Y為被解釋變量或響應(yīng)變量； 根據(jù)變元（X，Y）的一組觀測值代入上述一元線性回歸模型，得：回到我們的一元線性回歸模型：其中誤差項滿足：我們導(dǎo)出了參數(shù)的極大似然估計，但是，歷史上高爾頓是用我們高等數(shù)學(xué)中所學(xué)過的最小二乘法導(dǎo)出的，因此，一般稱之為最小二乘估計關(guān)于上述例1，請大家思考如下問題： 我們得到的回歸方程有什么用？ 根據(jù)哪些指標(biāo)可以判斷回歸的效果？上述回歸的效果如何？ 上例中：年齡為自變量（控制變量），體重為因變量（響應(yīng)變量），回歸方程為： y = 7.83+2.01x , 那么據(jù)此方程得： x = (y -7.8

3、3)/2.01 ，它可否視為把體重作為自變量，年齡作為因變量的回歸方程？ 對于任意給定的一組數(shù)值（xi, yi) i=1,2,n，比如xi表示第i天的最高氣溫， yi表示第i天股市的收盤指數(shù)，是否都可以像例1一樣代入?yún)?shù)的公式并求出回歸方程？ 如果觀測值較多，直接手算比較復(fù)雜，如何借助計算機(jī)求解回歸方程？關(guān)于問題1：回歸方程有什么用途？回歸方程的主要用途是預(yù)測和控制，比如根據(jù)上例的回歸方程 y = 7.83+2.01x ，我們可以預(yù)測 x=2.2(歲）時兒童的體重為:y = 7.83+2.01*2.2=12.252(kg)-這是y的點(diǎn)估計，我們還可以得到y(tǒng)的區(qū)間估計。對于一元線性回歸模型 ，其

4、中誤差項滿足正態(tài)性，獨(dú)立性，及方差齊性的條件 ， 給定 ，則對應(yīng) 的點(diǎn)估計為 ；當(dāng) n 充分大時， 置信水平為此外，我們還可以求出參數(shù)關(guān)于問題2:哪些指標(biāo)可以判斷回歸的效果？如下指標(biāo)都可以直接或間接用來表示回歸的效果： 參差平方和 SSE 估計標(biāo)準(zhǔn)差 相關(guān)系數(shù) R 判定系數(shù) 修正判定系數(shù) , 其中 p為自變元個數(shù) 從例1第二問的結(jié)果看，該例回歸的效果還是很好的 關(guān)于問題3: 能否由體重關(guān)于年齡的回歸方程： y = 7.83+2.01x,得出年齡關(guān)于體重的回歸方程： x=(y -7.83)/2.01=0.4975y3.8955 ？答：不可以。事實上，如果把體重作為自變量年齡作為因變 量，代入一元

5、回歸的公式，得：x = 0.4939y 3.853; 二者為何不同呢？ 因為我們這里介紹的一元回歸模型中，自變量與響 應(yīng)變量的地位是不等同的.關(guān)于問題4: 對于任意給定的一組數(shù)值（xi, yi) i=1,2,n，是否都可以求變量的回歸方程？可以代入?yún)?shù)最小二乘估計的公式求出變元的回歸方程，但是，如果變元 X 和 Y 沒有統(tǒng)計相關(guān)關(guān)系，這樣求出的回歸方程是沒有意義的（如氣溫與股票點(diǎn)數(shù)）；而如果回歸模型的三個條件，即正態(tài)性，獨(dú)立性，方差齊性 不滿足，我們就無法對參數(shù)的概率特性（分布，區(qū)間估計 等）作出判斷。直觀地說，如果根據(jù)變元 X 和 Y 的觀測值算出的相關(guān)系數(shù)的絕對值越大（越接近1），即表示變

6、元 X 和 Y線性關(guān)系越強(qiáng)，這時擬合觀測值（xi, yi)的回歸方程越有意義。那么，相關(guān)系數(shù)的絕對值要達(dá)到多大才可以求回歸方程呢？在統(tǒng)計上，我們是用假設(shè)檢驗的方法來判定變元的線性關(guān)系是否顯著，因為檢驗的統(tǒng)計量服從F分布（證明略），因此這個檢驗叫F檢驗。關(guān)于問題4:如何借助計算機(jī)算法進(jìn)行回歸分析？各種統(tǒng)計軟件都有回歸分析的功能，比如SAS，SPSS，R，包括MATLAB的統(tǒng)計包 等，這里我們介紹EXCEL的回歸分析功能操作步驟（多元回歸同樣操作，但利用EXCEL多元回歸分析時自變元個數(shù)不能超過16個）：1）把數(shù)據(jù)輸入EXCEL表2）點(diǎn)工具菜單 加載宏 數(shù)據(jù)分析 回歸對例1中數(shù)據(jù)的EXCEL回歸分

7、析結(jié)果：相關(guān)系數(shù)判定系數(shù)修正判定系數(shù)估計標(biāo)準(zhǔn)差F統(tǒng)計量觀測值F檢驗的P值，當(dāng)P值小于給定顯著性水平時，說明變元線性關(guān)系顯著P值小于顯著性水平時說明常數(shù)項顯著性非零P值小于顯著性水平時說明x系數(shù)顯著性非零回歸參數(shù)置信區(qū)間的上下限例2：恩格爾系數(shù)(食品支出與收入之比)的估算已知人均月收入X與人均食品月支出Y的15組抽樣數(shù)據(jù)如下，求恩格爾系數(shù)：X102096097010209101580540830Y270260250280270360190260分析：根據(jù)給定數(shù)據(jù)，先找出X，Y的回歸函數(shù)，再根據(jù)回歸函數(shù)來估計恩格爾系數(shù).X1230106012901380810920640Y310310340380270280200解：利用EXCEL進(jìn)行回歸分析，得：8.2 多元線性回歸令：解方程組得參數(shù)的此外：例3：試根據(jù)表中居民月收入X1（單位百元）及 某商品的單價X2（單位十元）來擬合該商 品的需求量Y（單位百件）的函數(shù)需求 Y月收入 X1商