多元線性回歸和非線性回歸

多元線性回歸和非線性回歸第一頁(yè)，共五十頁(yè)，編輯于2023年，星期五多元線性回歸模型

(multiplelinearregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及p個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量y是x1,，x2

，，xp

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性第二頁(yè)，共五十頁(yè)，編輯于2023年，星期五多元線性回歸模型

(基本假定)1.解釋變量x1，x2，…，xp是確定性變量．不是隨機(jī)變量，且要求樣本容量的個(gè)數(shù)應(yīng)大于解釋變量的個(gè)數(shù)。2.誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=03.對(duì)于自變量x1，x2，…，xp的所有值，的方差2都相同4.誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立第三頁(yè)，共五十頁(yè)，編輯于2023年，星期五多元線性回歸方程

(multiplelinearregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xp的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值第四頁(yè)，共五十頁(yè)，編輯于2023年，星期五二元線性回歸方程1.表示保持不變時(shí)，每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.2.表示保持不變時(shí)，每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.考慮二元線性回歸模型第五頁(yè)，共五十頁(yè)，編輯于2023年，星期五二元線性回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}第六頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸參數(shù)的估計(jì)第七頁(yè)，共五十頁(yè)，編輯于2023年，星期五估計(jì)的多元線性回歸的方程

(estimatedmultiplelinearregressionequation)是估計(jì)值是y的估計(jì)值用樣本統(tǒng)計(jì)量估計(jì)回歸方程中的參數(shù)

時(shí)得到的方程由最小二乘法求得一般形式為第八頁(yè)，共五十頁(yè)，編輯于2023年，星期五參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即第九頁(yè)，共五十頁(yè)，編輯于2023年，星期五參數(shù)的最小二乘法

(例題分析)例1生產(chǎn)總值是衡量一個(gè)國(guó)家地區(qū)經(jīng)濟(jì)發(fā)展的重要指標(biāo)，影響一個(gè)國(guó)家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動(dòng)力、進(jìn)出口、國(guó)家基礎(chǔ)設(shè)施建設(shè)等方面的因素。本例研究財(cái)政支出對(duì)生產(chǎn)總值的影響。《中國(guó)統(tǒng)計(jì)年鑒》把財(cái)政支出劃分為31個(gè)組成部分，本例只選取其中的13個(gè)重要支出項(xiàng)。第十頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸系數(shù)表用spss軟件計(jì)算的回歸系數(shù)如下：第十一頁(yè)，共五十頁(yè)，編輯于2023年，星期五參數(shù)的最小二乘法需要注意的是，這一回歸方程并不理想，回歸系數(shù)的意義不好解釋，這里只是作為多元線性回歸參數(shù)估計(jì)的一例，后邊我們還要進(jìn)一步完善這一模型的建立第十二頁(yè)，共五十頁(yè)，編輯于2023年，星期五線性回歸方程的某些注意點(diǎn)1樣本決定系數(shù)2估計(jì)標(biāo)準(zhǔn)誤差第十三頁(yè)，共五十頁(yè)，編輯于2023年，星期五一、多重樣本決定系數(shù)(multiplecoefficientofdetermination)

對(duì)多元回歸，總方差同樣可分解成如下形式則決定系數(shù)為(12.6)(12.7)第十四頁(yè)，共五十頁(yè)，編輯于2023年，星期五

多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R２愈大，說明樣本回歸方程擬合得愈好。顯然，.而稱y

關(guān)于的樣本復(fù)相關(guān)系數(shù)，R

的大小可以反映作為一個(gè)整體的與y的線性相關(guān)的密切程度.第十五頁(yè)，共五十頁(yè)，編輯于2023年，星期五修正多重決定系數(shù)(adjustedmultiplecoefficientofdetermination)

由于樣本多重判定系數(shù)的分母SST

對(duì)給定的樣本數(shù)據(jù)是不變的，而SSR與引進(jìn)回歸方程的自變量個(gè)數(shù)有關(guān).因此，應(yīng)對(duì)R２作調(diào)整，調(diào)整的樣本多重判定系數(shù)為(12.8)第十六頁(yè)，共五十頁(yè)，編輯于2023年，星期五估計(jì)標(biāo)準(zhǔn)誤差Sy對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為第十七頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸方程顯著性檢驗(yàn)第十八頁(yè)，共五十頁(yè)，編輯于2023年，星期五線性關(guān)系檢驗(yàn)

（回歸方程顯著性檢驗(yàn)）檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系第十九頁(yè)，共五十頁(yè)，編輯于2023年，星期五線性關(guān)系檢驗(yàn)提出假設(shè)H0：12p=0線性關(guān)系不顯著H1：1，2，p至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F

4.作出決策：若F>F

，拒絕H0第二十頁(yè)，共五十頁(yè)，編輯于2023年，星期五方差分析表

前面的這些計(jì)算結(jié)果可以列成表格的形式，稱為方差分析表.方差分析表方差來源平方和自由度方差F值回歸SSRpSSR/p殘差SSEn-p-1SSE/(n-p-1)總和SSTn-1－第二十一頁(yè)，共五十頁(yè)，編輯于2023年，星期五表中的Sig即為顯著性P值，由P值＝0.000（近似值）可知回歸方程十分顯著。即可以以99.9％以上的概率斷言所有自變量全體對(duì)因變量產(chǎn)生顯著線性影響。對(duì)例1回歸方程的檢驗(yàn):

第二十二頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸系數(shù)顯著性檢驗(yàn)線性關(guān)系檢驗(yàn)通過后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量第二十三頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不拒絕H0第二十四頁(yè)，共五十頁(yè)，編輯于2023年，星期五回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差第二十五頁(yè)，共五十頁(yè)，編輯于2023年，星期五例1spss計(jì)算出的和P值對(duì)回歸系數(shù)的檢驗(yàn):第二十六頁(yè)，共五十頁(yè)，編輯于2023年，星期五結(jié)果發(fā)現(xiàn)：

并不是所有的自變量單獨(dú)對(duì)因變量都有顯著性影響，最大的P值為0.926＞0.05，在取顯著性水平a＝0.05時(shí)通不過顯著性檢驗(yàn)。這個(gè)例子說明：盡管回歸方程通過了顯著性檢驗(yàn)，但也會(huì)出現(xiàn)某些單個(gè)自變量（甚至每一個(gè)）對(duì)因變量并不顯著的情況。由于某些自變量不顯著，因而在多元回歸中并不是包含在回歸方程中的自變量越多越好。第二十七頁(yè)，共五十頁(yè)，編輯于2023年，星期五在此介紹一種剔除多余自變量的方法：逐步回歸法剔除x3科技三項(xiàng)費(fèi)后：第二十八頁(yè)，共五十頁(yè)，編輯于2023年，星期五剔除x6工交部門事業(yè)費(fèi)后：第二十九頁(yè)，共五十頁(yè)，編輯于2023年，星期五依次剔除，最終只保留x1,x2,x4,x8,x10,x11,x12,x13,其回歸系數(shù)見下表：第三十頁(yè)，共五十頁(yè)，編輯于2023年，星期五多元線性回歸分析操作(一)基本操作步驟(1)菜單選項(xiàng):analyze->regression->linear…(2)選擇一個(gè)變量為因變量進(jìn)入dependent框(3)選擇一個(gè)或多個(gè)變量為自變量進(jìn)入independent框(4)選擇多元回歸分析的自變量篩選方法:enter:所選變量全部進(jìn)入回歸方程(默認(rèn)方法)remove:從回歸方程中剔除變量stepwise:逐步篩選；backward:向后篩選；forward:向前篩選(5)對(duì)樣本進(jìn)行篩選(selectionvariable)利用滿足一定條件的樣本數(shù)據(jù)進(jìn)行回歸分析(6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(caselabels)第三十一頁(yè)，共五十頁(yè)，編輯于2023年，星期五多元線性回歸分析操作(二)statistics選項(xiàng)(1)基本統(tǒng)計(jì)量輸出Partandpartialcorrelation:與Y的簡(jiǎn)單相關(guān)、偏相關(guān)和部分相關(guān)Rsquarechange:每個(gè)自變量進(jìn)入方程后R2及F值的變化量Collinearitydignostics:共線性診斷.第三十二頁(yè)，共五十頁(yè)，編輯于2023年，星期五非線性回歸第三十三頁(yè)，共五十頁(yè)，編輯于2023年，星期五水文研究中X和Y的數(shù)量關(guān)系常常不是線性的，如洪峰流量與流域面積之間。如果用線性描述將丟失大量信息，甚至得出錯(cuò)誤結(jié)論。這時(shí)可以用曲線估計(jì)（Curveestimation）或非線性回歸(Nonlinearregression)方法分析。本部分僅就一元非線性回歸問題，討論其參數(shù)估計(jì)。第三十四頁(yè)，共五十頁(yè)，編輯于2023年，星期五1，線性化方法

2，直接最小二乘法

3，二步法一元非線性回歸方程參數(shù)估計(jì)的常用方法：第三十五頁(yè)，共五十頁(yè)，編輯于2023年，星期五線性化方法1，最簡(jiǎn)單最常用的方法2，通過對(duì)變量作適當(dāng)變換，將原變量的非線性關(guān)系轉(zhuǎn)化為新變量的線性關(guān)系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱為線性化法。3，首先，要確定非線性函數(shù)的類型，然后再考慮能否通過變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類型？專業(yè)知識(shí)和經(jīng)驗(yàn)數(shù)學(xué)方法：散點(diǎn)圖第三十六頁(yè)，共五十頁(yè)，編輯于2023年，星期五一、非線性模型的線性化下面列出一些常用的非線性函數(shù)的線性化變換，如果實(shí)測(cè)數(shù)據(jù)的散點(diǎn)圖大致圍繞下列的某一曲線散布，就可采用與之相應(yīng)的變換，使其轉(zhuǎn)化為線性問題。

雙曲線型指數(shù)曲線型冪函數(shù)型對(duì)數(shù)曲線型S曲線型第三十七頁(yè)，共五十頁(yè)，編輯于2023年，星期五

繪制散點(diǎn)圖，根據(jù)圖形和專業(yè)知識(shí)選取曲線類型（可同時(shí)選取幾類）按曲線類型，作曲線直線化變換建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)算決定系數(shù)將變量還原，寫出用原變量表達(dá)的曲線方程比較決定系數(shù)選取“最佳”曲線方程曲線直線化估計(jì)的步驟第三十八頁(yè)，共五十頁(yè)，編輯于2023年，星期五利用線性回歸擬合曲線例上海醫(yī)科大學(xué)微生物學(xué)教研室以已知濃度X的免疫球蛋白A(IgA,μg/ml)作火箭電泳,測(cè)得火箭高度Y(mm)如表所示。試擬合Y關(guān)于X的非線性回歸方程。XYX'＝lnX

(lnX)2Y2(lnX)Y

殘差平方0.27.6-1.60940.412.3-0.91630.615.7-0.51080.818.2-0.22311.018.701.221.40.18231.422.60.33651.623.80.4700合計(jì)140.3-2.27082.590257.76-12.23140.8396151.29-11.27050.2609246.49-8.01960.0498331.24-4.06040.0000349.690.00000.0332457.963.90120.1132510.767.60490.2209566.4411.18604.1078

2671.63

-12.8898

7.2312.6215.7718.0119.7521.1622.3623.40

0.13800.10170.00530.03611.09210.05630.05660.15971.6458第三十九頁(yè)，共五十頁(yè)，編輯于2023年，星期五（一）繪制散點(diǎn)圖，決定曲線類型（對(duì)數(shù)曲線)

（二）曲線直線化變換

=a+blnX

第四十頁(yè)，共五十頁(yè)，編輯于2023年，星期五（三）建立線性回歸方程

回歸方程為：=19.7451+7.7771lnX方差分析有統(tǒng)計(jì)學(xué)意義，P＝0.0000，F(xiàn)＝763.50，表明回歸方程有意義。確定系數(shù)為0.99，表明回歸擬合原資料很好。第四十一頁(yè)，共五十頁(yè)，編輯于2023年，星期五直接最小二乘法類似于建立線性回歸方程的方法，根據(jù)x,y的原始觀測(cè)資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計(jì)。對(duì)于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一般是超越方程（非代數(shù)方程），不能用代數(shù)方法求解，只能用數(shù)值解法，迭代計(jì)算出其近似解。第四十二頁(yè)，共五十頁(yè)，編輯于2023年，星期五用線性回歸擬合曲線（例2）表２25名重傷病人的住院天數(shù)X與預(yù)后指數(shù)Y編號(hào)123456789101112131415X257101419263134384552536065Y54504537352520161813811846第四十三頁(yè)，共五十頁(yè)，編輯于2023年，星期五（一）繪制散點(diǎn)圖，決定曲線類型

指數(shù)曲線第四十四頁(yè)，共五十頁(yè)，編輯于2023年，星期五（二）曲線直線化變換

第四十五頁(yè)，共五十頁(yè)，編輯于20