多元線性回歸和非線性回歸課件

多元線性回歸多元線性回歸模型

(multiplelinearregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及p個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，

，xp

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

(基本假定)1.解釋變量x1，x2，…，xp是確定性變量．不是隨機(jī)變量，且要求樣本容量的個(gè)數(shù)應(yīng)大于解釋變量的個(gè)數(shù)。2.誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=03.對(duì)于自變量x1，x2，…，xp的所有值，的方差2都相同4.誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立二元線性回歸方程1.表示保持不變時(shí)，每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.2.表示保持不變時(shí)，每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.考慮二元線性回歸模型二元線性回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}回歸參數(shù)的估計(jì)參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得

。即參數(shù)的最小二乘法

(例題分析)例1生產(chǎn)總值是衡量一個(gè)國(guó)家地區(qū)經(jīng)濟(jì)發(fā)展的重要指標(biāo)，影響一個(gè)國(guó)家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動(dòng)力、進(jìn)出口、國(guó)家基礎(chǔ)設(shè)施建設(shè)等方面的因素。本例研究財(cái)政支出對(duì)生產(chǎn)總值的影響。《中國(guó)統(tǒng)計(jì)年鑒》把財(cái)政支出劃分為31個(gè)組成部分，本例只選取其中的13個(gè)重要支出項(xiàng)?；貧w系數(shù)表用spss軟件計(jì)算的回歸系數(shù)如下：線性回歸方程的某些注意點(diǎn)1樣本決定系數(shù)2估計(jì)標(biāo)準(zhǔn)誤差一、多重樣本決定系數(shù)(multiplecoefficientofdetermination)

對(duì)多元回歸，總方差同樣可分解成如下形式則決定系數(shù)為(12.6)(12.7)

多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R２愈大，說(shuō)明樣本回歸方程擬合得愈好。顯然，.而稱y

關(guān)于的樣本復(fù)相關(guān)系數(shù)，R

的大小可以反映作為一個(gè)整體的與y的線性相關(guān)的密切程度.估計(jì)標(biāo)準(zhǔn)誤差Sy對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為回歸方程顯著性檢驗(yàn)線性關(guān)系檢驗(yàn)

（回歸方程顯著性檢驗(yàn)）檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系方差分析表

前面的這些計(jì)算結(jié)果可以列成表格的形式，稱為方差分析表.方差分析表方差來(lái)源平方和自由度方差F值回歸SSRpSSR/p殘差SSEn-p-1SSE/(n-p-1)總和SSTn-1－表中的Sig即為顯著性P值，由P值＝0.000（近似值）可知回歸方程十分顯著。即可以以99.9％以上的概率斷言所有自變量全體對(duì)因變量產(chǎn)生顯著線性影響。對(duì)例1回歸方程的檢驗(yàn):

回歸系數(shù)顯著性檢驗(yàn)線性關(guān)系檢驗(yàn)通過(guò)后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差例1spss計(jì)算出的和P值對(duì)回歸系數(shù)的檢驗(yàn):剔除x6工交部門事業(yè)費(fèi)后：依次剔除，最終只保留x1,x2,x4,x8,x10,x11,x12,x13,其回歸系數(shù)見(jiàn)下表：多元線性回歸分析操作(一)基本操作步驟(1)菜單選項(xiàng):analyze->regression->linear…(2)選擇一個(gè)變量為因變量進(jìn)入dependent框(3)選擇一個(gè)或多個(gè)變量為自變量進(jìn)入independent框(4)選擇多元回歸分析的自變量篩選方法:enter:所選變量全部進(jìn)入回歸方程(默認(rèn)方法)remove:從回歸方程中剔除變量stepwise:逐步篩選；backward:向后篩選；forward:向前篩選(5)對(duì)樣本進(jìn)行篩選(selectionvariable)利用滿足一定條件的樣本數(shù)據(jù)進(jìn)行回歸分析(6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(caselabels)多元線性回歸分析操作(二)statistics選項(xiàng)(1)基本統(tǒng)計(jì)量輸出Partandpartialcorrelation:與Y的簡(jiǎn)單相關(guān)、偏相關(guān)和部分相關(guān)Rsquarechange:每個(gè)自變量進(jìn)入方程后R2及F值的變化量Collinearitydignostics:共線性診斷.非線性回歸水文研究中X和Y的數(shù)量關(guān)系常常不是線性的，如洪峰流量與流域面積之間。如果用線性描述將丟失大量信息，甚至得出錯(cuò)誤結(jié)論。這時(shí)可以用曲線估計(jì)（Curveestimation）或非線性回歸(Nonlinearregression)方法分析。本部分僅就一元非線性回歸問(wèn)題，討論其參數(shù)估計(jì)。1，線性化方法

2，直接最小二乘法

3，二步法一元非線性回歸方程參數(shù)估計(jì)的常用方法：線性化方法1，最簡(jiǎn)單最常用的方法2，通過(guò)對(duì)變量作適當(dāng)變換，將原變量的非線性關(guān)系轉(zhuǎn)化為新變量的線性關(guān)系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱為線性化法。3，首先，要確定非線性函數(shù)的類型，然后再考慮能否通過(guò)變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類型？專業(yè)知識(shí)和經(jīng)驗(yàn)數(shù)學(xué)方法：散點(diǎn)圖一、非線性模型的線性化下面列出一些常用的非線性函數(shù)的線性化變換，如果實(shí)測(cè)數(shù)據(jù)的散點(diǎn)圖大致圍繞下列的某一曲線散布，就可采用與之相應(yīng)的變換，使其轉(zhuǎn)化為線性問(wèn)題。

雙曲線型指數(shù)曲線型冪函數(shù)型對(duì)數(shù)曲線型S曲線型

繪制散點(diǎn)圖，根據(jù)圖形和專業(yè)知識(shí)選取曲線類型（可同時(shí)選取幾類）按曲線類型，作曲線直線化變換建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)算決定系數(shù)將變量還原，寫出用原變量表達(dá)的曲線方程比較決定系數(shù)選取“最佳”曲線方程曲線直線化估計(jì)的步驟利用線性回歸擬合曲線例上海醫(yī)科大學(xué)微生物學(xué)教研室以已知濃度X的免疫球蛋白A(IgA,μg/ml)作火箭電泳,測(cè)得火箭高度Y(mm)如表所示。試擬合Y關(guān)于X的非線性回歸方程。XYX'＝lnX

(lnX)2Y2(lnX)Y

殘差平方0.27.6-1.60940.412.3-0.91630.615.7-0.51080.818.2-0.22311.018.701.221.40.18231.422.60.33651.623.80.4700合計(jì)140.3-2.27082.590257.76-12.23140.8396151.29-11.27050.2609246.49-8.01960.0498331.24-4.06040.0000349.690.00000.0332457.963.90120.1132510.767.60490.2209566.4411.18604.1078

2671.63

-12.8898

7.2312.6215.7718.0119.7521.1622.3623.40

0.13800.10170.00530.03611.09210.05630.05660.15971.6458（一）繪制散點(diǎn)圖，決定曲線類型（對(duì)數(shù)曲線)

（二）曲線直線化變換

=a+blnX

（三）建立線性回歸方程

回歸方程為：=19.7451+7.7771lnX方差分析有統(tǒng)計(jì)學(xué)意義，P＝0.0000，F(xiàn)＝763.50，表明回歸方程有意義。確定系數(shù)為0.99，表明回歸擬合原資料很好。直接最小二乘法類似于建立線性回歸方程的方法，根據(jù)x,y的原始觀測(cè)資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計(jì)。對(duì)于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一般是超越方程（非代數(shù)方程），不能用代數(shù)方法求解，只能用數(shù)值解法，迭代計(jì)算出其近似解。用線性回歸擬合曲線（例2）表２25名重傷病人的住院天數(shù)X與預(yù)后指數(shù)Y編號(hào)123456789101112131415X257101419263134384552536065Y54504537352520161813811846（一）繪制散點(diǎn)圖，決定曲線類型

指數(shù)曲線（二）曲線直線化變換

（三）建立線性回歸方程

回歸方程為：4.037-0.038X方差分析有統(tǒng)計(jì)學(xué)意義，P＝0.0000，F(xiàn)＝276.38，表明回歸方程有貢獻(xiàn)。確定系數(shù)為0.9551，表明回歸擬合原資料較好。轉(zhuǎn)換為原方程的另一種形式：

比較兩個(gè)回歸方程可見(jiàn)，對(duì)同一份樣本采用不同估計(jì)方法得到的結(jié)果并不相同。主要因?yàn)榍€直線化以后的回歸只對(duì)變換后的Y*(＝lnY)負(fù)責(zé),得到的線性方程可使Y*與其估計(jì)值之間的殘差平方和最小,并不保證原變量Y與其估計(jì)值之間的殘差平方和也是最小。曲線直線化非線性最小二乘法二步法1，線性化方法與直接最小二乘法是建立曲線回歸方程的基本方法。2，線性化方法：優(yōu)點(diǎn)：計(jì)算方便缺點(diǎn)：誤差較大。只能保證對(duì)變換后的回歸方程滿足總誤差平方和最小，而不能保證還原后的回歸方程的誤差平方和最小。3，