多元線性回歸和非線性回歸課件

多元線性回歸多元線性回歸模型

(multiplelinearregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項

的方程，稱為多元回歸模型涉及p個自變量的多元回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項的隨機(jī)變量

y是x1,，x2

，

，xp

的線性函數(shù)加上誤差項

包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

(基本假定)1.解釋變量x1，x2，…，xp是確定性變量．不是隨機(jī)變量，且要求樣本容量的個數(shù)應(yīng)大于解釋變量的個數(shù)。2.誤差項ε是一個期望值為0的隨機(jī)變量，即E()=03.對于自變量x1，x2，…，xp的所有值，的方差2都相同4.誤差項ε是一個服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨立二元線性回歸方程1.表示保持不變時，每變動一個單位時的相應(yīng)變化量.2.表示保持不變時，每變動一個單位時的相應(yīng)變化量.考慮二元線性回歸模型二元線性回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}回歸參數(shù)的估計參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘法

(例題分析)例1生產(chǎn)總值是衡量一個國家地區(qū)經(jīng)濟(jì)發(fā)展的重要指標(biāo)，影響一個國家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動力、進(jìn)出口、國家基礎(chǔ)設(shè)施建設(shè)等方面的因素。本例研究財政支出對生產(chǎn)總值的影響?！吨袊y(tǒng)計年鑒》把財政支出劃分為31個組成部分，本例只選取其中的13個重要支出項。回歸系數(shù)表用spss軟件計算的回歸系數(shù)如下：線性回歸方程的某些注意點1樣本決定系數(shù)2估計標(biāo)準(zhǔn)誤差一、多重樣本決定系數(shù)(multiplecoefficientofdetermination)

對多元回歸，總方差同樣可分解成如下形式則決定系數(shù)為(12.6)(12.7)

多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R２愈大，說明樣本回歸方程擬合得愈好。顯然，.而稱y

關(guān)于的樣本復(fù)相關(guān)系數(shù)，R

的大小可以反映作為一個整體的與y的線性相關(guān)的密切程度.估計標(biāo)準(zhǔn)誤差Sy對誤差項的標(biāo)準(zhǔn)差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為回歸方程顯著性檢驗線性關(guān)系檢驗

（回歸方程顯著性檢驗）檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系方差分析表

前面的這些計算結(jié)果可以列成表格的形式，稱為方差分析表.方差分析表方差來源平方和自由度方差F值回歸SSRpSSR/p殘差SSEn-p-1SSE/(n-p-1)總和SSTn-1－表中的Sig即為顯著性P值，由P值＝0.000（近似值）可知回歸方程十分顯著。即可以以99.9％以上的概率斷言所有自變量全體對因變量產(chǎn)生顯著線性影響。對例1回歸方程的檢驗:

回歸系數(shù)顯著性檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗對每一個自變量都要單獨進(jìn)行檢驗應(yīng)用t檢驗統(tǒng)計量回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差例1spss計算出的和P值對回歸系數(shù)的檢驗:剔除x6工交部門事業(yè)費后：依次剔除，最終只保留x1,x2,x4,x8,x10,x11,x12,x13,其回歸系數(shù)見下表：多元線性回歸分析操作(一)基本操作步驟(1)菜單選項:analyze->regression->linear…(2)選擇一個變量為因變量進(jìn)入dependent框(3)選擇一個或多個變量為自變量進(jìn)入independent框(4)選擇多元回歸分析的自變量篩選方法:enter:所選變量全部進(jìn)入回歸方程(默認(rèn)方法)remove:從回歸方程中剔除變量stepwise:逐步篩選；backward:向后篩選；forward:向前篩選(5)對樣本進(jìn)行篩選(selectionvariable)利用滿足一定條件的樣本數(shù)據(jù)進(jìn)行回歸分析(6)指定作圖時各數(shù)據(jù)點的標(biāo)志變量(caselabels)多元線性回歸分析操作(二)statistics選項(1)基本統(tǒng)計量輸出Partandpartialcorrelation:與Y的簡單相關(guān)、偏相關(guān)和部分相關(guān)Rsquarechange:每個自變量進(jìn)入方程后R2及F值的變化量Collinearitydignostics:共線性診斷.非線性回歸水文研究中X和Y的數(shù)量關(guān)系常常不是線性的，如洪峰流量與流域面積之間。如果用線性描述將丟失大量信息，甚至得出錯誤結(jié)論。這時可以用曲線估計（Curveestimation）或非線性回歸(Nonlinearregression)方法分析。本部分僅就一元非線性回歸問題，討論其參數(shù)估計。1，線性化方法

2，直接最小二乘法

3，二步法一元非線性回歸方程參數(shù)估計的常用方法：線性化方法1，最簡單最常用的方法2，通過對變量作適當(dāng)變換，將原變量的非線性關(guān)系轉(zhuǎn)化為新變量的線性關(guān)系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱為線性化法。3，首先，要確定非線性函數(shù)的類型，然后再考慮能否通過變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類型？專業(yè)知識和經(jīng)驗數(shù)學(xué)方法：散點圖一、非線性模型的線性化下面列出一些常用的非線性函數(shù)的線性化變換，如果實測數(shù)據(jù)的散點圖大致圍繞下列的某一曲線散布，就可采用與之相應(yīng)的變換，使其轉(zhuǎn)化為線性問題。

雙曲線型指數(shù)曲線型冪函數(shù)型對數(shù)曲線型S曲線型

繪制散點圖，根據(jù)圖形和專業(yè)知識選取曲線類型（可同時選取幾類）按曲線類型，作曲線直線化變換建立直線化的直線回歸方程；作假設(shè)檢驗，計算決定系數(shù)將變量還原，寫出用原變量表達(dá)的曲線方程比較決定系數(shù)選取“最佳”曲線方程曲線直線化估計的步驟利用線性回歸擬合曲線例上海醫(yī)科大學(xué)微生物學(xué)教研室以已知濃度X的免疫球蛋白A(IgA,μg/ml)作火箭電泳,測得火箭高度Y(mm)如表所示。試擬合Y關(guān)于X的非線性回歸方程。XYX'＝lnX

(lnX)2Y2(lnX)Y

殘差平方0.27.6-1.60940.412.3-0.91630.615.7-0.51080.818.2-0.22311.018.701.221.40.18231.422.60.33651.623.80.4700合計140.3-2.27082.590257.76-12.23140.8396151.29-11.27050.2609246.49-8.01960.0498331.24-4.06040.0000349.690.00000.0332457.963.90120.1132510.767.60490.2209566.4411.18604.1078

2671.63

-12.8898

7.2312.6215.7718.0119.7521.1622.3623.40

0.13800.10170.00530.03611.09210.05630.05660.15971.6458（一）繪制散點圖，決定曲線類型（對數(shù)曲線)

（二）曲線直線化變換

=a+blnX

（三）建立線性回歸方程

回歸方程為：=19.7451+7.7771lnX方差分析有統(tǒng)計學(xué)意義，P＝0.0000，F(xiàn)＝763.50，表明回歸方程有意義。確定系數(shù)為0.99，表明回歸擬合原資料很好。直接最小二乘法類似于建立線性回歸方程的方法，根據(jù)x,y的原始觀測資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計。對于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一般是超越方程（非代數(shù)方程），不能用代數(shù)方法求解，只能用數(shù)值解法，迭代計算出其近似解。用線性回歸擬合曲線（例2）表２25名重傷病人的住院天數(shù)X與預(yù)后指數(shù)Y編號123456789101112131415X257101419263134384552536065Y54504537352520161813811846（一）繪制散點圖，決定曲線類型

指數(shù)曲線（二）曲線直線化變換

（三）建立線性回歸方程

回歸方程為：4.037-0.038X方差分析有統(tǒng)計學(xué)意義，P＝0.0000，F(xiàn)＝276.38，表明回歸方程有貢獻(xiàn)。確定系數(shù)為0.9551，表明回歸擬合原資料較好。轉(zhuǎn)換為原方程的另一種形式：

比較兩個回歸方程可見，對同一份樣本采用不同估計方法得到的結(jié)果并不相同。主要因為曲線直線化以后的回歸只對變換后的Y*(＝lnY)負(fù)責(zé),得到的線性方程可使Y*與其估計值之間的殘差平方和最小,并不保證原變量Y與其估計值之間的殘差平方和也是最小。曲線直線化非線性最小二乘法二步法1，線性化方法與直接最小二乘法是建立曲線回歸方程的基本方法。2，線性化方法：優(yōu)點：計算方便缺點：誤差較大。只能保證對變換后的回歸方程滿足總誤差平方和最小，而不能保證還原后的回歸方程的誤差平方和最小。3，