多元線性回歸和非線性回歸-PPT課件

1、多元線性回歸多元線性回歸模型 (multiple linear regression model)一個因變量與兩個及兩個以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ， xp 和誤差項 的方程，稱為多元回歸模型涉及 p 個自變量的多元回歸模型可表示為 b0 ，b1，b2 ，bp是參數(shù) 是被稱為誤差項的隨機變量 y 是x1,，x2 ， ，xp 的線性函數(shù)加上誤差項 包含在y里面但不能被p個自變量的線性關系所解釋的變異性多元線性回歸模型(基本假定) 1. 解釋變量x1，x2，xp是確定性變量不是隨機變量，且要求樣本容量的個數(shù)應大于解釋變量的個數(shù)。2. 誤差項是一個期望值為0的隨

2、機變量，即E()=03. 對于自變量x1，x2，xp的所有值，的方差 2都相同4.誤差項是一個服從正態(tài)分布的隨機變量，即N(0,2)，且相互獨立多元線性回歸方程 (multiple linear regression equation)描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，xp的方程多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + k xp b1，b2，bp稱為偏回歸系數(shù) bi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均變動值二元線性回歸方程1. 表示 保持不變時， 每變動一個單位時的相應變化量.2. 表示 保持不變時，

3、 每變動一個單位時的相應變化量.考慮二元線性回歸模型二元線性回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)回歸參數(shù)的估計估計的多元線性回歸的方程(estimated multiple linear regression equation) 是 估計值 是 y 的估計值用樣本統(tǒng)計量 估計回歸方程中的 參數(shù) 時得到的方程由最小二乘法求得一般形式為參數(shù)的最小二乘法求解各回歸參數(shù)的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得 。即參數(shù)的最小二乘法(例題分析)例1 生產(chǎn)總值是衡量一個國家地區(qū)經(jīng)濟發(fā)展的重要指標，影響一個國家或地區(qū)生產(chǎn)總值的因素包括

4、資本、資源、科技、勞動力、進出口、國家基礎設施建設等方面的因素。本例研究財政支出對生產(chǎn)總值的影響。 中國統(tǒng)計年鑒把財政支出劃分為31個組成部分，本例只選取其中的13個重要支出項?；貧w系數(shù)表用spss軟件計算的回歸系數(shù)如下：參數(shù)的最小二乘法 需要注意的是，這一回歸方程并不理想，回歸系數(shù)的意義不好解釋，這里只是作為多元線性回歸參數(shù)估計的一例，后邊我們還要進一步完善這一模型的建立線性回歸方程的某些注意點1 樣本決定系數(shù)2 估計標準誤差一、多重樣本決定系數(shù)(multiple coefficient of determination) 對多元回歸，總方差同樣可分解成如下形式則決定系數(shù)為(12.6)(12

5、.7) 多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R 愈大，說明樣本回歸方程擬合得愈好。顯然， . 而稱 y 關于 的樣本復相關系數(shù)，R 的大小可以反映作為一個整體的與 y 的線性相關的密切程度.修正多重決定系數(shù)(adjusted multiple coefficient of determination) 由于樣本多重判定系數(shù)的分母 SST 對給定的樣本數(shù)據(jù)是不變的，而 SSR 與引進回歸方程的自變量個數(shù)有關.因此，應對 R 作調(diào)整，調(diào)整的樣本多重判定系數(shù)為(12.8)估計標準誤差 Sy對誤差項的標準差 的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為回歸方程顯著性檢驗線性關系檢驗（回歸方

6、程顯著性檢驗）檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應用 F 檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系線性關系檢驗提出假設H0：12p=0 線性關系不顯著H1：1，2， p至少有一個不等于02. 計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F 4. 作出決策：若FF ，拒絕H0方差分析表前面的這些計算結果可以列成表格的形式，稱為方差分析表. 方差分析表方差來源平方和自由度方差F 值回歸SSRpS

7、SR / p殘差SSEn - p - 1SSE /(n - p - 1)總和SSTn - 1表中的Sig即為顯著性P值，由P值0.000（近似值）可知回歸方程十分顯著。即可以以99.9以上的概率斷言所有自變量全體對因變量產(chǎn)生顯著線性影響。對例1回歸方程的檢驗:回歸系數(shù)顯著性檢驗線性關系檢驗通過后，對各個回歸系數(shù)有選擇地進行一次或多次檢驗對每一個自變量都要單獨進行檢驗應用 t 檢驗統(tǒng)計量回歸系數(shù)的檢驗(步驟)提出假設H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關系) H1： bi 0 (自變量 xi 與 因變量 y有線性關系) 計算檢驗的統(tǒng)計量 t 確定顯著性水平，并進行決策

8、tt，拒絕H0； tregression-linear(2)選擇一個變量為因變量進入dependent框(3)選擇一個或多個變量為自變量進入independent框(4)選擇多元回歸分析的自變量篩選方法:enter:所選變量全部進入回歸方程(默認方法)remove:從回歸方程中剔除變量stepwise:逐步篩選；backward:向后篩選；forward:向前篩選(5)對樣本進行篩選(selection variable)利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析(6)指定作圖時各數(shù)據(jù)點的標志變量(case labels)多元線性回歸分析操作(二) statistics選項(1)基本統(tǒng)計量輸出Pa

9、rt and partial correlation:與Y的簡單相關、偏相關和部分相關R square change:每個自變量進入方程后R2及F值的變化量Collinearity dignostics:共線性診斷.非線性回歸 水文研究中X和Y的數(shù)量關系常常不是線性的，如洪峰流量與流域面積之間。如果用線性描述將丟失大量信息，甚至得出錯誤結論。這時可以用曲線估計（Curve estimation）或非線性回歸(Nonlinear regression) 方法分析。 本部分僅就一元非線性回歸問題，討論其參數(shù)估計。1，線性化方法2，直接最小二乘法3，二步法一元非線性回歸方程參數(shù)估計的常用方法：線性化

10、方法1，最簡單最常用的方法2，通過對變量作適當變換，將原變量的非線性關 系轉(zhuǎn)化為新變量的線性關系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱為線性化法。3，首先，要確定非線性函數(shù)的類型，然后再考慮能否通過變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類型？ 專業(yè)知識和經(jīng)驗 數(shù)學方法：散點圖一、非線性模型的線性化 下面列出一些常用的非線性函數(shù)的線性化變換，如果實測數(shù)據(jù)的散點圖大致圍繞下列的某一曲線散布，就可采用與之相應的變換，使其轉(zhuǎn)化為線性問題。雙曲線型指數(shù)曲線型冪函數(shù)型對數(shù)曲線型S曲線型 繪制散點圖，根據(jù)圖形和專業(yè)知識選取曲線類型（可同時選取幾類）按曲線類型，作曲

11、線直線化變換建立直線化的直線回歸方程；作假設檢驗，計算決定系數(shù)將變量還原，寫出用原變量表達的曲線方程比較決定系數(shù)選取“最佳”曲線方程 曲線直線化估計的步驟利用線性回歸擬合曲線例 上海醫(yī)科大學微生物學教研室以已知濃度X的免疫球蛋白A(IgA, g/ml)作火箭電泳, 測得火箭高度Y(mm)如表所示。試擬合Y關于X的非線性回歸方程。 X Y XlnX (lnX)2 Y2 (lnX)Y 殘差平方 0.2 7.6 -1.6094 0.4 12.3 -0.9163 0.6 15.7 -0.5108 0.8 18.2 -0.2231 1.0 18.7 0 1.2 21.4 0.1823 1.4 22.6

12、0.3365 1.6 23.8 0.4700合計140.3 -2.2708 2.5902 57.76 -12.2314 0.8396 151.29 -11.2705 0.2609 246.49 -8.0196 0.0498 331.24 -4.0604 0.0000 349.69 0.0000 0.0332 457.96 3.9012 0.1132 510.76 7.6049 0.2209 566.44 11.1860 4.1078 2671.63 -12.8898 7.23 12.62 15.77 18.01 19.75 21.16 22.36 23.40 0.1380 0.1017 0.0

13、053 0.0361 1.0921 0.0563 0.0566 0.1597 1.6458（一）繪制散點圖，決定曲線類型（對數(shù)曲線)（二）曲線直線化變換 =a+blnX （三）建立線性回歸方程 回歸方程為： =19.7451+7.7771lnX方差分析有統(tǒng)計學意義，P0.0000，F(xiàn)763.50，表明回歸方程有意義。確定系數(shù)為0.99，表明回歸擬合原資料很好。直接最小二乘法類似于建立線性回歸方程的方法，根據(jù)x,y的原始觀測資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計。對于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一般是超越方程（非代數(shù)方程），不能用代數(shù)方法求解，只能用

14、數(shù)值解法，迭代計算出其近似解。用線性回歸擬合曲線（例2）表 25名重傷病人的住院天數(shù)X與預后指數(shù)Y編號123456789101112131415X257101419263134384552536065Y54504537352520161813811846（一）繪制散點圖，決定曲線類型指數(shù)曲線（二）曲線直線化變換（三）建立線性回歸方程 回歸方程為： 4.037-0.038X方差分析有統(tǒng)計學意義，P0.0000，F(xiàn)276.38，表明回歸方程有貢獻。確定系數(shù)為0.9551，表明回歸擬合原資料較好。轉(zhuǎn)換為原方程的另一種形式： 比較兩個回歸方程可見，對同一份樣本采用不同估計方法得到的結果并不相同。主要因為曲線直線化以后的回歸只對變換后的Y*( lnY)負責, 得到的線性方程可使Y*與其估計值 之間的殘差平方和最小,并不保證原變量Y與其估計值 之間的殘差平方和也是最小。曲線直線化 非線性最小二乘法二步法1，線性化方法與直接最小二乘法是建立曲線回歸方程的基本方法。2，線性化方法：優(yōu)點：計算方便缺點：誤差較大。只能保證對變換后的回歸方程滿足總誤差平方和最小，而不能保證還原后的回歸方程的誤差平方和最小。3，直接最小二乘法