粗看-多元線性回歸和非線性回歸

1、ppxxxy2211022110)(xxyE1. 表示 保持不變時(shí)， 每變動一個(gè)單位時(shí)的相應(yīng)變化量.2. 表示 保持不變時(shí)， 每變動一個(gè)單位時(shí)的相應(yīng)變化量.21x1x)(yE22110 xxy考慮二元線性回歸模型12x2x)(yE22110 xxy22110)(xxyEp210,p,210ppxxxy22110p,210p,210y 最小niiniiipeyyQ1212210)(),()21(00000piQQiii，p,210例例1 1 生產(chǎn)總值是衡量一個(gè)國家地區(qū)經(jīng)濟(jì)發(fā)展的重要指標(biāo)，影響一個(gè)國家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、勞動力、進(jìn)出口、國家基礎(chǔ)設(shè)施建設(shè)等方面的因素。本例研究財(cái)

2、政支出對生產(chǎn)總值的影響。 中國統(tǒng)計(jì)年鑒把財(cái)政支出劃分為31個(gè)組成部分，本例只選取其中的13個(gè)重要支出項(xiàng)。CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.2801

3、4.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 回歸系數(shù)表用spss

4、軟件計(jì)算的回歸系數(shù)如下：123456789101112134122901 25.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx 對多元回歸，總方差同樣可分解成如下形式SSRSSESST則決定系數(shù)為(12.6)SSTSSESSTSSRyyyyRniinii112122(12.7) 多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R 愈大，說明樣本回歸方程擬合得愈好。顯然， . 而稱 y 關(guān)于 的樣本復(fù)相關(guān)系數(shù)，R 的大小可以反映作為一個(gè)整體的與 y 的線性相關(guān)的密切程度

5、.102 R2121)()(yyyySSTSSRRniiniipxxx,21pxxx,2111)1 (1) 1/()() 1/()(1221122pnnRnyypnyyRniiniii 由于樣本多重判定系數(shù)的分母 SST 對給定的樣本數(shù)據(jù)是不變的，而 SSR 與引進(jìn)回歸方程的自變量個(gè)數(shù)有關(guān).因此，應(yīng)對 R 作調(diào)整，調(diào)整的樣本多重判定系數(shù)為(12.8)MSEpnSSEpnyySniiie1112) 1,() 1() 1(1212pnpFpnyypyypnSSEpSSRFniinii前面的這些計(jì)算結(jié)果可以列成表格的形式，稱為方差分析表. 方差分析表) 1/(/ pnSSEpSSRF) 1,( pn

6、pF1xA AN NO OV VA Ab b8.78E+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+01630RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), x13, x7, x2, x9, x6, x1, x3, x11, x5, x4, x10,x8, x12a. Dependent Variable: yb. 表中的Sig即為顯著性P值，由P值0.000（近似值）可知回歸方程十分顯著。即可以以99.9以上的概

7、率斷言所有自變量全體對因變量產(chǎn)生顯著線性影響。對例對例1回歸方程的檢驗(yàn)回歸方程的檢驗(yàn):) 1(pntStiiispnti2) 1(2xxssiei對回歸系數(shù)的檢驗(yàn):CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.5

8、32273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)基本建設(shè)支出改造資金科技三項(xiàng)費(fèi)用農(nóng)業(yè)支出農(nóng)林等部門事業(yè)費(fèi)工交部門事業(yè)費(fèi)流動部門事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoeffic

9、ientsBetaStandardizedCoefficientstSig.Dependent Variable: 生產(chǎn)總值a. 剔除 x3科技三項(xiàng)費(fèi) 后：CoefficientsCoefficientsa a-41548855446144.26-.763.455-25.4979.557-.326-2.668.01626.89116.821.2091.599.127-95.43851.869-.280-1.840.082-44.71281.932-.079-.546.5928.12262.282.010.130.898-179.053250.935-.042-.714.48550.47013.

10、485.6803.743.001-60.391180.817-.049-.334.742-80.24339.609-.296-2.026.05847.02222.413.4252.098.05053.23034.567.4361.540.14140.62413.318.2703.050.007(Constant)基本建設(shè)支出改造資金農(nóng)業(yè)支出農(nóng)林等部門事業(yè)費(fèi)工交部門事業(yè)費(fèi)流動部門事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.

11、Dependent Variable: 生產(chǎn)總值a. C Co oe ef ff fi ic ci ie en nt ts sa a-42863285211760.28-.822.421-25.1678.976-.322-2.804.01126.51816.141.2061.643.117-91.19739.346-.268-2.318.032-46.75978.306-.082-.597.557-179.366244.347-.042-.734.47250.59913.097.6823.864.001-66.501170.062-.054-.391.700-80.01038.531-.295

12、-2.077.05245.95220.311.4152.262.03654.73831.722.4481.726.10140.14312.460.2673.222.004(Constant)基本建設(shè)支出改造資金農(nóng)業(yè)支出農(nóng)林等部門事業(yè)費(fèi)流動部門事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生產(chǎn)總值a. CoefficientsCoefficientsa a-37120144554130

13、.63-.815.424-26.7787.522-.342-3.560.00228.31111.817.2202.396.026-101.27634.646-.297-2.923.00849.19411.897.6634.135.000-73.62922.303-.272-3.301.00349.94617.028.4512.933.00832.46215.730.2662.064.05145.5859.140.3034.987.000(Constant)x1x2x4x8x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaSt

14、andardizedCoefficientstSig.Dependent Variable: ya. 水文研究中水文研究中X X和和Y Y的數(shù)量關(guān)系常常不是的數(shù)量關(guān)系常常不是線性的，如線性的，如洪峰流量與流域面積洪峰流量與流域面積之間。如之間。如果用線性描述將丟失大量信息，甚至得出果用線性描述將丟失大量信息，甚至得出錯(cuò)誤結(jié)論。這時(shí)可以用錯(cuò)誤結(jié)論。這時(shí)可以用曲線估計(jì)曲線估計(jì)（Curve Curve estimationestimation）或）或非線性回歸非線性回歸(Nonlinear (Nonlinear regression) regression) 方法分析。方法分析。 本部分僅就一元非線

15、性回歸問題，討本部分僅就一元非線性回歸問題，討論其參數(shù)估計(jì)。論其參數(shù)估計(jì)。一元非線性回歸方程參數(shù)估計(jì)的常用方法：一元非線性回歸方程參數(shù)估計(jì)的常用方法：1，最簡單最常用的方法2，通過對變量作適當(dāng)變換，將原變量的非線性關(guān) 系轉(zhuǎn)化為新變量的線性關(guān)系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱為線性化法。3，首先，要確定非線性函數(shù)的類型，然后再考慮能否通過變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類型？ 專業(yè)知識和經(jīng)驗(yàn) 數(shù)學(xué)方法：散點(diǎn)圖 下面列出一些常用的非線性函數(shù)的線性化變換，如果實(shí)測數(shù)據(jù)的散點(diǎn)圖大致圍繞下列的某一曲線散布，就可采用與之相應(yīng)的變換，使其轉(zhuǎn)化為線性問題

16、。雙曲線型指數(shù)曲線型冪函數(shù)型對數(shù)曲線型S曲線型繪制散點(diǎn)圖，根據(jù)圖形和專業(yè)知識選取曲線類繪制散點(diǎn)圖，根據(jù)圖形和專業(yè)知識選取曲線類型（可同時(shí)選取幾類）型（可同時(shí)選取幾類）按曲線類型，作曲線直線化變換按曲線類型，作曲線直線化變換建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)算決定系數(shù)算決定系數(shù)將變量還原，寫出用原變量表達(dá)的曲線方程將變量還原，寫出用原變量表達(dá)的曲線方程比較決定系數(shù)選取比較決定系數(shù)選取“最佳最佳”曲線方程曲線方程YYY回歸方程為：回歸方程為： =19.7451+7.7771lnX=19.7451+7.7771lnX方差分析有統(tǒng)計(jì)學(xué)意義，方差分析有統(tǒng)計(jì)學(xué)

17、意義，P P0.00000.0000，F(xiàn) F763.50763.50，表明回歸方程有意義。，表明回歸方程有意義。確定系數(shù)為確定系數(shù)為0.990.99，表明回歸擬合原資，表明回歸擬合原資料很好。料很好。Y類似于建立線性回歸方程的方法，根據(jù)類似于建立線性回歸方程的方法，根據(jù)x,yx,y的原始的原始觀測資料，依據(jù)最小二乘法原理，直接尋求方程中觀測資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計(jì)。未知參數(shù)的最小二乘估計(jì)。對于非線性回歸，由于回歸方程是非線性函數(shù)，對于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一般是超越方程（非代數(shù)方程），其正規(guī)方程組一般是超越方程（非代數(shù)方程），不

18、不能用代數(shù)方法求解，能用代數(shù)方法求解，只能用數(shù)值解法，迭代計(jì)算出只能用數(shù)值解法，迭代計(jì)算出其近似解。其近似解。0102030405060020406080住院天數(shù)X預(yù)后指數(shù)Y指數(shù)曲線指數(shù)曲線012345020406080住院天數(shù)（天）X預(yù)后指數(shù)的對數(shù)lnYYln回歸方程為：回歸方程為： 4.037-0.0384.037-0.038X X方差分析有統(tǒng)計(jì)學(xué)意義，方差分析有統(tǒng)計(jì)學(xué)意義，P P0.00000.0000，F(xiàn) F276.38276.38，表明回歸方程有貢獻(xiàn)。，表明回歸方程有貢獻(xiàn)。確定系數(shù)為確定系數(shù)為0.95510.9551，表明回歸擬合原，表明回歸擬合原資料較好。資料較好。轉(zhuǎn)換為原方程的另一種形式：轉(zhuǎn)換為原方程的另一種形式： XXeeY038. 0)038. 0037. 4(665.56XXeYeY0396. 0038. 06066.58;665.56XXeYeY0396. 0038. 06066.58;665.56*YYY曲線直線化曲線直線化 非線性最小二乘法非線性最小二乘法1 1，線性化方法與直接最小二乘法是建立曲線回歸方程的，線性化方法與直接最小二乘法是建立曲線回歸方程的基基本方法本方法。2 2，線性化方法：，線性化方法：優(yōu)點(diǎn)：計(jì)算方便優(yōu)點(diǎn)：計(jì)算方便缺點(diǎn)：誤差較大。只能保證對變換后的回歸方程滿足總誤缺點(diǎn)：誤差較大。只能保證對變換后的回歸方程滿足總誤