第五章 試驗數(shù)據(jù)的回歸分析

第五章試驗數(shù)據(jù)的回歸分析5.1變量與變量之間的關(guān)系

變量與變量之間存在下面兩種關(guān)系：1、函數(shù)關(guān)系變量之間存在一種確定性關(guān)系，當(dāng)給定一個或幾個變量值后，另一個變量有確定值。例如圓的面積S和半徑R之間存在這樣一種函數(shù)關(guān)系：2、相關(guān)關(guān)系

變量間存在密切的但又不完全確定的關(guān)系，當(dāng)給定一個或幾個變量值時，另一變量有一大致的取值。例如一個人的血壓p與年齡x存在這樣一種大致關(guān)系：1但這種關(guān)系并未完全確定。相關(guān)關(guān)系經(jīng)過抽象分析可以得到一個函數(shù)關(guān)系，用來評估這種相關(guān)關(guān)系，也可以這樣說：相關(guān)關(guān)系是一種誤差不為常數(shù)的函數(shù)關(guān)系。

分析、抽象相關(guān)關(guān)系函數(shù)關(guān)系

誤差R≠const.

有關(guān)相關(guān)關(guān)系的計算方法和理論稱為回歸分析，確定回歸方程、檢驗回歸方程的可信度是回歸分析的主要內(nèi)容?；貧w分析分為一元回歸分析和多元回歸分析，也可分為線性回歸和非線性回歸兩種形式。25.1變量與變量之間的關(guān)系5.2一元線性回歸分析5.2.1一元線性回歸數(shù)學(xué)模型一元線性回歸數(shù)學(xué)模型為：回歸模型中為誤差項，它包括試驗誤差及無法用x表達(dá)的因素或非x的一次項如項等。這是一個因變量y與一個自變量x之間的線性關(guān)系式。后面的任務(wù)就是要根據(jù)對應(yīng)的實驗數(shù)據(jù)來估計模型參數(shù)的估計值，以得到一個一元線性回歸方程式：。35.2

一元線性回歸分析5.2.2一元線性回歸方程的建立我們知道，對于一個，通過實驗得到的數(shù)據(jù)與通過回歸方程計算得到的回歸值之間存在一定的差異，即。令稱為殘差。令顯然，對于不同的回歸系數(shù)，其得到的Q大小不一，Q最小者最能反映x與y間的相關(guān)關(guān)系，即所得的回歸方程與試驗結(jié)果擬合最好。稱Q為剩余平方和，它反映了偏離的總體程度。45.2一元線性回歸分析現(xiàn)在的問題就是為何值時Q最??？這樣就轉(zhuǎn)化為二次非負(fù)函數(shù)求極小值問題，通過最小二乘法可以解決這一問題。極小值點求法如下：即：55.2一元線性回歸分析上面的方程組稱為正規(guī)方程組，對方程組求解即可得到回歸系數(shù)的計算式：我們定義x、y及xy的離差平方和分別為：65.2一元線性回歸分析則：75.2一元線性回歸分析kxkykxkyk12345245892.012.983.505.025.074.0211.9217.5040.1645.634162564814.048.8812.2525.2025.702818.58119.2319076.07具體例子見書P46～47例4－1。從上可以看出根據(jù)試驗數(shù)據(jù)建立回歸方程可用最小二乘法，其基本步驟為：①根據(jù)試驗數(shù)據(jù)畫出散點圖；②確定擬合的函數(shù)類型；③通過最小二乘法得到正規(guī)方程組；④求解正規(guī)方程組，得到回歸方程的表達(dá)式。5.2.3一元線性回歸方程的檢驗對于給定的N個觀測值，即使x與y之間根本不存在線性關(guān)系，我們?nèi)耘f可以通過最小二乘法求得x與y的線性擬合方程，顯然這樣的回歸方程沒有任何意義，我們必須對回歸方程進(jìn)行顯著性檢驗，對其可信性或擬合效果進(jìn)行檢驗。85.2一元線性回歸分析1、F檢驗法(1)總變動平方和及其分解顯然在無重復(fù)試驗的情況下：SST＝Lyy而95.2一元線性回歸分析對于所以SST可以分解為兩部分：我們稱為剩余平方和，它宜小；稱為回歸平方和，它宜大。105.2一元線性回歸分析在無重復(fù)試驗時，可用下面的式子進(jìn)行計算：(2)自由度115.2一元線性回歸分析(3)F檢驗我們可以認(rèn)為U相對于Q較大時，回歸方程顯著。若F<F0.05(1,N-2)，回歸方程不顯著。若F0.05(1,N-2)<F<F0.01(1,N-2)，回歸方程顯著，用*表示。若F>F0.01(1,N-2)，回歸方程高度顯著，用**表示。(4)殘差分析與之間的偏差稱為殘差，表示為根據(jù)殘差，我們可以計算出剩余標(biāo)準(zhǔn)差125.2一元線性回歸分析如果試驗的隨機(jī)誤差服從正態(tài)分布，利用剩余標(biāo)準(zhǔn)差sy，我們可以預(yù)測y的取值區(qū)間：試驗值落在之內(nèi)的概率為95.4％；試驗值落在之內(nèi)的概率為99.7％。Sy越小，回歸方程擬合得越好。2、相關(guān)系數(shù)檢驗法令135.2一元線性回歸分析顯然，當(dāng)＝1時，x與y完全線性相關(guān)，這時x與y有精確的線性關(guān)系；當(dāng)r=0時，x與y根本沒有線性關(guān)系，但并不意味x與y之間不存在其他類型的關(guān)系；當(dāng)r>0時，x與y正線性相關(guān)，直線的斜率為正；當(dāng)r<0時，x與y負(fù)線性相關(guān)，直線的斜率為負(fù)。由于所以145.2一元線性回歸分析可見，r與b同號?？刹橄嚓P(guān)系數(shù)臨界值表，見書P208，這里p表示變量個數(shù)，包括自變量和因變量。回歸方程才有意義。相關(guān)系數(shù)r接近于1的程度與試驗數(shù)據(jù)個數(shù)N有關(guān)，當(dāng)N較小時，r越接近于1，當(dāng)N較大時，r容易偏小，特別是N＝2時，因為兩點確定一條直線，r總等于1，所以只有當(dāng)實驗次數(shù)N較多時，才能得到真正有實際意義的回歸方程。155.2一元線性回歸分析155.2一元線性回歸分析試用F檢驗法和相關(guān)系數(shù)檢驗法對例4-1的回歸方程進(jìn)行顯著性檢驗。5.3多元線性回歸分析如果因變量y與多個自變量xj之間的近似函數(shù)關(guān)系式為多元線性方程：則稱該式為因變量y與自變量的多元線性回歸方程。設(shè)變量有N組試驗數(shù)據(jù)：下面的任務(wù)就是采用最小二乘法求其多元線性回歸方程。5.3.1多元線性回歸方程的建立165.3多元線性回歸分析將自變量代入回歸方程中，得到：剩余平方和Q可以表示為：175.3

多元線性回歸分析根據(jù)最小二乘法原理，要使Q達(dá)到最小，應(yīng)該滿足以下條件：即：185.3多元線性回歸分析整理上式可得正規(guī)方程組：195.3多元線性回歸分析205.3多元線性回歸分析上述正規(guī)方程組非常繁瑣，不變記憶，令：（N組觀測值中自變量xj的平均值）（N組觀測值中因變量y的平均值）則上述正規(guī)方程組變?yōu)椋?15.3多元線性回歸分析求解上述方程組即可得到多元線性回歸方程的偏回歸系數(shù)b0、b1、b2…bm。215.3多元線性回歸分析例4-4在某化合物的合成試驗中，為了提高產(chǎn)量，研究了得率與原料配比x1，溶劑量x2，和反應(yīng)時間x3的關(guān)系，結(jié)果如下表。試用線性回歸方程擬合試驗數(shù)據(jù)。試驗號配比x1溶劑量x2反應(yīng)時間x3得率y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.482215.3多元線性回歸分析試驗號x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元線性回歸分析試驗號x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元線性回歸分析試驗號x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683225.3多元線性回歸分析建立正規(guī)方程組如下：已知一個容量為N的樣本將樣本中各值代入回歸方程，得到方程組：225.3多元線性回歸分析下面以矩陣形式來表示正規(guī)方程組：②回歸系數(shù)矩陣③結(jié)構(gòu)矩陣則正規(guī)方程組左邊的系數(shù)矩陣A可以由結(jié)構(gòu)矩陣X直接算出：235.3多元線性回歸分析①初始數(shù)據(jù)矩陣或觀測值矩陣245.3多元線性回歸分析正規(guī)方程組右邊的常數(shù)項矩陣B可由結(jié)構(gòu)矩陣X和觀測值矩陣Y計算出：255.3多元線性回歸分析則正規(guī)方程組可以用矩陣形式表示如下：求解上述方程組即可得到多元線性回歸方程的偏回歸系數(shù)b0、b1、b2…bm。具體例子見書P53～55例4－4。用矩陣形式來計算：265.3多元線性回歸分析275.3多元線性回歸分析285.3多元線性回歸分析求解上述正規(guī)方程組即可得到多元線性回歸方程。5.3.2多元線性回歸方程顯著性檢驗1、F檢驗法295.3多元線性回歸分析若，則稱y與間沒有明顯的線性關(guān)系，回歸方程不可信。若，則稱y與有明顯的線性關(guān)系，回歸方程顯著，用*表示。若，則稱y與間有十分明顯的線性關(guān)系，回歸方程高度，用**表示。305.3多元線性回歸分析2、相關(guān)系數(shù)檢驗法與一元線性回歸的相關(guān)系數(shù)r類似，在多元線性回歸分析中，我們定義復(fù)相關(guān)系數(shù)R，用它反映一個變量y與多個變量xj（j=1,2,…，m）之間的線性相關(guān)