第五章 試驗(yàn)數(shù)據(jù)的回歸分析

第五章試驗(yàn)數(shù)據(jù)的回歸分析5.1變量與變量之間的關(guān)系

變量與變量之間存在下面兩種關(guān)系：1、函數(shù)關(guān)系變量之間存在一種確定性關(guān)系，當(dāng)給定一個(gè)或幾個(gè)變量值后，另一個(gè)變量有確定值。例如圓的面積S和半徑R之間存在這樣一種函數(shù)關(guān)系：2、相關(guān)關(guān)系

變量間存在密切的但又不完全確定的關(guān)系，當(dāng)給定一個(gè)或幾個(gè)變量值時(shí)，另一變量有一大致的取值。例如一個(gè)人的血壓p與年齡x存在這樣一種大致關(guān)系：1但這種關(guān)系并未完全確定。相關(guān)關(guān)系經(jīng)過(guò)抽象分析可以得到一個(gè)函數(shù)關(guān)系，用來(lái)評(píng)估這種相關(guān)關(guān)系，也可以這樣說(shuō)：相關(guān)關(guān)系是一種誤差不為常數(shù)的函數(shù)關(guān)系。

分析、抽象相關(guān)關(guān)系函數(shù)關(guān)系

誤差R≠const.

有關(guān)相關(guān)關(guān)系的計(jì)算方法和理論稱(chēng)為回歸分析，確定回歸方程、檢驗(yàn)回歸方程的可信度是回歸分析的主要內(nèi)容?；貧w分析分為一元回歸分析和多元回歸分析，也可分為線(xiàn)性回歸和非線(xiàn)性回歸兩種形式。25.1變量與變量之間的關(guān)系5.2一元線(xiàn)性回歸分析5.2.1一元線(xiàn)性回歸數(shù)學(xué)模型一元線(xiàn)性回歸數(shù)學(xué)模型為：回歸模型中為誤差項(xiàng)，它包括試驗(yàn)誤差及無(wú)法用x表達(dá)的因素或非x的一次項(xiàng)如項(xiàng)等。這是一個(gè)因變量y與一個(gè)自變量x之間的線(xiàn)性關(guān)系式。后面的任務(wù)就是要根據(jù)對(duì)應(yīng)的實(shí)驗(yàn)數(shù)據(jù)來(lái)估計(jì)模型參數(shù)的估計(jì)值，以得到一個(gè)一元線(xiàn)性回歸方程式：。35.2

一元線(xiàn)性回歸分析5.2.2一元線(xiàn)性回歸方程的建立我們知道，對(duì)于一個(gè)，通過(guò)實(shí)驗(yàn)得到的數(shù)據(jù)與通過(guò)回歸方程計(jì)算得到的回歸值之間存在一定的差異，即。令稱(chēng)為殘差。令顯然，對(duì)于不同的回歸系數(shù)，其得到的Q大小不一，Q最小者最能反映x與y間的相關(guān)關(guān)系，即所得的回歸方程與試驗(yàn)結(jié)果擬合最好。稱(chēng)Q為剩余平方和，它反映了偏離的總體程度。45.2一元線(xiàn)性回歸分析現(xiàn)在的問(wèn)題就是為何值時(shí)Q最小？這樣就轉(zhuǎn)化為二次非負(fù)函數(shù)求極小值問(wèn)題，通過(guò)最小二乘法可以解決這一問(wèn)題。極小值點(diǎn)求法如下：即：55.2一元線(xiàn)性回歸分析上面的方程組稱(chēng)為正規(guī)方程組，對(duì)方程組求解即可得到回歸系數(shù)的計(jì)算式：我們定義x、y及xy的離差平方和分別為：65.2一元線(xiàn)性回歸分析則：75.2一元線(xiàn)性回歸分析kxkykxkyk12345245892.012.983.505.025.074.0211.9217.5040.1645.634162564814.048.8812.2525.2025.702818.58119.2319076.07具體例子見(jiàn)書(shū)P46～47例4－1。從上可以看出根據(jù)試驗(yàn)數(shù)據(jù)建立回歸方程可用最小二乘法，其基本步驟為：①根據(jù)試驗(yàn)數(shù)據(jù)畫(huà)出散點(diǎn)圖；②確定擬合的函數(shù)類(lèi)型；③通過(guò)最小二乘法得到正規(guī)方程組；④求解正規(guī)方程組，得到回歸方程的表達(dá)式。5.2.3一元線(xiàn)性回歸方程的檢驗(yàn)對(duì)于給定的N個(gè)觀(guān)測(cè)值，即使x與y之間根本不存在線(xiàn)性關(guān)系，我們?nèi)耘f可以通過(guò)最小二乘法求得x與y的線(xiàn)性擬合方程，顯然這樣的回歸方程沒(méi)有任何意義，我們必須對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)，對(duì)其可信性或擬合效果進(jìn)行檢驗(yàn)。85.2一元線(xiàn)性回歸分析1、F檢驗(yàn)法(1)總變動(dòng)平方和及其分解顯然在無(wú)重復(fù)試驗(yàn)的情況下：SST＝Lyy而95.2一元線(xiàn)性回歸分析對(duì)于所以SST可以分解為兩部分：我們稱(chēng)為剩余平方和，它宜?。环Q(chēng)為回歸平方和，它宜大。105.2一元線(xiàn)性回歸分析在無(wú)重復(fù)試驗(yàn)時(shí)，可用下面的式子進(jìn)行計(jì)算：(2)自由度115.2一元線(xiàn)性回歸分析(3)F檢驗(yàn)我們可以認(rèn)為U相對(duì)于Q較大時(shí)，回歸方程顯著。若F<F0.05(1,N-2)，回歸方程不顯著。若F0.05(1,N-2)<F<F0.01(1,N-2)，回歸方程顯著，用*表示。若F>F0.01(1,N-2)，回歸方程高度顯著，用**表示。(4)殘差分析與之間的偏差稱(chēng)為殘差，表示為根據(jù)殘差，我們可以計(jì)算出剩余標(biāo)準(zhǔn)差125.2一元線(xiàn)性回歸分析如果試驗(yàn)的隨機(jī)誤差服從正態(tài)分布，利用剩余標(biāo)準(zhǔn)差sy，我們可以預(yù)測(cè)y的取值區(qū)間：試驗(yàn)值落在之內(nèi)的概率為95.4％；試驗(yàn)值落在之內(nèi)的概率為99.7％。Sy越小，回歸方程擬合得越好。2、相關(guān)系數(shù)檢驗(yàn)法令135.2一元線(xiàn)性回歸分析顯然，當(dāng)＝1時(shí)，x與y完全線(xiàn)性相關(guān)，這時(shí)x與y有精確的線(xiàn)性關(guān)系；當(dāng)r=0時(shí)，x與y根本沒(méi)有線(xiàn)性關(guān)系，但并不意味x與y之間不存在其他類(lèi)型的關(guān)系；當(dāng)r>0時(shí)，x與y正線(xiàn)性相關(guān)，直線(xiàn)的斜率為正；當(dāng)r<0時(shí)，x與y負(fù)線(xiàn)性相關(guān)，直線(xiàn)的斜率為負(fù)。由于所以145.2一元線(xiàn)性回歸分析可見(jiàn)，r與b同號(hào)。可查相關(guān)系數(shù)臨界值表，見(jiàn)書(shū)P208，這里p表示變量個(gè)數(shù)，包括自變量和因變量?；貧w方程才有意義。相關(guān)系數(shù)r接近于1的程度與試驗(yàn)數(shù)據(jù)個(gè)數(shù)N有關(guān)，當(dāng)N較小時(shí)，r越接近于1，當(dāng)N較大時(shí)，r容易偏小，特別是N＝2時(shí)，因?yàn)閮牲c(diǎn)確定一條直線(xiàn)，r總等于1，所以只有當(dāng)實(shí)驗(yàn)次數(shù)N較多時(shí)，才能得到真正有實(shí)際意義的回歸方程。155.2一元線(xiàn)性回歸分析155.2一元線(xiàn)性回歸分析試用F檢驗(yàn)法和相關(guān)系數(shù)檢驗(yàn)法對(duì)例4-1的回歸方程進(jìn)行顯著性檢驗(yàn)。5.3多元線(xiàn)性回歸分析如果因變量y與多個(gè)自變量xj之間的近似函數(shù)關(guān)系式為多元線(xiàn)性方程：則稱(chēng)該式為因變量y與自變量的多元線(xiàn)性回歸方程。設(shè)變量有N組試驗(yàn)數(shù)據(jù)：下面的任務(wù)就是采用最小二乘法求其多元線(xiàn)性回歸方程。5.3.1多元線(xiàn)性回歸方程的建立165.3多元線(xiàn)性回歸分析將自變量代入回歸方程中，得到：剩余平方和Q可以表示為：175.3

多元線(xiàn)性回歸分析根據(jù)最小二乘法原理，要使Q達(dá)到最小，應(yīng)該滿(mǎn)足以下條件：即：185.3多元線(xiàn)性回歸分析整理上式可得正規(guī)方程組：195.3多元線(xiàn)性回歸分析205.3多元線(xiàn)性回歸分析上述正規(guī)方程組非常繁瑣，不變記憶，令：（N組觀(guān)測(cè)值中自變量xj的平均值）（N組觀(guān)測(cè)值中因變量y的平均值）則上述正規(guī)方程組變?yōu)椋?15.3多元線(xiàn)性回歸分析求解上述方程組即可得到多元線(xiàn)性回歸方程的偏回歸系數(shù)b0、b1、b2…bm。215.3多元線(xiàn)性回歸分析例4-4在某化合物的合成試驗(yàn)中，為了提高產(chǎn)量，研究了得率與原料配比x1，溶劑量x2，和反應(yīng)時(shí)間x3的關(guān)系，結(jié)果如下表。試用線(xiàn)性回歸方程擬合試驗(yàn)數(shù)據(jù)。試驗(yàn)號(hào)配比x1溶劑量x2反應(yīng)時(shí)間x3得率y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.482215.3多元線(xiàn)性回歸分析試驗(yàn)號(hào)x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元線(xiàn)性回歸分析試驗(yàn)號(hào)x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元線(xiàn)性回歸分析試驗(yàn)號(hào)x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683225.3多元線(xiàn)性回歸分析建立正規(guī)方程組如下：已知一個(gè)容量為N的樣本將樣本中各值代入回歸方程，得到方程組：225.3多元線(xiàn)性回歸分析下面以矩陣形式來(lái)表示正規(guī)方程組：②回歸系數(shù)矩陣③結(jié)構(gòu)矩陣則正規(guī)方程組左邊的系數(shù)矩陣A可以由結(jié)構(gòu)矩陣X直接算出：235.3多元線(xiàn)性回歸分析①初始數(shù)據(jù)矩陣或觀(guān)測(cè)值矩陣245.3多元線(xiàn)性回歸分析正規(guī)方程組右邊的常數(shù)項(xiàng)矩陣B可由結(jié)構(gòu)矩陣X和觀(guān)測(cè)值矩陣Y計(jì)算出：255.3多元線(xiàn)性回歸分析則正規(guī)方程組可以用矩陣形式表示如下：求解上述方程組即可得到多元線(xiàn)性回歸方程的偏回歸系數(shù)b0、b1、b2…bm。具體例子見(jiàn)書(shū)P53～55例4－4。用矩陣形式來(lái)計(jì)算：265.3多元線(xiàn)性回歸分析275.3多元線(xiàn)性回歸分析285.3多元線(xiàn)性回歸分析求解上述正規(guī)方程組即可得到多元線(xiàn)性回歸方程。5.3.2多元線(xiàn)性回歸方程顯著性檢驗(yàn)1、F檢驗(yàn)法295.3多元線(xiàn)性回歸分析若，則稱(chēng)y與間沒(méi)有明顯的線(xiàn)性關(guān)系，回歸方程不可信。若，則稱(chēng)y與有明顯的線(xiàn)性關(guān)系，回歸方程顯著，用*表示。若，則稱(chēng)y與間有十分明顯的線(xiàn)性關(guān)系，回歸方程高度，用**表示。305.3多元線(xiàn)性回歸分析2、相關(guān)系數(shù)檢驗(yàn)法與一元線(xiàn)性回歸的相關(guān)系數(shù)r類(lèi)似，在多元線(xiàn)性回歸分析中，我們定義復(fù)相關(guān)系數(shù)R，用它反映一個(gè)變量y與多個(gè)變量xj（j=1,2,…，m）之間的線(xiàn)性相關(guān)