多元回歸分析原理及例子

1、多元回歸分析原理回歸分析是一種處理變量的統(tǒng)計(jì)相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法?；貧w分析的基本思想是: 雖然自變量和因變量之間沒有嚴(yán)格的、確定性的函數(shù)關(guān)系, 但可以設(shè)法找出最能代表它們之間關(guān)系的數(shù)學(xué)表達(dá)形式?；貧w分析主要解決以下幾個(gè)方面的問題:(1) 確定幾個(gè)特定的變量之間是否存在相關(guān)關(guān)系, 如果存在的話, 找出它們之間合適的數(shù)學(xué)表達(dá)式;(2) 根據(jù)一個(gè)或幾個(gè)變量的值, 預(yù)測(cè)或控制另一個(gè)變量的取值, 并且可以知道這種預(yù)測(cè)或控制能達(dá)到什么樣的精確度;(3) 進(jìn)行因素分析。例如在對(duì)于共同影響一個(gè)變量的許多變量(因素)之間, 找出哪些是重要因素, 哪些是次要因素, 這些因素之間又有什么關(guān)系等等?；貧w分析有很

2、廣泛的應(yīng)用, 例如實(shí)驗(yàn)數(shù)據(jù)的一般處理, 經(jīng)驗(yàn)公式的求得, 因素分析, 產(chǎn)品質(zhì)量的控制, 氣象及地震預(yù)報(bào), 自動(dòng)控制中數(shù)學(xué)模型的制定等等。多元回歸分析是研究多個(gè)變量之間關(guān)系的回歸分析方法, 按因變量和自變量的數(shù)量對(duì)應(yīng)關(guān)系可劃分為一個(gè)因變量對(duì)多個(gè)自變量的回歸分析(簡(jiǎn)稱為“一對(duì)多”回歸分析)及多個(gè)因變量對(duì)多個(gè)自變量的回歸分析(簡(jiǎn)稱為“多對(duì)多”回歸分析), 按回歸模型類型可劃分為線性回歸分析和非線性回歸分析。本“多元回歸分析原理”是針對(duì)均勻設(shè)計(jì)3.00軟件的使用而編制的, 它不是多元回歸分析的全面內(nèi)容, 欲了解多元回歸分析的其他內(nèi)容請(qǐng)參閱回歸分析方面的書籍。本部分內(nèi)容分七個(gè)部分, 14介紹“一對(duì)多”線

3、性回歸分析, 包括數(shù)學(xué)模型、回歸系數(shù)估計(jì)、回歸方程及回歸系數(shù)的顯著性檢驗(yàn)、逐步回歸分析方法?！耙粚?duì)多”線性回歸分析是多元回歸分析的基礎(chǔ), “多對(duì)多”回歸分析的內(nèi)容與“一對(duì)多”的相應(yīng)內(nèi)容類似, 5介紹“多對(duì)多”線性回歸的數(shù)學(xué)模型, 6介紹“多對(duì)多”回歸的雙重篩選逐步回歸法。7簡(jiǎn)要介紹非線性回歸分析。1 一對(duì)多線性回歸分析的數(shù)學(xué)模型2 回歸系數(shù)的最小二乘估計(jì)3 回歸方程及回歸系數(shù)的顯著性檢驗(yàn)4 逐步回歸分析5 多對(duì)多線性回歸數(shù)學(xué)模型6 雙重篩選逐步回歸7 非線性回歸模型1 一對(duì)多線性回歸分析的數(shù)學(xué)模型設(shè)隨機(jī)變量與個(gè)自變量存在線性關(guān)系: , (1.1)(1.1)式稱為回歸方程, 式中為回歸系數(shù), 為

4、隨機(jī)誤差。現(xiàn)在解決用估計(jì)的均值的問題, 即, 且假定, , 是與無關(guān)的待定常數(shù)。設(shè)有組樣本觀測(cè)數(shù)據(jù): 其中表示在第次的觀測(cè)值, 于是有: , (1.2)其中為個(gè)待定參數(shù), 為個(gè)相互獨(dú)立的且服從同一正態(tài)分布的隨機(jī)變量, (1.2)式稱為多元(元)線性回歸的數(shù)學(xué)模型。(1.2)式亦可寫成矩陣形式, 設(shè), , , , 則(1.2)式變?yōu)? , (1.3)(1.3)式稱為多元線性回歸模型的矩陣形式。2 回歸系數(shù)的最小二乘估計(jì)設(shè)分別為的最小二乘估計(jì)值, 于是的觀測(cè)值, , (2.1)其中為誤差的估計(jì)值, 稱為殘差或剩余。令為的估計(jì)值, 則有, (2.2), , (2.3)(2.3)式表示實(shí)際值與估計(jì)值的

5、偏離程度。欲使估計(jì)值與實(shí)際值擬合的最好, 則應(yīng)使殘差平方和達(dá)到最小, 為此, 我們可以應(yīng)用微分求極值原理確定, 即解下列方程組, (2.4)即, (2.5)整理并化簡(jiǎn)則得以下正規(guī)方程組: , (2.6)如果記(2.6)式的系數(shù)矩陣為, 右端常數(shù)項(xiàng)矩陣記為, 則有, (2.7), (2.8)因此正規(guī)方程(2.6)的矩陣形式為, (2.9)或, (2.10)其中為正規(guī)方程中待定的未知實(shí)數(shù)向量, 如果系數(shù)矩陣滿秩, 則存在, 此時(shí)有, (2.11)(2.11)式即為多元線性回歸模型(1.2)式中參數(shù)的最小二乘估計(jì)。正規(guī)方程組(2.6)亦可表達(dá)為下述另一種形式, 如果記, , , 則由(2.6)式中第

6、一等式可解出, (2.12)再將(2.12)代入到(2.6)其它各式中并經(jīng)化簡(jiǎn)整理可得, (2.13)又由, , , , 如果記, , (2.14), , (2.15)則(2.13)式可以表示為, (2.16)(2.16)式稱為正規(guī)方程組, 解此方程組可得, 再代入到(2.12)式中則得, 于是得回歸方程, (2.17)(2.17)式稱為回歸超平面方程。如果記(2.16)式的系數(shù)矩陣為, 右端常數(shù)項(xiàng)向量為, 則, , 且記, 則正規(guī)方程組(2.16)的矩陣形式為, (2.18)解(2.18)得, (2.19)再代回到(2.12), 則得到。以下是一對(duì)多線性回歸分析的兩個(gè)例子。例2.1 某養(yǎng)豬場(chǎng)

7、估算豬的毛重, 測(cè)得14頭豬的體長(zhǎng)(cm)、胸圍(cm)與體重(kg)數(shù)據(jù)如表, 試建立與及的預(yù)測(cè)方程。表2.1序號(hào)體長(zhǎng)()胸圍()體重()14149282455839351624145271445596243662745076971518727457978796310808466119085701292947613989180141039581經(jīng)計(jì)算: , , , , , , , , , 于是正規(guī)方程組為, 解此方程組得, , 又, 因此所求預(yù)測(cè)回歸方程為回歸方程中系數(shù)與的含義是體長(zhǎng)每增加1cm, 則豬體重毛重平均增加0.522kg, 胸圍每增加1cm, 則豬體重毛重平均增加0.475kg。

8、例2.2 某地區(qū)二化螟的第一代成蟲發(fā)生量與四個(gè)因素有關(guān), 這四個(gè)因素分別如下, 已知原始觀測(cè)數(shù)據(jù)如表2.2, 試建立二化螟發(fā)生總量的回歸方程。: 冬季積雪期限(單位為周), : 每年化雪日期(以2月1日為1), : 二月份平均氣溫(), : 三月份平均氣溫(), : 二化螟發(fā)生總量(頭), 經(jīng)計(jì)算: , , 表2.2序號(hào)110260.23.6921226-1.44.41731440-0.81.734416320.21.44251951-1.40.940616330.22.12777262.72.7487251.04.027912172.23.713101124-0.83.056111216-0

9、.54.915127162.04.181311151.14.7201543474.741.231211.846226.69230.36153.169224, 于是, 又24 + 0.9974211.8462 + 1.6258126.6923 + 11.192630.3615 + 16.952913.1692 136.98554,因此所求二化螟發(fā)生總量的預(yù)測(cè)回歸方程為。3 回歸方程及回歸系數(shù)的顯著性檢驗(yàn)、回歸方程的顯著性檢驗(yàn)(1) 回歸平方和與剩余平方和建立回歸方程以后, 回歸效果如何呢？因變量與自變量是否確實(shí)存在線性關(guān)系呢？這是需要進(jìn)行統(tǒng)計(jì)檢驗(yàn)才能加以肯定或否定, 為此, 我們要進(jìn)一步研究因變

10、量取值的變化規(guī)律。的每次取值是有波動(dòng)的, 這種波動(dòng)常稱為變差, 每次觀測(cè)值的變差大小, 常用該次觀側(cè)值與次觀測(cè)值的平均值的差(稱為離差)來表示, 而全部次觀測(cè)值的總變差可由總的離差平方和, 其中: 稱為回歸平方和, 是回歸值與均值之差的平方和, 它反映了自變量的變化所引起的的波動(dòng), 其自由度(為自變量的個(gè)數(shù))。稱為剩余平方和(或稱殘差平方和), 是實(shí)測(cè)值與回歸值之差的平方和, 它是由試驗(yàn)誤差及其它因素引起的, 其自由度。總的離差平方和的自由度為。如果觀測(cè)值給定, 則總的離差平方和是確定的, 即是確定的, 因此大則小, 反之, 小則大, 所以與都可用來衡量回歸效果, 且回歸平方和越大則線性回歸效

11、果越顯著, 或者說剩余平方和越小回歸效果越顯著, 如果0, 則回歸超平面過所有觀測(cè)點(diǎn); 如果大, 則線性回歸效果不好。(2) 復(fù)相關(guān)系數(shù)為檢驗(yàn)總的回歸效果, 人們也常引用無量綱指標(biāo), (3.1)或, (3.2)稱為復(fù)相關(guān)系數(shù)。因?yàn)榛貧w平方和實(shí)際上是反映回歸方程中全部自變量的“方差貢獻(xiàn)”, 因此就是這種貢獻(xiàn)在總回歸平方和中所占的比例, 因此表示全部自變量與因變量的相關(guān)程度。顯然。復(fù)相關(guān)系數(shù)越接近, 回歸效果就越好, 因此它可以作為檢驗(yàn)總的回歸效果的一個(gè)指標(biāo)。但應(yīng)注意, 與回歸方程中自變量的個(gè)數(shù)及觀測(cè)組數(shù)有關(guān), 當(dāng)相對(duì)于并不很大時(shí), 常有較大的值, 因此實(shí)際計(jì)算中應(yīng)注意與的適當(dāng)比例, 一般認(rèn)為應(yīng)取

12、至少為的到10倍為宜。(3) 檢驗(yàn)要檢驗(yàn)與是否存在線性關(guān)系, 就是要檢驗(yàn)假設(shè), (3.3)當(dāng)假設(shè)成立時(shí), 則與無線性關(guān)系, 否則認(rèn)為線性關(guān)系顯著。檢驗(yàn)假設(shè)應(yīng)用統(tǒng)計(jì)量, (3.4)這是兩個(gè)方差之比, 它服從自由度為及的分布, 即, (3.5)用此統(tǒng)計(jì)量可檢驗(yàn)回歸的總體效果。如果假設(shè)成立, 則當(dāng)給定檢驗(yàn)水平下, 統(tǒng)計(jì)量應(yīng)有, (3.6)對(duì)于給定的置信度, 由分布表可查得的值, 如果根據(jù)統(tǒng)計(jì)量算得的值為, 則拒絕假設(shè), 即不能認(rèn)為全部為O, 即個(gè)自變量的總體回歸效果是顯著的, 否則認(rèn)為回歸效果不顯著。利用檢驗(yàn)對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)的方法稱為方差分析。上面對(duì)回歸效果的討論可歸結(jié)于一個(gè)方差分析表中,

13、如表3.1。表3.1 方差分析表來 源平方和自由度方 差方差比回 歸剩 余總 計(jì)根據(jù)與的定義, 可以導(dǎo)出與的以下關(guān)系: , 。利用這兩個(gè)關(guān)系式可以解決值多大時(shí)回歸效果才算是顯著的問題。因?yàn)閷?duì)給定的檢驗(yàn)水平, 由分布表可查出的臨界值, 然后由即可求出的臨界值: , (3.7)當(dāng)時(shí), 則認(rèn)為回歸效果顯著。例3.1 利用方差分析對(duì)例2.1的回歸方程進(jìn)行顯著性檢驗(yàn)。方差分析結(jié)果見表3.2。表3.2 來 源平方和自由度方 差方差比回 歸剩 余總 計(jì)取檢驗(yàn)水平0.05, 查分布表得, 而, 所以例2.1的回歸方程回歸效果是顯著的。、回歸系數(shù)的顯著性檢驗(yàn)前面討論了回歸方程中全部自變量的總體回歸效果, 但總體

14、回歸效果顯著并不說明每個(gè)自變量對(duì)因變量都是重要的, 即可能有某個(gè)自變量對(duì)并不起作用或者能被其它的的作用所代替, 因此對(duì)這種自變量我們希望從回歸方程中剔除, 這樣可以建立更簡(jiǎn)單的回歸方程。顯然某個(gè)自變量如果對(duì)作用不顯著, 則它的系數(shù)就應(yīng)取值為0, 因此檢驗(yàn)每個(gè)自變量是否顯著, 就要檢驗(yàn)假設(shè): , , (3.8)(1) 檢驗(yàn): 在假設(shè)下, 可應(yīng)用檢驗(yàn): , , (3.9)其中為矩陣的對(duì)角線上第個(gè)元素。對(duì)給定的檢驗(yàn)水平, 從分布表中可查出與對(duì)應(yīng)的臨界值, 如果有, 則拒絕假設(shè), 即認(rèn)為與0有顯著差異, 這說明對(duì)有重要作用不應(yīng)剔除; 如果有則接受假設(shè), 即認(rèn)為成立, 這說明對(duì)不起作用, 應(yīng)予剔除。(2

15、) 檢驗(yàn): 檢驗(yàn)假設(shè), 亦可用服從自由度分別為1與的分布的統(tǒng)計(jì)量, (3.10)其中為矩陣的主對(duì)角線上第個(gè)元素。對(duì)于給定的檢驗(yàn)水平, 從分布表中可查得臨界, 如果有, 則拒絕假設(shè), 認(rèn)為對(duì)有重要作用。如果, 則接受假設(shè), 即認(rèn)為自變量對(duì)不起重要作用, 可以剔除。一般一次檢驗(yàn)只剔除一個(gè)自變量, 且這個(gè)自變量是所有不顯著自變量中值最小者, 然后再建立回歸方程, 并繼續(xù)進(jìn)行檢驗(yàn), 直到建立的回歸方程及各個(gè)自變量均顯著為止。最后指出, 上述對(duì)各自變量進(jìn)行顯著性檢驗(yàn)采用的兩種統(tǒng)計(jì)量與實(shí)際上是等價(jià)的, 因?yàn)橛?3.9)式及(3.10)式知, 有 (3.11)例3.2 對(duì)例2.1的回歸方程各系數(shù)進(jìn)行顯著性檢

16、驗(yàn)。經(jīng)計(jì)算: , 于是, 其中0.002223, 0.004577。由(3.7)式知, , 查分布表得, , 因?yàn)? , 所以兩個(gè)自變量及都是顯著的。又由, 說明體長(zhǎng)比胸圍對(duì)體重的影響更大。如果應(yīng)用檢驗(yàn), 查分布表有, 又由, , 因?yàn)? , 因此及都是顯著的, 均為重要變量, 應(yīng)保留在回歸方程中。(3) 偏回歸平方和檢驗(yàn)?zāi)骋蛔宰兞渴欠耧@著, 還可應(yīng)用偏回歸平方和進(jìn)行檢驗(yàn)。個(gè)自變量的回歸平方和為, 如果自個(gè)自變量中去掉, 則剩下的個(gè)自變量的回歸平方和設(shè)為, 并設(shè), 則就表示變量在回歸平方和中的貢獻(xiàn), 稱為的偏回歸平方和或貢獻(xiàn)?？梢宰C明, (3.12)偏回歸平方和越大, 說明在回歸方程中越重要,

17、 對(duì)的作用和影響越大, 或者說對(duì)回歸方程的貢獻(xiàn)越大。因此偏回歸平方和也是用來衡量每個(gè)自變量在回歸方程中作用大小(貢獻(xiàn)大小)的一個(gè)指標(biāo)。例如在例2.1中, 和的偏回歸平方和分別為, , , 說明在回歸方程中的作用比大。又如在例2.2中及的偏回歸平方和分別為: , , , , 的值最小, 即在回歸方程中所起的作用最小, 最大, 說明在回歸方程中所起的作用最大。4 逐步回歸分析、逐步回歸分析的主要思路在實(shí)際問題中, 人們總是希望從對(duì)因變量有影響的諸多變量中選擇一些變量作為自變量, 應(yīng)用多元回歸分析的方法建立“最優(yōu)”回歸方程以便對(duì)因變量進(jìn)行預(yù)報(bào)或控制。所謂“最優(yōu)”回歸方程, 主要是指希望在回歸方程中包

18、含所有對(duì)因變量影響顯著的自變量而不包含對(duì)影響不顯著的自變量的回歸方程。逐步回歸分析正是根據(jù)這種原則提出來的一種回歸分析方法。它的主要思路是在考慮的全部自變量中按其對(duì)的作用大小, 顯著程度大小或者說貢獻(xiàn)大小, 由大到小地逐個(gè)引入回歸方程, 而對(duì)那些對(duì)作用不顯著的變量可能始終不被引人回歸方程。另外, 己被引人回歸方程的變量在引入新變量后也可能失去重要性, 而需要從回歸方程中剔除出去。引人一個(gè)變量或者從回歸方程中剔除一個(gè)變量都稱為逐步回歸的一步, 每一步都要進(jìn)行檢驗(yàn), 以保證在引人新變量前回歸方程中只含有對(duì)影響顯著的變量, 而不顯著的變量已被剔除。逐步回歸分析的實(shí)施過程是每一步都要對(duì)已引入回歸方程的

19、變量計(jì)算其偏回歸平方和(即貢獻(xiàn)), 然后選一個(gè)偏回歸平方和最小的變量, 在預(yù)先給定的水平下進(jìn)行顯著性檢驗(yàn), 如果顯著則該變量不必從回歸方程中剔除, 這時(shí)方程中其它的幾個(gè)變量也都不需要剔除(因?yàn)槠渌膸讉€(gè)變量的偏回歸平方和都大于最小的一個(gè)更不需要剔除)。相反, 如果不顯著, 則該變量要剔除, 然后按偏回歸平方和由小到大地依次對(duì)方程中其它變量進(jìn)行檢驗(yàn)。將對(duì)影響不顯著的變量全部剔除, 保留的都是顯著的。接著再對(duì)未引人回歸方程中的變量分別計(jì)算其偏回歸平方和, 并選其中偏回歸平方和最大的一個(gè)變量, 同樣在給定水平下作顯著性檢驗(yàn), 如果顯著則將該變量引入回歸方程, 這一過程一直繼續(xù)下去, 直到在回歸方程中

20、的變量都不能剔除而又無新變量可以引入時(shí)為止, 這時(shí)逐步回歸過程結(jié)束。、逐步回歸分析的主要計(jì)算步驟(1) 確定檢驗(yàn)值在進(jìn)行逐步回歸計(jì)算前要確定檢驗(yàn)每個(gè)變量是否顯若的檢驗(yàn)水平, 以作為引人或剔除變量的標(biāo)準(zhǔn)。檢驗(yàn)水平要根據(jù)具體問題的實(shí)際情況來定。一般地, 為使最終的回歸方程中包含較多的變量, 水平不宜取得過高, 即顯著水平不宜太小。水平還與自由度有關(guān), 因?yàn)樵谥鸩交貧w過程中, 回歸方程中所含的變量的個(gè)數(shù)不斷在變化, 因此方差分析中的剩余自由度也總在變化, 為方便起見常按計(jì)算自由度。為原始數(shù)據(jù)觀測(cè)組數(shù), 為估計(jì)可能選人回歸方程的變量個(gè)數(shù)。例如, 估計(jì)可能有23個(gè)變量選入回歸方程, 因此取自由度為15-

21、3-111, 查分布表, 當(dāng)0.1, 自由度, 時(shí), 臨界值, 并且在引入變量時(shí), 自由度取, , 檢驗(yàn)的臨界值記, 在剔除變量時(shí)自由度取, , 檢驗(yàn)的臨界值記, 并要求, 實(shí)際應(yīng)用中常取。(2) 逐步計(jì)算如果已計(jì)算步(包含0), 且回歸方程中已引入個(gè)變量, 則第步的計(jì)算為: ()計(jì)算全部自變量的貢獻(xiàn)(偏回歸平方和)。()在已引入的自變量中, 檢查是否有需要剔除的不顯著變量。這就要在已引入的變量中選取具有最小值的一個(gè)并計(jì)算其值, 如果, 表示該變量不顯著, 應(yīng)將其從回歸方程中剔除, 計(jì)算轉(zhuǎn)至()。如則不需要剔除變量, 這時(shí)則考慮從未引入的變量中選出具有最大值的一個(gè)并計(jì)算值, 如果, 則表示該變

22、量顯著, 應(yīng)將其引人回歸方程, 計(jì)算轉(zhuǎn)至()。如果, 表示已無變量可選入方程, 則逐步計(jì)算階段結(jié)束, 計(jì)算轉(zhuǎn)人(3)。()剔除或引人一個(gè)變量后, 相關(guān)系數(shù)矩陣進(jìn)行消去變換, 第步計(jì)算結(jié)束。其后重復(fù)()()再進(jìn)行下步計(jì)算。由上所述, 逐步計(jì)算的每一步總是先考慮剔除變量, 僅當(dāng)無剔除時(shí)才考慮引入變量。實(shí)際計(jì)算時(shí), 開頭幾步可能都是引人變量, 其后的某幾步也可能相繼地剔除幾個(gè)變量。當(dāng)方程中已無變量可剔除, 且又無變量可引入方程時(shí), 第二階段逐步計(jì)算即告結(jié)束, 這時(shí)轉(zhuǎn)入第三階段。(3) 其他計(jì)算, 主要是計(jì)算回歸方程入選變量的系數(shù)、復(fù)相關(guān)系數(shù)及殘差等統(tǒng)計(jì)量。逐步回歸選取變量是逐漸增加的。選取第個(gè)變量時(shí)

23、僅要求與前面己選的-1個(gè)變量配合起來有最小的殘差平方和, 因此最終選出的個(gè)重要變量有時(shí)可能不是使殘差平方和最小的個(gè), 但大量實(shí)際問題計(jì)算結(jié)果表明, 這個(gè)變量常常就是所有個(gè)變量的組合中具有最小殘差平方和的那一個(gè)組合, 特別當(dāng)不太大時(shí)更是如此, 這表明逐步回歸是比較有效的方法。引人回歸方程的變量的個(gè)數(shù)與各變量貢獻(xiàn)的顯著性檢驗(yàn)中所規(guī)定的檢驗(yàn)的臨界值與的取值大小有關(guān)。如果希望多選一些變量進(jìn)人回歸方程, 則應(yīng)適當(dāng)增大檢驗(yàn)水平值, 即減小的值, 特別地, 當(dāng)時(shí), 則全部變量都將被選入, 這時(shí)逐步回歸就變?yōu)橐话愕亩嘣€性回歸。相反, 如果取得比較小, 即與取得比較大時(shí), 則入選的變量個(gè)數(shù)就要減少。此外, 還

24、要注意, 在實(shí)際問題中, 當(dāng)觀測(cè)數(shù)據(jù)樣本容量較小時(shí), 入選變量個(gè)數(shù)不宜選得過大, 否則被確定的系數(shù)的精度將較差。逐步回歸分析的例子請(qǐng)參見多元回歸分析經(jīng)典例子的計(jì)算中的逐步回歸法計(jì)算的例子和結(jié)果。多元回歸分析經(jīng)典例子的計(jì)算均勻設(shè)計(jì)的數(shù)據(jù)處理多采用回歸分析方法, 以下是均勻設(shè)計(jì)版本3.00的“數(shù)據(jù)建模分析”模塊對(duì)部分回歸分析經(jīng)典例子的計(jì)算結(jié)果, 這些計(jì)算采用與經(jīng)典例子相同的回歸分析方法, 所得結(jié)果與經(jīng)典例子中給出的結(jié)果是相同的。 均勻設(shè)計(jì)版本3.00提供的四種回歸分析方法和計(jì)算的例子如下: 回歸分析方法例子和計(jì)算結(jié)果全回歸法例(RegSample1.udc)、例(RegSample2.udc)后退

25、法例(RegSample3.udc)逐步回歸法例(RegSample4.udc)雙重篩選逐步回歸法例(RegSample5.udc)全回歸法計(jì)算的例子和結(jié)果例 高磷鋼的效率()與高磷鋼的出鋼量()及高磷鋼中的含量()有關(guān), 所測(cè)數(shù)據(jù)如表, 請(qǐng)用線性回歸模型擬合上述數(shù)據(jù)。表試驗(yàn)序號(hào)出鋼量()含量()效率()187.913.282.02101.413.584.03109.820.080.0493.014.288.6588.016.481.56115.314.283.5756.914.973.08103.413.088.09101.014.991.41080.312.981.01196.514.67

26、8.012110.615.386.513102.918.283.4注: 本例子引自 秦建候 鄧勃 王小芹 編著,分析測(cè)試數(shù)據(jù)統(tǒng)計(jì)處理中計(jì)算機(jī)的應(yīng)用, 化學(xué)工業(yè)出版社, 1989年本軟件給出的回歸分析有關(guān)的結(jié)果如下(與回歸分析無關(guān)的內(nèi)容未列出):指標(biāo)名稱: 效率單位: ?因素名稱: 出鋼量單位: ?因素名稱: FeO含量 單位: ?- 多 元 回 歸 分 析 -回歸分析采用全回歸法, 顯著性水平0.10擬建立回歸方程: = b(0) + b(1)*(1) + b(2)*(2)回歸系數(shù) b(i):b(0) 74.6b(1) 0.213b(2)-0.790標(biāo)準(zhǔn)回歸系數(shù) B(i):B(1) 0.678

27、B(2)-0.340復(fù)相關(guān)系數(shù) 0.6770決定系數(shù) 20.4583修正的決定系數(shù) 2a0.4090回歸方程顯著性檢驗(yàn): 變 量 分 析 表變異來源平 方 和自 由 度均 方均 方 比回 歸1292/64.54.230剩 余15310/()15.3總 和28212樣本容量13, 顯著性水平0.10, 檢驗(yàn)值t4.230, 臨界值(0.10,2,10)2.924, t(0.10,2,10), 回歸方程顯著。剩余標(biāo)準(zhǔn)差 3.91回歸系數(shù)檢驗(yàn)值:檢驗(yàn)值(df10):(1) 2.818(2)-1.412檢驗(yàn)值(df11, df210):(1) 7.940(2) 1.993偏回歸平方和 U(i):U(1

28、)121U(2)30.4偏相關(guān)系數(shù) (i):1,2 0.66532,1-0.4077各方程項(xiàng)對(duì)回歸的貢獻(xiàn)(按偏回歸平方和降序排列):U(1)121, U(1)/U93.9%U(2)30.4, U(2)/U23.6%第方程項(xiàng)(2)對(duì)回歸的貢獻(xiàn)最小, 對(duì)其進(jìn)行顯著性檢驗(yàn):檢驗(yàn)值(2)1.993, 臨界值(0.10,1,10)3.285,(2)(0.10,1,10), 此因素(方程項(xiàng))不顯著。殘差分析: 殘 差 分 析 表觀 測(cè) 值回 歸 值觀測(cè)值回歸值(回歸值觀測(cè)值)/觀測(cè)值100(%)82.082.9-0.9001.1084.085.5-1.501.7980.082.2-2.202.7588.6

29、82.85.80-6.5581.580.41.10-1.3583.588.0-4.505.3973.075.0-2.002.7488.086.41.60-1.8291.484.47.00-7.661081.081.5-0.5000.6171178.083.6-5.607.181286.586.10.400-0.4621383.482.21.20-1.44- 回 歸 分 析 結(jié) 束 -全回歸法建立的回歸方程為 , 在顯著性水平0.10上是顯著的, 第二因素()在顯著性水平0.10上不顯著。例 某種產(chǎn)品的得率()與反應(yīng)溫度()、反應(yīng)時(shí)間()及某反應(yīng)物的濃度()有關(guān), 現(xiàn)得如表所示的試驗(yàn)結(jié)果, 設(shè)與

30、、和之間成線性關(guān)系, 試建立與、和之間的三元線性回歸方程, 并判斷三因素的主次。表試驗(yàn)號(hào)反應(yīng)溫度()反應(yīng)時(shí)間()反應(yīng)物濃度()得率()1701017.627010310.33703018.947030311.25901018.469010311.17903019.889030312.6注: 本例子引自 李云雁 胡傳榮 編著,試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理, 化學(xué)工業(yè)出版社, 2005年本軟件給出的回歸分析有關(guān)的結(jié)果如下(與回歸分析無關(guān)的內(nèi)容未列出):指標(biāo)名稱: 得率單位: %因素名稱: 反應(yīng)溫度單位: 因素名稱: 反應(yīng)時(shí)間單位: h因素名稱: 反應(yīng)物濃度單位: %- 多 元 回 歸 分 析 -回歸分析采用

31、全回歸法, 顯著性水平0.01擬建立回歸方程: = b(0) + b(1)*(1) + b(2)*(2) + b(3)*(3)回歸系數(shù) b(i):b(0) 2.19b(1) 4.88e-2b(2) 6.38e-2b(3) 1.31標(biāo)準(zhǔn)回歸系數(shù) B(i):B(1) 0.316B(2) 0.413B(3) 0.850復(fù)相關(guān)系數(shù) 0.9965決定系數(shù) 20.9929修正的決定系數(shù) 2a0.9901回歸方程顯著性檢驗(yàn): 變 量 分 析 表變異來源平 方 和自 由 度均 方均 方 比回 歸18.93/6.31187.0剩 余0.1354/()3.38e-2總 和19.17樣本容量, 顯著性水平0.01,

32、 檢驗(yàn)值t187.0, 臨界值(0.01,3,4)16.69, t(0.01,3,4), 回歸方程顯著。剩余標(biāo)準(zhǔn)差 0.184回歸系數(shù)檢驗(yàn)值:檢驗(yàn)值(df4):(1) 7.506(2) 9.815(3) 20.21檢驗(yàn)值(df11, df24):(1) 56.33(2) 96.33(3) 408.3偏回歸平方和 U(i):U(1)1.90U(2)3.25U(3)13.8偏相關(guān)系數(shù) (i):1,23 0.96632,13 0.97993,12 0.9951各方程項(xiàng)對(duì)回歸的貢獻(xiàn)(按偏回歸平方和降序排列):U(3)13.8, U(3)/U72.8%U(2)3.25, U(2)/U17.2%U(1)1

33、.90, U(1)/U10.0%第方程項(xiàng)(1)對(duì)回歸的貢獻(xiàn)最小, 對(duì)其進(jìn)行顯著性檢驗(yàn):檢驗(yàn)值(1)56.33, 臨界值(0.01,1,4)21.20,(1)(0.01,1,4), 此方程項(xiàng)顯著。殘差分析: 殘 差 分 析 表觀 測(cè) 值回 歸 值觀測(cè)值回歸值(回歸值觀測(cè)值)/觀測(cè)值100(%)7.607.555.00e-2-0.65810.310.20.100-0.9718.908.837.00e-2-0.78711.211.5-0.3002.688.408.53-0.1301.5511.111.2-0.1000.9019.809.800.000.0012.612.40.200-1.59- 回

34、歸 分 析 結(jié) 束 -得率()與反應(yīng)溫度()、反應(yīng)時(shí)間()及某反應(yīng)物的濃度()之間具有非常顯著的線性相關(guān)關(guān)系(在顯著性水平0.01上顯著)。由偏回歸平方和的大小得知三因素的主次順序?yàn)椤：笸朔ㄓ?jì)算的例子和結(jié)果例 研究同一地區(qū)土壤中所含植物可給態(tài)磷的情況, 得到表所示的18組數(shù)據(jù)。其中為土壤中所含無機(jī)磷濃度, 為土壤中溶于溶液并被溴化物水解的有機(jī)磷, 為土壤中溶于但不溶于溴化物的有機(jī)磷, 為栽在20土壤中的玉米內(nèi)的可給態(tài)磷, 請(qǐng)建立它們的相關(guān)關(guān)系。表 采樣號(hào)10.4531586420.4231636033.119377140.6341576154.724595461.7651237779.4444

35、681810629173931012.658112511110.937111761223.146114961323.150134771421.64473931523936143541726.8582021681829.95112499注: 本例子引自 秦建候 鄧勃 王小芹 編著,分析測(cè)試數(shù)據(jù)統(tǒng)計(jì)處理中計(jì)算機(jī)的應(yīng)用, 化學(xué)工業(yè)出版社, 1989年本軟件給出的回歸分析有關(guān)的結(jié)果如下(與回歸分析無關(guān)的內(nèi)容未列出):指標(biāo)名稱: 可給態(tài)磷單位: ppm因素名稱: 無機(jī)磷濃度單位: ppm因素名稱: K2CO3+Br單位: ppm因素名稱: K2CO3-

36、Br單位: ppm- 多 元 回 歸 分 析 -回歸分析采用后退法, 顯著性水平0.05擬建立回歸方程: = b(0) + b(1)*(1) + b(2)*(2) + b(3)*(3)回歸系數(shù) b(i):b(0) 43.7b(1) 1.78b(2)-8.34e-2b(3) 0.161標(biāo)準(zhǔn)回歸系數(shù) B(i):B(1) 0.671B(2)-4.21e-2B(3) 0.273復(fù)相關(guān)系數(shù) 0.7412決定系數(shù) 20.5493修正的決定系數(shù) 2a0.4893回歸方程顯著性檢驗(yàn): 變 量 分 析 表變異來源平 方 和自 由 度均 方均 方 比回 歸6.81e+33/2.27e+35.689剩 余5.58e

37、+314/()399總 和1.24e+417樣本容量18, 顯著性水平0.05, 檢驗(yàn)值t5.689, 臨界值(0.05,3,14)3.344, t(0.05,3,14), 回歸方程顯著。剩余標(biāo)準(zhǔn)差 20.0回歸系數(shù)檢驗(yàn)值:檢驗(yàn)值(df14):(1) 3.319(2)-0.1997(3) 1.443檢驗(yàn)值(df11, df214):(1) 11.02(2) 3.986e-2(3) 2.082偏回歸平方和 U(i):U(1)4.39e+3U(2)15.9U(3)830偏相關(guān)系數(shù) (i):1,23 0.66362,13-5.328e-23,12 0.3598各方程項(xiàng)對(duì)回歸的貢獻(xiàn)(按偏回歸平方和降序

38、排列):U(1)4.39e+3, U(1)/U64.6%U(3)830, U(3)/U12.2%U(2)15.9, U(2)/U0.234%第方程項(xiàng)(2)對(duì)回歸的貢獻(xiàn)最小, 對(duì)其進(jìn)行顯著性檢驗(yàn):檢驗(yàn)值(2)3.986e-2, 臨界值(0.05,1,14)4.600,(2)(0.05,1,14), 此方程項(xiàng)不顯著, 需要剔除。第次剔除不顯著方程項(xiàng), 新建回歸方程繼續(xù)計(jì)算:回歸方程: = b(0) + b(1)*(1) + b(2)*(3)回歸系數(shù) b(i):b(0) 41.5b(1) 1.74b(2) 0.155標(biāo)準(zhǔn)回歸系數(shù) B(i):B(1) 0.654B(2) 0.262復(fù)相關(guān)系數(shù) 0.74

39、03決定系數(shù) 20.5481修正的決定系數(shù) 2a0.5198回歸方程顯著性檢驗(yàn): 變 量 分 析 表變異來源平 方 和自 由 度均 方均 方 比回 歸6.79e+32/3.40e+39.095剩 余5.60e+315/()373總 和1.24e+417樣本容量18, 顯著性水平0.05, 檢驗(yàn)值t9.095, 臨界值(0.05,2,15)3.682, t(0.05,2,15), 回歸方程顯著。剩余標(biāo)準(zhǔn)差 19.3回歸系數(shù)檢驗(yàn)值:檢驗(yàn)值(df15):(1) 3.721(2) 1.494檢驗(yàn)值(df11, df215):(1) 13.85(2) 2.232偏回歸平方和 U(i):U(1)5.17e

40、+3U(2)833偏相關(guān)系數(shù) (i):1,2 0.69282,1 0.3599各方程項(xiàng)對(duì)回歸的貢獻(xiàn)(按偏回歸平方和降序排列):U(1)5.17e+3, U(1)/U76.1%U(2)833, U(2)/U12.3%第方程項(xiàng)(3)對(duì)回歸的貢獻(xiàn)最小, 對(duì)其進(jìn)行顯著性檢驗(yàn):檢驗(yàn)值(2)2.232, 臨界值(0.05,1,15)4.543,(2)(0.05,1,15), 此方程項(xiàng)不顯著, 需要剔除。第次剔除不顯著方程項(xiàng), 新建回歸方程繼續(xù)計(jì)算:回歸方程: = b(0) + b(1)*(1)回歸系數(shù) b(i):b(0) 59.3b(1) 1.84標(biāo)準(zhǔn)回歸系數(shù) B(i):B(1) 0.693復(fù)相關(guān)系數(shù) 0

41、.6934決定系數(shù) 20.4808修正的決定系數(shù) 2a0.4808回歸方程顯著性檢驗(yàn): 變 量 分 析 表變異來源平 方 和自 由 度均 方均 方 比回 歸5.96e+31/5.96e+314.82剩 余6.43e+316/()402總 和1.24e+417樣本容量18, 顯著性水平0.05, 檢驗(yàn)值t14.82, 臨界值(0.05,1,16)4.494, t(0.05,1,16), 回歸方程顯著。剩余標(biāo)準(zhǔn)差 20.1回歸系數(shù)檢驗(yàn)值:檢驗(yàn)值(df16):(1) 3.849檢驗(yàn)值(df11, df216):(1) 14.82偏回歸平方和 U(i):U(1)5.96e+3偏相關(guān)系數(shù) (i):1,

42、0.6934各方程項(xiàng)對(duì)回歸的貢獻(xiàn)(按偏回歸平方和降序排列):U(1)5.96e+3, U(1)/U100%對(duì)第方程項(xiàng)(1)進(jìn)行顯著性檢驗(yàn):檢驗(yàn)值(1)14.82, 臨界值(0.05,1,16)4.494,(1)(0.05,1,16), 此方程項(xiàng)顯著。殘差分析: 殘 差 分 析 表觀 測(cè) 值回 歸 值觀測(cè)值回歸值(回歸值觀測(cè)值)/觀測(cè)值100(%)64.060.04.00-6.2560.060.00.000.0071.065.06.00-8.4561.060.40.600-0.98454.067.9-13.925.777.062.414.6-19.081.076.64.40-5.4393.077

43、.915.1-16.293.080.612.4-13.31051.082.5-31.561.81176.079.4-3.404.471296.0102-6.006.251377.0102-25.032.51493.099.1-6.106.561595.0102-7.007.371654.062.8-8.8016.31716810959.0-35.11899.0114-15.015.2- 回 歸 分 析 結(jié) 束 -后退歸法所建立的回歸方程為 , 在顯著性水平0.05上是顯著的, 然后經(jīng)過逐次剔除不顯著的因素, 最后得到的只包含顯著因素的優(yōu)化的回歸方程為 。逐步回歸法計(jì)算的例子和結(jié)果例 某種水泥在

44、凝固時(shí)放出的熱量(卡/克)與水泥中下列四種化學(xué)成分有關(guān): 的成分(%),: 的成分(%),: 的成分(%),: 的成分(%)。所測(cè)定數(shù)據(jù)如表所示, 試建立與、及的線性回歸模型。 表試驗(yàn)序號(hào)172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4注: 本例子引自 中國(guó)科學(xué)院數(shù)學(xué)研究室數(shù)理統(tǒng)計(jì)組編,回歸分析方法, 科學(xué)出版社, 1974年本軟件給出的回歸分析有關(guān)的結(jié)果如下(與回歸分析無關(guān)的內(nèi)容未列出):指標(biāo)名稱: 熱量單位: 卡/克因素名稱: 3CaO.Al2O3含量單位: %因素名稱: 3CaO.SiO2含量 單位: %因素名稱含量單位: %因素名稱: 2CaO.SiO2含量 單位: %- 多 元 回 歸 分 析 -回歸分析采用逐步回歸法, 顯著性水平