回歸方程及回歸系數的顯著性檢驗

1、§3 回歸方程及回歸系數的顯著性檢驗、回歸方程的顯著性檢驗(1) 回歸平方和與剩余平方和建立回歸方程以后, 回歸效果如何呢？因變量與自變量是否確實存在線性關系呢？這是需要進行統(tǒng)計檢驗才能加以肯定或否定, 為此, 我們要進一步研究因變量取值的變化規(guī)律。的每次取值是有波動的, 這種波動常稱為變差, 每次觀測值的變差大小, 常用該次觀側值與次觀測值的平均值的差(稱為離差)來表示, 而全部次觀測值的總變差可由總的離差平方和, 其中: 稱為回歸平方和, 是回歸值與均值之差的平方和, 它反映了自變量的變化所引起的的波動, 其自由度(為自變量的個數)。稱為剩余平方和(或稱殘差平方和), 是實測值與

2、回歸值之差的平方和, 它是由試驗誤差及其它因素引起的, 其自由度。總的離差平方和的自由度為。如果觀測值給定, 則總的離差平方和是確定的, 即是確定的, 因此大則小, 反之, 小則大, 所以與都可用來衡量回歸效果, 且回歸平方和越大則線性回歸效果越顯著, 或者說剩余平方和越小回歸效果越顯著, 如果0, 則回歸超平面過所有觀測點; 如果大, 則線性回歸效果不好。(2) 復相關系數為檢驗總的回歸效果, 人們也常引用無量綱指標, (3.1)或, (3.2)稱為復相關系數。因為回歸平方和實際上是反映回歸方程中全部自變量的“方差貢獻”, 因此就是這種貢獻在總回歸平方和中所占的比例, 因此表示全部自變量與因

3、變量的相關程度。顯然。復相關系數越接近, 回歸效果就越好, 因此它可以作為檢驗總的回歸效果的一個指標。但應注意, 與回歸方程中自變量的個數及觀測組數有關, 當相對于并不很大時, 常有較大的值, 因此實際計算中應注意與的適當比例, 一般認為應取至少為的到10倍為宜。(3) 檢驗要檢驗與是否存在線性關系, 就是要檢驗假設, (3.3)當假設成立時, 則與無線性關系, 否則認為線性關系顯著。檢驗假設應用統(tǒng)計量, (3.4)這是兩個方差之比, 它服從自由度為及的分布, 即, (3.5)用此統(tǒng)計量可檢驗回歸的總體效果。如果假設成立, 則當給定檢驗水平下, 統(tǒng)計量應有, (3.6)對于給定的置信度, 由分

4、布表可查得的值, 如果根據統(tǒng)計量算得的值為, 則拒絕假設, 即不能認為全部為O, 即個自變量的總體回歸效果是顯著的, 否則認為回歸效果不顯著。利用檢驗對回歸方程進行顯著性檢驗的方法稱為方差分析。上面對回歸效果的討論可歸結于一個方差分析表中, 如表3.1。表3.1 方差分析表來 源平方和自由度方 差方差比回 歸剩 余總 計根據與的定義, 可以導出與的以下關系: , 。利用這兩個關系式可以解決值多大時回歸效果才算是顯著的問題。因為對給定的檢驗水平, 由分布表可查出的臨界值, 然后由即可求出的臨界值: , (3.7)當時, 則認為回歸效果顯著。例3.1 利用方差分析對例2.1的回歸方程進行顯著性檢驗

5、。方差分析結果見表3.2。表3.2 來 源平方和自由度方 差方差比回 歸剩 余總 計取檢驗水平0.05, 查分布表得, 而, 所以例2.1的回歸方程回歸效果是顯著的。、回歸系數的顯著性檢驗前面討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說明每個自變量對因變量都是重要的, 即可能有某個自變量對并不起作用或者能被其它的的作用所代替, 因此對這種自變量我們希望從回歸方程中剔除, 這樣可以建立更簡單的回歸方程。顯然某個自變量如果對作用不顯著, 則它的系數就應取值為0, 因此檢驗每個自變量是否顯著, 就要檢驗假設: , , (3.8)(1) 檢驗: 在假設下, 可應用檢驗: , ,

6、 (3.9)其中為矩陣的對角線上第個元素。對給定的檢驗水平, 從分布表中可查出與對應的臨界值, 如果有, 則拒絕假設, 即認為與0有顯著差異, 這說明對有重要作用不應剔除; 如果有則接受假設, 即認為成立, 這說明對不起作用, 應予剔除。(2) 檢驗: 檢驗假設, 亦可用服從自由度分別為1與的分布的統(tǒng)計量, (3.10)其中為矩陣的主對角線上第個元素。對于給定的檢驗水平, 從分布表中可查得臨界, 如果有, 則拒絕假設, 認為對有重要作用。如果, 則接受假設, 即認為自變量對不起重要作用, 可以剔除。一般一次檢驗只剔除一個自變量, 且這個自變量是所有不顯著自變量中值最小者, 然后再建立回歸方程,

7、 并繼續(xù)進行檢驗, 直到建立的回歸方程及各個自變量均顯著為止。最后指出, 上述對各自變量進行顯著性檢驗采用的兩種統(tǒng)計量與實際上是等價的, 因為由(3.9)式及(3.10)式知, 有 (3.11)例3.2 對例2.1的回歸方程各系數進行顯著性檢驗。經計算: , 于是, 其中0.002223, 0.004577。由(3.7)式知, , 查分布表得, , 因為, , 所以兩個自變量及都是顯著的。又由, 說明體長比胸圍對體重的影響更大。如果應用檢驗, 查分布表有, 又由, , 因為, , 因此及都是顯著的, 均為重要變量, 應保留在回歸方程中。(3) 偏回歸平方和檢驗某一自變量是否顯著, 還可應用偏回歸平方和進行檢驗。個自變量的回歸平方和為, 如果自個自變量中去掉, 則剩下的個自變量的回歸平方和設為, 并設, 則就表示變量在回歸平方和中的貢獻, 稱為的偏回歸平方和或貢獻?？梢宰C明, (3.12)偏回歸平方和越大, 說明在回歸方程中越重要, 對的作用和影響越大, 或者說對回歸方程的貢獻越大。因此偏回歸平方和也是用來衡量每個自變量在回歸方程中作用大小(貢獻大