多元回歸6372

1、§5.2 多元線性回歸在多元回歸分析中，多元線性回歸為最簡單、應(yīng)用最廣的一種方法一 多元線性回歸模型：隨機變量與自變量滿足即：稱為多元線性回歸模型為了討論多元線性回歸方程的求法，先看：二 二元線性回歸方程的求法：在（）中，取，有：與滿足即有二元線性回歸模型若有樣本可通過構(gòu)造，并令由（1）得代入(2)(3) 得： 有正規(guī)方程組 即：所以 由 ， 得 回歸方程 注：在實際計算中，通常使用如下的標準形式：；推導(dǎo)過程與前面的的推導(dǎo)過程類似一般地：用的標準表達式的推廣，可解決多元回歸的系數(shù)求解問題三多元線性回歸：元線性回歸模型為：對于個樣本構(gòu)造令 有：由例：（P.341）在平爐煉鋼中，由于礦石

2、與爐氣的氧化作用，鐵水的總含碳量在不斷降低，一爐鋼在冶煉初期總的去碳量與所加的兩種礦石的量及熔化時間有關(guān)經(jīng)實測某號平爐的49組數(shù)據(jù)如下表所列：由經(jīng)驗知與,之間有線性相關(guān)關(guān)系，試由給出的數(shù)據(jù)求出的最小二乘估計，并寫出回歸方程解：正規(guī)方程組為：而；將以上結(jié)果代入正規(guī)方程組，可解得：；且所以求得的回歸方程為：方程的含義很明確如：表示第一種礦石每增，鐵水的平均去碳量就增0.1604四 多元線性回歸效果的顯著性檢驗：基本思想與一元線性回歸的檢驗類似，即：在求回歸方程之前，首先應(yīng)解決與是否存在線性相關(guān)關(guān)系亦即：是否滿足檢驗問題是：，當拒絕時，則認為與存在線性相關(guān)關(guān)系理論過程仍然是通過分解即：由一元情況的推

3、廣，在元線性回歸模型中，有以下結(jié)論：為真時，且相互獨立；，則定義，有：（無偏） ，且與相互獨立所以當為真時，（由、）有：則對于，用，有檢驗法：當時，拒絕五 各自變量的顯著性檢驗，剔除變量計算：為了預(yù)測和控制的需要，應(yīng)該說回歸方程中的自變量的個數(shù)越少越好這意味著只對整個方程作顯著性檢驗（顯著拒絕，即不全為零）是不夠的最好能找出各中哪個次要、對的影響不顯著然后把該變量剔除即：對，檢驗若接受，則剔除；若拒絕，則保留可以證明：在為真時,有：其中為正規(guī)方程組的系數(shù)矩陣的逆陣的對角線上第個元素所以對，取若，則拒絕認為對的影響顯著故將的值排為，若，則無剔除的自變量；若，則把對應(yīng)的自變量剔除，再將原回歸方程的

4、系數(shù), 得 新的方程 ，然后對新的回歸方程再重復(fù)上述過程，直至把 對影響不顯著的全部剔除，最后所得回歸方程中的每一個對的影響都是顯著的六 多元回歸的預(yù)測與控制：預(yù)測： 點預(yù)測：設(shè)分別取，則對應(yīng)的有取的預(yù)測值為：有，即：為的無偏估計 區(qū)間預(yù)測：可以證明：其中，為的元素所以對于 ，可得的預(yù)測區(qū)間為：，其中但在通常情況下，習(xí)慣在很大，且下討論，這時即有：的預(yù)測區(qū)間近似地為：控制：它是預(yù)測的反問題即：為使，有：，即：所以的控制域為：當較大，且控制區(qū)域的點在點附近時，則近似地有的控制域：七 最優(yōu)回歸方程的選擇：在預(yù)測和控制中，總是希望使用最優(yōu)的回歸方程即：使用 含所有對有影響的自變量； 含自變量的個數(shù)盡

5、量少（不顯著的先剔除）的回歸方程，然后還應(yīng)考慮 使的估計值最小基于這種思路，下面介紹三種選擇方法的基本思想（實際應(yīng)用時，有現(xiàn)成的應(yīng)用軟件）“全部比較”法：（基于最小）先找出對有影響的所有，考慮：含一個自變量的方程，共個；含二個自變量，共個；含個自變量的所有組合形式的回歸方程的個數(shù)為：個共有個不同的線性回歸方程對每個方程都算出 ，其中 為該方程自變量的個數(shù)；為樣本容量然后選出所對應(yīng)的回歸方程 作為最優(yōu)回歸方程（繁 對，已經(jīng)可在計算機上實現(xiàn)）“只出不進”法：（基于自變量個數(shù)最少）找出全部的，建立含全部的一個回歸方程；對該方程作顯著性檢驗若顯著，再對每個自變量進行檢驗，進而逐個剔除對影響不顯著的（過程是：剔除一個，作出新方程后經(jīng)過檢驗再剔除另一個），直至得到每個對都有顯著影響的最優(yōu)回歸方程為止逐步回歸法：（基于相關(guān)系數(shù)，即：各對的影響程度）由檢驗法知：越接近，則對的影響就越顯著所以先選定所有自變量，對每個與都求出相關(guān)系數(shù)，有：若對應(yīng)的對的影響顯著，則再考察對應(yīng)的對的顯著性這樣下去，直至到某對應(yīng)的對的影響不顯著為止，最后剔除