最小二乘法原理

1、三、最小二乘法 最小二乘法是根據(jù)最小二乘準(zhǔn)則，利用樣本數(shù)據(jù)估計回歸方程的一種方法。 （一）殘差 設(shè) 是被解釋變量的第 次樣本觀測值， 是相應(yīng)的第 次樣本估計值。將 與 之間的偏差記作 稱 為第 次樣本觀測值的殘差。 （二）最小二乘準(zhǔn)則 使全部樣本觀測值的殘差平方和達(dá)到最小，即 來確定未知參數(shù) 估計量的準(zhǔn)則，稱為最小二乘準(zhǔn)則。 （三）最小二乘估計量 未知參數(shù) 的最小二乘估計量 的計算公式為 最小二乘估計量的推導(dǎo) 設(shè)殘差平方和 其中 它是 階殘差列向量。 為了得到最小二乘估計量 ，我們對上式進(jìn)行極小化 移項后，得正規(guī)方程組 根據(jù)基本假定5.， 存在，用 左乘正規(guī)方程組兩邊，得 的最小二乘估計量 式

2、 （四） 的無偏估計量 隨機(jī)誤差項 的方差 的無偏估計量為 稱作回歸估計的均方誤差，而 稱作回歸估計的標(biāo)準(zhǔn)誤差。 （五） 的方差 其中， ，于是每個 的方差為 ，而 是矩陣 對角線上對應(yīng)的第 個元素， 。 （六） 方差的估計量 方差的估計量為 則每個 方差的估計量為 ， 標(biāo)準(zhǔn)差的估計量為 ， 四、擬合優(yōu)度檢驗 擬合優(yōu)度檢驗是樣本回歸方程 對樣本觀測值 擬合程度的檢驗。 （一）總離差平方和的分解公式 其中 總離差平方和， 回歸平方和， 殘差平方和。于是，可以將平方和的分解公式寫成離差形式 （二）多元樣本決定系數(shù) 1.多元樣本決定系數(shù) 所謂多元樣本決定系數(shù) ，也稱多元樣本判定系數(shù)或多元樣本可決系數(shù)

3、，是指被解釋變量 中的變異性能被樣本回歸方程解釋的比例，即 2. 修正的樣本決定系數(shù) 與 有如下關(guān)系： 在樣本容量一定的情形下，可以看出 有性質(zhì)： (1) ， ； （2） 可能出現(xiàn)負(fù)值。例如， ， ， 時， 。顯然負(fù)的擬合優(yōu)度沒有任何意義，在這種情形時，我們?nèi)?。 （三）三個平方和的計算公式 于是有 因為 ，所以 。 作為度量回歸值 對樣本觀測值 擬合優(yōu)度的指標(biāo)，顯然 的數(shù)值越大越好。 的數(shù)值越接近于1，表示 中的變異性能被估計的回歸方程解釋的部分越多，估計的回歸方程對樣本觀測值就擬合的越好；反之， 的數(shù)值越接近于0，表示 中的變異性能被估計的回歸方程解釋的部分越少，估計的回歸方程對樣本觀測值

4、就擬合的越差。五、 檢驗 檢驗是對回歸方程總體顯著性的檢驗，就是從總體上檢驗解釋變量 對被解釋變量 是否有顯著影響的一種統(tǒng)計檢驗方法。 ： ； ：至少有一個 不等于零。 檢驗的統(tǒng)計量 否定規(guī)則 如果檢驗的統(tǒng)計量 ，則否定 ，即認(rèn)為在 顯著性水平下，被解釋變量 與解釋變量 之間存在顯著的線性關(guān)系；否則，不否定 。這里 是 水平的分子自由度為 ，分母自由度為 的 分布的上側(cè)分位數(shù)。六、 檢驗 檢驗是對線性回歸模型的系數(shù)進(jìn)行顯著性檢驗，也就是說是檢驗?zāi)Ｐ偷拿總€解釋變量 是否對被解釋變量 有影響顯著的一種統(tǒng)計檢驗方法。 ： ： ， 檢驗的統(tǒng)計量 其中， 是 標(biāo)準(zhǔn)差的估計量，而 是矩陣 對角線上對應(yīng)的第

5、 個元素， 。 否定規(guī)則 如果 或者 ，則否定 ，即認(rèn)為在 顯著性水平下，第 個解釋變量 對被解釋變量 存在顯著的影響；否則，不否定 。這里 是 水平的自由度為 的 分布的雙側(cè)分位數(shù)。七、預(yù)測 多元線性回歸分析的一個重要應(yīng)用是利用樣本回歸方程進(jìn)行預(yù)測。預(yù)測分為點預(yù)測和區(qū)間預(yù)測兩種情形。 （一）點預(yù)測 點預(yù)測就是對于給定的解釋變量 的一組特定值 估計對應(yīng)的被解釋變量 的值。假設(shè)利用最小二乘法建立的樣本回歸方程為 其中 ， 將 代入樣本回歸方程中，得 就是被解釋變量 的點預(yù)測值或點估計值。 （二）區(qū)間預(yù)測 在實際應(yīng)用中，人們不僅關(guān)心被解釋變量 的估計值，而且希望得到一個以相當(dāng)大的概率包含 真值的區(qū)

6、間。這個區(qū)間就是數(shù)理統(tǒng)計中的置信區(qū)間，我們稱為預(yù)測區(qū)間或估計區(qū)間。 的置信度為 預(yù)測區(qū)間為 ， 其中， 是預(yù)測誤差 標(biāo)準(zhǔn)差的估計量， 是回歸估計標(biāo)準(zhǔn)誤差， 是自由度為 ，水平為 的 分布的雙側(cè)分位數(shù)。 的置信度為 預(yù)測區(qū)間的推導(dǎo) 對于給定的解釋變量 的一組特定值 根據(jù)多元線性回歸模型，有 其中， 。根據(jù)估計的樣本回歸模型，有 其中， 若將 看作是 的個別值 的點估計值時，它們的預(yù)測誤差記為 因為 = 所以， 是 的個別值 的無偏估計量。 接著我們考察 的方差。因為 與 有關(guān)，而 只與 有關(guān)，所以根據(jù)隨機(jī)誤差項彼此之間不相關(guān)的基本假定 3.， 與 也不相關(guān)。于是有 = = 因為 ， = ，所以

7、= = 于是， 方差的估計量為 因為 和 都服從正態(tài)分布，因此 也服從正態(tài)分布，即 所以有 由于 是未知的，我們用它的無偏估計量 代替，則由概率統(tǒng)計知識有 對于預(yù)先給定的顯著性水平 ，可從 分布表中查出自由度為 ，水平為 的雙側(cè)分位數(shù) ，使 即 或者 于是有 最后，得 的置信度為 預(yù)測區(qū)間 式 ， 即 ， 八、案例分析 例8.12 我國19881998年的城鎮(zhèn)居民人均全年耐用消費品支出、人均全年可支配收入和耐用消費品價格指數(shù)的統(tǒng)計資料如下表所示。試建立城鎮(zhèn)居民人均全年耐用消費品支出 關(guān)于可支配收入 和耐用消費品價格指數(shù) 的回歸模型，并進(jìn)行回歸分析。表8.8 我國19881998年間城鎮(zhèn)居民人均

8、全年耐用消費品支出、人均全年可支配收入和耐用消費品價格指數(shù)的統(tǒng)計資料年 份人均耐用消費品支出 (元)人均全年可支配收入 (元)耐用消費品價格指 (1987年=100)1988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133

9、.351998 327.265425.1126.39 資料來源：中國統(tǒng)計年鑒 解 根據(jù)經(jīng)濟(jì)理論和對實際情況的分析可以知道，城鎮(zhèn)居民人均全年耐用消費品支出 依賴于可支配收入 和耐用消費品價格指數(shù) 的變化，因此我們設(shè)定回歸模型為 1. 估計模型未知參數(shù) 由原始數(shù)據(jù)，計算得 ， ， ， ， ， ， ， ， 將上述計算結(jié)果代入公式 ，得 即 ， ， 。最后，得估計的回歸方程 接著，計算殘差平方和 = 所以 的無偏估計量為 從而得到回歸估計標(biāo)準(zhǔn)誤差為 2. 經(jīng)濟(jì)意義檢驗 ，表示城鎮(zhèn)居民全年人均耐用消費品支出是隨著可支配收入的增長而增加，并且介于0和1之間，因此該回歸系數(shù)的符號、大小都與經(jīng)濟(jì)理論和人們的經(jīng)驗期