線性回歸的問題和分析方法擴展

關(guān)于線性回歸的問題和分析方法擴展1第1頁，課件共46頁，創(chuàng)作于2023年2月2第一節(jié)多重共線性一、問題的性質(zhì)和種類二、多重共線性的危害三、發(fā)現(xiàn)和檢驗四、多重共線性的克服和處理第2頁，課件共46頁，創(chuàng)作于2023年2月3一、問題的性質(zhì)和種類1、嚴(yán)格多重共線性模型設(shè)定問題識別問題2、近似多重共線性主要是數(shù)據(jù)問題，也有模型設(shè)定問題

第3頁，課件共46頁，創(chuàng)作于2023年2月4二、（近似）多重共線性的危害*隨著多重共線性程度的提高，參數(shù)方差會急劇上升到很大的水平，理論上使最小二乘法估計的有效性、可靠性和價值都受到影響，實踐中參數(shù)估計的穩(wěn)定性和可靠程度下降。*證明：把矩陣分為根據(jù)分塊矩陣的運算法則有第4頁，課件共46頁，創(chuàng)作于2023年2月5其逆矩陣左上角的首項為其中因此參數(shù)的最小二乘估計的方差為第5頁，課件共46頁，創(chuàng)作于2023年2月6三、發(fā)現(xiàn)和檢驗（一）方差擴大因子檢驗（二）狀態(tài)數(shù)檢驗第6頁，課件共46頁，創(chuàng)作于2023年2月7（一）方差擴大因子檢驗分析已知記為，為。第7頁，課件共46頁，創(chuàng)作于2023年2月8當(dāng)時，當(dāng)時，方差擴大因子，記作常以方差擴大因子是否大于10來判斷第個解釋變量是否存在較強的、必須加以處理的多重共線性。第8頁，課件共46頁，創(chuàng)作于2023年2月9（二）狀態(tài)數(shù)檢驗1、狀態(tài)指數(shù)將矩陣的每一列用其模相除以實現(xiàn)標(biāo)準(zhǔn)化，然后再求矩陣的特征值，取其中最大的除以最小的后再求平方根，得到該矩陣的“狀態(tài)數(shù)”，記為：

通常當(dāng)大于20或30時，認(rèn)為存在較明顯的多重共線性。

第9頁，課件共46頁，創(chuàng)作于2023年2月10確定哪些解釋變量的系數(shù)受到多重共線性的影響：先計算各個特征值的“狀態(tài)指數(shù)”這些狀態(tài)指數(shù)的水平在1到之間，很可能有好幾個超過20-30的“危險”水平。第10頁，課件共46頁，創(chuàng)作于2023年2月112、回歸系數(shù)方差分解:如果V是對角化的(K+1)(K+1)對角矩陣：即其中是的特征值構(gòu)成的對角矩陣。從而兩種理解：如果特征值之和反映對被解釋變量解釋程度，倒數(shù)之和反映引起估計量方差的比重。第11頁，課件共46頁，創(chuàng)作于2023年2月12四、多重共線性的克服和處理（一）增加樣本容量（二）差分方程（三）模型修正（四）分步估計參數(shù)（五）嶺回歸方法第12頁，課件共46頁，創(chuàng)作于2023年2月13（一）增加樣本容量原理：樣本容量越大，變量相關(guān)性越小，相關(guān)越難。注意局限，且不一定解決問題。第13頁，課件共46頁，創(chuàng)作于2023年2月14（二）差分方程線性回歸模型為且已知和之間存在多重共線性問題。作如下變換：

改用差分方程進行回歸，受多重共線性的影響比較小。第14頁，課件共46頁，創(chuàng)作于2023年2月15（三）模型修正1、刪減解釋變量（利用檢驗結(jié)論、經(jīng)驗等）2、整合解釋變量（利用原模型回歸信息、經(jīng)驗等）3、先驗信息參數(shù)約束

第15頁，課件共46頁，創(chuàng)作于2023年2月16先驗信息參數(shù)約束例：生產(chǎn)函數(shù)，經(jīng)對數(shù)變換為：

如果預(yù)先知道所研究的經(jīng)濟有規(guī)模報酬不變的性質(zhì)，即函數(shù)中的參數(shù)滿足就可以克服多重共線性。第16頁，課件共46頁，創(chuàng)作于2023年2月17（四）分步估計參數(shù)例：研究需求規(guī)律的模型可以先求出模型中參數(shù)的估計值（用截面數(shù)據(jù)等）。前一個模型變?yōu)檎磉@個模型可以得到

從而估計出和的估計值和，得到克服了多重共線性的回歸直線第17頁，課件共46頁，創(chuàng)作于2023年2月18（五）嶺回歸方法設(shè)一個多元線性回歸模型為普通最小二乘估計的公式為當(dāng)解釋變量間存在嚴(yán)重的多重共線性時，矩陣接近于奇異。用代替代入最小二乘估計的公式，得到：其中稱為“嶺回歸參數(shù)”，一般，是用矩陣對角線上元素和構(gòu)成的對角線矩陣。第18頁，課件共46頁，創(chuàng)作于2023年2月19（五）嶺回歸方法估計量的數(shù)學(xué)期望為：第19頁，課件共46頁，創(chuàng)作于2023年2月20第二節(jié)隨機解釋變量一、解釋變量的隨機性二、隨機解釋變量和參數(shù)估計的性質(zhì)三、工具變量法估計四、參數(shù)估計量的分布性質(zhì)和統(tǒng)計推斷第20頁，課件共46頁，創(chuàng)作于2023年2月21一、解釋變量的隨機性和問題解釋變量有隨機性是普遍的問題。隨機解釋變量有不同的情況，關(guān)鍵是與誤差項的相關(guān)性。不同情況對回歸分析的影響不同，處理也不同。第21頁，課件共46頁，創(chuàng)作于2023年2月22二、隨機解釋變量和參數(shù)估計的性質(zhì)設(shè)模型為其中誤差項符合古典線性回歸模型的各個假設(shè)。參數(shù)二乘估計的參數(shù)為：把代入，得到第22頁，課件共46頁，創(chuàng)作于2023年2月23如果是隨機變量，但與誤差項不相關(guān)，那么：以為條件的的條件方差是最小方差，從而的方差也是最小方差。第23頁，課件共46頁，創(chuàng)作于2023年2月24如果是隨機變量，與誤差項小樣本不獨立，但大樣本漸進不相關(guān)，即那么因為因此是的一致估計。雖然不是無偏估計。第24頁，課件共46頁，創(chuàng)作于2023年2月25三、工具變量法估計設(shè)模型為其中不僅是隨機變量，而且與有強相關(guān)性。對模型作離差變換得兩邊乘并求和得然后兩邊除以，有第25頁，課件共46頁，創(chuàng)作于2023年2月26

的“工具變量法估計”為，即

的估計可以利用的估計得到第26頁，課件共46頁，創(chuàng)作于2023年2月27多元回歸工具變量法估計引進、選擇多個關(guān)鍵變量。向量、矩陣表示。工具變量的選擇問題：與替代解釋變量相關(guān)性強與誤差相相關(guān)性小避免引起共線性問題第27頁，課件共46頁，創(chuàng)作于2023年2月28四、參數(shù)估計量分布問題和統(tǒng)計推斷問題：分布未知兩變量線性回歸模型參數(shù)估計量多元回歸模型參數(shù)的最小二乘估計影響：t、F檢驗等仍基本有效。統(tǒng)計量漸近t分布。

F統(tǒng)計量類似。第28頁，課件共46頁，創(chuàng)作于2023年2月29存在隨機解釋變量時相關(guān)統(tǒng)計推斷受到一定的影響第29頁，課件共46頁，創(chuàng)作于2023年2月30第三節(jié)誤差項非正態(tài)分布一、問題的提出二、誤差項正態(tài)性的檢驗第30頁，課件共46頁，創(chuàng)作于2023年2月31一、問題的提出誤差項正態(tài)分布假設(shè)也不一定成立。誤差項不服從正態(tài)分布時，稱“非正態(tài)誤差項”影響：統(tǒng)計推斷、假設(shè)檢驗的有效性等，相關(guān)統(tǒng)計推斷、檢驗結(jié)論的可靠性降低。第31頁，課件共46頁，創(chuàng)作于2023年2月32二、誤差項正態(tài)性的檢驗（一）直方圖檢驗類似“高爾頓板”第32頁，課件共46頁，創(chuàng)作于2023年2月33（二）偏斜度和峰度檢驗“偏斜系數(shù)”：用代替，用代替?！胺宥取敝笜?biāo)：其中用代替。，第33頁，課件共46頁，創(chuàng)作于2023年2月34第四節(jié)最大似然估計一、最大似然估計的原理二、兩變量線性回歸模型參數(shù)的最大似然估計三、多元線性回歸模型參數(shù)的最大似然估計四、隨機解釋變量模型的最大似然估計五、最大似然估計的性質(zhì)第34頁，課件共46頁，創(chuàng)作于2023年2月35一、最大似然估計的原理根據(jù)事物出現(xiàn)的概率（幾率、可能性）的大小，推斷事物的真相，包括定性的和定量的（參數(shù)水平）真相。例1：一個老戰(zhàn)士和一個軍訓(xùn)學(xué)生各射擊一次，但只有一槍中靶。問可能是誰打中的。第35頁，課件共46頁，創(chuàng)作于2023年2月36例2：觀測到一個服從未知參數(shù)的泊松分布的隨機變量的10個數(shù)據(jù)的樣本，這些數(shù)據(jù)分別為5、0、1、2、3、2、3、4、1、1，要求估計出該泊松分布的未知分布參數(shù)。根據(jù)泊松分布的概率公式，該隨機變量的數(shù)值為的概率為10個數(shù)據(jù)出現(xiàn)的聯(lián)合分布概率為第36頁，課件共46頁，創(chuàng)作于2023年2月37這個聯(lián)合分布概率就是生成上述10個數(shù)據(jù)的似然函數(shù)，記作，即它的對數(shù)似然函數(shù)是（對數(shù)函數(shù)的單調(diào)性）求導(dǎo)可得的最大似然估計必須滿足所以。第37頁，課件共46頁，創(chuàng)作于2023年2月38二、兩變量線性回歸模型參數(shù)的最大似然估計設(shè)模型為根據(jù)誤差項服從正態(tài)分布的假設(shè)，有因此這個模型參數(shù)的似然函數(shù)是第38頁，課件共46頁，創(chuàng)作于2023年2月39對數(shù)似然函數(shù)為最大化的一階條件為第39頁，課件共46頁，創(chuàng)作于2023年2月40解一階條件方程組可以得到最大似然估計為第40頁，課件共46頁，創(chuàng)作于2023年2月41三、多元線性回歸模型參數(shù)的最大似然估計模型為其中似然函數(shù)為對數(shù)似然函數(shù)為第41頁，課件共46頁，創(chuàng)作于2023年2月42求導(dǎo)可得解這個方程組可得第42頁，課件共46頁，創(chuàng)作于2023年2月43四、隨機解釋變量模型的最大似然估計只討論解釋變量的分布滿足下面兩個條件的模型（1）隨機解釋變量的多元密度函數(shù)的參數(shù)中，不包含需要估計的模型參數(shù)、或前者的部分。（2）和分布獨立。

第43頁，課件共46頁，創(chuàng)作于2023年2月44似然函數(shù)為因為仍