線性回歸的問題和分析方法擴(kuò)展

關(guān)于線性回歸的問題和分析方法擴(kuò)展12第一節(jié)多重共線性一、問題的性質(zhì)和種類二、多重共線性的危害三、發(fā)現(xiàn)和檢驗(yàn)四、多重共線性的克服和處理第2頁(yè),共46頁(yè)，2024年2月25日，星期天3一、問題的性質(zhì)和種類1、嚴(yán)格多重共線性模型設(shè)定問題識(shí)別問題2、近似多重共線性主要是數(shù)據(jù)問題，也有模型設(shè)定問題

第3頁(yè),共46頁(yè)，2024年2月25日，星期天4二、（近似）多重共線性的危害*隨著多重共線性程度的提高，參數(shù)方差會(huì)急劇上升到很大的水平，理論上使最小二乘法估計(jì)的有效性、可靠性和價(jià)值都受到影響，實(shí)踐中參數(shù)估計(jì)的穩(wěn)定性和可靠程度下降。*證明：把矩陣分為根據(jù)分塊矩陣的運(yùn)算法則有第4頁(yè),共46頁(yè)，2024年2月25日，星期天5其逆矩陣左上角的首項(xiàng)為其中因此參數(shù)的最小二乘估計(jì)的方差為第5頁(yè),共46頁(yè)，2024年2月25日，星期天6三、發(fā)現(xiàn)和檢驗(yàn)（一）方差擴(kuò)大因子檢驗(yàn)（二）狀態(tài)數(shù)檢驗(yàn)第6頁(yè),共46頁(yè)，2024年2月25日，星期天7（一）方差擴(kuò)大因子檢驗(yàn)分析已知記為，為。第7頁(yè),共46頁(yè)，2024年2月25日，星期天8當(dāng)時(shí)，當(dāng)時(shí)，方差擴(kuò)大因子，記作常以方差擴(kuò)大因子是否大于10來判斷第個(gè)解釋變量是否存在較強(qiáng)的、必須加以處理的多重共線性。第8頁(yè),共46頁(yè)，2024年2月25日，星期天9（二）狀態(tài)數(shù)檢驗(yàn)1、狀態(tài)指數(shù)將矩陣的每一列用其模相除以實(shí)現(xiàn)標(biāo)準(zhǔn)化，然后再求矩陣的特征值，取其中最大的除以最小的后再求平方根，得到該矩陣的“狀態(tài)數(shù)”，記為：

通常當(dāng)大于20或30時(shí)，認(rèn)為存在較明顯的多重共線性。

第9頁(yè),共46頁(yè)，2024年2月25日，星期天10確定哪些解釋變量的系數(shù)受到多重共線性的影響：先計(jì)算各個(gè)特征值的“狀態(tài)指數(shù)”這些狀態(tài)指數(shù)的水平在1到之間，很可能有好幾個(gè)超過20-30的“危險(xiǎn)”水平。第10頁(yè),共46頁(yè)，2024年2月25日，星期天112、回歸系數(shù)方差分解:如果V是對(duì)角化的(K+1)(K+1)對(duì)角矩陣：即其中是的特征值構(gòu)成的對(duì)角矩陣。從而兩種理解：如果特征值之和反映對(duì)被解釋變量解釋程度，倒數(shù)之和反映引起估計(jì)量方差的比重。第11頁(yè),共46頁(yè)，2024年2月25日，星期天12四、多重共線性的克服和處理（一）增加樣本容量（二）差分方程（三）模型修正（四）分步估計(jì)參數(shù)（五）嶺回歸方法第12頁(yè),共46頁(yè)，2024年2月25日，星期天13（一）增加樣本容量原理：樣本容量越大，變量相關(guān)性越小，相關(guān)越難。注意局限，且不一定解決問題。第13頁(yè),共46頁(yè)，2024年2月25日，星期天14（二）差分方程線性回歸模型為且已知和之間存在多重共線性問題。作如下變換：

改用差分方程進(jìn)行回歸，受多重共線性的影響比較小。第14頁(yè),共46頁(yè)，2024年2月25日，星期天15（三）模型修正1、刪減解釋變量（利用檢驗(yàn)結(jié)論、經(jīng)驗(yàn)等）2、整合解釋變量（利用原模型回歸信息、經(jīng)驗(yàn)等）3、先驗(yàn)信息參數(shù)約束

第15頁(yè),共46頁(yè)，2024年2月25日，星期天16先驗(yàn)信息參數(shù)約束例：生產(chǎn)函數(shù)，經(jīng)對(duì)數(shù)變換為：

如果預(yù)先知道所研究的經(jīng)濟(jì)有規(guī)模報(bào)酬不變的性質(zhì)，即函數(shù)中的參數(shù)滿足就可以克服多重共線性。第16頁(yè),共46頁(yè)，2024年2月25日，星期天17（四）分步估計(jì)參數(shù)例：研究需求規(guī)律的模型可以先求出模型中參數(shù)的估計(jì)值（用截面數(shù)據(jù)等）。前一個(gè)模型變?yōu)檎磉@個(gè)模型可以得到

從而估計(jì)出和的估計(jì)值和，得到克服了多重共線性的回歸直線第17頁(yè),共46頁(yè)，2024年2月25日，星期天18（五）嶺回歸方法設(shè)一個(gè)多元線性回歸模型為普通最小二乘估計(jì)的公式為當(dāng)解釋變量間存在嚴(yán)重的多重共線性時(shí)，矩陣接近于奇異。用代替代入最小二乘估計(jì)的公式，得到：其中稱為“嶺回歸參數(shù)”，一般，是用矩陣對(duì)角線上元素和構(gòu)成的對(duì)角線矩陣。第18頁(yè),共46頁(yè)，2024年2月25日，星期天19（五）嶺回歸方法估計(jì)量的數(shù)學(xué)期望為：第19頁(yè),共46頁(yè)，2024年2月25日，星期天20第二節(jié)隨機(jī)解釋變量一、解釋變量的隨機(jī)性二、隨機(jī)解釋變量和參數(shù)估計(jì)的性質(zhì)三、工具變量法估計(jì)四、參數(shù)估計(jì)量的分布性質(zhì)和統(tǒng)計(jì)推斷第20頁(yè),共46頁(yè)，2024年2月25日，星期天21一、解釋變量的隨機(jī)性和問題解釋變量有隨機(jī)性是普遍的問題。隨機(jī)解釋變量有不同的情況，關(guān)鍵是與誤差項(xiàng)的相關(guān)性。不同情況對(duì)回歸分析的影響不同，處理也不同。第21頁(yè),共46頁(yè)，2024年2月25日，星期天22二、隨機(jī)解釋變量和參數(shù)估計(jì)的性質(zhì)設(shè)模型為其中誤差項(xiàng)符合古典線性回歸模型的各個(gè)假設(shè)。參數(shù)二乘估計(jì)的參數(shù)為：把代入，得到第22頁(yè),共46頁(yè)，2024年2月25日，星期天23如果是隨機(jī)變量，但與誤差項(xiàng)不相關(guān)，那么：以為條件的的條件方差是最小方差，從而的方差也是最小方差。第23頁(yè),共46頁(yè)，2024年2月25日，星期天24如果是隨機(jī)變量，與誤差項(xiàng)小樣本不獨(dú)立，但大樣本漸進(jìn)不相關(guān)，即那么因?yàn)橐虼耸堑囊恢鹿烙?jì)。雖然不是無偏估計(jì)。第24頁(yè),共46頁(yè)，2024年2月25日，星期天25三、工具變量法估計(jì)設(shè)模型為其中不僅是隨機(jī)變量，而且與有強(qiáng)相關(guān)性。對(duì)模型作離差變換得兩邊乘并求和得然后兩邊除以，有第25頁(yè),共46頁(yè)，2024年2月25日，星期天26

的“工具變量法估計(jì)”為，即

的估計(jì)可以利用的估計(jì)得到第26頁(yè),共46頁(yè)，2024年2月25日，星期天27多元回歸工具變量法估計(jì)引進(jìn)、選擇多個(gè)關(guān)鍵變量。向量、矩陣表示。工具變量的選擇問題：與替代解釋變量相關(guān)性強(qiáng)與誤差相相關(guān)性小避免引起共線性問題第27頁(yè),共46頁(yè)，2024年2月25日，星期天28四、參數(shù)估計(jì)量分布問題和統(tǒng)計(jì)推斷問題：分布未知兩變量線性回歸模型參數(shù)估計(jì)量多元回歸模型參數(shù)的最小二乘估計(jì)影響：t、F檢驗(yàn)等仍基本有效。統(tǒng)計(jì)量漸近t分布。

F統(tǒng)計(jì)量類似。第28頁(yè),共46頁(yè)，2024年2月25日，星期天29存在隨機(jī)解釋變量時(shí)相關(guān)統(tǒng)計(jì)推斷受到一定的影響第29頁(yè),共46頁(yè)，2024年2月25日，星期天30第三節(jié)誤差項(xiàng)非正態(tài)分布一、問題的提出二、誤差項(xiàng)正態(tài)性的檢驗(yàn)第30頁(yè),共46頁(yè)，2024年2月25日，星期天31一、問題的提出誤差項(xiàng)正態(tài)分布假設(shè)也不一定成立。誤差項(xiàng)不服從正態(tài)分布時(shí)，稱“非正態(tài)誤差項(xiàng)”影響：統(tǒng)計(jì)推斷、假設(shè)檢驗(yàn)的有效性等，相關(guān)統(tǒng)計(jì)推斷、檢驗(yàn)結(jié)論的可靠性降低。第31頁(yè),共46頁(yè)，2024年2月25日，星期天32二、誤差項(xiàng)正態(tài)性的檢驗(yàn)（一）直方圖檢驗(yàn)類似“高爾頓板”第32頁(yè),共46頁(yè)，2024年2月25日，星期天33（二）偏斜度和峰度檢驗(yàn)“偏斜系數(shù)”：用代替，用代替?！胺宥取敝笜?biāo)：其中用代替。，第33頁(yè),共46頁(yè)，2024年2月25日，星期天34第四節(jié)最大似然估計(jì)一、最大似然估計(jì)的原理二、兩變量線性回歸模型參數(shù)的最大似然估計(jì)三、多元線性回歸模型參數(shù)的最大似然估計(jì)四、隨機(jī)解釋變量模型的最大似然估計(jì)五、最大似然估計(jì)的性質(zhì)第34頁(yè),共46頁(yè)，2024年2月25日，星期天35一、最大似然估計(jì)的原理根據(jù)事物出現(xiàn)的概率（幾率、可能性）的大小，推斷事物的真相，包括定性的和定量的（參數(shù)水平）真相。例1：一個(gè)老戰(zhàn)士和一個(gè)軍訓(xùn)學(xué)生各射擊一次，但只有一槍中靶。問可能是誰(shuí)打中的。第35頁(yè),共46頁(yè)，2024年2月25日，星期天36例2：觀測(cè)到一個(gè)服從未知參數(shù)的泊松分布的隨機(jī)變量的10個(gè)數(shù)據(jù)的樣本，這些數(shù)據(jù)分別為5、0、1、2、3、2、3、4、1、1，要求估計(jì)出該泊松分布的未知分布參數(shù)。根據(jù)泊松分布的概率公式，該隨機(jī)變量的數(shù)值為的概率為10個(gè)數(shù)據(jù)出現(xiàn)的聯(lián)合分布概率為第36頁(yè),共46頁(yè)，2024年2月25日，星期天37這個(gè)聯(lián)合分布概率就是生成上述10個(gè)數(shù)據(jù)的似然函數(shù)，記作，即它的對(duì)數(shù)似然函數(shù)是（對(duì)數(shù)函數(shù)的單調(diào)性）求導(dǎo)可得的最大似然估計(jì)必須滿足所以。第37頁(yè),共46頁(yè)，2024年2月25日，星期天38二、兩變量線性回歸模型參數(shù)的最大似然估計(jì)設(shè)模型為根據(jù)誤差項(xiàng)服從正態(tài)分布的假設(shè)，有因此這個(gè)模型參數(shù)的似然函數(shù)是第38頁(yè),共46頁(yè)，2024年2月25日，星期天39對(duì)數(shù)似然函數(shù)為最大化的一階條件為第39頁(yè),共46頁(yè)，2024年2月25日，星期天40解一階條件方程組可以得到最大似然估計(jì)為第40頁(yè),共46頁(yè)，2024年2月25日，星期天41三、多元線性回歸模型參數(shù)的最大似然估計(jì)模型為其中似然函數(shù)為對(duì)數(shù)似然函數(shù)為第41頁(yè),共46頁(yè)，2024年2月25日，星期天42求導(dǎo)可得解這個(gè)方程組可得第42頁(yè),共46頁(yè)，2024年2月25日，星期天43四、隨機(jī)解釋變量模型的最大似然估計(jì)只討論解釋變量的分布滿足下面兩個(gè)條件的模型（1）隨機(jī)解釋變量的多元密度函數(shù)的參數(shù)中，不包含需要估計(jì)的模型參數(shù)、或前者的部分。（2）和分布獨(dú)立。

第43頁(yè),共46頁(yè)，2024年2月25日，星期天44似然函數(shù)為因?yàn)槿匀怀闪?，因此?duì)數(shù)似然