線性回歸模型

1、線性回歸模型線性回歸模型1、回歸分析回歸分析研究的主要對象就是客觀事物變量之間的統計關系，它就是建立在對客觀事物進行大量試驗與觀察的基礎上，用來尋找隱藏在那些瞧上去就是不確定的現象中的統計規(guī)律性的 方法。回歸分析方法就是通過建立模型研究變量間相互關系的密切程度、結構狀態(tài)及進行模型預測的一種有效工具。2、回歸模型的一般形式如果變量x_1,x_2，,x_p與隨機變量y之間存在著相關關系，通常就意味著每當 x_1,x_2，,x_p取定值后,y便有相應的概率分布與之又應。隨機變量y與相關變量x_1,x_2,x_p之間的概率模型為y = f(x_1, x_2,x_p) +£(1)f(x_1,

2、x_2,x_p)為變量x_1,x_2，,x_p的確定性關系，e為隨機誤差項。由于客觀經濟現象 就是錯綜復雜的，一種經濟現象很難用有限個因素來準確說明，隨機誤差項可以概括表示由于人們的認識以及其她客觀原因的局限而沒有考慮的種種偶然因素。當概率模型(1)式中回歸函數為線性函數時，即有y = beta_0 + beta_1*x_1 + beta_2*x_2 + + beta_p*x_p + e (2)其中，beta_0,beta_p為未知參數，常稱它們?yōu)榛貧w系數。當變量x個數為1時,為簡單線性回歸模型，當變量x個數大于1時，為多元線性回歸模型。3、回歸建模的過程在實際問題的回歸分析中模型的建立與分析

3、有幾個重要的階段，以經濟模型的建立為例：具體社會經濟問題設置指標加1(1)根據研究的目的設置指標變顯首先要根據所研究問題的目的設置因變量y,然后再選取與y有關的“婢糊t變量，通常情況下，我們希望因變量與自變量之間具有因果關系。尤其就是在研究某種婺濟活動或經濟現象時象的研究目的，利用經濟學理論 (2)收集、整理統計數據,從醐解齦遒定某沖經濟問題中各,必須根據具體的經濟現 因素之間的因果關系。回歸模型的建立就是基于回歸變量的樣本例數據。當確定好回歸模型的變量之后這些變量收集、整理統計數據。舉據白 項基礎性工作，樣本數據的質量如何 (3)確定理論回歸模型的數學形式 當收集到所設置的變量的數據之后,就

4、«經濟I問題回y模型4重要一環(huán) 對球B模型的水平有至攵重要的影響。，就要對，就是一定適當的數學形式夫描遒*變聶之間的關系。繪制變量y_i與x_i(i = 1,2,n)的樣本散點圖就是選擇數學模型形式的重要手段。一般我們把(x_i,y_i)所對應的點在坐標系上睥出來，觀察散點圖的分布狀況。如果n個樣本點大致分布在一條直線的周(4)模型參數的估回歸理論模型確定之后,可考慮用線性可歸模型去擬合這條直線。模型運用,利用收集、整理的樣本數據對模型的未知參數給出估計就是回歸分析的重要內容。未知參數的估計方法最常用的就是普通最小二乘法。小化模型的殘差平方與而得到參數的估計值。即普通最小二乘法通過最

5、經濟因素分析經濟變量控制經濟決策預測回歸分析模型主要就是揭示事物閘相關變量的數量關系。線性回歸模型Min RSS =E(y_i- hat(y_i)A2其中,hat(y_i) 為因變量估計值,hat(beta_i)為參數估計值。(5)模型的檢驗與修改當模型的未知參數估計出來后，就初步建立了一個回歸模型。建立回歸模型的目的就是應用它來研究經濟問題，但如果直接用這個模型去做預測、控制與分析，就是不夠慎重的。因為這個模型就是否真正揭示了被解釋變量與解釋變量之間的關系，必須通過對模型的檢驗才能決定。統計檢驗通常就是對回歸方程的顯著性檢驗，以及回歸系數的顯著性檢驗 ，還有擬合優(yōu)度的檢驗，隨機誤差項的序列相

6、關檢驗 ，異方差性檢驗，解釋變量的多重共線性檢驗等。如果一個回歸模型沒有通過某種統計檢驗，或者通過了統計檢驗而沒有合理的經濟意義，就需要對回歸模型進行修改。(6)回歸模型的運用當一個經濟問題的回歸模型通過了各種統計檢驗，且具有合理的經濟意義時，就可以運用這個模型來進一步研究經濟問題。例如，經濟變量的因素分析。應用回歸模型對經濟變量之間的關系作出了度量，從模型的回歸系數可發(fā)現經濟變量的結構性關系，給出相關評價的一些量化依據。在回歸模型的運用中，應將定性分析與定量分析有機結合。這就是因為數理統計方法只就是 從事物的數量表面去研究問題 ，不涉及事物的規(guī)定性。單純的表面上的數量關系就是否反映 事物的本

7、質？這本質究竟如何？必須依靠專門學科的研究才能下定論。Lasso在多元線，f回歸中，當變量x_1,x_2,x_3之間有較強的線性相關性，即解釋變量間出現嚴 重的多重共線性。這種情況下，用普通最小二乘法估計模型參數，往往參數估計方差太大，使普通最小二乘的效果變得很不理想。為了解決這一問題，可以采用子集選擇、壓縮估計或降維法,Lasso即為壓縮估計的一種。Lasso可以將一些增加了模型復雜性但與模型無關的變量 的系數壓縮為 0,從而將這些變量從模型中剔除，僅保留與被解釋變量有較強相關性的解釋變量，使模型更有解釋力。Lasso的未知參數通過求解下式的最小值得到：其中，為壓縮懲罰項，當beta_1,beta_p接近于0時比較小，因此懲罰項具有將 beta_i 估計彳1向0的方向進行壓縮的作用。Lambda>=0稱為調節(jié)參數，其作用就是控制殘差平方與 項與懲罰項對回歸系數估計的相對影響程度。當lambda = 0 時，懲罰項不產生作用,lasso的結果與最小二乘結果相同