一元線性回歸模型理論與方法優(yōu)秀課件

第二章一元線性回歸模型理論與方法§1、回歸分析概述§2、一元線性回歸模型§2．1回歸分析概述一、變量間的關(guān)系及回歸分析的基本概念二、總體回歸函數(shù)（方程）PRF三、總體回歸函數(shù)（方程）PRF的隨機設定四、隨機誤差項的含義五、樣本回歸方程（函數(shù)）SRF一、變量間的關(guān)系及回歸分析的基本概念經(jīng)濟變量間的關(guān)系⑴確定性關(guān)系（函數(shù)關(guān)系）：研究的是確定現(xiàn)象而非隨機變量間的關(guān)系。例如：圓的面積S=*r2其中，r為半徑。⑵統(tǒng)計依賴關(guān)系（相關(guān)關(guān)系）：研究的是非確定現(xiàn)象隨機變量間的關(guān)系。例如：農(nóng)作物的產(chǎn)量=F(氣溫，降雨量，陽光，施肥量)。注意：⑴不線性相關(guān)并不意味著不相關(guān)。⑵有相關(guān)關(guān)系并不意味著一定有因果關(guān)系。⑶回歸分析與相關(guān)分析研究一個變量對另一個（些）變量的統(tǒng)計依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。⑷回歸分析對變量的處理方法存在不對稱性，即區(qū)分被解釋變量和解釋變量：前者是隨機變量，后者不是。相關(guān)分析則對稱地對待被解釋變量和解釋變量，二者都被看作是隨機的?；貧w分析：回歸分析是研究一個變量關(guān)于另一個（些）變量的統(tǒng)計依賴關(guān)系的計算方法和理論。其用意在于通過后者的已知或設定值，去估計和（或）預測前者的（總體）均值。前一個變量稱為被解釋變量（ExplainedVariable)或應變量(DependentVariable)，后一個變量稱為解釋變量(ExplanatoryVariable)或自變量(IndependentVariable)?；貧w分析的主要內(nèi)容：⑴根據(jù)樣本觀察值對計量經(jīng)濟模型參數(shù)進行估計，求得回歸方程。⑵對回歸方程、參數(shù)估計值進行顯著性檢驗。⑶利用回歸方程進行分析、評價及預測。例2.1：一個假想的社區(qū)人口總體有60戶家庭組成，要研究該社區(qū)每月家庭消費支出Y與每月可支配家庭收入X的關(guān)系，即知道了家庭的每月收入，預測每月消費支出的（總體）水平。為達到此目的，將該60戶家庭劃分為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費支出。表2.1某社區(qū)每月家庭收入與消費支出調(diào)查統(tǒng)計表每月家庭收入X（元）800100012001400160018002000220024002600每月家庭消費支出Y（元）550650790800102011001200135013701500600700840930107011501360137014501520650740900950110012001400140015501750700800940103011601300144015201650178075085098010801180135014501570175018000880011301250140001600189018500001150000162001910共計325046204450707067807500685010430966012110f(Y|X)1/51/61/51/71/61/61/51/71/61/7E(Y|X)6507708901010113012501370149016101730PRF注意：⑴回歸函數(shù)（PRF）說明被解釋變量Yi的平均狀態(tài)（總體條件期望）隨解釋變量Xi變化的規(guī)律。⑵總體回歸函數(shù)的函數(shù)形式可以是線性的，也可以是非線性的。以線性函數(shù)為例，其形式為：其中，0與1為固定的參數(shù)，稱為回歸系數(shù)。三、PRF的隨機設定個別家庭的消費支出與給定收入水平間的關(guān)系：其中，i稱為觀察值Yi圍繞它的期望值E(Y/Xi)的離差(deviation)，是一個不可觀測的隨機變量，又稱為隨機干擾項或隨機誤差項。將上述公式加以變幻，可得出個別家庭的消費支出如下：公式表明，給定收入水平Xi，個別家庭的支出可表示為兩部分之和：⑴該收入水平下所有家庭的平均消費支出E(Y/Xi)，稱為系統(tǒng)性(systematic)部分，或確定性(deterministic)部分。⑵隨機或非確定性部分四、隨機誤差項的含義隨機誤差項是在模型設定中省略下來而又集體地影響著被解釋變量Y的全部變量的替代物。主要內(nèi)容包括：⑴在解釋變量中被忽略的因素的影響。在研究一經(jīng)濟現(xiàn)象時，影響某一經(jīng)濟變量的因素有許多，但是，在建立計量經(jīng)濟學模型時，我們不可能將所有因素都作為自變量包括在模型中，只能選擇主要因素，其他被省略掉的因素對被解釋變量的影響都歸入了隨機誤差項。⑵變量觀測值的觀測誤差的影響。對于變量的樣本觀測值，無論是實際測量得來的，或是調(diào)查統(tǒng)計得來得，都不可避免的會產(chǎn)生誤差。這些誤差歸并到隨機誤差項中。⑶模型關(guān)系的設定誤差的影響。即為數(shù)學模型形式的誤差。經(jīng)濟現(xiàn)象實際上是很復雜的，自變量與因變量之間的關(guān)系在許多情況下并非完全的線性關(guān)系，可是我們?yōu)榱撕唵纹鹨娡镁€性模型來代替，這就造成了模型形式的誤差，它對因變量的影響也包括在隨機誤差項中。⑷其他隨機因素的影響。由于經(jīng)濟行為不象科學實驗那樣完全在人為地控制下進行，有些因素是無法控制的，是一種隨機現(xiàn)象。如一個消費者對某種商品的購買，可能由于廣告的宣傳本不想買而購買了；也可能由于某些人的勸告本想買反而不購買了等等。將這些不易預測和無法度量的因素，在模型中都有隨機誤差項表示。五、樣本回歸方程（函數(shù)）SRF(sampleregressionfunction)例2.2：在例2.1的總體中有如下一個樣本（見下表），問：能否用該樣本預測總體中對應于選定X的平均每月消費支出？即能否用該樣本估計總體回歸函數(shù)PRF？表2.2X800100012001400160018002000220024002600Y700650900950110011501200140015501500每月家庭收入與消費支出數(shù)據(jù)表（樣本）X800100012001400160018002000220024002600Y700650900950110011501200140015501500SRF樣本回歸曲線(sampleregressionlines)和樣本回歸函數(shù)(sampleregressionfunction):上圖中的樣本散點圖近似于一條直線，劃一條直線以盡可能好地擬合該散點圖，該直線稱為樣本回歸曲線。將上述樣本回歸線以函數(shù)形式表示為：稱為樣本回歸函數(shù)(SRF)。樣本回歸函數(shù)的隨機形式及樣本回歸模型：其中，樣本殘差項(residual)，代表了其他影響Yi的隨機因素的集合體，可看成為i的估計量。該模型由于引入了隨機項，成為計量經(jīng)濟模型，將該模型稱為樣本回歸模型。樣本殘差項回歸分析的主要目的：根據(jù)樣本回歸函數(shù)（SRF），估計總體回歸函數(shù)（PRF），即根據(jù)公式(2)估計公式(1)。(1)(2)即：設計一“方法”構(gòu)造SRF，使得SRF盡可能地“接近”PRF，或者說使盡可能地接近0和1。五、OLS估計量的性質(zhì)1、線性性2、無偏性3、有效性六、參數(shù)估計量的概率分布和隨機誤差項的方差估計七、統(tǒng)計檢驗1、擬合優(yōu)度檢驗2、參數(shù)的顯著性檢驗（t檢驗）八、回歸系數(shù)的置信區(qū)間檢驗九、回歸分析的應用：預測問題一、線性回歸模型的特征單方程線性回歸模型的概念和一般形式：單方程計量經(jīng)濟學模型是以單一經(jīng)濟現(xiàn)象為研究對象而建立的模型，模型中只包括一個方程，是應用最為普遍的計量經(jīng)濟學模型，分為線性模型和非線性模型兩大類。一般形式為：i=1,2,…,n。其中，i為觀測下標，n為樣本容量。一元線性回歸模型：形如的計量經(jīng)濟學模型稱為一元線性回歸模型（雙變量線性模型）。其中，Y為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機誤差項。一元線性回歸模型舉例：凱恩斯的絕對收入假設消費理論認為，消費是由收入唯一決定的，是收入的線性函數(shù)，事實上，消費與收入之間的關(guān)系并不是準確實現(xiàn)的，其計量經(jīng)濟學模型為：每給定一個收入Y的值，消費C并不是單一確定的，而是由許多因素共同確定，其概率分布與隨機誤差項的概率分布相同。線性回歸模型的特征：⑴通過引入隨機誤差項，將變量之間的關(guān)系用一個線性隨機方程來描述，并用隨機數(shù)學的方法來估計方程中的參數(shù)。⑵在線性回歸模型中，被解釋變量的特征由解釋變量與隨機誤差項共同決定。二、線性回歸方程的普遍性將非線性關(guān)系轉(zhuǎn)化為線性關(guān)系的常用的處理方法：⑴直接置換法雙曲線：如商品的需求曲線是一種雙曲線形式，商品需求量q與商品價格p之間的關(guān)系表現(xiàn)為雙曲線關(guān)系?，F(xiàn)令：y=1/q；x=1/p則原方程轉(zhuǎn)換為：y=a+bx拋物線：如拉弗曲線描述的稅收s和稅率r的關(guān)系是一種拋物線的形式：s=a+br+cr2c<0現(xiàn)令：x1=r，x2=r2原方程置換為：s=a+bx1+cx2c<0⑵對數(shù)變換法冪函數(shù)：如著名的Cobb-Dauglas生產(chǎn)函數(shù)將產(chǎn)出量Q與投入要素(K，L)之間的關(guān)系描述為冪函數(shù)的形式：現(xiàn)將方程兩邊取對數(shù)，則變換為線性形式如下：指數(shù)函數(shù)：如生產(chǎn)中成本C與產(chǎn)出量q的關(guān)系：將方程兩邊取對數(shù)后，即成為線性形式如下：結(jié)論：實際經(jīng)濟生活中的許多問題，都可以最終轉(zhuǎn)化為線性問題，因此，線性回歸模型具有普遍意義。即使對于無法采取任何變換方法使之變成線性的非線性模型，目前使用的較多的參數(shù)估計方法——非線性最小二乘法，其原理仍然是一線性估計方法為基礎(chǔ)。三、線性回歸模型的基本假定回歸分析的主要目的：通過樣本回歸函數(shù)（模型）SRF盡可能準確地估計總體回歸函數(shù)（模型）PRF。即通過估計

技術(shù)線路：⑴使估計量與Yi的“總體”誤差盡可能地小——最小二乘法。⑵使回歸系數(shù)的估計量盡可能地與其本身接近。要滿足上述要求，必須對解釋變量和隨機誤差項做出合理假定。線性回歸模型的基本假設：⑴解釋變量X1，X2，…，Xk是確定性變量，不是隨機變量，并且解釋變量之間互不相關(guān)。⑵隨機誤差項具有0均值和同方差。即：解釋：對X的每個觀測值來說可以取不同的值，有些大于零，有些小于零，但其總體的平均值，即均值等于零。

隨機誤差項具有同方差，是指各次觀測所受的隨機影響的程度相同，即等方差性。樣本與總體回歸線YXiXSRFPRF⑶隨機誤差項在不同樣本點之間是獨立的，不存在序列相關(guān)。即：該假設表明，在任意兩次觀測時，i，j是不相關(guān)的，即在某次觀測中取的值與任何其他次觀測中取的值互不影響。⑷隨機誤差項與解釋變量之間不相關(guān)。即：該假設是指，隨機誤差項與解釋變量不相關(guān)。由于在建立回歸模型時，隨機誤差項代表了所有未包括在模型中的自變量及其它因素對因變量的影響，因此，應把X和各自對Y的影響區(qū)分開，即二者之間不相關(guān)。⑸隨機誤差項服從0均值、同方差的正態(tài)分布。即：該假設符合經(jīng)濟實際，因為從實際經(jīng)驗和理論分析可知，隨機影響可看作或近似看作服從正態(tài)分布。注意：在實際建立模型的過程中，除了基本假設⑸之外，對模型是否滿足假設都要進行檢驗。由于解釋變量Xi是確定性變量，隨機誤差項i

是隨機性變量，因此被解釋變量Yi是隨機變量，且其分布（特征）與

i相同。四、一元線性回歸模型的參數(shù)估計：普通最小二乘法（OLS）1、普通最小二乘法OLS2、參數(shù)估計的離差形式3、樣本回歸線SRF的性質(zhì)1、普通最小二乘法（OLS）已知一組樣本觀測值（Yi，Xi）(i=1,2,…,n)，要求樣本回歸函數(shù)盡可能好地擬合這組值，即樣本回歸線上的點與真實觀測點Yi的“總體”誤差盡可能地小。在技術(shù)處理上我們一般采用“最小二乘法”。最小二乘原則：由于估計值和實測值之差可正可負，簡單求和可能將很大的誤差抵消掉，因此，只有平方和才能反映二者在總體上的接近程度。最小二乘法給出的判斷標準是：二者之差的平方和最小。即：最小。也就是說在給定樣本觀測值之下，選擇出、能使得Yi與之差的平方和最小。用最小二乘法估計和：是、的二次非負函數(shù)，故該函數(shù)存在極小值。根據(jù)微積分方法，當Q對、的一階偏導數(shù)為0時，Q達到最小。即：求偏導后得：或該方程組稱為正則方程組（normalequations）解上述二元一次方程組得：2、參數(shù)估計的離差形式(deviationform)記則xi、yi分別表示對各自均值的離差。將離差帶入正則方程組，則參數(shù)估計量的離差形式為：由于、的估計結(jié)果是從最小二乘原理得到的，故稱之為最小二乘估計量。3、樣本回歸線SRF的性質(zhì)⑴樣本回歸線通過Y和X的樣本均值。證明：因為即：故，樣本回歸線通過Y和X的樣本均值。⑵估計的Y的均值等于實測的Y的均值證明：由于則有，即估計的Y的均值與實測的Y的均值相等。（3）殘差的均值為零。由正則方程組：可知：即：所以，即殘差的均值為零。（4）殘差和預測的Yi不相關(guān)。（5）殘差與Xi不相關(guān)。五、OLS估計量的性質(zhì)1、線性性2、無偏性3、有效性1、線性性指的是估計量、是Yi的線性組合。令則令則2、無偏性估計量、的均值（期望值）等于總體回歸參數(shù)真值0與1。即證：易知：同樣地，容易得出：3、有效性（最小方差性）在所有線性無偏估計量中，最小二乘估計量、具有最小方差。高斯—馬爾可夫定理：在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。最佳線性無偏估計量——BLUE估計量（theBestLinearUnbiasedEstimator)普通最小二乘估計量OLS具有線性性、無偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計量稱為最佳線性無偏估計量，即BLUE估計量。全部估計量線性無偏估計量BLUE估計量六、參數(shù)估計量的概率分布和隨機誤差項的方差估計1、和的概率分布、分別是Yi的線性組合，因此，和的概率分布取決于Y。我們知道，在是正態(tài)分布的假設下，Y是正態(tài)分布，因此，、也服從正態(tài)分布，其分布特征由其均值和方差共同決定。記、的標準差分別為：1S(^)2、隨機誤差項的方差2的估計在估計的參數(shù)和的方差和標準差的表達式中，都含有隨機誤差項方差2=var(i)。

2又稱為總體方差。由于隨機誤差項i不可觀測，2實際上是未知的，只能從i的估計量——殘差ei出發(fā)，對總體方差2進行估計?？傮w方差2的無偏估計量為：在總體方差的無偏估計量求出后，和的方差和標準差的估計量分別為：的樣本方差：的樣本標準差為：的樣本方差：的樣本標準差為：思考：例2.3：在例2.1的總體中有如下一個樣本（見下表），