兩變量線性回歸分析ppt課件

1、第二章 兩變量線性回歸分析 兩變量線性回歸模型 參數(shù)估計和最小二乘法 最小二乘估計量的性質(zhì) 回歸擬合度評價和決議系數(shù) 統(tǒng)計推斷 預測兩變量線性回歸模型 兩變量線性回歸模型的中心是兩個變量之間，存在著用線性函數(shù)表示的因果關系 假設用Y表示因果關系中被影響或決議的變量，用X表示影響或決議Y的變量，那么兩變量線性回歸模型的中心就是線性函數(shù)Y=+X，這個線性函數(shù)的截距和斜率是兩個待定參數(shù)，是決議這個特定因果關系或經(jīng)濟規(guī)律的關健變數(shù) 由于計量分析是的問題導向的，Y應該是與所調(diào)查問題最嚴密相關的目的；解釋變量應該根據(jù)所研討問題的詳細情況和特征，以及相關的經(jīng)濟實際和研討閱歷等進展判別選擇；兩個變量關系能否直

2、接用線性函數(shù)反映，那么需求利用相關的經(jīng)濟實際和閱歷，以及根據(jù)變量數(shù)據(jù)的分布情況進展判別 教材20頁圖經(jīng)濟變量關系中的隨機性一 線性回歸分析是以經(jīng)濟變量之間存在線性的因果關系為根底的，但這種因果關系不是嚴厲意義上的函數(shù)關系，一個變量通常不能夠被另一個經(jīng)濟變量完全準確地決議 人類經(jīng)濟行為本身有隨機性 一個經(jīng)濟變量總是受眾多要素的影響，雖然眾多要素的單獨影響能夠較小，甚至可以忽略不計，但這些要素的總體影響是存在的，會對所調(diào)查的變量產(chǎn)生明顯的影響或擾動，從而使只思索兩 個變量之間的函數(shù)難以嚴厲成立 任何函數(shù)反映經(jīng)濟變量之間的關系都只是一種簡化反映，經(jīng)常忽略一些高階項的次要部分，這種簡化也會導致變量之間

3、的函數(shù)關系不能嚴厲成立 經(jīng)濟數(shù)據(jù)來源于調(diào)查統(tǒng)計而非控制條件下的嚴厲實驗和測度，因此難免有一定的偏向經(jīng)濟變量關系中的隨機性二 影響經(jīng)濟變量嚴厲函數(shù)關系要素的存在，使得我們所研討的兩變量線性關系，實踐上都是有一定隨機性的隨機函數(shù)關系，應該表示為Y=+X+ 兩個變量的隨機線性函數(shù)由兩部分組成 一部分由嚴厲的線性函數(shù)EY= +X構成，我們稱之為兩變量關系的趨勢部分，也稱為總體回歸直線，是兩變量關系的主要方面，也是我們研討的主要目的和對象 另一部分是隨機誤差項，代表了影響Y的各種較小要素的綜合影響，是兩變量關系中的次要方面模型的假設 變量X和Y之間的函數(shù)關系Y=+X+，對兩變量的一切察看數(shù)據(jù)組 i=1,

4、n都成立，其中 為隨機誤差項 對應每組變量觀測數(shù)據(jù)的誤差項 ，都為零均值的隨機變量，即 對 i=1,n 都成立 誤差項 的方差為常數(shù)，即 對i=1,n 都成立 對應不同觀測值數(shù)據(jù)組的誤差項不相關，即 對恣意的i j都成立 解釋變量X是確定性變量，而非隨機變量 誤差項 服從正態(tài)分布222)(iiiEEENoImage0)()()(jijjiiEEEE),(iiYXii0)(iEii零均值 零均值是線性回歸模型最根本的假設，它是兩變量線性隨機函數(shù)的本質(zhì)特征，是識別這種關系的根本規(guī)范 識別變量之間的隨機函數(shù)關系，只能根據(jù)平均情況或概率分布來進展 假設兩個變量的關系中確實線性函數(shù)是主導的，誤差項只是次

5、要的隨機擾動要素，那么Y的個別觀測會由于隨機擾動偏離線性函數(shù)規(guī)定的根本趨勢，但假設對同樣的X多次反復觀測對應的Y值，那么Y值的概率均值應該能消除隨機擾動的影響，符合線性函數(shù)的根本趨勢 該規(guī)范可等價地表示為 對 i=1,n 都成立，也就是被解釋變量的期望值一直落在總體回歸直線上，是參數(shù)估計方法有有效性和良好性質(zhì)的必要保證iiXYE 26頁圖2-3同方差 誤差項的方差反映誤差項作為隨機函數(shù)的分布分散程度 同方差假設的意義是對于不同觀測數(shù)據(jù)組，誤差項的發(fā)散趨勢一樣，或有一樣外形的概率密度函數(shù) 假設 的方差隨i變化而變化，就意味著這部分要素對被解釋變量的影響力度會隨著i而變化，因此就不能再了解為一些微

6、小的可以忽略的隨機擾動要素的影響 同方差假設排除模型誤差項對被解釋變量影響程度的變化，對保證線性回歸分析的性質(zhì)和價值，有非常重要的作用i 26頁圖2-4無自相關 無自相關假設的意義是對應不同觀測值的誤差項之間沒有相關性。假設這一點不成立，那么意味著調(diào)養(yǎng)項的取值變化存在某種規(guī)律性，這與模型以為誤差項只是沒有規(guī)律的微小隨機要素的綜合影響的思想不符 當誤差項之間存在相關性時，會對線性回歸分析的效果產(chǎn)生不利的影響 同時滿足零均值、同方差、無自相關三條假設的隨機誤差項，有時也稱為“球形擾動項解釋變量是確定性變量 解釋變量X是確定性變量而不是隨機變量的假設，在于方便線性回歸分析的討論和證明；這個假設不成立

7、時，雖然多數(shù)情況下參數(shù)估計和相關的統(tǒng)計分析依然有效，但證明比較困難 當X既是隨機變量又與誤差項有強相關性時，回歸分析的有效性和價值會遭到嚴重影響 這條假設有很大的人為性，由于X作為一個經(jīng)濟變量，也是不可反復的調(diào)查統(tǒng)計數(shù)據(jù)，而且也必然有觀測誤差。由于我們研討的是X決議Y的因果關系，可以以為X是可以恣意選擇確實定性變量，只需Y是隨機的 可以證明，只需X與誤差項沒有多在的相關性，X能否是隨機變量普通并不會影響參數(shù)估計的性質(zhì)和相關的統(tǒng)計分析誤差項服從正態(tài)分布 誤差項 服從正態(tài)分布是參數(shù)估計量分布性質(zhì)和相關統(tǒng)計推斷的根底 實踐上只需變量關系確定滿足線性回歸分析的根本思想，其誤差項代表許多微小擾動要素的綜

8、合，那么根據(jù)中心極限定理，誤差項服從正態(tài)分布是很自然的 誤差項服從正態(tài)分布在進展參數(shù)估計時并一定需求，除了會對統(tǒng)計檢驗和推斷呵斥一定影響外，也不會影響最小二乘估計量的根本性質(zhì)，因此有時誤差項服從正態(tài)分布并不作為線性回歸分析模型的根本假設，線性回歸分析中的“古典假設中也不包括它 回歸模型假設目的是為了明確回歸分析的對象，方便分析，以及保證回歸分析的性質(zhì)和價值i參數(shù)估計的根本思緒一 雖然設定兩變量線性回歸模型的前提是置信兩變量之間確實存在特定的線性因果關系，模型兩個參數(shù)和的“真實值是客觀存在的 由于我們無法察看到變量關系本身，我們能察看到的只是這種變量關系所產(chǎn)生的結果，即有關的經(jīng)濟景象或經(jīng)濟數(shù)據(jù)，

9、因此我們不能夠知道這些真實值 由于存在隨機擾動要素的影響，我們所察看到的結果，不能夠準確地反映變量關系中趨勢部分確實實情況，也就是參數(shù)和的“真實值，隨機擾動項給兩變量的真實關系提供了一種“掩護，便我們無法發(fā)現(xiàn)它的廬山真面目。由于擾動項影響一直存在，因此即使添加觀測數(shù)據(jù)也并不能處理問題參數(shù)估計的根本思緒二 由于我們無法知道參數(shù)的真實值，因此我們的目的定在找出它的某種近似值或估計值，并且希望估計值與真實值之間的近似程度可以比較高；更進一步的問題是，既然參數(shù)的真實值無法知道，那么我們找到一個估計值后，如何認定它是真實值的較好近似，或在兩個估計值中，如何判別哪個更好？ 處理這些問題的根本思緒是，利用樣

10、本數(shù)據(jù)反映出來的趨勢性設法確定參數(shù)估計值，以與樣本趨勢的擬合程度作為選擇回歸直線、判別參數(shù)估計好壞的規(guī)范 用擬合樣本趨勢的回歸直線，或者稱“樣本回歸直線，近似模型的總體回歸直線，從而得到模型參數(shù)的估計值，這利方法是線性回歸分析的根本方法樣本趨勢的擬合和回歸殘差一 29頁圖樣本趨勢的擬合和回歸殘差二 建立判別回歸直線對樣本趨勢擬合程度的規(guī)范，關健是要利用樣本點與回歸直線之間的縱向偏向，我們把這種偏向稱為“回歸殘差或者簡稱“殘差 假設樣本回歸直線為Y=a+bX，那么由于Y和X之間真實關系是隨機線性函數(shù)關系，因此通常多數(shù)樣本點 不會落在這條回歸直線上，它們與回歸直線之間有一段 縱向間隔，也就是殘差

11、(i=1,2,n)。 殘差越小，闡明回歸直線離樣本點越近，假設對一切樣本點的回歸都較小，那么回歸直線離一切樣本點都較近，對樣本趨勢的擬合當然就是較好，因此殘差是判別回歸直線擬合程度的重要目的)(iiibXaYe),(iiYX最小二乘法 最小二乘法的思想是用殘差序列的平方和 作為衡量回歸直線與樣本趨勢總體擬合程度的目的 殘差平方和可以防止殘差正負抵消問題，反映了一切樣本點與回歸直線偏向的總體程度，在計算估計值的數(shù)學運算上比較方便 在兩變量線性回歸模型的根本假設滿足的情況下，最小二乘法得到的參數(shù)估計具有許多好的性質(zhì)，是對參數(shù)真實值的良好近似iiiibXaYe22)(最小二乘法iiiiiiiiiii

12、iiiiiiiXXXXYYbXbYa：，YXY、X，XbXaYbebXaYae，babXaYe222222)()(”“0)(2)(0)(2)()(很容易得到兩個變量的樣本均值和表示并分別用解此方程組正規(guī)方程組組稱為這兩個方程組成的方程得并令其為零求偏導和對最小二乘直線的性質(zhì) 回歸直線經(jīng)過Y和X的樣本均值 估計的Y即 的均值等于Y實現(xiàn)觀測值的均值 殘差均值為零 殘差與解釋變量不相關 殘差與估計的 不相關YYYyii最小二乘估計量的性質(zhì)線性性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiXVVXXnVYVYXnYXYnXbYaXXXXYYXXXXXXXX

13、YXXXXYYb0, 1, 1, 01)1(1)()()()()()(2222很容易證明其中其中最小二乘估計量的性質(zhì)無偏性00 )()(00 )()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiEVXVVVEXVEVEXVEYVEaEEXEXEEXEYEbE最小二乘估計量的性質(zhì)有效性 證明最小二乘估計具有最小方差性的思緒是，先假設a和b是和的恣意其它線性無偏估計，然后設法證明a和b的方差Vara、Varb，與a和b的方差Vara、Varb之間，滿足VaraVara和VarbVarb兩個不等式 b是的線性無偏估計， 設b是的線性無偏估計，那么有ii

14、iiiiiiiiiiiiiiiiiiiiiiiiEEbEbEbEbVarEXXYb2222222 )(最小二乘估計量的性質(zhì)有效性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiivEvvEbEbEbEbVarvvXvvYvb，Xv，v，X，bXvvEvXvvvXvvEXvEbEYvb2222222 10 )( 因此兩式同時成立這就要求上式都必須等于的取值如何因此不論的無偏估計是由于最小二乘估計量的性質(zhì)有效性)( 0)(1)(1)(1)()(1)()()()(2)()(2)()( 222222222222222222222bVarvb

15、Varb，VarXXXXXXXXXXXXXXXXvv，vvvbVarvvvvbVariiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii因此有的性質(zhì)有定義和根據(jù)一致估計 最小二乘估計具有重要的大樣本性質(zhì)：當樣本容量不斷增大時，最小二乘估計量以參數(shù)真實值為極限NoImage00)()(22222的方差趨向于當樣本容量越來越大時也就是說時因此當時由于當，b，b，Varn，XX，nXXbVariiiiii一致估計0lim0lim”“”“0lim0011222aP，a，a，bP，bbbP，bPn，bVarnbVarbEbEbP，nnn即的一致

16、估計是及的方差趨向于我們可以證明類似地也可以記為是概率極限的或于依概率收斂這時我們稱或者說時因此當時由于有對于任意小的正數(shù)夫不等式根據(jù)概率論中的切比雪一致估計 最小二乘估計的一致性，闡明在大樣本的情況下，最小二乘估計與參數(shù)真實值的近似程度會很高 一致性提供了如何逼近參數(shù)真實值的思緒，那就是添加樣本容量，從更多的樣本中得到更多的信息 雖然在對現(xiàn)實問題的實證研討中，添加樣本容量不是很容易的事，但至少存在隨著信息添加而不斷提高估計準確度的能夠性回歸擬合度評價和決議系數(shù) 回歸擬合度或擬合度，是回歸直線與樣本數(shù)據(jù)趨勢的吻合程度。擬合度取決于回歸分析的方法和樣本數(shù)據(jù)的分布 決議樣本數(shù)據(jù)分布情況的，一方面是

17、生成它們的變量關系，另一方面是隨機擾動要素的情況。假設隨機擾動項比較正常，也就是根本滿足模型的假設，那么樣本數(shù)據(jù)分布情況的變化和差別，那么主要是由變量之間的關系決議 變化關系能否符合模型所假設的情況，必然會在樣本數(shù)據(jù)的分布中反映出來，并進而會影響回歸直線的擬合程度。因此回歸擬合度實踐上也是反映模型假設的變量關系真實性的目的，可以作為檢驗模型變量關系真實性的重要手段回歸擬合度評價和決議系數(shù) 既然根據(jù)模型的根本假設，Y和X之間的線性關系是主要關系，X是以線性方式?jīng)Q議Y的最主要要素，那么Y的離差就應該主要被回歸值的離差，或X的離差決議，因此我們可以在回歸分析的根底上，用Y的離差被回歸值或X的離差決議

18、的程度，作為評價擬合程度的規(guī)范 根據(jù)最小二乘估計和回歸殘差的相關公式，Y的離差可以分解為解釋的程度越高由回歸直線或解釋變量個觀測值處說明在第后一部分越小大兩個部分。前一部分越以及回歸殘差的離差決定的部分的離差可以分解為由即XY，i，e，XXbXYeXXbeYYYYiiiiii)()(回歸擬合度評價和決議系數(shù)NoImage稱為殘差平方和稱為回歸平方和稱為總離差平方和從而容易證明22222222222222)()()()(0)()()(2)()(2)()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiieSSEXXb，SSRYYSSTSSESSReXXbYY，SSTeXXeYY

19、，eXXbeXXbeYYeYYYYSST回歸擬合度評價和決議系數(shù)性的回歸分析中具有可比在不同模型和不同樣本因此本值的影響可以避免樣本數(shù)量和樣相對比重指標是一個之間到的數(shù)值在決定系數(shù)并稱之為決定系數(shù)記,10)(1)()(12222222，R，YYeYYXXbSSTSSESSTSSRRiiiiiiii統(tǒng)計推斷 根據(jù)最小二乘估計量的分布性質(zhì)，對兩變量線性回歸模型的參數(shù)及它們對應的變量關系，作統(tǒng)計推斷分析 統(tǒng)計推斷分析，對于進一步判別模型假設的變量關系的真實性，以及如何進一步修正模型的思緒，具有非常重要的意義 當我們所分析的線性回歸模型與特定的經(jīng)濟實際有內(nèi)在聯(lián)絡時，本節(jié)所提出的一些假設檢驗，實踐上也是

20、檢驗這些經(jīng)濟實際正確性的重要方法最小二乘估計量的分布性質(zhì)和規(guī)范化 根據(jù)最小二乘估計量的性質(zhì)，在模型假設條件下，模型參數(shù)的最小二乘估計量，服從以參數(shù)真實值為中心，以誤差項方差的一個比例或倍數(shù)為方差的正態(tài)分布)(1/(,()(1/()(/,()(/22222222iiiiiiiiXXXnNb，XXXn，a，XXNb，XX，b可寫成的正態(tài)分布方差為服從均值為的最小二乘估計量同樣的可寫成的正態(tài)分布方差為服從均值為的最小二乘估計量如最小二乘估計量的分布性質(zhì)和規(guī)范化 正是由于最小二乘估計量具有以參數(shù)真實值為均值的分布性質(zhì)，使得參數(shù)估計量與真實值經(jīng)過概率分布聯(lián)絡在一同，使我們可以經(jīng)過參數(shù)估計量的分布性質(zhì)推斷

21、參數(shù)真實值的情況，并進展相關的統(tǒng)計檢驗和分析，以進一步確定變量關系或檢驗相關的實際 我們可以經(jīng)過變換將b轉(zhuǎn)化為服從規(guī)范正態(tài)分布的隨機變量Zb，a也可以作類似的變換) 1 , 0()(22NXXbZiib誤差項方差的估計 誤差項的方差2的真實值我們是無法知道的，因此我們只能設法得到它的較好的估計值 i有一個自然的近似，即最小二乘估計的回歸殘差ei，因此不難想到用殘差平方和的均值，作為2的估計量 假設思索到一個好的估計量應該具有無偏估計的性質(zhì)，就應該對初步思索的估計量作進一步的調(diào)查?，F(xiàn)實上可以證明，在模型假設成立的條件下，最小二乘殘差平方和的數(shù)學期望Eei2=(n-2) 2 把S2= ei2/ n

22、-2作為2的估計量，就是具有無偏性的較好的估計量 誤差項方差的估計222222222222222)2(2) 1()()(2)()(1)()(2)()()()()()()(nnXXXXXXXXnnXXEXXEEeEXXbXXbXXbYXXYbXaXYYeiiiiiiijjjiijjjiiiiijjjiiiiiiiiiiiii因此因為誤差項方差的估計)2()(1)2(2/)(/222222222222222ntXXXnSa，tntt，tnt，SZXXSbtZS，）（ne，ZSiiabbbiibbiiib同理記分布的服務自由度為這個統(tǒng)計量根據(jù)統(tǒng)計學的定義方分布平方根之商與一個除以自由度的卡布的統(tǒng)計量

23、相當于一個服從正態(tài)分得到的統(tǒng)計量中的代替因此用的隨機變量分布卡方分布的服從自由度為因此變量是服從正態(tài)分布的隨機由于但需要注意未知的問題解決了中的代統(tǒng)計量用參數(shù)的置信區(qū)間和假設檢驗 有了最小二乘估計量的分布性質(zhì)，我們便可以對模型的情況和真實性作進一步的推斷分析 推斷分析包括兩方面內(nèi)容： 一是參數(shù)真實值的能夠范圍，即所謂的“置信敬意或敬意估計問題 二是對參數(shù)的顯著性對應變量關系的存在等，以及參數(shù)取特定值的能夠性等進展檢驗和分析參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間 以置信度為95%，即顯著性程度=0.05為例 根據(jù)樣本容量n和顯著性程度=0.05，查t分布臨界值表，得到自在度為n-2，顯著性程度=0.05的雙側