兩變量線性回歸分析

1、第二章 兩變量線性回歸分析,兩變量線性回歸模型,兩變量線性回歸模型的核心是兩個(gè)變量之間，存在著用線性函數(shù)表示的因果關(guān)系 如果用Y表示因果關(guān)系中被影響或決定的變量，用X表示影響或決定Y的變量，那么兩變量線性回歸模型的核心就是線性函數(shù)Y=+X，這個(gè)線性函數(shù)的截距和斜率是兩個(gè)待定參數(shù)，是決定這個(gè)特定因果關(guān)系（或經(jīng)濟(jì)規(guī)律）的關(guān)健變數(shù) 由于計(jì)量分析是的問題導(dǎo)向的，Y應(yīng)該是與所考察問題最緊密相關(guān)的指標(biāo)；解釋變量應(yīng)該根據(jù)所研究問題的具體情況和特征，以及相關(guān)的經(jīng)濟(jì)理論和研究經(jīng)驗(yàn)等進(jìn)行判斷選擇；兩個(gè)變量關(guān)系是否直接用線性函數(shù)反映，則需要利用相關(guān)的經(jīng)濟(jì)理論和經(jīng)驗(yàn)，以及根據(jù)變量數(shù)據(jù)的分布情況進(jìn)行判斷,教材20頁(yè)圖,

2、經(jīng)濟(jì)變量關(guān)系中的隨機(jī)性（一,線性回歸分析是以經(jīng)濟(jì)變量之間存在線性的因果關(guān)系為基礎(chǔ)的，但這種因果關(guān)系不是嚴(yán)格意義上的函數(shù)關(guān)系，一個(gè)變量通常不可能被另一個(gè)經(jīng)濟(jì)變量完全精確地決定 人類經(jīng)濟(jì)行為本身有隨機(jī)性 一個(gè)經(jīng)濟(jì)變量總是受眾多因素的影響，雖然眾多因素的單獨(dú)影響可能較小，甚至可以忽略不計(jì)，但這些因素的總體影響是存在的，會(huì)對(duì)所考察的變量產(chǎn)生明顯的影響或擾動(dòng)，從而使只考慮兩 個(gè)變量之間的函數(shù)難以嚴(yán)格成立 任何函數(shù)反映經(jīng)濟(jì)變量之間的關(guān)系都只是一種簡(jiǎn)化反映，常常忽略一些高階項(xiàng)的次要部分，這種簡(jiǎn)化也會(huì)導(dǎo)致變量之間的函數(shù)關(guān)系不能嚴(yán)格成立 經(jīng)濟(jì)數(shù)據(jù)來源于調(diào)查統(tǒng)計(jì)而非控制條件下的嚴(yán)格實(shí)驗(yàn)和測(cè)度，因而難免有一定的偏差

3、,經(jīng)濟(jì)變量關(guān)系中的隨機(jī)性（二,影響經(jīng)濟(jì)變量嚴(yán)格函數(shù)關(guān)系因素的存在，使得我們所研究的兩變量線性關(guān)系，實(shí)際上都是有一定隨機(jī)性的隨機(jī)函數(shù)關(guān)系，應(yīng)該表示為Y=+X+ 兩個(gè)變量的隨機(jī)線性函數(shù)由兩部分組成 一部分由嚴(yán)格的線性函數(shù)E（Y）= +X構(gòu)成，我們稱之為兩變量關(guān)系的趨勢(shì)部分，也稱為總體回歸直線，是兩變量關(guān)系的主要方面，也是我們研究的主要目標(biāo)和對(duì)象 另一部分是隨機(jī)誤差項(xiàng)，代表了影響Y的各種較小因素的綜合影響，是兩變量關(guān)系中的次要方面,模型的假設(shè),變量X和Y之間的函數(shù)關(guān)系Y=+X+，對(duì)兩變量的所有觀察數(shù)據(jù)組 （i=1,n）都成立，其中 為隨機(jī)誤差項(xiàng) 對(duì)應(yīng)每組變量觀測(cè)數(shù)據(jù)的誤差項(xiàng) ，都為零均值的隨機(jī)變量，

4、即 對(duì) i=1,n 都成立 誤差項(xiàng) 的方差為常數(shù)，即 對(duì)i=1,n 都成立 對(duì)應(yīng)不同觀測(cè)值數(shù)據(jù)組的誤差項(xiàng)不相關(guān)，即 對(duì)任意的i j都成立 解釋變量X是確定性變量，而非隨機(jī)變量 誤差項(xiàng) 服從正態(tài)分布,零均值,零均值是線性回歸模型最基本的假設(shè)，它是兩變量線性隨機(jī)函數(shù)的本質(zhì)特征，是識(shí)別這種關(guān)系的根本標(biāo)準(zhǔn) 識(shí)別變量之間的隨機(jī)函數(shù)關(guān)系，只能根據(jù)平均情況或概率分布來進(jìn)行 如果兩個(gè)變量的關(guān)系中確實(shí)線性函數(shù)是主導(dǎo)的，誤差項(xiàng)只是次要的隨機(jī)擾動(dòng)因素，那么Y的個(gè)別觀測(cè)會(huì)因?yàn)殡S機(jī)擾動(dòng)偏離線性函數(shù)規(guī)定的基本趨勢(shì)，但如果對(duì)同樣的X多次重復(fù)觀測(cè)對(duì)應(yīng)的Y值，則Y值的概率均值應(yīng)該能消除隨機(jī)擾動(dòng)的影響，符合線性函數(shù)的基本趨勢(shì) 該

5、標(biāo)準(zhǔn)可等價(jià)地表示為 對(duì) i=1,n 都成立，也就是被解釋變量的期望值始終落在總體回歸直線上，是參數(shù)估計(jì)方法有有效性和良好性質(zhì)的必要保證,26頁(yè)圖2-3,同方差,誤差項(xiàng)的方差反映誤差項(xiàng)作為隨機(jī)函數(shù)的分布分散程度 同方差假設(shè)的意義是對(duì)于不同觀測(cè)數(shù)據(jù)組，誤差項(xiàng)的發(fā)散趨勢(shì)相同，或有相同形狀的概率密度函數(shù) 如果 的方差隨i變化而變化，就意味著這部分因素對(duì)被解釋變量的影響力度會(huì)隨著i而變化，因此就不能再理解為一些微小的可以忽略的隨機(jī)擾動(dòng)因素的影響 同方差假設(shè)排除模型誤差項(xiàng)對(duì)被解釋變量影響程度的變化，對(duì)保證線性回歸分析的性質(zhì)和價(jià)值，有非常重要的作用,26頁(yè)圖2-4,無自相關(guān),無自相關(guān)假設(shè)的意義是對(duì)應(yīng)不同觀測(cè)

6、值的誤差項(xiàng)之間沒有相關(guān)性。如果這一點(diǎn)不成立，則意味著調(diào)養(yǎng)項(xiàng)的取值變化存在某種規(guī)律性，這與模型認(rèn)為誤差項(xiàng)只是沒有規(guī)律的微小隨機(jī)因素的綜合影響的思想不符 當(dāng)誤差項(xiàng)之間存在相關(guān)性時(shí)，會(huì)對(duì)線性回歸分析的效果產(chǎn)生不利的影響 同時(shí)滿足零均值、同方差、無自相關(guān)三條假設(shè)的隨機(jī)誤差項(xiàng)，有時(shí)也稱為“球形擾動(dòng)項(xiàng),解釋變量是確定性變量,解釋變量X是確定性變量而不是隨機(jī)變量的假設(shè)，在于方便線性回歸分析的討論和證明；這個(gè)假設(shè)不成立時(shí)，雖然多數(shù)情況下參數(shù)估計(jì)和相關(guān)的統(tǒng)計(jì)分析仍然有效，但證明比較困難 當(dāng)X既是隨機(jī)變量又與誤差項(xiàng)有強(qiáng)相關(guān)性時(shí)，回歸分析的有效性和價(jià)值會(huì)受到嚴(yán)重影響 這條假設(shè)有很大的人為性，因?yàn)閄作為一個(gè)經(jīng)濟(jì)變量，

7、也是不可重復(fù)的調(diào)查統(tǒng)計(jì)數(shù)據(jù)，而且也必然有觀測(cè)誤差。由于我們研究的是X決定Y的因果關(guān)系，可以認(rèn)為X是可以任意選擇的確定性變量，只有Y是隨機(jī)的 可以證明，只要X與誤差項(xiàng)沒有多在的相關(guān)性，X是否是隨機(jī)變量一般并不會(huì)影響參數(shù)估計(jì)的性質(zhì)和相關(guān)的統(tǒng)計(jì)分析,誤差項(xiàng)服從正態(tài)分布,誤差項(xiàng) 服從正態(tài)分布是參數(shù)估計(jì)量分布性質(zhì)和相關(guān)統(tǒng)計(jì)推斷的基礎(chǔ) 實(shí)際上只要變量關(guān)系確定滿足線性回歸分析的基本思想，其誤差項(xiàng)代表許多微小擾動(dòng)因素的綜合，那么根據(jù)中心極限定理，誤差項(xiàng)服從正態(tài)分布是很自然的 誤差項(xiàng)服從正態(tài)分布在進(jìn)行參數(shù)估計(jì)時(shí)并一定需要，除了會(huì)對(duì)統(tǒng)計(jì)檢驗(yàn)和推斷造成一定影響外，也不會(huì)影響最小二乘估計(jì)量的基本性質(zhì)，因此有時(shí)誤差項(xiàng)服

8、從正態(tài)分布并不作為線性回歸分析模型的基本假設(shè)，線性回歸分析中的“古典假設(shè)”中也不包括它 回歸模型假設(shè)目的是為了明確回歸分析的對(duì)象，方便分析，以及保證回歸分析的性質(zhì)和價(jià)值,參數(shù)估計(jì)的基本思路（一,雖然設(shè)定兩變量線性回歸模型的前提是相信兩變量之間確實(shí)存在特定的線性因果關(guān)系，模型兩個(gè)參數(shù)和的“真實(shí)值”是客觀存在的 因?yàn)槲覀儫o法觀察到變量關(guān)系本身，我們能觀察到的只是這種變量關(guān)系所產(chǎn)生的結(jié)果，即有關(guān)的經(jīng)濟(jì)現(xiàn)象或經(jīng)濟(jì)數(shù)據(jù)，因而我們不可能知道這些真實(shí)值 由于存在隨機(jī)擾動(dòng)因素的影響，我們所觀察到的結(jié)果，不可能精確地反映變量關(guān)系中趨勢(shì)部分的確實(shí)情況，也就是參數(shù)和的“真實(shí)值”，隨機(jī)擾動(dòng)項(xiàng)給兩變量的真實(shí)關(guān)系提供了一

9、種“掩護(hù)”，便我們無法發(fā)現(xiàn)它的廬山真面目。由于擾動(dòng)項(xiàng)影響始終存在，因此即使增加觀測(cè)數(shù)據(jù)也并不能解決問題,參數(shù)估計(jì)的基本思路（二,由于我們無法知道參數(shù)的真實(shí)值，因此我們的目標(biāo)定在找出它的某種近似值或估計(jì)值，并且希望估計(jì)值與真實(shí)值之間的近似程度能夠比較高；更進(jìn)一步的問題是，既然參數(shù)的真實(shí)值無法知道，那么我們找到一個(gè)估計(jì)值后，如何認(rèn)定它是真實(shí)值的較好近似，或在兩個(gè)估計(jì)值中，如何判斷哪個(gè)更好？ 解決這些問題的基本思路是，利用樣本數(shù)據(jù)反映出來的趨勢(shì)性設(shè)法確定參數(shù)估計(jì)值，以與樣本趨勢(shì)的擬合程度作為選擇回歸直線、判斷參數(shù)估計(jì)好壞的標(biāo)準(zhǔn) 用擬合樣本趨勢(shì)的回歸直線，或者稱“樣本回歸直線”，近似模型的總體回歸直線

10、，從而得到模型參數(shù)的估計(jì)值，這利方法是線性回歸分析的基本方法,樣本趨勢(shì)的擬合和回歸殘差（一,29頁(yè)圖,樣本趨勢(shì)的擬合和回歸殘差（二,建立判斷回歸直線對(duì)樣本趨勢(shì)擬合程度的標(biāo)準(zhǔn)，關(guān)健是要利用樣本點(diǎn)與回歸直線之間的縱向偏差，我們把這種偏差稱為“回歸殘差”或者簡(jiǎn)稱“殘差” 如果樣本回歸直線為Y=a+bX，那么由于Y和X之間真實(shí)關(guān)系是隨機(jī)線性函數(shù)關(guān)系，因此通常多數(shù)樣本點(diǎn) 不會(huì)落在這條回歸直線上，它們與回歸直線之間有一段 縱向距離，也就是殘差 (i=1,2,n)。 殘差越小，說明回歸直線離樣本點(diǎn)越近，如果對(duì)所有樣本點(diǎn)的回歸都較小，那么回歸直線離所有樣本點(diǎn)都較近，對(duì)樣本趨勢(shì)的擬合當(dāng)然就是較好，因此殘差是判斷

11、回歸直線擬合程度的重要指標(biāo),最小二乘法,最小二乘法的思想是用殘差序列的平方和 作為衡量回歸直線與樣本趨勢(shì)總體擬合程度的指標(biāo) 殘差平方和可以避免殘差正負(fù)抵消問題，反映了所有樣本點(diǎn)與回歸直線偏差的總體水平，在計(jì)算估計(jì)值的數(shù)學(xué)運(yùn)算上比較方便 在兩變量線性回歸模型的基本假設(shè)滿足的情況下，最小二乘法得到的參數(shù)估計(jì)具有許多好的性質(zhì)，是對(duì)參數(shù)真實(shí)值的良好近似,最小二乘法,最小二乘直線的性質(zhì),回歸直線通過Y和X的樣本均值 估計(jì)的Y（即 ）的均值等于Y實(shí)現(xiàn)觀測(cè)值的均值 殘差均值為零 殘差與解釋變量不相關(guān) 殘差與估計(jì)的 不相關(guān),最小二乘估計(jì)量的性質(zhì)線性性,最小二乘估計(jì)量的性質(zhì)無偏性,最小二乘估計(jì)量的性質(zhì)有效性,證

12、明最小二乘估計(jì)具有最小方差性的思路是，先假設(shè)a和b是和的任意其它線性無偏估計(jì)，然后設(shè)法證明a和b的方差Vara、Varb，與a和b的方差Vara、Varb之間，滿足VaraVara和VarbVarb兩個(gè)不等式 b是的線性無偏估計(jì)， 設(shè)b是的線性無偏估計(jì)，則有,最小二乘估計(jì)量的性質(zhì)有效性,最小二乘估計(jì)量的性質(zhì)有效性,一致估計(jì),最小二乘估計(jì)具有重要的大樣本性質(zhì)：當(dāng)樣本容量不斷增大時(shí)，最小二乘估計(jì)量以參數(shù)真實(shí)值為極限,一致估計(jì),一致估計(jì),最小二乘估計(jì)的一致性，說明在大樣本的情況下，最小二乘估計(jì)與參數(shù)真實(shí)值的近似程度會(huì)很高 一致性提供了如何逼近參數(shù)真實(shí)值的思路，那就是增加樣本容量，從更多的樣本中得到更

13、多的信息 雖然在對(duì)現(xiàn)實(shí)問題的實(shí)證研究中，增加樣本容量不是很容易的事，但至少存在隨著信息增加而不斷提高估計(jì)精確度的可能性,回歸擬合度評(píng)價(jià)和決定系數(shù),回歸擬合度或擬合度，是回歸直線與樣本數(shù)據(jù)趨勢(shì)的吻合程度。擬合度取決于回歸分析的方法和樣本數(shù)據(jù)的分布 決定樣本數(shù)據(jù)分布情況的，一方面是生成它們的變量關(guān)系，另一方面是隨機(jī)擾動(dòng)因素的情況。如果隨機(jī)擾動(dòng)項(xiàng)比較正常，也就是基本滿足模型的假設(shè)，那么樣本數(shù)據(jù)分布情況的變化和差異，則主要是由變量之間的關(guān)系決定 變化關(guān)系是否符合模型所假設(shè)的情況，必然會(huì)在樣本數(shù)據(jù)的分布中反映出來，并進(jìn)而會(huì)影響回歸直線的擬合程度。因此回歸擬合度實(shí)際上也是反映模型假設(shè)的變量關(guān)系真實(shí)性的指標(biāo)

14、，可以作為檢驗(yàn)?zāi)Ｐ妥兞筷P(guān)系真實(shí)性的重要手段,回歸擬合度評(píng)價(jià)和決定系數(shù),既然根據(jù)模型的基本假設(shè)，Y和X之間的線性關(guān)系是主要關(guān)系，X是以線性方式?jīng)Q定Y的最主要因素，那么Y的離差就應(yīng)該主要被回歸值的離差，或X的離差決定，因此我們可以在回歸分析的基礎(chǔ)上，用Y的離差被回歸值或X的離差決定的程度，作為評(píng)價(jià)擬合程度的標(biāo)準(zhǔn) 根據(jù)最小二乘估計(jì)和回歸殘差的相關(guān)公式，Y的離差可以分解為,回歸擬合度評(píng)價(jià)和決定系數(shù),回歸擬合度評(píng)價(jià)和決定系數(shù),統(tǒng)計(jì)推斷,根據(jù)最小二乘估計(jì)量的分布性質(zhì)，對(duì)兩變量線性回歸模型的參數(shù)及它們對(duì)應(yīng)的變量關(guān)系，作統(tǒng)計(jì)推斷分析 統(tǒng)計(jì)推斷分析，對(duì)于進(jìn)一步判斷模型假設(shè)的變量關(guān)系的真實(shí)性，以及如何進(jìn)一步修改模

15、型的思路，具有非常重要的意義 當(dāng)我們所分析的線性回歸模型與特定的經(jīng)濟(jì)理論有內(nèi)在聯(lián)系時(shí)，本節(jié)所提出的一些假設(shè)檢驗(yàn)，實(shí)際上也是檢驗(yàn)這些經(jīng)濟(jì)理論正確性的重要方法,最小二乘估計(jì)量的分布性質(zhì)和標(biāo)準(zhǔn)化,根據(jù)最小二乘估計(jì)量的性質(zhì)，在模型假設(shè)條件下，模型參數(shù)的最小二乘估計(jì)量，服從以參數(shù)真實(shí)值為中心，以誤差項(xiàng)方差的一個(gè)比例（或倍數(shù)）為方差的正態(tài)分布,最小二乘估計(jì)量的分布性質(zhì)和標(biāo)準(zhǔn)化,正是因?yàn)樽钚《斯烙?jì)量具有以參數(shù)真實(shí)值為均值的分布性質(zhì)，使得參數(shù)估計(jì)量與真實(shí)值通過概率分布聯(lián)系在一起，使我們可以通過參數(shù)估計(jì)量的分布性質(zhì)推斷參數(shù)真實(shí)值的情況，并進(jìn)行相關(guān)的統(tǒng)計(jì)檢驗(yàn)和分析，以進(jìn)一步確定變量關(guān)系或檢驗(yàn)相關(guān)的理論 我們可以

16、通過變換將b轉(zhuǎn)化為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量Zb，a也可以作類似的變換,誤差項(xiàng)方差的估計(jì),誤差項(xiàng)的方差2的真實(shí)值我們是無法知道的，因此我們只能設(shè)法得到它的較好的估計(jì)值 i有一個(gè)自然的近似，即最小二乘估計(jì)的回歸殘差ei，因此不難想到用殘差平方和的均值，作為2的估計(jì)量 如果考慮到一個(gè)好的估計(jì)量應(yīng)該具有無偏估計(jì)的性質(zhì)，就應(yīng)該對(duì)初步考慮的估計(jì)量作進(jìn)一步的考察。事實(shí)上可以證明，在模型假設(shè)成立的條件下，最小二乘殘差平方和的數(shù)學(xué)期望E（ei2）=(n-2) 2 把S2= ei2/ （n-2）作為2的估計(jì)量，就是具有無偏性的較好的估計(jì)量,誤差項(xiàng)方差的估計(jì),誤差項(xiàng)方差的估計(jì),參數(shù)的置信區(qū)間和假設(shè)檢驗(yàn),有了最小二

17、乘估計(jì)量的分布性質(zhì)，我們便可以對(duì)模型的情況和真實(shí)性作進(jìn)一步的推斷分析 推斷分析包括兩方面內(nèi)容： 一是參數(shù)真實(shí)值的可能范圍，即所謂的“置信敬意”或敬意估計(jì)問題 二是對(duì)參數(shù)的顯著性（對(duì)應(yīng)變量關(guān)系的存在等），以及參數(shù)取特定值的可能性等進(jìn)行檢驗(yàn)和分析,參數(shù)的置信區(qū)間,參數(shù)的置信區(qū)間,以置信度為95%，即顯著性水平=0.05為例 根據(jù)樣本容量n和顯著性水平=0.05，查t分布臨界值表，得到自由度為n-2，顯著性水平=0.05的雙側(cè)t分布臨界值t/2=t0.025（如n=10， =0.05， t/2=t0.025=2.306） 根據(jù)雙側(cè)t分布臨界值的意義，有,模型參數(shù)的假設(shè)檢驗(yàn),根據(jù)最小二乘估計(jì)量的分布性質(zhì)構(gòu)造的t統(tǒng)計(jì)量可以用來進(jìn)行區(qū)間估計(jì)，并且可對(duì)模型參數(shù)（實(shí)質(zhì)上就是變量關(guān)系）進(jìn)行各種假設(shè)檢驗(yàn) 構(gòu)造原假設(shè)H0：=0.3，備擇假設(shè)H1：0.3 如根據(jù)樣本數(shù)據(jù)計(jì)算結(jié)果，已知b=0.5091，SE(b)=0.0357，n=10， =0.05， t/2=t0.025=2.306，則 P0.2177b0.3823=0.95 由于估計(jì)值b=0.5091不在區(qū)間0.2177，0