回歸分析原理

1、第三章 回歸分析原理 3·1、一元線(xiàn)性回歸數(shù)學(xué)模型按理說(shuō)，在研究某一經(jīng)濟(jì)現(xiàn)象時(shí)，應(yīng)該盡量考慮到與其有關(guān)各種有影響的因素或變量。但作為理論的科學(xué)研究來(lái)說(shuō)，創(chuàng)造性地簡(jiǎn)化是其的基本要求，從西方經(jīng)濟(jì)學(xué)的基本理論中，我們可以看到在一般的理論分析中，至多只包含二、三個(gè) 變量的數(shù)量關(guān)系的分析或模型。這里所討論的一元線(xiàn)性回歸數(shù)學(xué)模型，是數(shù)學(xué)模型的最簡(jiǎn)單形式。當(dāng)然要注意的是，這里模型討論是在真正回歸意義上來(lái)進(jìn)行的，也可稱(chēng)之為概率意義上的線(xiàn)性模型。在非確定性意義上，或概率意義上討論問(wèn)題，首先要注意一個(gè)最基本的概念或思路問(wèn)題，這就是總體和樣本的概念。我們的信念是任何事物在總體上總是存在客觀規(guī)律的，雖然我們

2、無(wú)論如何也不可能觀察或得到總體，嚴(yán)格說(shuō)來(lái)，總體是無(wú)限的。而另一方面，我們只可能觀察或得到的是樣本，顯然樣本肯定是總體的一部分，但又是有限的。實(shí)際上概率論和數(shù)理統(tǒng)計(jì)的基本思想和目的，就是希望通過(guò)樣本所反映出來(lái)的信息來(lái)揭示總體的規(guī)律性，這種想法或思路顯然存在重大的問(wèn)題。但另一方面，我們也必須承認(rèn)，為了尋找總體的規(guī)律或客觀規(guī)律，只能通過(guò)樣本來(lái)進(jìn)行，因?yàn)槲覀冎豢赡艿玫綐颖?。在前面我們已?jīng)知道，用回歸的方法和思路處理非確定性問(wèn)題或散點(diǎn)圖，實(shí)際上存在一些問(wèn)題，亦即只有在某些情況下，回歸的方法才是有效的。因此，在建立真正回歸意義上建立其有效方法時(shí)，必須作出相應(yīng)的假設(shè)條件。l 基本假設(shè)條件：（1）假設(shè)概率函數(shù)

3、或隨機(jī)變量的分布對(duì)于所有值，具有相同的方差 ，且 是一個(gè)常數(shù)，亦即=。（2）假設(shè)的期望值位于同一條直線(xiàn)上，即其回歸直線(xiàn)為 = 等價(jià)于 這個(gè)假設(shè)是最核心的假設(shè)，它實(shí)際上表明與之間是確定性的關(guān)系。（3）假設(shè)隨機(jī)變量是完全獨(dú)立的，亦即3·2、隨機(jī)項(xiàng)或誤差項(xiàng)的含義 一元線(xiàn)性回歸模型的一般形式為 是一隨機(jī)項(xiàng)或誤差項(xiàng)，它的存在表明對(duì)的影響是隨機(jī)的，非確定性的。所以，對(duì)于每一個(gè)值來(lái)說(shuō)，是一個(gè)概率分布，而不是一個(gè)值或幾個(gè)值。正是由于的出現(xiàn)，使我們的方法或思路發(fā)生巨大的變化，這是我們必須充分注意的。l 那么，究竟包含了什么意義或內(nèi)容呢？概括地說(shuō)來(lái)主要有：（1） 模型中被忽視了的影響因素；（2） 變量的

4、測(cè)量誤差，這種誤差主要來(lái)自統(tǒng)計(jì)數(shù)據(jù)本身的誤差；（3） 隨機(jī)誤差。社會(huì)經(jīng)濟(jì)現(xiàn)象中涉及到人的主觀因素和行為，還有歷史的、文化的等因素，這些因素一般來(lái)說(shuō)是難以量化的、多變的；（4） 模型的數(shù)量關(guān)系誤差。即數(shù)學(xué)形式所帶來(lái)的誤差。一般來(lái)說(shuō)，模型中的常數(shù)項(xiàng)也可以包含某些較為固定的誤差。但是值得指出的是，如果能夠包含上述所有的內(nèi)容，那它的分布及其性質(zhì)將是十分復(fù)雜的，任意的。前面的假設(shè)條件的核心正是限制了的分布形式，因此，實(shí)際上并不能包含如此多的內(nèi)容或負(fù)擔(dān)。另外，上面4個(gè)方面中，我們最主要的是要第4個(gè)問(wèn)題，這也正是經(jīng)濟(jì)學(xué)研究所要真正解決的問(wèn)題。一般來(lái)說(shuō)，所有的經(jīng)濟(jì)數(shù)學(xué)模型的誤差也就是這4個(gè)方面，或者說(shuō)是存在的

5、主要問(wèn)題，對(duì)此我們必須要有清醒和深入的認(rèn)識(shí)。 3·3、一元線(xiàn)性回歸模型的參數(shù)估計(jì)我們已知道，總體意義上真正的回歸模型是未知的，我們的任務(wù)是如何通過(guò)樣本觀察值給出總體真正回歸模型的最好估計(jì)。我們必須理解和認(rèn)識(shí)總體回歸模型和樣本回歸模型的區(qū)別和關(guān)系，必須反反復(fù)復(fù)地去認(rèn)識(shí)、體會(huì)。假設(shè)總體真正的回歸直線(xiàn)是 它是由總體回歸模型 顯然，上面的模型是想象的、理論上的，實(shí)際上是找不到的，它們實(shí)際上就是所謂客觀規(guī)律。而樣本的回歸直線(xiàn)為 它是來(lái)自于樣本的回歸模型 注意總體和樣本模型的區(qū)別和聯(lián)系，無(wú)限和有限，相同和不同等。下面我們同樣根據(jù)最小二乘準(zhǔn)則，建立真正回歸意義上的最小二乘法：對(duì)樣本模型 假設(shè)其估計(jì)

6、的回歸模型為 因此，其殘差則為 所以，其殘差平方和為 根據(jù)前面的結(jié)果，我們有 其中 到此樣本回歸模型的參數(shù)就估計(jì)出來(lái)了。對(duì)于這個(gè)結(jié)果需要注意的是，這里的 ， 都是的函數(shù)，而是隨機(jī)變量，因此，從理論上說(shuō)，隨機(jī)變量，而不是一個(gè)或幾個(gè)固定的值，是一個(gè)概率分布。正因?yàn)槿绱?，回歸的結(jié)果實(shí)際上也不是確定的，而是概率意義上的。接著我們關(guān)心的是，這個(gè)估計(jì)結(jié)果怎么樣？是否可用樣本回歸模型來(lái)推斷或替代總體回歸模型呢？因此，我們必須進(jìn)一步討論，的性質(zhì)，亦即討論樣本回歸模型的性質(zhì)。 34、估計(jì)值的性質(zhì)（1） 估計(jì)值的線(xiàn)性性質(zhì)。所謂線(xiàn)性性是指估計(jì)值，是觀測(cè)值的線(xiàn)性函數(shù)。證明： 而 其中同理可證：= 其中 所以，是線(xiàn)性函

7、數(shù)（應(yīng)注意線(xiàn)性性的意義和作用）。（2） 估計(jì)值的無(wú)偏性。所謂無(wú)偏性是指估計(jì)值，的期望值等于總體回歸模型參數(shù)，的值。亦即 ，。證明：通過(guò)計(jì)算可知 ， 其中所以有 同理可證 （3）有效性（或稱(chēng)，具有最小方差性）。所謂有效性主要是指最小二乘估計(jì)，在所有線(xiàn)性無(wú)偏估計(jì)中，其方差是最小的。證明的基本思路是： ，證明（略）。上面三個(gè)性質(zhì)是最小二乘估計(jì)的主要性質(zhì)，理論上說(shuō)已達(dá)到最好的結(jié)果了。因此，滿(mǎn)足這三條的估計(jì)也稱(chēng)作最優(yōu)線(xiàn)性無(wú)偏估計(jì)。值得注意的是，這里的最優(yōu)只是相對(duì)所有線(xiàn)性估計(jì)中而言的，而不包括非線(xiàn)性估計(jì)。也可以說(shuō)在很多的情況下，肯定存在比最小二乘估計(jì)更好的估計(jì)值，這一點(diǎn)必須要認(rèn)識(shí)清楚。還有一點(diǎn)，最小二乘估

8、計(jì)的性質(zhì)實(shí)際上與其假設(shè)條件是密切相關(guān)的，沒(méi)有這樣假設(shè)就沒(méi)有這樣的性質(zhì)，因此，我們還要看看其假設(shè)條件到底是什么意思，要進(jìn)一步去認(rèn)識(shí)假設(shè)條件。 3·5、最小二乘估計(jì)，的顯著性檢驗(yàn)與置信區(qū)間所謂顯著性檢驗(yàn)實(shí)際上就是對(duì)檢驗(yàn)估計(jì)值與總體參數(shù)值差別大小的方法。也就是數(shù)理統(tǒng)計(jì)中的“假設(shè)檢驗(yàn)”的方法一種實(shí)際應(yīng)用。這里再一次指出，參數(shù)估計(jì)之所以要進(jìn)行檢驗(yàn)，是因?yàn)檫@里的，是隨機(jī)變量。根據(jù)“假設(shè)檢驗(yàn)”的要求，我們要想辦法求出，的概率分布函數(shù)，又由于它們是的線(xiàn)性函數(shù)，則首先要知道的分布。因此，我們只能假設(shè)服從正態(tài)分布（根據(jù)大數(shù)定理和中心極限定理，在大樣本情況下并不失一般性）。假設(shè)服從正態(tài)分布，又因，是的線(xiàn)性

9、函數(shù)，所以，也是服從正態(tài)分布的。只要計(jì)算出，的方差，我們就可得到 在上面的分布函數(shù)中，除了， 不可能知道外，我們必須解決未知數(shù)估計(jì)值，才可能繼續(xù)進(jìn)行顯著性檢驗(yàn)。1、 建立隨機(jī)變量方差的估計(jì)值采用一定的辦法是可以解決估計(jì)值的，下面給出其推理過(guò)程，并證明其估計(jì)值是一個(gè)無(wú)偏估計(jì)。設(shè)： 所以 而 （1） 又（2） 代入 則有 由此我們就有 因此，進(jìn)一步則有 下面我們分別計(jì)算上式右邊每一項(xiàng)的期望值： 其中 （ 注意其中 ）因此，我們最終得到 如果我們定義 ，那么就是的無(wú)偏估計(jì)，亦即有 。 但是我們還不能證明 是最小方差估計(jì)，這是十分遺憾的。 2、 最小二乘估計(jì)值，的顯著性檢驗(yàn)現(xiàn)在我們可以開(kāi)始對(duì)，檢驗(yàn)了。

10、我們應(yīng)該認(rèn)識(shí)到，通過(guò)樣本得到具體估計(jì)值， 只是一個(gè)值，或者說(shuō)只是無(wú)窮個(gè)可能值中的一個(gè)，此時(shí)我們并不了解它們的精度和可靠性。因此，顯著性檢驗(yàn)實(shí)際上是檢驗(yàn)，與，之間的差距和可靠性。具體的檢驗(yàn)方法就是“假設(shè)檢驗(yàn)”的方法。我們從數(shù)理統(tǒng)計(jì)中知道，一般假設(shè)檢驗(yàn)中用來(lái)進(jìn)行檢驗(yàn)的統(tǒng)計(jì)量（實(shí)際上就是一種隨機(jī)變量）主要有二個(gè)，即Z統(tǒng)計(jì)量和T統(tǒng)計(jì)量。（1）應(yīng)用Z統(tǒng)計(jì)量的條件是：已知而無(wú)論樣本的大小，或者未知但樣本足夠的大（n至少大于30）。 已知 則我們有N（0 ，1） N（0 ，1）當(dāng)然如果未知，但樣本數(shù)大于30，則在上式中用替代即可。（2）應(yīng)用T統(tǒng)計(jì)量的條件：當(dāng)方差未知，且樣本小于30時(shí)。已知 則我們有 = t

11、（n-k） =t（n-k）這里的n是樣本的個(gè)數(shù)，k是模型中變量的個(gè)數(shù)，n-k是自由度。到此假設(shè)檢驗(yàn)的基本工作基本上做好了，需要指出的是，統(tǒng)計(jì)量的設(shè)計(jì)一方面是把特殊的分布函數(shù)轉(zhuǎn)化成標(biāo)準(zhǔn)的分布形式，另一方面把需要檢驗(yàn)的對(duì)象同時(shí)也明確起來(lái)了。上面統(tǒng)計(jì)量分子正好反映了我們檢驗(yàn)的意義。在“假設(shè)檢驗(yàn)”的實(shí)際應(yīng)用中，一個(gè)十分重要的問(wèn)題是如何確定總體意義上的，的值。我們知道“總體”概念說(shuō)到底只是一個(gè)設(shè)想，一個(gè)信念而已，我們不可能知道，的具體值，但我們又要依據(jù)，具體值才能判斷或檢驗(yàn)，是否是可接受的或誤差不大。這個(gè)問(wèn)題或矛盾怎么解決呢？這實(shí)際上是一個(gè)深刻的方法論問(wèn)題。簡(jiǎn)單地說(shuō)，我們只能用假設(shè)、或者具體地說(shuō)是用理論

12、假說(shuō)的數(shù)量結(jié)論來(lái)替代，的具體值，也就是“假設(shè)檢驗(yàn)”方法中作出“零假設(shè)”的主要依據(jù)；當(dāng)然在把回歸模型作為預(yù)測(cè)用途時(shí)，也可以把其他主觀或經(jīng)驗(yàn)的判斷作為“零假設(shè)”的依據(jù)。這樣我們就可看到，所謂“假設(shè)檢驗(yàn)”中原來(lái)希望檢驗(yàn)，與 ，之間差異的想法或思路，已經(jīng)轉(zhuǎn)變?yōu)闄z驗(yàn)，是否與理論假說(shuō)或其他主觀判斷和經(jīng)驗(yàn)相符。這一轉(zhuǎn)變是深刻的和巨大的，這里，已變成了檢驗(yàn)的標(biāo)準(zhǔn)，由被動(dòng)變?yōu)橹鲃?dòng)，而理論假說(shuō)或其他主觀判斷則變成了被檢驗(yàn)對(duì)象。這一轉(zhuǎn)變所說(shuō)明是問(wèn)題是很多的、深刻的，應(yīng)該好好認(rèn)識(shí)和體會(huì)?！凹僭O(shè)檢驗(yàn)”的具體過(guò)程（例子）：略3、總體參數(shù)，置信區(qū)間的估計(jì)通過(guò)“假設(shè)檢驗(yàn)”方法或顯著性檢驗(yàn)，雖然證實(shí)了估計(jì)值，的顯著性，但還沒(méi)有

13、說(shuō)明它們就完全正確估計(jì)了真實(shí)總體參數(shù)，至多只能說(shuō)明，是它們的一種可能的值，其它更多的可能性顯然是存在的，或許其它的值更好或更合適，因?yàn)?，只是?lái)自一組樣本的估計(jì)結(jié)果。因此，為了確定，是怎樣接近真實(shí)總體的參數(shù)，我們期望構(gòu)造一個(gè)區(qū)間來(lái)具體加以說(shuō)明，亦即建立一個(gè)圍繞估計(jì)值，的一定限制范圍，來(lái)推斷總體參數(shù)，在一定置信度下落在此區(qū)間。所謂置信（或稱(chēng)置信水平）度實(shí)際上與顯著性的意義類(lèi)似，只是數(shù)量的大小相反而已。例如，對(duì)于的T統(tǒng)計(jì)量，有 =t（n-k）先確定其置信度如95%和自由度（n-k），然后通過(guò)t分布表找出臨界值的值。則我們有 即 所以，置信度是95%的置信區(qū)間為 我們可以看出，置信區(qū)間的長(zhǎng)度與置信度的

14、大小是密切相關(guān)的，其長(zhǎng)度與置信度的大小是成正比的。這種關(guān)系也是值得思考的。3·6、預(yù)測(cè)值問(wèn)題的分析 所謂預(yù)測(cè)問(wèn)題就是對(duì)于已估計(jì)的計(jì)量經(jīng)濟(jì)學(xué)模型來(lái)說(shuō)，相對(duì)于一給定的X值，例如，其預(yù)測(cè)值的性質(zhì)和效果如何?再來(lái)回顧一下我們建立回歸模型的過(guò)程及其性質(zhì)。根據(jù)最小二乘法我們從樣本模型 找到了它的回歸直線(xiàn)我們已對(duì) ，作了檢驗(yàn)并通過(guò)后，應(yīng)該可以根據(jù)上式來(lái)進(jìn)行預(yù)測(cè)了，亦即對(duì)于，可得到，亦即我們要具體考察性質(zhì)，實(shí)際上主要是分析它的誤差性質(zhì)，我們可以通過(guò)不同角度的分析來(lái)進(jìn)行。我們可以從兩種角度來(lái)看待的誤差。一是把看成是總體回歸線(xiàn)（即）的估計(jì)值；二是把看成是（即）的估計(jì)值。下面來(lái)具體分析：（1）如果把看成是

15、總體回歸線(xiàn)即的近似值，則有什么樣的性質(zhì)呢。首先可以證明的是是的無(wú)偏估計(jì)?，F(xiàn)證明如下： 然后，我們來(lái)看看 方差的性質(zhì)和具體形式： （具體計(jì)算過(guò)程參看4344頁(yè)）從方差的計(jì)算結(jié)果可看出，如果離樣本觀測(cè)值的距離越大，則的方差也就越大。這實(shí)際上說(shuō)明回歸的基本思想實(shí)際上是歸納的思路，亦即我們的不能脫離樣本或經(jīng)驗(yàn)的范圍太遠(yuǎn)，否則模型的預(yù)測(cè)值的方差將增大，預(yù)測(cè)將將變得更加不可靠。這個(gè)結(jié)果也許使我們對(duì)歸納法及思想的局限性或存在的問(wèn)題有了一個(gè)數(shù)學(xué)上的解釋。同時(shí)這個(gè)結(jié)果也把回歸模型預(yù)測(cè)的類(lèi)型分為兩類(lèi)，第一類(lèi)稱(chēng)之為“內(nèi)插檢驗(yàn)”亦即這時(shí)的必須在樣本所限定的區(qū)間內(nèi)，言外之意是對(duì)經(jīng)驗(yàn)之內(nèi)的情況，回歸模型的預(yù)測(cè)效果是比較可

16、靠的。第二類(lèi)稱(chēng)之為“外推預(yù)測(cè)”，這時(shí)的是在樣本區(qū)間的外面，這時(shí)的預(yù)測(cè)值的誤差方差顯然是較大的，亦即“外推預(yù)測(cè)”是十分不可靠的。（2）如果把看作真正總體或的預(yù)測(cè)估計(jì)值，其性質(zhì)和結(jié)果又會(huì)什么變化呢？這里要注意的是，這時(shí)不僅可能有抽樣誤差的存在，而且還可能由隨機(jī)項(xiàng)而引起隨機(jī)誤差的出現(xiàn)，它們將使得不同于。下面我們來(lái)具體看看這種情況下的期望值和方差： 對(duì)于給定的，有 則 取其期望值，則有 這個(gè)結(jié)論是否與上面的情形是一樣的呢？是否能說(shuō)是的無(wú)偏估計(jì)呢？看來(lái)是有問(wèn)題的，其問(wèn)題的關(guān)鍵是是什么？是一個(gè)隨機(jī)變量？還是一個(gè)確定的值？不同的理解就會(huì)有不同的結(jié)論。再來(lái)看看此時(shí)的方差又有什么變化： =從上面的結(jié)果可清楚看出

17、，總體的與樣本的估計(jì)值之間的方差，要比與總體回歸線(xiàn)的方差大，準(zhǔn)確地說(shuō)大。這是一個(gè)十分重要的結(jié)論，可具體表示為 預(yù)測(cè)誤差的方差=抽樣誤差的方差+隨機(jī)誤差項(xiàng)的方差這個(gè)結(jié)論表明，人為降低預(yù)測(cè)誤差只能在抽樣誤差的方差方面作出努力，而其存在的隨機(jī)誤差是無(wú)法避免或改變的。通過(guò)上面的討論和計(jì)算，我們就可以進(jìn)一步對(duì)進(jìn)行顯著性檢驗(yàn)和計(jì)算其置信區(qū)間。下面只介紹T統(tǒng)計(jì)量檢驗(yàn)的情形，對(duì)于構(gòu)造的T統(tǒng)計(jì)量為 t（n-k） 具有n-k個(gè)自由度具體的檢驗(yàn)過(guò)程和置信區(qū)間的推導(dǎo)過(guò)程這里就省略了。值得指出地是，在進(jìn)行用于預(yù)測(cè)值的檢驗(yàn)時(shí)，與前面的假設(shè)檢驗(yàn)是有較大區(qū)別的，這里需要關(guān)心的不是理論的假說(shuō)結(jié)果，而是回歸模型預(yù)測(cè)值的具體精度，是精度而不是數(shù)量的性質(zhì)，亦即是量而不是質(zhì)的問(wèn)題。第三章 作業(yè)1、 知下列數(shù)據(jù)：有關(guān)英國(guó)車(chē)禍次數(shù)與有執(zhí)照汽車(chē)數(shù)的數(shù)據(jù) 年份： 1947 48 49 50 51 52 53 5 4 55 56 57車(chē)禍