傳統(tǒng)觀點下的多元線性回歸模型回顧

1、Ch1.傳統(tǒng)觀點下的多元線性回歸模型回顧1. 問題的提出我們認為，要關(guān)注的結(jié)果與個因素有關(guān)，。（其中是截距項，一個量綱標準化的單位指標。）例如：已婚工作婦女的工資（log wage）與工作經(jīng)驗（exper）、工作經(jīng)驗的外在性作用（）、受教育程度（educ）、該婦女的年紀（age）、家庭少于6個孩子（kidslt6）以及家庭中孩子至少6歲以上的個數(shù)（kidage6）有關(guān)，并建立如下的模型：對上述模型，我們做如下說明：a. 關(guān)于命題：1. 要關(guān)注的結(jié)果：已婚工作婦女的工資。2. 影響結(jié)果的因素：自身的經(jīng)驗、教育、年齡；和孩子的年齡與多少。注：1.結(jié)果與哪些因素有關(guān)不是絕對的，例如在中國影響工資的一

2、個重要因素是所在行業(yè)，另外社會關(guān)系也是不可忽視的，等等。命題與你的目的和知識相關(guān)，并且命題要求表述得越清楚越好。b. 關(guān)于模型：模型是命題的數(shù)學表達，是命題的深化、細化和抽象化。從命題到模型是一個不斷提煉的過程。建立一個“好”的模型，取決于我們對命題認識的深入程度和相關(guān)知識的儲備。一般而言，多元線性回歸模型的基本框架是：假設(shè)與有因果關(guān)系。如果觀測的數(shù)據(jù)來源是：，且存在單調(diào)連續(xù)函數(shù)，使得：，。那么，定義多元線性回歸模型：。即：，稱是關(guān)于未知參數(shù)的多元線性回歸模型。這里是隨機誤差項，稱為解釋變量，是確定性變量。稱為因變量或被解釋變量。線性模型的類型主要有：1) 多項式模型：或例如，庫茲涅茨倒U形曲

3、線和拉弗曲線等。2) 對數(shù)線性模型：（增長率之間存在因果關(guān)系，例如生產(chǎn)函數(shù)。）3) 倒數(shù)線性模型：或（因果呈反向關(guān)系，如菲利普斯曲線）4) 指數(shù)線性模型：（原因是影響增長率的因素，例如上例）5) Logit線性模型：（因果呈慢，快，慢的變化趨勢，并有飽和）如圖：6) 虛擬變量（Dummy Variable）模型：解釋變量中有些變量變化是“不均勻”的，觀測數(shù)據(jù)在不同時段或不同地區(qū)不同行業(yè)或不同政策等之下有明顯不同的特點。在散點圖上，表現(xiàn)為某個解釋變量或整體上與因變量有跳躍或轉(zhuǎn)折現(xiàn)象。如圖：解決辦法是引入虛擬變量。設(shè)D是虛擬變量，則D描寫的是一種狀態(tài)，只取1或0為值。1表示受到某種因素影響，0表示

4、沒有受到影響。例如：中，截距受到影響，D對Y有整體影響。又，中，的斜率受到了影響，即D對的影響導致對Y的影響，影響斜率。例如，在上例中對已婚婦女的工資可引入行業(yè)的虛擬變量。1國有企業(yè)，0 非國有企業(yè)。注：1。如果的影響是時間特征，則不宜采用虛擬變量。且虛擬變量不宜大量采用。2經(jīng)過變換后的數(shù)據(jù)，參數(shù)的含義是不一樣的。例如，就是增長率變化的邊際效果，又如果，則就是彈性系數(shù)。3模型設(shè)定是一個非常“藝術(shù)”化的東西，準確的設(shè)定模型，合理的選擇變量，能使模型反映的經(jīng)濟意義更細致、更明顯、解釋力更直接。這是一門需要在實踐中不斷摸索和積累的“藝術(shù)”。以后，我們總假定從命題到模型可以標準化為如下形式，簡稱為基本

5、模型：2. 傳統(tǒng)觀點下基本模型的假定基本模型是因果關(guān)系最簡單的量化表述。形式上它由兩部分構(gòu)成，一部分是確定性關(guān)系，由表達；另一部分是不確定性關(guān)系，由表達。其中是未知參數(shù)，在不同的模型假定中有不同的內(nèi)在含義。一般，指的是因素對結(jié)果的邊際貢獻，沒有特定的經(jīng)濟含義。關(guān)于解釋變量，傳統(tǒng)觀點假定是確定性的變量，而且對的觀測是準確的，對沒有任何隨機性影響。因此，任何兩個或多個解釋變量之間沒有線性相關(guān)關(guān)系，且解釋變量和誤差項也沒有線性相關(guān)關(guān)系。這種傳統(tǒng)觀點蘊含著對解釋變量是可控的，甚至樣本的觀測也可是預先已知的。因此，沒有必要考慮估計和檢驗的漸近性質(zhì)。假設(shè)我們可以對觀測N次，把所有觀測排成一個矩陣（加上常數(shù)

6、截距項）。稱為觀測矩陣。那么，傳統(tǒng)觀點假定，秩，即列滿秩。且。注：列滿秩不意味且不意味它們就沒有其它的非線性關(guān)系。又因為是任意正整數(shù)，以后任意與任意不加區(qū)分。關(guān)于誤差項，隨機并不是全部無知，這里隨機項反映的是環(huán)境和各種不可預料的因素對產(chǎn)生的影響。因為解釋變量是可控的，可以認為隨機誤差不影響，且對的影響是一個小量。又模型一般設(shè)定有中心化常數(shù)項，各種不可控的水平（平均）影響都可放到常數(shù)項上。故可設(shè)，,一般情況下是未知的。傳統(tǒng)觀點進一步假定，。所以抽樣后服從多元正態(tài)分布，。關(guān)于樣本統(tǒng)計量，對解釋變量進行N次觀測得到的值就是樣本。的的抽取傳統(tǒng)觀點假定是獨立的，而事實上在許多情況下，獨立性往往辦不到，樣

7、本有時有群集效應、層次效應、串效應，有時為了某種特殊目的會有意識的選擇相關(guān)的樣本，等等。這些特殊樣本的問題正是計量經(jīng)濟學要面對的問題，數(shù)據(jù)是什么樣就是什么樣，是不能隨意假定的。我們將從第二章開始在現(xiàn)代觀點下介紹處理各種特殊樣本的方法。顯然，抽取的樣本越多，與的關(guān)系表現(xiàn)得就越明顯。但是若不對樣本進行整理加工，大量數(shù)據(jù)的堆積并不能看出與之間的因果關(guān)系。我們需要對樣本做一些加工，提煉出某些有用的信息，這些信息稱為樣本統(tǒng)計量或樣本函數(shù)。下面是一些直接常用的樣本統(tǒng)計量。給樣本值，定義：（1）樣本均值（2）樣本方差（標準差的平方）（3）樣本協(xié)方差樣本相關(guān)系數(shù)（4）樣本k階矩（5）樣本k階中心矩（6）樣本順

8、序統(tǒng)計量和極差統(tǒng)計量（7）偏度（8）峰度（9）中位數(shù) n為偶數(shù)，或 n為奇數(shù)隨著問題的不斷深化，特別在假設(shè)檢驗中，我們將引入更多的樣本統(tǒng)計量。最后，簡單提一下有關(guān)樣本大數(shù)定律和幾個重要分布。如果和分別是取自母體的獨立樣本，那么當，由大數(shù)律，等等。三個與正態(tài)樣本相關(guān)的統(tǒng)計分布是：1）分布獨立，則；2）分布且兩者獨立，則；3）分布且兩者獨立，則。3. 基本模型下的基本問題多元線性回歸模型的任務(wù)是：通過樣本，1）給出未知參數(shù)和的估計；2）給出有關(guān)及其相關(guān)線性組合和方差的統(tǒng)計檢驗。1.估計問題的提法任意取定觀測矩陣和因變量觀測值，設(shè)為樣本的函數(shù)。稱為的擬合值，為殘差值（殘差向量），為殘差平方和。問題的

9、提法是什么樣的樣本函數(shù)能使得殘差平方和最??？即？（注：也用SSR表示殘差平方和）2.的求解這是一個多元函數(shù)求極值的問題。欲使RSS極小，則一階條件是：。是一個對稱矩陣，且。，是正定矩陣。(為什么？）?？赡?，。稱其為的普通最小二乘估計，記成。注：用樣本函數(shù)擬合，使殘差平方和最小只是一種標準，它的直觀意義是明顯的。但我們也可以選擇另外一種標準，如使殘差絕對值的和最小，即：，求。從技術(shù)上講，我們還可以找一個多項式，把所有樣本光滑的連接起來。但是這個多項式的系數(shù)就沒有太多的經(jīng)濟意義。例如給樣本則存在次多項式使得。真正有意義的擬合和評價標準是建立在概率統(tǒng)計意義上的，有許多好的統(tǒng)計性質(zhì)。3.的統(tǒng)計性質(zhì)（1

10、），根據(jù)正態(tài)分布的線性變換定理：，則。由，故得：。是的無偏估計，且是的線性函數(shù)，服從正態(tài)分布。（2）記，則。對，設(shè)，則代表了的任一線性估計。改寫，那么，。如果考慮讓是的無偏線性估計量，則必須有，對于所有真值都成立。其充要條件是。因此滿足，就代表了的任一線性無偏估計量。，故。注意到是一個半正定矩陣，所以主對角線上元素。當且僅當時，方差最小。（其中是中對角線上第個元素）這就是說，在真值的所有線性無偏估計類中，具有最小方差屬性，即是有效的。綜上所述，是無偏線性估計類中的有效估計。（此稱為高斯馬爾科夫定理）注：1.對有偏的估計類，不一定是有效的。如存在多重共線性，又不能剔除解釋變量，常采用嶺回歸，犧牲

11、無偏性提高有效性。2.除了無偏性、有效性外，還有一致性、穩(wěn)健性等許多其他有統(tǒng)計意義的標準。在不同模型和要求下有特殊的意義。傳統(tǒng)觀點由于樣本固定，一般不考慮一致性。這是與現(xiàn)代觀點最大的區(qū)別。3的極大似然估計在基本模型假定下就是。（習題）4.的無偏估計及統(tǒng)計性質(zhì)我們用命題的形式陳述有關(guān)未知參數(shù)的估計和性質(zhì)，已備后用。命題1：是未知方差的一個無偏估計。又稱為標準差。證明：（）容易驗證，且。是一個對稱冪等矩陣。有性質(zhì)，特征根為0或1。命題1得證。命題2：服從自由度為的分布。證明：由命題1知，。對稱冪等，。的特征根1的個數(shù)為。又為實對稱陣的，必可正交對角化，存在正交矩陣，使得成立。令則。獨立服從標準正態(tài)

12、分布。這是個獨立標準正態(tài)分布之平方和。由分布的定義，。命題2得證。命題3：與的分布獨立。證明：，。與都是的線性函數(shù)，故和都服從正態(tài)分布。由多元正態(tài)分布的性質(zhì)知，和相互獨立當且僅當。事實上，與獨立。又是的連續(xù)函數(shù)，與獨立。命題3得證。把前述內(nèi)容用框圖示意如下：4. 關(guān)于假設(shè)檢驗模型中有大量的假定，這些假定是否合理？這些假定包括，變量的選擇是否合理，隨機誤差的設(shè)定是否恰當，還有變量與誤差不相關(guān)是否成立？等等。我們可以把這些假定歸結(jié)為一些對未知參數(shù)的判斷，如果這些判斷基本正確或錯誤，那么從數(shù)據(jù)中就能夠反映出來。假設(shè)檢驗是估計完成后對模型的設(shè)定做進一步的確認。拒絕原假設(shè)，意味著命題真時犯錯誤的可能性可

13、控制在一定的范圍內(nèi)。請看例：例：假定，觀測樣本為。，。令，用估計，并構(gòu)造樣本統(tǒng)計量。有。如果命題為真，則。查表得。當拒絕，認為不對，否則不能拒絕。進一步，未知。同樣用估計，估計。如何構(gòu)造統(tǒng)計量？所以，若命題真，則統(tǒng)計量。查表得臨界值。當時，拒絕，否則不能拒絕。1假設(shè)檢驗問題的一般提法：從上例，我們得到一般的啟示是，對模型中的某一假設(shè)給出一個假設(shè)命題，在一定條件下命題可轉(zhuǎn)化為對模型中某些未知參數(shù)的推斷，對的回答是拒絕或不能拒絕。這都有可能判斷失誤。有二種情況：1）真，拒絕。犯第一類錯誤“去真”；2）假，接受。犯第二類錯誤“存?zhèn)巍?。奈克皮爾遜定理說明，給定樣本容量，不可能同時保證犯兩類錯誤都充分小

14、。即任何檢驗方法，若要降低犯第一類錯誤的概率就會增加犯第二類錯誤的概率，除非增加樣本容量。顯著性檢驗的提法：給定一個，稱為顯著性水平，通常是一個小概率或等。檢驗的目標是把犯第一類錯誤的概率控制在以下，而不考慮犯第二類錯誤概率的大小。顯著性檢驗的直觀含義是：我們只關(guān)注命題真時，控制少犯拒絕的錯誤，而命題假時接受了產(chǎn)生的后果并不嚴重。例如，基本模型中，假設(shè)檢驗，命題即使是假的，接受了后果并不嚴重，因為此時一定很小，近似的看成零對模型沒有太大影響。但是，當某些命題犯第二類錯誤后果很嚴重時，顯著性檢驗就不適用了。例如，偽回歸，回歸效果非常好且顯著性檢驗也沒有問題，如數(shù)據(jù)存在測量誤差，或誤差項是單位根過

15、程，但其實這是一個錯誤的回歸。所以當回歸效果特別好時，要進一步考慮檢驗的勢V，V是假時拒絕的概率，即V=犯第二類錯誤的概率。如果V的值很小，說明犯第二類錯誤的可能性很大，設(shè)定的命題很可能是不真的。但是要確定V必須要對被擇命題給出確定的范圍，這很麻煩。一般的原則是，檢驗效果非常好，但與實際情況明顯抵觸，干脆不用，除非特別需要。又，顯著性檢驗的另一個補充是檢驗的值。值度量的是犯第一類錯誤的概率，即。因此，值越大，錯誤的拒絕的可能性越大，故應當接受。值越小，拒絕時就越放心。一般值超過，我們一般不能拒絕。值與顯著性檢驗的關(guān)系是不能拒絕，拒絕。例如，給定，但那么我們有充分的信心拒絕。顯著性檢驗的一般步驟

16、：提出原假設(shè)和備擇假設(shè)，給出顯著性水平，依據(jù)命題和模型中得到的未知參數(shù)的估計和構(gòu)造樣本統(tǒng)計量。且當命題真時，可得到的統(tǒng)計分布（或漸近分布）。通過分布查表或計算得到臨界值，最后根據(jù)取樣后計算的統(tǒng)計值與比較大小判斷拒絕還是不能拒絕，相應的給出值作為判斷的補充。所以，假設(shè)檢驗問題的關(guān)鍵是：1） 根據(jù)問題巧妙建立模型，恰當提出假設(shè)命題；2） 尋求樣本統(tǒng)計量，給出命題真時的統(tǒng)計分布或漸近分布。其實，假設(shè)檢驗的思想很簡單，困難在于找到合適的樣本統(tǒng)計量在命題真時的統(tǒng)計分布。一般情況下，假設(shè)檢驗的命題常常歸結(jié)為某個參數(shù)為零或部分參數(shù)為零的檢驗或未知參數(shù)線性組合的檢驗。此時，我們就可以直接應用數(shù)理統(tǒng)計中的結(jié)論。

17、2.基本模型下的假設(shè)檢驗1）的單參數(shù)檢驗是否可以解釋的變化，或者說它們是不是的原因？相應的假設(shè)檢驗命題是：。（為截距項的參數(shù)。），其中是中對角線上第個元素。假設(shè)命題真，則。但是未知，這還不是一個樣本統(tǒng)計量。又知，且與獨立，。由t分布的定義服從自由度為的分布。記稱為的標準差，則。給顯著性水平，查表得臨界值。則就拒絕，否則不能拒絕。拒絕意味著在統(tǒng)計意義上可解釋的變化，稱統(tǒng)計顯著。注：1. 檢驗是基本模型必須進行的檢驗。不能拒絕意味著作為解釋的原因?qū)嶋H意義不大；但拒絕并不意味著作為解釋的原因意義一定就大，尤其值較小時，即但接近，需要作進一步的分析。2. 單參數(shù)假設(shè)檢驗與區(qū)間估計是聯(lián)系在一起的。不能拒

18、絕的概率含義是：。即，的概率為。稱此為置信區(qū)間。所以，的標準差越大，越容易接受，但估計精度卻降低。同時，注意到，如果未知方差是已知的，由分布的尖峰胖尾性質(zhì)，故臨界值比方差已知時要更遠離0點些，更容易被接受。這說明，信息越多（方差已知），滿足命題的要求越嚴。例如，已知和估計比較，估計命題更難被拒絕。2）的整體性檢驗每個統(tǒng)計顯著，并不意味著整體上對的影響顯著。某些的作用有可能相互抵消。于是我們需要檢驗，至少有某一不為零?；?，至少有某一不為零。即整體參數(shù)為0和部分參數(shù)為0的檢驗。還有，某些參數(shù)要滿足一定的制約關(guān)系。例如，生產(chǎn)函數(shù)一次齊次假定：。我們需要檢驗，等等。我們可以把上述的檢驗統(tǒng)一歸結(jié)為有關(guān)判

19、斷未知參數(shù)的線性方程組的形式：。其中是一個矩陣，是向量。例如推斷，相應的。又如推斷，則相應的（）等等。注：未知參數(shù)的非線性推斷和有關(guān)未知方差的推斷不在討論之列。如推斷等等。問題：如何檢驗？顯然，采用檢驗的方法不行了，依假設(shè)檢驗問題的提法，我們需要找到當命題真時的樣本統(tǒng)計量及其分布。從假設(shè)檢驗的理論知，要對進行檢驗，先要對有一個估計。自然，用估計。，由正態(tài)隨機變量線性變換定理，。命題4：的二次型服從自由度為的分布。我們一般的證明，則。，正定。且可逆。服從標準正態(tài)分布，且分量獨立。將代入立得的二次型服從自由度為的分布。的分布盡管已知，但含有未知參數(shù)，故還不能成為樣本統(tǒng)計量。注意到命題2，服從自由度

20、為的分布。故與都服從分布。若它們彼此獨立，由分布的定義，我們就可以得到一個重要的統(tǒng)計量：。命題5：的二次型與相互獨立。證明：，其中。又知。只要證與相互獨立。又由于與服從正態(tài)分布，只要證。事實上，。命題5得證。3.的統(tǒng)計意義假設(shè)檢驗，如果命題真，那么模型的實質(zhì)就是：，于是方法在命題真下的實質(zhì)是：。我們知道，在無約束條件下的估計為，那么有約束條件下的估計是什么？采用拉格朗日乘子法：。，代入到中，得：，。為約束條件下的殘差向量，為約束條件下的殘差平方和。（注意：），又注意到統(tǒng)計量的表達式，。再由命題4，最后得：。所以，統(tǒng)計量的統(tǒng)計意義是：命題6：有線性約束條件下的與無約束條件下的的殘差平方和所構(gòu)成的

21、殘差形式的樣本函數(shù)服從分布：。特別，當約束條件為。意即所選解釋變量整體與沒有因果關(guān)系。那么，原模型實質(zhì)變成：，。，。這就得到了傳統(tǒng)的擬合優(yōu)度（決定系數(shù)）與統(tǒng)計量的關(guān)系?？梢钥闯?，是的增函數(shù)，是的減函數(shù)，且。所以，大致反映了原因整體上能否解釋結(jié)果。一般來講，一個多元回歸模型可以標準化為：，（有含時數(shù)據(jù)時用于檢驗序列相關(guān)性。）。注：假設(shè)檢驗通過，即每個都統(tǒng)計顯著，且并不能說明這就是一個好的回歸模型。甚至有可能是偽回歸。（犯第二類錯誤概率很大）但若某些統(tǒng)計不顯著，或統(tǒng)計量偏小，DW值不接近2，那么這個回歸模型肯定有問題。（通俗地說，“發(fā)燒”肯定病了，“不發(fā)燒”不一定就沒有毛病。）4.檢驗的應用檢驗有

22、廣泛的應用。這里僅舉幾例：1）參數(shù)的穩(wěn)定性檢驗設(shè)同一模型，有兩組獨立不同的觀測：設(shè)有N次觀測；設(shè)有M次觀測。問：不同的獨立觀測對參數(shù)的估計是否有影響？即，原因?qū)Y(jié)果的定量關(guān)系是否穩(wěn)定。相應的假設(shè)檢驗問題是：即（），至少有一個。如何檢驗？構(gòu)造模型，令，得到，取，則，且。得統(tǒng)計量：。這里是，。知：給水平，查表得，當不能拒絕，表示原因?qū)Y(jié)果的定量關(guān)系是穩(wěn)定的。于是，可以將兩次獨立觀測聯(lián)合起來，構(gòu)成更大的樣本觀測矩陣，從而得到更精確的估計。拒絕，說明兩組觀測有差異。我們在后面的面板數(shù)據(jù)中討論。特別，如果設(shè)定模型為：有次觀測；有次觀測。構(gòu)造。得。至少有某一。適當選取和，做檢驗。這就是單因素方差分析的內(nèi)容

23、。不能拒絕意味著因素不同水平對結(jié)果沒有顯著影響，拒絕意味著至少有一個水平對結(jié)果有顯著性影響。2）異常點的檢驗模型中，如果殘差向量有某些分量的殘差與其它的分量相比相差很大，我們就稱觀測為異常點（觀測）。如何檢驗數(shù)據(jù)是否異常？分析：如果認為殘差很大，那么就有理由認為模型設(shè)定不對，也就是。故設(shè)：表示中的第行，是常數(shù)，意味著測量中其他因素造成的一種實質(zhì)性的偏離。將和按行進行適當?shù)呐帕?，可以?gòu)造模型：。要判斷是不是數(shù)據(jù)異常點，相應的假設(shè)檢驗就是：。這就歸結(jié)為模型中的系數(shù)部分為零的檢驗問題。故采用檢驗。這里，的自由度？請學生自己考慮。但這里更方便的辦法是：（1） 對做得和（2） 對做得和然后采用統(tǒng)計量的殘

24、差平方和形式，做檢驗。注：1.一般異常點的數(shù)據(jù)量不宜太大，新構(gòu)造模型的實質(zhì)是把被懷疑的觀測部分作為虛擬變量處理。2.拒絕，認為是異常點還要具體問題具體分析。此時要特別細心，善于從差異中找到問題的原因所在。3）模型設(shè)定的偏誤檢驗建立模型時，如果加入了不必要的解釋變量，可以直接通過檢驗和檢驗將它們排除。但是，模型中一些該引入而沒有引入的解釋變量如何知道？辦法是，加入一個或一些“替代變量”到模型中去。如果這些替代變量可以通過檢驗和檢驗，則可判斷該模型遺漏了某些解釋變量，稱為RESET檢驗?！疤娲兞俊币话氵x擇的擬合值的非線性多項式或其它函數(shù)形式。這可以通過殘差與的散點圖來大致判定。例如：建立模型為如果參數(shù)和能通過檢驗和檢驗。則說明模型遺漏了某些應加入的解釋變量。這是因為、等與肯定是線性無關(guān)的。注，RESET檢驗僅是能判斷遺漏了某些解釋變量，并不知道遺漏了什么解釋變量。4）格蘭杰因果關(guān)系檢驗如果和是時間序列數(shù)據(jù)，那么兩個因素的因果關(guān)系邏輯上只有四種：（1）是的原因，且不是的原因。（2）是的原因，且不是的原因。（3），互為原因。（4），沒有因果關(guān)系。分析：因果關(guān)系在時間上有前后關(guān)系。所以，如果命題（1）真，那么的變化應當發(fā)生在的變化之前。所以，把過去發(fā)生的值加入到回歸模型中將有助于顯著的增加回歸的解釋能力。且的增加不應當有助于解釋。其他亦如此。設(shè)和的時間