計(jì)量經(jīng)濟(jì)學(xué)講義第一講共十講

1、.PAGE .第一講 普通最小二乘法的代數(shù)問題假定y與x具有近似的線性關(guān)系：,其中是隨機(jī)誤差項(xiàng)。我們對(duì)這兩個(gè)參數(shù)的值一無所知。我們的任務(wù)是利用樣本數(shù)據(jù)去猜測(cè)的取值?，F(xiàn)在,我們手中就有一個(gè)樣本容量為N的樣本,其觀測(cè)值是：。問題是,如何利用該樣本來猜測(cè)的取值？為了回答上述問題,我們可以首先畫出這些觀察值的散點(diǎn)圖橫軸x,縱軸y。既然y與x具有近似的線性關(guān)系,那么我們就在圖中擬合一條直線：。該直線是對(duì)y與x的真實(shí)關(guān)系的近似,而分別是對(duì)的猜測(cè)估計(jì)。問題是,如何確定與,以使我們的猜測(cè)看起來是合理的呢？筆記：1、為什么要假定y與x的關(guān)系是呢？一種合理的解釋是,某一經(jīng)濟(jì)學(xué)理論認(rèn)為x與y具有線性的因果關(guān)系。該理

2、論在討論x與y的關(guān)系時(shí)認(rèn)為影響y的其他因素是不重要的,這些因素對(duì)y的影響即為模型中的誤差項(xiàng)。2、被稱為總體回歸模型。由該模型有：。既然代表其他不重要因素對(duì)y的影響,因此標(biāo)準(zhǔn)假定是：。故進(jìn)而有：,這被稱為總體回歸方程函數(shù),而相應(yīng)地被稱為樣本回歸方程。由樣本回歸方程確定的與是有差異的,被稱為殘差。進(jìn)而有：,這被稱為樣本回歸模型。兩種思考方法法一：與是N維空間的兩點(diǎn),與的選擇應(yīng)該是這兩點(diǎn)的距離最短。這可以歸結(jié)為求解一個(gè)數(shù)學(xué)問題：由于是殘差的定義,因此上述獲得與的方法即是與的值應(yīng)該使殘差平方和最小。法二：給定,看起來與越近越好最近距離是0。然而,當(dāng)你選擇擬合直線使得與是相當(dāng)近的時(shí)候,與的距離也許變遠(yuǎn)了

3、,因此存在一個(gè)權(quán)衡。一種簡(jiǎn)單的權(quán)衡方式是,給定,擬合直線的選擇應(yīng)該使與、與、.、與的距離的平均值是最小的。距離是一個(gè)絕對(duì)值,數(shù)學(xué)處理較為麻煩,因此,我們把第二種思考方法轉(zhuǎn)化求解數(shù)學(xué)問題：由于N為常數(shù),因此法一與法二對(duì)于求解與的值是無差異的。求解定義,利用一階條件,有：由1也有：在這里、筆記：這表明：1、樣本回歸函數(shù)過點(diǎn),即穿過數(shù)據(jù)集的中心位置；2、你能證明嗎？,這意味著,盡管的取值不能保證,但的取值能夠保證的平均值與的平均值相等；3、雖然不能保證每一個(gè)殘差都為0,但我們可以保證殘差的平均值為0。從直覺上看,作為對(duì)的一個(gè)良好的猜測(cè),它們應(yīng)該滿足這樣的性質(zhì)。筆記：對(duì)于簡(jiǎn)單線性回歸模型：,在OLS法

4、下,由正規(guī)方程1可知,殘差之和為零注意：只有擬合直線帶有截距時(shí)才存在正規(guī)方程1。由正規(guī)方程2,并結(jié)合正規(guī)方程1有：無論用何種估計(jì)方法,我們都希望殘差所包含的信息價(jià)值很小,如果殘差還含有大量的信息價(jià)值,那么該估計(jì)方法是需要改進(jìn)的！對(duì)模型利用OLS,我們能保證1：殘差均值為零；2殘差與解釋變量x不相關(guān)一個(gè)變量與另一個(gè)變量相關(guān)是一個(gè)重要的信息。方程1與2被稱為正規(guī)方程,把帶入2,有：上述獲得的方法就是普通最小二乘法OLS。練習(xí)：1驗(yàn)證：提示：定義的離差為,則離差之和必為零。利用這個(gè)簡(jiǎn)單的代數(shù)性質(zhì),不難得到：筆記：定義y與x的樣本協(xié)方差、x的樣本方差分別為：,則。上述定義的樣本協(xié)方差及其樣本方差分別是

5、對(duì)總體協(xié)方差及其總體方差的有偏估計(jì)。相應(yīng)的無偏估計(jì)是：基于前述對(duì)與的定義,可以驗(yàn)證：其中a,b是常數(shù)。值得指出的是,在本講義中,在沒有引起混淆的情況下,我們有時(shí)也用、來表示總體方差與協(xié)方差,不過上述公式同樣成立。2假定,用OLS法擬合一個(gè)過原點(diǎn)的直線：,求證在OLS法下有：并驗(yàn)證：筆記：1、現(xiàn)在只有一個(gè)正規(guī)方程,該正規(guī)方程同樣表明。然而,由于模型無截距,因此在OLS法下我們不能保證恒成立。所以,盡管成立,但現(xiàn)在該式并不意味著成立。2、無截距回歸公式的一個(gè)應(yīng)用：定義、,則。按照OLS無截距回歸公式,有：3假定,用OLS法擬合一水平直線,即：,求證。筆記：證明上式有兩種思路,一種思路是求解一個(gè)最優(yōu)

6、化問題,我們所獲得的一個(gè)正規(guī)方程同樣是；另外一種思路是,模型是模型的特例,利用的結(jié)論,注意到此時(shí),因此同樣有。4對(duì)模型進(jìn)OLS估計(jì),證明殘差與樣本不相關(guān),即。擬合程度的判斷一方差分解及其R2的定義可以證明,。證明：方差表示一個(gè)變量波動(dòng)的信息。方差分解亦是信息分解。建立樣本回歸函數(shù)時(shí),從直覺上看,我們當(dāng)然希望關(guān)于的波動(dòng)信息能夠最大程度地體現(xiàn)關(guān)于的波動(dòng)信息。因此,我們定義判定系數(shù),顯然,。如果R2大,則的波動(dòng)信息就越能夠被的波動(dòng)信息所體現(xiàn)。R2也被稱為擬合優(yōu)度。當(dāng)時(shí),而殘差均值又為零,因此著各殘差必都為零,故樣本回歸直線與樣本數(shù)據(jù)完全擬合。二總平方和、解釋平方和與殘差平方和定義：其中TSS、ESS

7、、RSS分別被稱為總平方和、解釋平方和與殘差平方和。根據(jù)方差分解,必有：TSS=ESS+RSS。因此,三關(guān)于R2的基本結(jié)論1、R2也是與的樣本相關(guān)系數(shù)r的平方。證明：2、對(duì)于簡(jiǎn)單線性回歸模型：, R2是y與x的樣本相關(guān)系數(shù)的平方。證明：練習(xí)：1對(duì)于模型：,證明在OLS法下R2=0。2對(duì)于模型：,證明在OLS法警告！軟件包通常是利用公式,其中來計(jì)算R2。應(yīng)該注意到,我們?cè)诘玫浇Y(jié)論時(shí)利用了的性質(zhì),而該性質(zhì)只有在擬合直線帶有截距時(shí)才成立,因此,如果擬合直線無截距,則上述結(jié)論并不一定成立,因此,此時(shí)我們不能保證R2為一非負(fù)值?？偠灾?在利用R2時(shí),我們的模型一定要帶有截距。當(dāng)然,還有一個(gè)大前提,即我

8、們所采用的估計(jì)方法是OLS。自由度與調(diào)整的R2如果在模型中增加解釋變量,那么總的平方和不變,但殘差平方和至少不會(huì)增加,一般是減少的。為什么呢？舉一個(gè)例子。假如我們用OLS法得到的模型估計(jì)結(jié)果是：, 此時(shí),OLS法估計(jì)等價(jià)于求解最小化問題：令最后所獲得的目標(biāo)函數(shù)值也就是殘差平方和為RSS1?，F(xiàn)在考慮對(duì)該優(yōu)化問題施加約束：并求解,則得到目標(biāo)函數(shù)值RSS2。比較上述兩種情況,相對(duì)于RSS1, RSS2是局部最小。因此,RSS1小于或等于RSS2。應(yīng)該注意到,原優(yōu)化問題施加約束后對(duì)應(yīng)于模型估計(jì)結(jié)果：因此,如果單純依據(jù)R2標(biāo)準(zhǔn),我們應(yīng)該增加解釋變量以使模型擬合得更好。增加解釋變量將增加待估計(jì)的參數(shù),在樣

9、本容量有限的情況下,這并不一定是明智之舉。這涉及到自由度問題。什么叫自由度？假設(shè)變量x可以自由地取N個(gè)值,那么x的自由度就是N。然而,如果施加一個(gè)約束,為常數(shù),那么x的自由度就減少了,新的自由度就是N-1。考慮在樣本回歸直線下殘差的自由度問題。對(duì)殘差有多少約束？根據(jù)正規(guī)方程12,有：,因此存在兩個(gè)約束。故殘差的自由度是N-2。如果當(dāng)樣本回歸函數(shù)是：,則殘差的自由度為N-3。顯然,待估計(jì)的參數(shù)越多,則殘差的自由度越小。自由度過少會(huì)帶來什么問題？簡(jiǎn)單來說,自由度過少會(huì)使估計(jì)精度很低。例如,我們從總體中隨機(jī)抽取來計(jì)算以作總體均值的估計(jì),現(xiàn)在x的自由度是N,顯然N越大則以作為總體均值的估計(jì)越精確。 根

10、據(jù)正規(guī)方程,我們是通過殘差來獲得對(duì)參數(shù)的估計(jì),因此,殘差自由度過少意味著我們對(duì)參數(shù)的估計(jì)也是不精確的。筆記：舉一個(gè)極端的例子,對(duì)簡(jiǎn)單線性回歸模型,假定我們只有兩次觀測(cè)、。顯然,我們可以保證R2=1,即完全擬合。但我們得到的這個(gè)擬合直線很可能與y與x的真實(shí)關(guān)系相去甚遠(yuǎn),畢竟我們只有兩次觀測(cè)。事實(shí)上,此時(shí)殘差的自由度為0！我們經(jīng)常需要對(duì)估計(jì)方法進(jìn)行自由度調(diào)整。例如,當(dāng)利用公式來估計(jì)總體方差時(shí),我們實(shí)際上是對(duì)變量求樣本均值。然而應(yīng)該注意到,約束條件恒成立,這意味著變量的自由度是N-1而不是N?，F(xiàn)在對(duì)估計(jì)方法進(jìn)行自由度調(diào)整,利用作為對(duì)總體方差的估計(jì)。上述兩種估計(jì)具有什么不同的后果呢？可以證明,是有偏估

11、計(jì)而是無偏估計(jì)。筆記：什么叫有偏估計(jì)？如果我們無限次重復(fù)抽取樣本容量為N的樣本,針對(duì)每一個(gè)樣本都可以依據(jù)公式計(jì)算總體方差的一個(gè)估計(jì)值。然后,對(duì)這些方差的估計(jì)值計(jì)算平均值,如果該平均值不等于總體方差,那么我們就稱是對(duì)總體方差的一個(gè)有偏估計(jì)。抽象一點(diǎn),即。R2忽視了自由度調(diào)整,這由下面的推導(dǎo)可以看出：在這里,與都是對(duì)相應(yīng)總體方差的有偏估計(jì)?，F(xiàn)在我們對(duì)自由度作調(diào)整,重新定義一個(gè)指標(biāo),即所謂的調(diào)整的R2：應(yīng)該注意到,如果是針對(duì)多元線性回歸模型,待估計(jì)的斜率參數(shù)有k個(gè),另外還有1個(gè)截距即總的待估計(jì)系數(shù)參數(shù)的個(gè)數(shù)為k+1個(gè),那么上述公式就是：,且可能為負(fù)數(shù)。思考題：如果用增加解釋變量的方法來提高R2,這一

12、定會(huì)提高嗎？筆記：假設(shè)甲同學(xué)的回歸結(jié)果是,而乙同學(xué)的回歸結(jié)果是。甲同學(xué)足夠幸運(yùn),他獲得的確實(shí)比乙同學(xué)所獲得的高,但這是否就意味著,依據(jù)已有的樣本,甲同學(xué)所選取的模型就一定優(yōu)于乙同學(xué)所選取的呢？答案是不一定！。對(duì)模型的選取不能僅僅依靠這個(gè)指標(biāo),其他的因素應(yīng)該被考慮,例如,模型是否符合經(jīng)濟(jì)學(xué)理論,估計(jì)參數(shù)是否有符合預(yù)期的符號(hào),這些因素在模型選擇時(shí)都十分重要。另外一點(diǎn)也特別要引起重視,即被解釋變量不同的模型例如一個(gè)模型的被解釋變量是,而另一個(gè)模型其被解釋變量是其或者是不可比的?？偠灾?初學(xué)者要堅(jiān)決抵制僅僅依靠來進(jìn)行模型選擇的誘惑！簡(jiǎn)單線性回歸模型的拓展：多元線性回歸模型考慮,各系數(shù)的估計(jì)按照OLS

13、是求解數(shù)學(xué)問題：因此,存在三個(gè)正規(guī)方程：第一個(gè)方程意味著殘差之和為零,也意味著及其筆記：第一個(gè)正規(guī)方程可以被改寫為。第二個(gè)方程結(jié)合第一個(gè)正規(guī)方程意味著殘差與x1樣本不相關(guān)；第三個(gè)方程結(jié)合第一個(gè)正規(guī)方程意味著殘差與x2樣本不相關(guān)。根據(jù)上述三個(gè)方程,可以獲得、,在此不給出具體公式。筆記：對(duì)于估計(jì)結(jié)果,是不是的數(shù)值大于就一定意味著在解釋變量時(shí)比更加重要呢？答案是不一定！。這是因?yàn)?通過對(duì)與取不同的測(cè)量單位,那么與前面的估計(jì)系數(shù)值將發(fā)生改變。有一種辦法可以使估計(jì)系數(shù)不隨解釋變量的測(cè)度單位變化而變化,其基本原理如下：在這里表示變量的樣本標(biāo)準(zhǔn)差。定義：則有：。在新模型中,解釋變量是原變量的標(biāo)準(zhǔn)化,它是無量

14、綱的。保持其他因素不變,當(dāng)時(shí),。注意到,當(dāng)樣本容量很大時(shí)與分別和總體均值及其總體標(biāo)準(zhǔn)差近似,因此。類似,。意味著,因此對(duì)的一個(gè)翻譯是,保持其他因素不變,當(dāng)變化一個(gè)標(biāo)準(zhǔn)差時(shí),約將變化個(gè)標(biāo)準(zhǔn)差。類似可以對(duì)進(jìn)行翻譯。被稱為標(biāo)準(zhǔn)化系數(shù)或者系數(shù)。在實(shí)踐中,我們可以先利用標(biāo)準(zhǔn)化變量進(jìn)行無截距回歸得到標(biāo)準(zhǔn)化系數(shù),然后反推出非標(biāo)準(zhǔn)化變量回歸模型中的各個(gè)斜率系數(shù)的估計(jì)值。OLS的矩陣代數(shù)一矩陣表示總體多元回歸模型是：如果用矩陣來描述,首先定義下列向量與矩陣：模型的矩陣表示：二如何得到OLS估計(jì)量？求解一個(gè)最小化問題：,有：而根據(jù)矩陣微分的知識(shí),有：故,則筆記：1、。在這里,是向量,是對(duì)稱矩陣,與都是標(biāo)量。重要規(guī)則是：一個(gè)標(biāo)量關(guān)于一個(gè)列向量的導(dǎo)數(shù)仍是列向量,并且維數(shù)保持不變。2、矩陣微分規(guī)則與標(biāo)準(zhǔn)的微積分學(xué)中的微分規(guī)則具有一定的對(duì)應(yīng)性。假定,則。注意到：,在這里之所以要取轉(zhuǎn)置,是因?yàn)榘凑找?guī)則：一個(gè)標(biāo)量關(guān)于一個(gè)列向量的導(dǎo)數(shù)仍是列向量,而是一個(gè)行向量。注意,為了保證的存在,OLS法假設(shè)X列滿秩,即解釋變量不是完全共線的應(yīng)該注意,截距對(duì)應(yīng)的解釋變量取值恒為1。筆記：1、為什么假設(shè)列滿秩？是矩陣。為了保證的存在,那么?；诰仃囍R(shí)點(diǎn)：,因此這也要求。是矩陣,因