設(shè)定誤差與測量誤差

設(shè)定誤差與測量誤差引子：簡單一定勝于復(fù)雜嗎?

西方國家盛行“Occam`srazor”原則，意思是“簡單優(yōu)于復(fù)雜”的節(jié)約性原則。經(jīng)濟(jì)模型永遠(yuǎn)無法完全把握現(xiàn)實(shí)，在建立模型中一定的抽象和簡化是不可避免的。在研究進(jìn)口與國內(nèi)生產(chǎn)總值的關(guān)系時(shí)，考慮到時(shí)間趨勢，建立并估計(jì)了以下模型

第2頁,共61頁，2024年2月25日，星期天

有人根據(jù)“簡單優(yōu)于復(fù)雜”原則，得到以下方程：

(2)

進(jìn)行比較：兩個(gè)方程的檢驗(yàn)結(jié)果都較理想；

方程（2）GDP的t檢驗(yàn)值似乎優(yōu)于方程（1）；方程（2）函數(shù)形式也更為簡單；然而，能否根據(jù)“Occam’srazor”原則，判斷方程（2）比方程（1）好？第3頁,共61頁，2024年2月25日，星期天對模型的設(shè)定是計(jì)量經(jīng)濟(jì)研究的重要環(huán)節(jié)。前面各章除了對隨機(jī)擾動項(xiàng)分布的基本假定以外，還強(qiáng)調(diào):

假定設(shè)定的模型對變量和函數(shù)形式的設(shè)定是正確地描述被解釋變量與解釋變量之間的真實(shí)關(guān)系，假定模型中的變量沒有測量誤差。但是在實(shí)際的建模實(shí)踐中，對模型的設(shè)定不一定能夠完全滿足這樣的要求，從而會使模型出現(xiàn)設(shè)定誤差。第4頁,共61頁，2024年2月25日，星期天第九章設(shè)定誤差與測量誤差本章主要討論:●設(shè)定誤差●設(shè)定誤差的檢驗(yàn)●測量誤差第5頁,共61頁，2024年2月25日，星期天

第一節(jié)設(shè)定誤差本節(jié)基本內(nèi)容:●設(shè)定誤差及類型●變量設(shè)定誤差的后果

第6頁,共61頁，2024年2月25日，星期天一、設(shè)定誤差及類型

計(jì)量經(jīng)濟(jì)模型是對變量間經(jīng)濟(jì)關(guān)系因果性的設(shè)想，若所設(shè)定的回歸模型是“正確”的，主要任務(wù)是所選模型參數(shù)的估計(jì)和假設(shè)檢驗(yàn)。但是如果對計(jì)量模型的各種診斷或檢驗(yàn)總不能令人滿意，這時(shí)應(yīng)把注意力集中到模型的設(shè)定方面：

考慮所建模型是否遺漏了重要的變量？是否包含了多余的變量？所選模型的函數(shù)形式是否正確？隨機(jī)擾動項(xiàng)的設(shè)定是否合理？變量的數(shù)據(jù)收集是否有誤差？所有這些，計(jì)量經(jīng)濟(jì)學(xué)中被統(tǒng)稱為設(shè)定誤差。第7頁,共61頁，2024年2月25日，星期天從誤差來源看，設(shè)定誤差主要包括：（1）變量的設(shè)定誤差，包括相關(guān)變量的遺漏（欠擬合）、無關(guān)變量的誤選（過擬合）；（2）變量數(shù)據(jù)的測量誤差；（3）模型函數(shù)形式的設(shè)定誤差；（4）隨機(jī)擾動項(xiàng)設(shè)定誤差。本章主要討論的兩類變量設(shè)定誤差:（1）相關(guān)變量的遺漏（欠擬合）；（2）無關(guān)變量的誤選（過擬合）。設(shè)定誤差的類型第8頁,共61頁，2024年2月25日，星期天

1.相關(guān)變量的遺漏

（OmittingRelevantVariables）例如，如果“正確”的模型為而我們將模型設(shè)定為

即設(shè)定模型時(shí)漏掉了一個(gè)相關(guān)的解釋變量。這類錯(cuò)誤稱為遺漏相關(guān)變量（“欠擬合”）。第9頁,共61頁，2024年2月25日，星期天

2.無關(guān)變量的誤選

(IncludingIrrevelantVariables)

例如，如果“真實(shí)模型”為：但我們卻將模型設(shè)定為即設(shè)定模型時(shí)，多選了一個(gè)無關(guān)解釋變量。這類錯(cuò)誤稱為無關(guān)變量的誤選（“過擬合”）。第10頁,共61頁，2024年2月25日，星期天●數(shù)據(jù)來源渠道可能不暢。例如，數(shù)據(jù)很難取得被迫將具有重要的經(jīng)濟(jì)意義變量排斥在模型之外?！癫恢雷兞繎?yīng)當(dāng)以什么確切的函數(shù)形式出現(xiàn)在回歸模型中?！袷孪炔⒉恢浪芯康膶?shí)證數(shù)據(jù)中所隱含的真實(shí)模型究竟是什么。設(shè)定誤差在建模中較容易出現(xiàn)。設(shè)定誤差的存在可能會對模型形成不良的后果。設(shè)定誤差的原因第11頁,共61頁，2024年2月25日，星期天二、變量設(shè)定誤差的后果當(dāng)模型設(shè)定出現(xiàn)誤差時(shí)，模型估計(jì)結(jié)果也會與“實(shí)際”有偏誤；

偏誤的性質(zhì)與程度與模型設(shè)定誤差的類型密切相關(guān)。從實(shí)質(zhì)上看，變量設(shè)定誤差的主要后果，是一個(gè)或多個(gè)解釋變量與隨機(jī)擾動項(xiàng)之間存在著相關(guān)性，進(jìn)而影響參數(shù)估計(jì)的統(tǒng)計(jì)特性。第12頁,共61頁，2024年2月25日，星期天1.

遺漏相關(guān)變量（欠擬合）偏誤采用遺漏了重要解釋變量的模型進(jìn)行估計(jì)而帶來的偏誤，稱為遺漏相關(guān)變量偏誤。

設(shè)正確的模型為：正確模型離差形式為：第13頁,共61頁，2024年2月25日，星期天卻對方程進(jìn)行回歸，得：取期望第14頁,共61頁，2024年2月25日，星期天遺漏變量設(shè)定誤差的后果由此可以看出，的遺漏將產(chǎn)生如下后果。兩邊取概率極限，有：第15頁,共61頁，2024年2月25日，星期天1.如果漏掉的與相關(guān)，則分別在小樣本下求期望、在大樣本下求概率極限，有：2.如果與不相關(guān)，則的估計(jì)滿足無偏性與一致性第16頁,共61頁，2024年2月25日，星期天3.的方差是方差的有偏估計(jì)：

第17頁,共61頁，2024年2月25日，星期天如果與相關(guān)，顯然有如果與不相關(guān)，也有4.遺漏變量，式中的隨機(jī)擾動項(xiàng)的方差估計(jì)量將是有偏的，即：5.與方差相關(guān)的檢驗(yàn)，包括假設(shè)檢驗(yàn)、區(qū)間估計(jì)，在關(guān)于參數(shù)的統(tǒng)計(jì)顯著性方面，都容易導(dǎo)出錯(cuò)誤的結(jié)論。

第18頁,共61頁，2024年2月25日，星期天(1)

若但實(shí)際情形并不完全如此?？梢宰⒁獾綒埐钇椒胶蚏SS的計(jì)算因此，有可能：第19頁,共61頁，2024年2月25日，星期天（2）若不相關(guān)，有似乎分別有：若這兩個(gè)等式成立，意味著盡管變量，在理論上分析是有關(guān)的變量，但從所選模型中略去似乎也不會導(dǎo)致什么危害。這種認(rèn)識實(shí)際也不正確。第20頁,共61頁，2024年2月25日，星期天因?yàn)榈挠衅烙?jì)，即使不相關(guān)，也有致使假設(shè)檢驗(yàn)程序很有可能是可疑的。必須清楚，一旦根據(jù)相關(guān)理論把模型建立起來，再從中遺漏變量需要充分地謹(jǐn)慎。第21頁,共61頁，2024年2月25日，星期天2.包含無關(guān)變量偏誤定義:模型中包括了不重要的解釋變量，即采用誤選了無關(guān)解釋變量的模型進(jìn)行估計(jì)而帶來的偏誤，稱為包含無關(guān)變量偏誤設(shè)正確模型但卻估計(jì)了如果，則(2)與(1)相同，因此，可將(1)式視為以為約束的(2)式的特殊形式。采用OLS法對（2）進(jìn)行估計(jì)，有：第22頁,共61頁，2024年2月25日，星期天將（1）式的離差形式代入，整理得：期望和方差：第23頁,共61頁，2024年2月25日，星期天

無關(guān)變量的設(shè)定誤差的后果1.可以證明，（2）式參數(shù)的OLS估計(jì)量是無偏，且為一致性的。即：同理，可證明：第24頁,共61頁，2024年2月25日，星期天2.

不是有效估計(jì)量：

此結(jié)論對也成立。3.

隨機(jī)誤差項(xiàng)的方差的估計(jì)仍為無偏估計(jì)。4.

通常的區(qū)間估計(jì)和假設(shè)檢驗(yàn)程序依然有效，但方差增大，接受錯(cuò)誤假設(shè)的概率會較高。

第25頁,共61頁，2024年2月25日，星期天（1）遺漏相關(guān)變量將導(dǎo)致參數(shù)估計(jì)量和假設(shè)檢驗(yàn)有偏且不一致；（2）誤選無關(guān)變量雖參數(shù)估計(jì)量具無偏性、一致性，又會損失有效性。（3）注重檢驗(yàn)的無偏性、一致性寧愿誤選無關(guān)變量也不愿遺漏相關(guān)變量；（4）注重估計(jì)量的有效性，寧愿刪除相關(guān)變量。

通常誤選無關(guān)變量不如遺漏相關(guān)變量的后果嚴(yán)重。

因此，模型的設(shè)定實(shí)際是對偏誤與有效進(jìn)行權(quán)衡，偏愛哪一方取決于模型的研究目的。遺漏相關(guān)變量和誤選無關(guān)變量的比較第26頁,共61頁，2024年2月25日，星期天第二節(jié)設(shè)定誤差的檢驗(yàn)本節(jié)基本內(nèi)容:●DW檢驗(yàn)●拉各朗日乘數(shù)檢驗(yàn)●一般性檢驗(yàn)第27頁,共61頁，2024年2月25日，星期天對變量設(shè)定誤差進(jìn)行檢驗(yàn)必須在經(jīng)濟(jì)理論指導(dǎo)下進(jìn)行，不可拋棄經(jīng)濟(jì)理論而進(jìn)行假設(shè)檢驗(yàn)。對于是否誤選無關(guān)變量的檢驗(yàn)，只要針對無關(guān)變量系數(shù)的期望值為零的假設(shè)，用t檢驗(yàn)或F檢驗(yàn)，對無關(guān)變量系數(shù)作顯著性檢驗(yàn)即可。對于遺漏變量設(shè)定誤差的檢驗(yàn)有多種方法，例如DW檢驗(yàn)、拉格朗日乘數(shù)檢驗(yàn)、豪斯曼檢驗(yàn)、RESET一般性檢驗(yàn)等。這里只討論設(shè)定誤差的一些最常用的檢驗(yàn)方法。第28頁,共61頁，2024年2月25日，星期天

基本思想：

遺漏的相關(guān)變量應(yīng)包含在隨機(jī)擾動項(xiàng)中，那么回歸所得的殘差序列就會呈現(xiàn)單側(cè)的正（負(fù)）相關(guān)性，因此可從自相關(guān)性的角度檢驗(yàn)相關(guān)變量的遺漏。 從遺漏變量的模型看，可以認(rèn)為遺漏變量模型是無遺漏變量模型的一個(gè)特例：被遺漏變量的系數(shù)為0。一、DW檢驗(yàn)第29頁,共61頁，2024年2月25日，星期天，DW檢驗(yàn)的具體步驟1.對回歸模型運(yùn)用OLS法得殘差序列2.設(shè)定

按遺漏解釋變量的遞增次序?qū)埐钚蛄?，進(jìn)行排序，對排序后的殘差序列，計(jì)算d統(tǒng)計(jì)量：第30頁,共61頁，2024年2月25日，星期天

3.

查Durbin-Watson表，若為顯著，則拒絕原假設(shè)，受約束回歸模型不成立，存在模型設(shè)定誤差，否則接受原假設(shè)，受約束回歸模型成立，模型無設(shè)定誤差。第31頁,共61頁，2024年2月25日，星期天對下表的數(shù)據(jù)設(shè)定總生產(chǎn)成本函數(shù)，準(zhǔn)備使用如下三個(gè)備選模型：有（1）為真實(shí)模型，試用DW法檢驗(yàn)?zāi)Ｐ驮O(shè)定誤差。舉例第32頁,共61頁，2024年2月25日，星期天總成本（）產(chǎn)出（）1193122262324034244452575626067274782978935091042010第33頁,共61頁，2024年2月25日，星期天三個(gè)模型分別代入數(shù)據(jù)回歸(1)(2)第34頁,共61頁，2024年2月25日，星期天本例中遺漏變量已按遞增次序排列，此時(shí)的值等于值，無需重新計(jì)算d統(tǒng)計(jì)量。(3)第35頁,共61頁，2024年2月25日，星期天對上述模型的DW統(tǒng)計(jì)量的分析及查表情況如下：1.模型(1)：有=2.70，當(dāng)時(shí)=0.525，=2.016，不能表明存在顯著的正相關(guān)關(guān)系，接受H0，表示沒有遺漏的變量。2.模型(2)：有=1.038，當(dāng)時(shí)=0.697，=1.641。顯然有0.697<1.038<1.641，屬于無法確定的區(qū)域。在沒有其他信息的前提下，最好認(rèn)為存在遺漏變量。第36頁,共61頁，2024年2月25日，星期天

3.

模型(3)：

有=0.716，當(dāng)時(shí)，

=0.879，=1.320

，顯然存在正的自相關(guān)，拒絕，表明存在遺漏變量；

第37頁,共61頁，2024年2月25日，星期天二、拉格朗日乘數(shù)（LM）檢驗(yàn)

基本思想：●模型中遺漏的相關(guān)變量包含在隨機(jī)擾動項(xiàng)中，因此隨機(jī)擾動項(xiàng)或回歸所得的殘差序列應(yīng)與遺漏的相關(guān)變量呈現(xiàn)出某種依存關(guān)系?！窨梢赃M(jìn)行殘差序列與相關(guān)變量的回歸，在一定顯著水平下若相關(guān)變量具有統(tǒng)計(jì)顯著性，則認(rèn)為存在遺漏變量形成的設(shè)定偏誤，若相關(guān)變量不具有統(tǒng)計(jì)顯著性，則認(rèn)為沒有遺漏變量形成的設(shè)定誤差。第38頁,共61頁，2024年2月25日，星期天

具體步驟

1.對存在遺漏變量設(shè)定偏誤的模型（受約束回歸模型）進(jìn)行回歸，得殘差序列；2.用殘差序列對全部的解釋變量（包括遺漏變量）進(jìn)行回歸，得可決系數(shù)；3.設(shè)定:受約束回歸模型：無約束回歸模型。在大樣本情況下，構(gòu)造檢驗(yàn)統(tǒng)計(jì)量，漸近地遵從（約束個(gè)數(shù)）

4.進(jìn)行顯著性檢驗(yàn)的判斷：若(約束個(gè)數(shù)),則拒絕，認(rèn)為受約束模型不成立，存在遺漏變量；否則，接受，認(rèn)為受約束模型成立，無遺漏變量。

第39頁,共61頁，2024年2月25日，星期天第四節(jié)案例分析問題：以引子中所提出的問題為例，分析影響中國進(jìn)口量的主要因素。設(shè)定模型（1）

其中：是進(jìn)口總額，是國內(nèi)生產(chǎn)總值。分析模型是否有變量設(shè)定誤差，進(jìn)行變量設(shè)定誤差檢驗(yàn)。第40頁,共61頁，2024年2月25日，星期天有人認(rèn)為，貨物與服務(wù)的進(jìn)口量受到一國的生產(chǎn)規(guī)模、貨物與服務(wù)的進(jìn)口價(jià)格、匯率等其他影響因素，而不能只僅用GDP來解釋商品進(jìn)口的變化。因此，設(shè)定的回歸模型應(yīng)該為：

其中：GDP為國內(nèi)生產(chǎn)總值，為GDP的線性函數(shù)；Exchange為美元兌換人民幣的匯率，為Exchange的線性函數(shù)。如果是這樣，回歸模型（1）的設(shè)定式中可能遺漏了變量GDP、Exchange以及兩者的線性組合。那么兩者的線性組合是否被遺漏的重要變量呢？

第41頁,共61頁，2024年2月25日，星期天

基本關(guān)系圖第42頁,共61頁，2024年2月25日，星期天對模型(1)進(jìn)行回歸,有回歸結(jié)果：第43頁,共61頁，2024年2月25日，星期天顯然，存在自相關(guān)現(xiàn)象，其主要原因可能是建模時(shí)遺漏了重要的相關(guān)變量造成的。作模型(1)回歸的殘差圖

第44頁,共61頁，2024年2月25日，星期天1.DW檢驗(yàn)

模型（1）的=0.5357，表明存在正的自相關(guān)。由于遺漏變量Exchange或GDP已經(jīng)按從小到大順序排列，因此，無需重新計(jì)算d統(tǒng)計(jì)量。對=24,=1，5%的德賓-沃森d統(tǒng)計(jì)量的臨界值為=1.273和=1.466,表明存在顯著的遺漏變量現(xiàn)象。第45頁,共61頁，2024年2月25日，星期天DependentVariable:IM Method:LeastSquares Date:08/06/05Time:23:41 Sample(adjusted):19812003 Includedobservations:23afteradjustments

Variable CoefficientStd.Errort-Statistic Prob.

C -224.36321892.132-0.118577 0.9069 GDP 1.1482590.1514337.582606 0.0000 GDP(-1) -0.822444 0.147359-5.581213 0.0000 EXCHANGE-4.290746 8.348744-0.513939 0.6135 EXCHANGE^2-0.0186370.008353-2.231162 0.0386 R-squared0.978691Meandependentvar 8434.222 AdjustedR-squared0.973956

S.D.dependentvar 9025.326 S.E.ofregression 1456.525Akaikeinfocriterion 17.59515 Sumsquaredresid38186370Schwarzcriterion 17.84200 Loglikelihood -197.3443

F-statistic 206.6799 Durbin-Watsonstat1.962659

Prob(F-statistic) 0.000000其中，Exchange系數(shù)的統(tǒng)計(jì)意義不顯著，剔除。再次回歸，結(jié)果見下頁表。第46頁,共61頁，2024年2月25日，星期天DependentVariable:IM Method:LeastSquares Date:08/06/05Time:23:53 Sample(adjusted):19812003 Includedobservations:23afteradjustments

Variable Coefficient Std.Error t-Statistic Prob.

C -1159.179 511.0396 -2.268276 0.0352 GDP 1.142897 0.148119 7.716070 0.0000 GDP(-1) -0.815842 0.143928 -5.668420 0.0000 EXCHANGE^2-0.022569 0.003291 -6.857844 0.0000

R-squared 0.978378

Meandependentvar8434.222 AdjustedR-squared 0.974965

S.D.dependentvar 9025.326 S.E.ofregression 1428.041

Akaikeinfocriterion 17.52277 Sumsquaredresid 38746720

Schwarzcriterion 17.72024 Loglikelihood -197.5118

F-statistic 286.5846 Durbin-Watsonstat 2.047965

Prob(F-statistic) 0.000000可以認(rèn)為，這時(shí)模型設(shè)定無變量設(shè)定誤差。第47頁,共61頁，2024年2月25日，星期天2.LM檢驗(yàn)按照LM檢驗(yàn)步驟，首先生成殘差序列（用EE表示），用EE對全部解釋變量（包括遺漏變量）進(jìn)行回歸，有:

第48頁,共61頁，2024年2月25日，星期天再計(jì)算查表，顯然，，接受無約束回歸模型的假設(shè)，即確實(shí)存在遺漏變量。因此，在本章的引子中，不能判斷雖然簡單但遺漏了重要變量的方程（1）比復(fù)雜的方程（2）更好。結(jié)論第49頁,共61頁，2024年2月25日，星期天對于觀測不到的變量使用代理變量考慮下面模型：其中是不可觀測的，我們有相信其對被解釋變量有顯著影響，需要找到一個(gè)可觀測的變量代替它來得到參數(shù)和的無偏估計(jì)。這樣的變量我們稱為代理變量。第50頁,共61頁，2024年2月25日，星期天利用WAGE2.RAW中數(shù)據(jù)，將IQ作為能力的代理變量。解釋變量有:educ,exper,tenure,married,south,urban,black,IQ,educ*IQ回歸結(jié)果（略）第51頁,共61頁，2024年2月25日，星期天有測量誤差的OLS性質(zhì)帶測量誤差的變量是具有完好定義的定量含義，但我們對它的記錄可能包含了誤差。而代理變量是對一個(gè)完全觀測不到的變量找一個(gè)與其有聯(lián)系的變量。在測量誤差問題中，被誤測的變量通常是關(guān)心的焦點(diǎn)；而在代理變量中，我們通常關(guān)心的是被遺漏變量之外的其他變量。第52頁,共61頁，2024年2月25日，星期天因變量中的測量誤差設(shè)回歸模型為：并且假定其滿足高斯——馬爾可夫假定。另y表示觀測到的對實(shí)際值的度量，它們之間存在誤差：帶入模型得到：第53頁,共61頁，2024年2月25日，星期天如果假定測量誤差與解釋變量統(tǒng)計(jì)上是獨(dú)立的，那么OLS估計(jì)量是無偏的。假定e和u不相關(guān)從而會導(dǎo)致OLS估計(jì)量的方差變大，影響其顯著性。總體說來OLS性質(zhì)是良好的。第54頁,共61頁，2024年2月25日，星期天解釋變量中的測量誤差考慮如下模型：其中存在觀測誤差，觀測值為