最大似然估計(jì)及三大檢驗(yàn)WaldLMLR資料

1、第二章 線性回歸模型回顧與拓展 （12-15學(xué)時(shí)）第四節(jié) 三大檢驗(yàn)（LR Wald LM）一、極大似然估計(jì)法（）（一）極大似然原理假設(shè)對(duì)于給定樣本,其聯(lián)合概率分布存在，。將該聯(lián)合概率密度函數(shù)視為未知參數(shù)的函數(shù)，則稱為似然函數(shù)（Likelihood Function）。極大似然原理就是尋找未知參數(shù)的估計(jì)，使得似然函數(shù)達(dá)到最大，或者說尋找使得樣本出現(xiàn)的概率最大。（二）條件似然函數(shù)VS無條件似然函數(shù)若與沒有關(guān)系，則最大化無條件似然函數(shù)等價(jià)于分別最大化條件似然函數(shù)和邊際似然函數(shù)，從而的最大似然估計(jì)就是最大化條件似然函數(shù)。 （三）線性回歸模型最大似然估計(jì)，對(duì)數(shù)似然函數(shù)：于是 得到 （三）得分（Score

2、）和信息矩陣（Information Matrix）稱為得分；得分向量；（Gradient）海瑟矩陣（Hessian Matrix）:信息矩陣：三*、帶約束條件的最小二乘估計(jì)（拉格朗日估計(jì)） 在計(jì)量經(jīng)濟(jì)分析中，通常是通過樣本信息對(duì)未知參數(shù)進(jìn)行估計(jì)。但有些時(shí)候可能會(huì)遇到非樣本信息對(duì)未知參數(shù)的約束限制（如生產(chǎn)函數(shù)中的規(guī)模報(bào)酬不變等）。在這種情況下，我們就可以采用拉格朗日估計(jì)法。 對(duì)于線性模型（1），若其參數(shù)具有某種線性等式約束： （6）其中是矩陣（，）?？梢暈槌至恳酝獾木仃嚒Ｉ鲜奖砻魑粗獏?shù)之間的某些線性關(guān)系的信息。 現(xiàn)在的問題是尋求滿足上式又使達(dá)到最小的估計(jì)量。為此，構(gòu)造拉格朗日函數(shù)。（是的向

3、量） （7）于是 （8） （9）由（8）可得 （10）（10）式的是的估計(jì)量。兩邊再左乘，并結(jié)合（9）式有所以，代入（10）式，我們便得到估計(jì)量： （11）這就是拉格朗日估計(jì)，或稱為帶約束的最小二乘估計(jì)。它既利用了樣本信息，也利用了非樣本信息。另外，也是帶約束的極大似然估計(jì)量（證明從略）。四、廣義最小二乘估計(jì)（）1、數(shù)理過程 在實(shí)際經(jīng)濟(jì)問題的分析過程中，常常遇到古典假定中2的不滿足，即隨機(jī)擾動(dòng)項(xiàng)存在異方差或自相關(guān)。比如利用截面數(shù)據(jù)進(jìn)行分析時(shí)，隨機(jī)因素的方差會(huì)隨著解釋變量的增大而增大（即所謂的遞增異方差如在研究消費(fèi)收入的關(guān)系時(shí)，隨著收入的增加，隨機(jī)因素的變化會(huì)增大）。而利用時(shí)間序列數(shù)據(jù)進(jìn)行分析時(shí)

4、，由于經(jīng)濟(jì)變量的慣性作用，隨機(jī)擾動(dòng)項(xiàng)之間也會(huì)有聯(lián)系，較為普遍的現(xiàn)象是擾動(dòng)項(xiàng)的一階自相關(guān)。（即） 當(dāng)存在異方差或自相關(guān)的情況下，傳統(tǒng)的OLS不再是有效估計(jì)，這時(shí)，我們應(yīng)采用廣義最小二乘法來解決這類問題。具體地， （12）其中 時(shí)存在異方差， 時(shí)存在一階自相關(guān)。需要說明的是，無論是異方差還是自相關(guān)，矩陣是正定矩陣。于是，存在非奇異矩陣，使得 或 在模型 兩邊同時(shí)左乘，得或?qū)懗?（13）此時(shí)，即已無異方差和自相關(guān)。那么，對(duì)（13）式運(yùn)用OLS可以得到 （14）這就是未知參數(shù)的廣義最小二乘估計(jì)量GLS。它同樣具有良好的統(tǒng)計(jì)性質(zhì)。即它是無偏的、一致的、漸近正態(tài)的估計(jì)量。換句話說，估計(jì)量是廣義模型中的最小

5、方差線性無偏估計(jì)。這就是所謂的定理，當(dāng)時(shí)高斯馬爾科夫定理為其特例。2、和廣義差分法廣義最小二乘法是處理異方差和自相關(guān)問題的一般良好估計(jì)方法。當(dāng)已知時(shí)，比如異方差時(shí)，各個(gè)已知，此時(shí)，矩陣 ，。這時(shí)由（13）式估計(jì)出來的，其實(shí)同加權(quán)最小二乘估計(jì)（）是相同的。換句話說，加權(quán)最小二乘實(shí)際上是廣義最小二乘的特例。再比如隨機(jī)擾動(dòng)項(xiàng)有一階自相關(guān)且已知，此時(shí)，可以算得那么（13）式中的 ， 此時(shí)估計(jì)（13）式得出的，其實(shí)就是所謂的廣義差分法。也就是說廣義差分法也是的特例。所以，是一個(gè)普遍適用的方法。3、未知時(shí)的當(dāng)然，上述情形只是已知的情況。而在現(xiàn)實(shí)應(yīng)用時(shí)，往往是未知的。于是我們面臨一個(gè)問題如何確定？回答當(dāng)然是

6、對(duì)中的未知量進(jìn)行估計(jì)（比如自相關(guān)中的，異方差中的）。那么又該如何估計(jì)呢？在回答這個(gè)問題之前，我們先考察一下與最大似然估計(jì)的關(guān)系（可對(duì)照與的關(guān)系）一般來說，當(dāng)或時(shí)，的對(duì)數(shù)似然函數(shù)為或者考慮到，而、，又有（經(jīng)過適當(dāng)?shù)倪\(yùn)算）最大化上式，對(duì)求導(dǎo)令其為0，可得到的極大似然估計(jì)量（它其實(shí)就是）。對(duì)或中的未知量求導(dǎo)令其為0，可得到中未知量（比如）的估計(jì)。這是一種理論上可行的方法，但實(shí)際操作可能會(huì)遇到障礙，尤其是在有異方差存在時(shí)。為此，我們介紹另一種方法可行廣義最小二乘法FGLS4、可行廣義最小二乘法（FGLS）異方差的具體形式是復(fù)雜多樣的，但總的來說都是與解釋變量有關(guān)的,隨解釋變量的變化而變化。以下三種假設(shè)

7、情況基本上涵蓋了文獻(xiàn)中討論過的大多數(shù)情形。（i）（ii）（iii） （或）我們稱這些方程為擾動(dòng)項(xiàng)方差的輔助方程。式中的是原模型中部分或全部的或的函數(shù)（比如等等）?？尚袕V義最小二乘法的基本思想就是，先利用輔助函數(shù)求得參數(shù)估計(jì)值，然后得出估計(jì)值從而得到及最終的結(jié)果。的步驟如下：（1）Y對(duì)常數(shù)項(xiàng)和回歸，求得的估計(jì)值；（2）計(jì)算殘差（3）選擇上述方程的適當(dāng)形式（3i）對(duì)常數(shù)項(xiàng)及回歸，求得的估計(jì)值。這是針對(duì)上述（i）的情況。式中的Z為原來的平方或交叉乘積。然后把這些的估計(jì)值代回（i）便得到的估計(jì)值。再使用GLS或WLS得出最終結(jié)果。需要指出的是，這種方式并不能保證所有的都為正，如果其中出現(xiàn)了0或負(fù)數(shù)，那

8、么我們就只能使用原來的代替了。（3ii）對(duì)應(yīng)于上述方程（ii），讓對(duì)常數(shù)項(xiàng)及回歸，求得的OLS估計(jì)值，代入（ii）得到，然后使用GLS或WLS（此時(shí)選擇權(quán)數(shù)為，如為負(fù)，那么權(quán)數(shù)為）。（3iii）對(duì)應(yīng)于方程（iii），讓對(duì)常數(shù)項(xiàng)及回歸，求出的OLS估計(jì)值，再代回（iii）求得或。然后利用GLS或WLS得出結(jié)果。這里值得一提的是，此時(shí)的只會(huì)產(chǎn)生正值，不存在0或負(fù)的情況，這也是此種方法很有吸引力的地方。以上便是可行廣義最小二乘法的一般步驟。由此得到的估計(jì)量是一致估計(jì)量。而且他們的方差和協(xié)方差也是一致的。同時(shí)漸近地（大樣本場合）比OLS估計(jì)更有效。五、矩估計(jì) 及GMM簡介事實(shí)上就參數(shù)估計(jì)方法來說，矩估

9、計(jì)是最簡便直觀的方法。即用樣本矩作為總體矩的估計(jì)。矩估計(jì)廣義矩估計(jì)綜上所述，我們將傳統(tǒng)的單一方程的估計(jì)方法總結(jié)如下： 回歸的其他形式（標(biāo)準(zhǔn)化，與量綱回歸，過原點(diǎn)回歸等）；第三節(jié)線性回歸模型的檢驗(yàn)方法及拓展有個(gè)對(duì)檢驗(yàn)的總體說明作為統(tǒng)計(jì)推斷的核心內(nèi)容，除了估計(jì)未知參數(shù)以外，對(duì)參數(shù)的假設(shè)檢驗(yàn)是實(shí)證分析中的一個(gè)重要方面。對(duì)模型進(jìn)行各種檢驗(yàn)的目的是，改善模型的設(shè)定以確?；炯僭O(shè)和估計(jì)方法比較適合于數(shù)據(jù)，同時(shí)也是有關(guān)理論有效性的驗(yàn)證。正態(tài)性JB檢驗(yàn)、峰度、偏度檢驗(yàn)一、假設(shè)檢驗(yàn)的基本理論及準(zhǔn)則假設(shè)檢驗(yàn)的理論依據(jù)是“小概率事件原理”，它的一般步驟是：（1）建立兩個(gè)相對(duì)的假設(shè)（零假設(shè)和備擇假設(shè)）（2）在零假設(shè)條

10、件下，尋求用于檢驗(yàn)的統(tǒng)計(jì)量及其分布（3）得出拒絕或接受零假設(shè)的判別規(guī)則。另一方面，對(duì)于任何的檢驗(yàn)過程，都有可能犯錯(cuò)誤，即所謂的第一類錯(cuò)誤（拒真）和第二類錯(cuò)誤（采偽）。而犯這兩類錯(cuò)誤的概率（分別記為和）是一種此消彼長的情況，于是如何控制這兩個(gè)概率，使他們盡可能的小以滿足要求，就成了尋找優(yōu)良的檢驗(yàn)方法的關(guān)鍵。下面先就假設(shè)檢驗(yàn)的有關(guān)基本理論做一簡要介紹。參數(shù)顯著性檢驗(yàn)的具體步驟是：已知總體的分布，其中是未知參數(shù)?？傮w真實(shí)分布完全由未知參數(shù)的取值所決定。對(duì)提出某種假設(shè)，從總體中抽取一個(gè)容量為n的樣本，確定一個(gè)統(tǒng)計(jì)量及其分布，決定一個(gè)拒絕域W，使得，或者對(duì)樣本觀測(cè)數(shù)據(jù)X，。即是顯著性水平，也是犯第一類錯(cuò)

11、誤的概率。既然犯兩類錯(cuò)誤的概率不能同時(shí)被控制，所以通常的做法是限制犯第一類錯(cuò)誤的概率，使犯第二類錯(cuò)誤的概率盡可能的小，即在的條件下，使得 ，達(dá)到最大。其中表示總體分布為時(shí)，事件的概率，為零假設(shè)集合（只含一個(gè)點(diǎn)時(shí)成為簡單原假設(shè)，否則稱為復(fù)雜原假設(shè)）。則表示備擇假設(shè)集合，為了方便描述，我們定義稱為該檢驗(yàn)的勢(shì)函數(shù)。當(dāng)時(shí)，是犯第一類錯(cuò)誤的概率；而當(dāng)時(shí)，是犯第二類錯(cuò)誤的概率。 于是一個(gè)好的檢驗(yàn)方程是： 為了理論上的深入研究和表達(dá)方便，我們常用函數(shù)來表示檢驗(yàn)法。定義函數(shù)它是拒絕域的示性函數(shù)，僅取0、1兩個(gè)值。反之如果一個(gè)函數(shù)中只取0或1，則可作為一個(gè)拒絕域。也就是說，W和之間建立了一種對(duì)立關(guān)系，給出一個(gè)就

12、等價(jià)于給出了一個(gè)檢驗(yàn)法，（我們稱為檢驗(yàn)函數(shù)）。那么，對(duì)于檢驗(yàn)法的勢(shì)函數(shù)為于是，一個(gè)好的檢驗(yàn)法又可寫為我們稱滿足上式的檢驗(yàn)法為最優(yōu)勢(shì)檢驗(yàn)（如果是對(duì)于復(fù)雜原假設(shè)和備擇假設(shè)，則稱為一致最優(yōu)勢(shì)檢驗(yàn)（）。 奈曼皮爾遜基本引理給出于是的充要條件。定理設(shè)是來自總體分布密度為的樣本，為未知參數(shù)，對(duì)于簡單假設(shè)檢驗(yàn)問題，檢驗(yàn)函數(shù)是顯著性水平為的最優(yōu)勢(shì)檢驗(yàn)MPT的充要條件是，存在常數(shù)，使得滿足：這就是著名的奈曼皮爾遜基本引理，需要指出的是，上述定理中的檢驗(yàn)函數(shù)通常也稱為似然比檢驗(yàn)函數(shù)，若記稱為似然比統(tǒng)計(jì)量。如果較大，意味著較大，所以在為真時(shí)觀測(cè)到樣本點(diǎn)x的可能性比為真時(shí)觀察到樣本點(diǎn)x的可能性小，因而應(yīng)拒絕原假設(shè)；反

13、之，如果較小則應(yīng)接受。此外，利用，上述定理中的可寫為這說明對(duì)于簡單假設(shè)檢驗(yàn)問題，似然比檢驗(yàn)是最優(yōu)的，反之最優(yōu)勢(shì)檢驗(yàn)法也一定是似然比檢驗(yàn)法。而大量的文獻(xiàn)都已證明了傳統(tǒng)假設(shè)檢驗(yàn)中的檢驗(yàn)，檢驗(yàn)，檢驗(yàn)，檢驗(yàn)都是最優(yōu)勢(shì)檢驗(yàn)。于是，我們可以放心地回到這部份的主題計(jì)量經(jīng)濟(jì)模型的檢驗(yàn)方法。二、一般線性框架下的假設(shè)檢驗(yàn) 多元回歸模型的統(tǒng)計(jì)檢驗(yàn)通常包括以下三種情況：（1）單個(gè)系數(shù)的顯著性檢驗(yàn)；（2）若干個(gè)回歸系數(shù)的聯(lián)合檢驗(yàn)；（3）回歸系數(shù)線性組合的檢驗(yàn)。例如：考慮下面這些典型假設(shè)的例子。 、。即回歸元對(duì)Y沒有影響，這是最常見的參數(shù)顯著性檢驗(yàn)。 、 。是某一具體值。例如表示價(jià)格彈性，我們也許希望它是-1。 、。這里

14、的表示生產(chǎn)函數(shù)中資本和勞動(dòng)的彈性，此時(shí)檢驗(yàn)是否規(guī)模報(bào)酬不變。 、或。即檢驗(yàn)和的系數(shù)是否相同。 、。即檢驗(yàn)全部回歸元都對(duì)Y沒有影響。 、。這里的含義是把向量分為兩個(gè)子向量和，分別含有和個(gè)元素。檢驗(yàn)就是檢驗(yàn)?zāi)骋恍┗貧w元（的一部分）對(duì)Y沒有影響。諸如以上的情形都可歸于一般的線性框架： （注意：這里）其中R是由已知常數(shù)構(gòu)成的矩陣（），r是各元素為常數(shù)（一般是0或1）的矩陣。于是，對(duì)于上述情形，具體的我們有：（i）（ii）（iii）（iv）（v）（vi）所以，上述問題的統(tǒng)一假設(shè)是：為了檢驗(yàn)這個(gè)假設(shè)，應(yīng)先估計(jì)出，計(jì)算，若其值較“小”，（接近于0），則不應(yīng)否定原假設(shè)；而如果其值較大，那么應(yīng)對(duì)提出懷疑。為此我

15、們先考察的分布。 對(duì)于OLS的，我們知道。（注意：這里的是所有解釋變量觀測(cè)值組成的矩陣不含全是1的第一列）而所以，于是，在成立的條件下，那么，由有關(guān)的數(shù)理統(tǒng)計(jì)知識(shí)可知： （1） 此外，我們還可以證明 （殘差平方和的分布）。因此，由上述兩式，得到在下的檢驗(yàn)統(tǒng)計(jì)量： （2）（注意：）于是，檢驗(yàn)的程序是，如果算出的F值大于某個(gè)事先選定的臨界值，則拒絕。具體描述如下：、此時(shí)為。為。即主對(duì)角線上的第i個(gè)元素（注：（是一K階對(duì)稱方陣）。因此：取平方根，這就是傳統(tǒng)的關(guān)于回歸參數(shù)顯著性的t檢驗(yàn)法。、類似，這里此時(shí)也可以計(jì)算，比如的95%置信區(qū)間，而不用檢驗(yàn)關(guān)于的具體假設(shè)，這個(gè)置信區(qū)間是。、給出了兩個(gè)估計(jì)系數(shù)的

16、和，而此時(shí)（注：，）。那么于是檢驗(yàn)統(tǒng)計(jì)量為：或者，也可以計(jì)算的95%置信區(qū)間、類似，可推得此時(shí)的檢驗(yàn)統(tǒng)計(jì)量為、此時(shí) ，r=0，q=k，那么這就是我們熟悉的關(guān)于回歸方程顯著性的F檢驗(yàn)。、這里對(duì)應(yīng)于。把X分塊為，可以證明（過程略）此時(shí) （3）其中是Y對(duì)做線性回歸的殘差平方和。是對(duì)所有回歸的。通過上述示例，我們看到一般線性框架下的假設(shè)檢驗(yàn)，它涵蓋了傳統(tǒng)計(jì)量經(jīng)濟(jì)分析中的統(tǒng)計(jì)檢驗(yàn)方法。有了它，我們可以方便地實(shí)現(xiàn)許多實(shí)證問題中線性意義下的統(tǒng)計(jì)檢驗(yàn)。其重要性是顯而易見的。三、一般線性假設(shè)檢驗(yàn)的另一種形式 上面第情況出現(xiàn)的統(tǒng)計(jì)量就是這里所說的另一種形式。顯然是的特殊情況，而事實(shí)上我們還將看到其它的情況也可歸于

17、。另外，這里還有一個(gè)問題，即類似于第種情況的檢驗(yàn)與上一章所講的帶約束的最小二乘估計(jì)的關(guān)系是什么？也就是說，對(duì)未知參數(shù)有約束限制的模型進(jìn)行回歸后的結(jié)果，與對(duì)沒有約束限制的模型回歸后的參數(shù)檢驗(yàn)的結(jié)果是否一致？下面的具體分析就回答了這一問題。事實(shí)上，無論還是都可以認(rèn)為用了兩種不同回歸的結(jié)果。第一種回歸可看作有約束的回歸，或者說中的約束條件實(shí)際上是估計(jì)方程施加的。即中有約束回歸是將從回歸式中省略掉，或等價(jià)地說，令為零；在中，有約束的回歸只用了前面一部分變量（個(gè)）。而、兩種情況的第二種回歸是無約束回歸，它們都用了所有的變量X。由于無約束模型的殘差平方和是，有約束模型的殘差平方和記為，因此對(duì)某些的顯著性檢

18、驗(yàn)也就是問，對(duì)應(yīng)的加入模型后，殘差平方和是否顯著減少。具體到第種情形，考慮離差形式的回歸方程對(duì)其施加約束，代入回歸方程或由變量對(duì)的回歸便可得到的受約束估計(jì)值，而這個(gè)回歸的就是有約束的，即。實(shí)際上這就是我們前面講到的帶約束條件的最小二乘估計(jì)。一般地，在約束條件下，求使達(dá)到最小的，構(gòu)造拉格朗日函數(shù)，運(yùn)用前面所講的方法可得到（過程略） （4）其中是無約束的估計(jì)量，而受約束回歸的殘差為將其轉(zhuǎn)置，再與其自身相乘，有再把（4）式的代入并化簡可得 （5）這與（2）式中除外的分子完全相同，也就得到了檢驗(yàn)假設(shè)的統(tǒng)計(jì)量的另一種形式為 （6）這也恰好說明前面所述的6種檢驗(yàn)的情形都可以用上述方式進(jìn)行，即擬合一個(gè)受約束

19、的回歸，用受約束模型的殘差平方和與無約束模型的殘差平方和之差的大小（或記為）來推斷原假設(shè)是否成立。這也就是說一般的線性假設(shè)情形都是的特例，或者（6）式的F統(tǒng)計(jì)量是普遍適應(yīng)于一般線性假設(shè)的一種重要檢驗(yàn)方法。即其中和分別是受約束模型和無約束模型的殘差平方和,是約束條件個(gè)數(shù)。同時(shí)，這也就回答了本段開始的問題，即，對(duì)于未知參數(shù)有約束限制的模型進(jìn)行回歸后的結(jié)果，與對(duì)沒有約束限制的模型回歸后的參數(shù)檢驗(yàn)的結(jié)果應(yīng)該是一致的。四、似然比檢驗(yàn)（）如本節(jié)開頭所述，在統(tǒng)計(jì)推斷中，古典檢驗(yàn)方法是建立在似然比的基礎(chǔ)之上的。由此可見似然比檢驗(yàn)的重要性（當(dāng)然它的實(shí)用性也會(huì)在應(yīng)用中顯現(xiàn)出來）。一般而言，似然比被定義為原假設(shè)下似

20、然函數(shù)的最大值與無約束條件下似然函數(shù)的最大值的比率。上一節(jié)我們得到了線性回歸模型參數(shù)的極大似然估計(jì)量（上一節(jié)（4）式和（5）式）它們?cè)跓o約束條件下，使似然函數(shù)最大化。把它們代入似然函數(shù)可得無約束的最大似然值（推導(dǎo)過程略） （7）（式中的常數(shù)與模型中的任何參數(shù)無關(guān)，是殘差平方和）另一方面，如果在約束條件下使似然函數(shù)最大化，令和表示所導(dǎo)致的估計(jì)值，那么便是約束條件下的最大似然值，有約束的最大值當(dāng)然不會(huì)超過無約束的最大值，但如果約束條件“有效”，有約束的最大值應(yīng)當(dāng)“逼近”無約束的最大值，這正是似然比檢驗(yàn)的基本思路。似然比定義為顯然，。如果原假設(shè)為真，我們會(huì)認(rèn)為的值接近1?；蛘哒f，如果太小，我們則應(yīng)該

21、拒絕原假設(shè)。似然比檢驗(yàn)的建立就是要使得當(dāng)時(shí)，拒絕原假設(shè)。即（為顯著性水平）。在某些情況下，拒絕域可以轉(zhuǎn)化為含有我們熟知的統(tǒng)計(jì)量或統(tǒng)計(jì)量的形式。不過，普遍適用的是大樣本檢驗(yàn)?？梢宰C明，對(duì)大樣本來說，統(tǒng)計(jì)量（8）具體地，如果很大，則應(yīng)拒絕原假設(shè)，或者說似然比檢驗(yàn)的拒絕域?yàn)?，其中為卡方分布的下?cè)分位數(shù)。前面已得到無約束的最大似然值，為了保證的計(jì)算，我們還需要得出約束條件下的最大似然值。為此，最大化（式中的是的拉格朗日乘數(shù)向量，就是無約束的對(duì)數(shù)似然函數(shù)），可得約束條件下的。由于參數(shù)的極大似然估計(jì)量與最小二乘估計(jì)量實(shí)際上是相同的，那么此處得到的就與上一小節(jié)所得到即（4）式相同。與前面一樣，此時(shí)的殘差為，

22、而的帶約束的極大似然估計(jì)為，因此，（類似于（7）式） （9）（式中常數(shù)與（7）式相同）將（7）式和（9）式代入（8）式，就得到了似然比檢驗(yàn)統(tǒng)計(jì)量的另一種形式， （10）由此可見，計(jì)算統(tǒng)計(jì)需要擬合無約束模型和有約束模型。而事實(shí)上，前面講的各種檢驗(yàn)（檢驗(yàn)，檢驗(yàn)，（6）式）都可以根據(jù)似然比原理推導(dǎo)出來。這就再次說明似然比檢驗(yàn)是統(tǒng)計(jì)檢驗(yàn)的理論基礎(chǔ)。五、沃爾德檢驗(yàn)（）在前面一般線性框架的假設(shè)檢驗(yàn)的討論中，由估計(jì)量服從正態(tài)分布推出了（1）式。這里如果我們考慮的漸近正態(tài)性，也能得到前面的（1）式，即（11）這里是中約束條件個(gè)數(shù)，用的一致估計(jì)量代替式中的，漸近分布成立，或者說大樣本情形的沃爾德統(tǒng)計(jì)量為（12）

23、類似于前面的（6）式，上式的分子也可寫為（），于是檢驗(yàn)的統(tǒng)計(jì)量具有另一種形式， （13）與檢驗(yàn)的情況一樣，呈大樣本卡方分布。如果的值大于卡方分布的上側(cè)分位數(shù)，則拒絕原假設(shè)。而前面的（6）式也可歸為檢驗(yàn)類。檢驗(yàn)的一般公式：六*、拉格朗日乘數(shù)檢驗(yàn)（）上述的檢驗(yàn)，檢驗(yàn)都涉及到了對(duì)數(shù)似然函數(shù)。檢驗(yàn)是由漸近服從均值為，方差協(xié)方差陣為的正態(tài)分布，而導(dǎo)出在下，。其中。從而得出統(tǒng)計(jì)量的分布。一般地，如果是的極大似然估計(jì)量，由其大樣本性或漸近性知，其中稱為信息矩陣，它的定義如下：在線性模型的極大似然估計(jì)中，易知即上述檢驗(yàn)的。拉格朗日乘數(shù)檢驗(yàn)同樣依賴于對(duì)數(shù)似然函數(shù)及信息矩陣。記，稱為在處的得分。無約束估計(jì)量的得分

24、，而受約束的估計(jì)量的得分在約束條件有效的情況下，應(yīng)接近于0。可以證明，得分向量的均值為零，方差協(xié)方差矩陣為信息矩陣，于是服從分布，所以大樣本時(shí)，在下，有 （14）此時(shí)，我們只需計(jì)算受約束的估計(jì)量的得分（注意：計(jì)算的是無約束的估計(jì)量）即由用和代替上式的和，以及，可得再通過適當(dāng)?shù)倪\(yùn)算和變換可得(過程略) （15） 具體的檢驗(yàn)可分兩步完成。第一步，計(jì)算受約束的估計(jì)量，從而得到殘差向量，第二步，讓對(duì)所有的變量回歸，這個(gè)回歸的可決系數(shù)是，恩格爾(Engle 1982)證明了對(duì)于大樣本來說， （16）當(dāng)(卡方分布的上側(cè)分位數(shù))時(shí)，則拒絕原假設(shè)。檢驗(yàn)方法實(shí)際上是從一個(gè)較簡單的模型開始，檢驗(yàn)是否可以增加新變量，第一步就是對(duì)簡單模型(變量較少)回歸，得到殘差。如果“真實(shí)”模型變量很多，則這些變量加入模型應(yīng)對(duì)有影響。所以第二步對(duì)所有變量回歸而得到的的大小就將直接決定是否應(yīng)該增加新變量，即約束是否成立。如果很大()，則說明新增變量對(duì)有顯著影響，即真實(shí)模型應(yīng)含較多變量，或者說對(duì)參數(shù)的約束(比如某些為0)不成立。如果較小()，則說明新增變量對(duì)沒有顯著影響，真實(shí)模型就應(yīng)是變量較少的簡單模型，即約束條件成立。這也是通常所說的“從簡單到一般”的模型設(shè)定方法。七、，的簡單比較 三種檢驗(yàn)