第三章多元線性回歸模型(研究生)

1第三章經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型§3.1多元線性回歸模型§3.2多元線性回歸模型的參數(shù)估計(jì)§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)§3.4多元線性回歸模型的預(yù)測(cè)§3.5

可化為線性的多元非線性回歸模型

§3.6受約束回歸2§3.1多元線性回歸模型一、多元線性回歸模型

二、多元線性回歸模型的基本假定

3一、多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。一般表現(xiàn)形式：其中:k為解釋變量的數(shù)目，

j稱為回歸參數(shù)。習(xí)慣上：把常數(shù)項(xiàng)看成為一個(gè)虛變量的參數(shù)，該虛變量的樣本觀測(cè)值始終取1。這樣：模型中解釋變量的數(shù)目為（k+1）(3.1.1)(3.1.1)也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式非隨機(jī)表達(dá)式為:(3.1.2)4多元回歸分析是以多個(gè)解釋變量的給定值為條件的回歸分析各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;或者說

j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。5給出一組(n個(gè))觀測(cè)值則總體多元線性回歸模型可以表示為下面的方程組：將方程組寫成矩陣的形式：(3.1.3)多元總體線性回歸模型矩陣表示設(shè)多元總體線性回歸模型矩陣表示為：(3.1.4)6樣本回歸函數(shù)形式用估計(jì)樣本回歸函數(shù)來近似代表總體回歸函數(shù)樣本回歸函數(shù)的形式其隨機(jī)表示式:e稱為殘差或剩余項(xiàng)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)

的近似替代。樣本回歸函數(shù)的矩陣表達(dá):(3.1.5)(3.1.6)在一個(gè)容量為n樣本下，(3.1.5)和(3.1.6)可以表示如下(3.1.8)(3.1.7)7樣本線性回歸模型矩陣形式設(shè)多元樣本線性回歸模型矩陣形式為：(3.1.9)(3.1.10)89二、多元線性回歸模型的基本假定

假設(shè)1：回歸模型是正確設(shè)定的。假設(shè)2：解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。假設(shè)3：樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n+∞時(shí)，

10二、多元線性回歸模型的基本假定

假設(shè)4：隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性

假設(shè)5：解釋變量與隨機(jī)項(xiàng)不相關(guān)假設(shè)6：隨機(jī)項(xiàng)滿足正態(tài)分布1011假定的矩陣形式

上述假設(shè)的矩陣符號(hào)表示式：

假設(shè)2，n(k+1)矩陣X是非隨機(jī)的，且X的秩(X)=k+1，即X列滿秩。假設(shè)3，n+∞時(shí)，

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的n

k階矩陣1112假設(shè)4：13假設(shè)5：假設(shè)6，向量

有一多維正態(tài)分布，即

14類似一元回歸模型，上述條件均可寫成非條件期望與方差形式根據(jù)這些條件，可以得到或?qū)憺楫?dāng)時(shí)

當(dāng)時(shí)

1415§3.2多元線性回歸模型的估計(jì)估計(jì)方法：OLS、ML或者M(jìn)M一、普通最小二乘估計(jì)*二、最大或然估計(jì)*三、矩估計(jì)四、參數(shù)估計(jì)量的性質(zhì)五、樣本容量問題六、估計(jì)實(shí)例

16一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：i=1,2…,n樣本回歸的隨機(jī)形式(3.2.1)(3.2.3)根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)使殘差平方和達(dá)到最小(3.2.2)17根據(jù)微積分知識(shí)，需對(duì)Q關(guān)于待估參數(shù)求偏導(dǎo)數(shù)，并且令其為0。則18于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：(3.2.4)k+1元線性方程組(3.2.3)稱為正則方程組，解該線性方程組方程，可得k+1個(gè)待估參數(shù)的估計(jì)值19正規(guī)方程組轉(zhuǎn)化為：1920正規(guī)方程組即可以將正規(guī)方程組寫成矩陣形式其中(3.2.5)由于X的列滿秩性，可得為滿秩對(duì)稱矩陣，故有(3.2.6)21根據(jù)最小二乘原理，需要尋找一組參數(shù)估計(jì)，使殘差平方和將上述過程用矩陣表示如下：最小，因此應(yīng)該是方程組的解注意：是一個(gè)標(biāo)量，顧是對(duì)稱矩陣22例3.2.1：在例2.3.1的家庭收入-消費(fèi)支出例中，

可求得于是P37離差形式的普通最小二乘估計(jì)正規(guī)方程組另一種形式對(duì)于正規(guī)方程組

將(3.1.10)代入得(3.2.7)或(3.2.8)是多元線性回歸模型正規(guī)方程組的另一種寫法由此容易得到多元回歸分析中樣本回歸模型的離差形式或(3.2.8)求均值得：(3.2.2)(3.2.7)(3.2.7)382324記：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為用方程(3.2.3)減(3.2.7)得：有：(3.2.8)(3.2.8)的矩陣形式：(3.2.9)其中(3.2.10)25?隨機(jī)誤差項(xiàng)

的方差

的無偏估計(jì)

證明，隨機(jī)誤差項(xiàng)

的方差的無偏估計(jì)量為

證明根據(jù)(3.1.4)，(3.1.10)和(3.2.6)殘差平方和(3.2.12)其中為對(duì)稱等冪矩陣tr()表示為矩陣的跡，其定義為矩陣主對(duì)角線元素之和(3.2.11)44對(duì)于殘差e可證*二、最大或然估計(jì)對(duì)于多元線性回歸模型由于的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率為即為變量Y的或然函數(shù)

所以其中：（3.2.13）26對(duì)數(shù)或然函數(shù)為對(duì)對(duì)數(shù)或然函數(shù)求極大值，也就是對(duì)

求極小值。因此，參數(shù)的最大或然估計(jì)為結(jié)果與參數(shù)的普通最小二乘估計(jì)相同，與一元回歸相仿有多遠(yuǎn)線性回歸下隨機(jī)干擾項(xiàng)方差的估計(jì)如下（3.2.14）（3.2.15）(3.2.16)27*三、矩估計(jì)（MomentMethod,MM）

OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組并對(duì)它進(jìn)行求解而完成的。該正規(guī)方程組

可以從另外一種思路來導(dǎo):

求期望

:28稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。

由此得到正規(guī)方程組

解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。易知MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。29矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了

E(X’)=0

如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。

如果存在＞k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含＞k+1方程的矩條件。這就是GMM。3031

四、參數(shù)估計(jì)量的性質(zhì)

在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)

的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)仍具有：

線性性、無偏性、有效性。

同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：

漸近無偏性、漸近有效性、一致性。

四、參數(shù)估計(jì)量的性質(zhì)

1、線性性是的線性函數(shù)

證其中僅與固定的X有關(guān)，其實(shí)也是的線性函數(shù)。即是的線性函數(shù)，同時(shí)也是的線性函數(shù)

2、無偏性

(3.2.18)(3.2.17)32

3、有效性（最小方差性）

(3.2.19)根據(jù)無偏性和(3.2.17)設(shè)是其他方法得到的關(guān)于線性無偏估計(jì)量為固定矩陣，于是由無偏62333、有效性（最小方差性）為主對(duì)角線元素非負(fù)的對(duì)稱矩陣，由此得到；3、

根據(jù)無偏性和有效性證明可得(3.2.20)(3.2.21)3435

五、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)?，無多重共線性要求：秩(X)=k+1存在要求既要求為k+1滿秩，而故要求而X為n×k+1階矩陣，此時(shí)必須有n

k+1362、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n

30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n－k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n

30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明37

六、多元線性回歸模型的參數(shù)估計(jì)實(shí)例

例2.6.1中，已建立了中國(guó)居民人均消費(fèi)一元線性模型。這里我們?cè)倏紤]建立多元線性模型。P7238§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

39

一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解40由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象(3.3.1)用到正則方程(3.2.8)2141多元線性回歸總離差平方和的分解式

TSS=RSS+ESS

總離差平方和=

殘差平方和+

回歸平方和其中：TSS反映被解釋變量觀測(cè)值總離差的大??；

ESS反映被解釋變量回歸估計(jì)值說明的總離差的大小，它是TSS中由樣本回歸線可以解釋的部分；

RSS反映被解釋變量觀測(cè)值與估計(jì)值之間的總離差，它是TSS中未被解釋的那部分離差；可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。(3.3.2)42

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:

將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:(3.3.3)43（1）用自由度調(diào)整后，可以消除擬合優(yōu)度評(píng)價(jià)中解釋變量多少對(duì)決定系數(shù)計(jì)算的影響；（2）對(duì)于包含的解釋變量個(gè)數(shù)不同的模型，可以用調(diào)整后的決定系數(shù)直接比較它們的擬合優(yōu)度的高低。模型的擬合優(yōu)度并不是判斷模型質(zhì)量的唯一標(biāo)準(zhǔn)，有時(shí)甚至為追求模型的經(jīng)濟(jì)意義，可以犧牲一點(diǎn)擬合優(yōu)度。(3.3.4)赤馳信息準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解釋變量個(gè)數(shù)不同的多遠(yuǎn)回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有赤馳信息準(zhǔn)則(AkaikeInformationCriterionAIC)和施瓦茨準(zhǔn)則(SchwarzCriterionSC)，其定義為(3.3.4)(3.3.5)這兩個(gè)準(zhǔn)則均要求僅當(dāng)增加的解釋變量能減少AIC和SC值EViews給出這兩個(gè)值4445模型的擬合優(yōu)度并不是判斷模型質(zhì)量的唯一標(biāo)準(zhǔn)，有時(shí)甚至為追求模型的經(jīng)濟(jì)意義，可以犧牲一點(diǎn)擬合優(yōu)度。(3.3.7)離差和的性質(zhì)*總離差平方和：回歸離差平方和：表示一個(gè)元素全為1的方陣同時(shí)其中殘差平方和：因?yàn)闉榈葍缇仃?346總離差平方和：回歸離差平方和：殘差平方和：方差來源平方和SS自由度MSS均方回歸平方和ESSkESS/k殘差平方和RSSn-k-1RSS/n-k-1總平方和TSSn-1方差分析表494748

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=

0+

1Xi1+

2Xi2++

kXik+

ii=1,2,,n中的參數(shù)

j是否顯著不為0。

多個(gè)解釋變量聯(lián)合對(duì)被解釋變量是否有顯著影響可提出如下原假設(shè)與備擇假設(shè)：H0：

0=1=2==k=0H1：

j不全為0注意，不包含

049

F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS=回歸平方和+殘差平方和由于回歸平方和ESS是解釋變量X的聯(lián)合體對(duì)被解釋變量Y的線性作用的結(jié)果，考慮比值

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。根據(jù)數(shù)理統(tǒng)計(jì)知識(shí)，(證明比較難)在H0成立的條件下，有(3.3.8)4750aF

(k,n-k-1)0拒絕H0不能拒絕H0F

（1）給定顯著性水平

，查得臨界值F

(k,n-k-1)；

（2）由樣本求出統(tǒng)計(jì)量F的數(shù)值；（3）通過F值與臨界值進(jìn)行比較

F

F

(k,n-k-1)或F

F

(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。F檢驗(yàn)的具體步驟為：例3.2.2中，計(jì)算F=560.57給定顯著水平α=0.05,查F表得F0.05(2,28)=3.34，例中解釋變量2個(gè)，樣本容量31，因?yàn)?/p>

F0.05(2,28)>3.34，拒絕原假設(shè)，線性關(guān)系成立512、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

擬合優(yōu)度檢驗(yàn)和方程總體線性的顯著性檢驗(yàn)是從不同原理出發(fā)的兩類檢驗(yàn)；擬合優(yōu)度檢驗(yàn)是從已經(jīng)得到估計(jì)的模型出發(fā)，檢驗(yàn)它對(duì)樣本觀測(cè)值的擬合程度；方程的F檢驗(yàn)是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)系的顯著性；但是兩者又是關(guān)聯(lián)的，擬合程度高，總體線性關(guān)系的顯著性就強(qiáng)。52由由上式可得：(3.3.9)R2與F之間的關(guān)系53因此，F(xiàn)檢驗(yàn)是所估計(jì)回歸的總體顯著性的一個(gè)度量，也是R2的顯著性的檢驗(yàn)（即R2是否顯著不為0）也就是檢驗(yàn)

H0：

0=1=2==k=0

等價(jià)于檢驗(yàn)R2=0因此，這樣計(jì)算F值更簡(jiǎn)便(3.3.10)54例如：用F檢驗(yàn)通過了總體模型的線性關(guān)系在95%的置信度下是顯著成立的。然而利用計(jì)算的到的值為0.1354；如果我們先得到肯定認(rèn)為模型質(zhì)量不高，卻不知道實(shí)際總體線性關(guān)系的顯著性水平達(dá)到95%。因此，在應(yīng)用中不必過分苛求調(diào)整的可決系數(shù)，重要的是考察模型的經(jīng)濟(jì)關(guān)系是否合理。55

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

對(duì)于多元線性回歸模型，方程的總體線性關(guān)系顯著

每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。

這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。回歸參數(shù)的顯著性檢驗(yàn)，目的在于檢驗(yàn)當(dāng)其他解釋變量不變時(shí)，該回歸系數(shù)對(duì)應(yīng)的解釋變量是否對(duì)因變量有顯著影響。56根據(jù)回歸系數(shù)的估計(jì)量服從如下正態(tài)分布：1、t統(tǒng)計(jì)量

cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素；根據(jù)(3.2.12)第二章中給出對(duì)于來自單一樣本的估計(jì)值的t統(tǒng)計(jì)量是σ2的無偏估計(jì)量(3.3.11)57

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

給定顯著性水平

，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)(拒絕域)或|t|

t/2(n-k-1)(接受域)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。H0：

i=0

H1：

i

0

（i=1,2…k）

構(gòu)造統(tǒng)計(jì)量(3.3.12)58注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：

1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：例3.2.2中，已計(jì)算出兩個(gè)變量X1和X2=的t值分別為給定顯著水平α=0.05,查t表中自由度28得由于拒絕原假設(shè)，變量顯著性通過59四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下

I的置信區(qū)間是其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。=(3.3.13)60

在例3.2.2中,p73給定

=0.05，查表得臨界值：t0.025(28)=2.048計(jì)算得參數(shù)的置信區(qū)間：

1

：(0.4014,0.7098)

2

：(0.0174,0.4828)

從回歸計(jì)算中已得到：61如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??；提高模型的擬合優(yōu)度，模型優(yōu)度越高，殘差平方和應(yīng)越小。如果完全擬合，置信區(qū)間長(zhǎng)度為0提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，

越小，使減小。62§3.4多元線性回歸模型的預(yù)測(cè)一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間對(duì)于模型給定樣本以外的解釋變量的觀測(cè)值X0=(1,X01,X02,…,X0k)，可以得到被解釋變量的預(yù)測(cè)值：

它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測(cè)。但嚴(yán)格地說，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。以一定的概率出現(xiàn)的區(qū)間63一、E(Y0)的置信區(qū)間易知

32標(biāo)量，非向量64于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。65

二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測(cè)值Y0，那么預(yù)測(cè)誤差為：容易證明31（3.2.17）標(biāo)量，非向量66e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

67P72例3.2.2，假設(shè)某城鎮(zhèn)居民家庭2006年人均可支配收入（X1）為20000元，其2005年人均消費(fèi)支出（X2）為14000元，則對(duì)該家庭2006年人均居民消費(fèi)支出進(jìn)行預(yù)測(cè)。根據(jù)題意，則該家庭2006年人均居民消費(fèi)支出預(yù)測(cè)值為：就全國(guó)平均情況來看，可求出當(dāng)面平均的人均消費(fèi)支出預(yù)測(cè)值的置信區(qū)間。68預(yù)測(cè)的置信區(qū)間：在95%的置信水平下E(Y0)的置信區(qū)間：于是E(?）的95%的置信區(qū)間為:69同樣，就人均可支配收入20000元，也易得2006年人均消費(fèi)支出Y0的95%的置信區(qū)間為:

需要指出的是：“如果給定解釋變量的值，根據(jù)模型就可以得到被解釋變量的預(yù)測(cè)值為。。?！保@樣的說法是不科學(xué)的，也是計(jì)量經(jīng)濟(jì)學(xué)模型無法達(dá)到的。如果一定要給出一個(gè)具體的預(yù)測(cè)值，那么它的置信度為0；如果一定要回答以100%的置信度處在什么區(qū)間中，那么這個(gè)區(qū)間是（-∞，+∞）70§3.5可化為線性的多元非線性回歸模型

一、模型的類型與變換二、可化為線性的非線性回歸實(shí)例71

在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillips

cuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡(jiǎn)單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸的方法進(jìn)行計(jì)量經(jīng)濟(jì)學(xué)方面的處理。一、模型的類型與變換

1、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法

（1）倒數(shù)模型(雙曲線模型)：這是一個(gè)變量之間是非線性的模型，因?yàn)槭且缘箶?shù)形式進(jìn)入模型的，但這個(gè)模型卻是參數(shù)線性模型，因?yàn)槟Ｐ椭袇?shù)之間是線性的。令X*=1/X，得Y=a+bX*令Y*=1/Y，X*=1/X，得Y*=a+bX*有一些非線性的模型通過適當(dāng)?shù)淖儞Q就可以化為標(biāo)準(zhǔn)線性模型，這種模型稱為可線性化模型(3.5.1)(3.5.2)7273例如，商品的需求曲線是一種雙曲線形式，商品的需求量Q與商品價(jià)格P的關(guān)系變現(xiàn)為：令Y=1/Q，X=1/P，進(jìn)行置換得：Y=a+bX+μ

(2)多項(xiàng)式模型

Y=a+b1X+b2X2

+b3X3

+…+bk

Xk

+μ

模型非線性的，但其參數(shù)卻是線性的，因此它是線性回歸模型令Xt

=Xt得：y=a+b1X1+b2X2+

b3X3+…+

bk

Xk

+μ

模型轉(zhuǎn)化為多元線性回歸模型例如，描述稅收s與稅率r關(guān)系的拉弗曲線：

s=a+br+cr2+μ

c<0設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2+μc<0

(3.5.3)(3.5.4)(3.5.5)(3.5.6)742、冪函數(shù)模型、指數(shù)函數(shù)模型與函數(shù)變換法

（1）冪函數(shù)曲線模型：Y=aXbb>10<b<1b=1a>00xya1a>0yx0b<0a1在這個(gè)模型中，變量X是非線性的冪函數(shù)：Y=aXb

若a>0，則ln

Y=ln

a+blnX（雙對(duì)數(shù)模型——被解釋變量和解釋變量都是對(duì)數(shù)形式）令

Y*=ln

Y，a*

=ln

a，X*=ln

X，得：Y*=a*+bX*(***)對(duì)于變形的模型(***)，如果它滿足古典線性回歸模型的基本假定，則很容易用普通最小二乘法來估計(jì)它，并且得到的估計(jì)量是最優(yōu)線性無偏估計(jì)量(3.5.8)對(duì)數(shù)模型一般形式(3.5.7)(3.5.9)75在經(jīng)驗(yàn)工作中，雙對(duì)數(shù)模型應(yīng)用的非常廣泛，其原因在于，它有一個(gè)很吸引人的特性：斜率b度量了Y對(duì)X的彈性，即給X一個(gè)(很小)的變動(dòng)所引起Y變動(dòng)的百分比。如果用符號(hào)△Y代表Y的一個(gè)小的變動(dòng)，△X代表X的一個(gè)小的變動(dòng)，定義彈性E為：公式中的分子分母可以理解Y、X變動(dòng)的百分比。彈性的概念反映了Y對(duì)于X變動(dòng)的敏感程度。因此，如果Y代表了商品的需求量，X代表了單位價(jià)格，則E就是需求的價(jià)格彈性。lnY=lna+blnX

Y*=a*+bX*冪函數(shù)：Y=aXb76lnY=lna+blnX

Y*=a*+bX*可見對(duì)于這個(gè)模型，斜率等于Y關(guān)于X的彈性，所以彈性為一常數(shù)—它與X的取值無關(guān)。這個(gè)特殊的性質(zhì)，雙對(duì)數(shù)模型又稱為不變彈性模型。由于冪函數(shù)具有上述優(yōu)點(diǎn)，在生產(chǎn)函數(shù)和需求函數(shù)中有廣泛應(yīng)用，冪函數(shù)一般形式根據(jù)彈性的對(duì)數(shù)定義注意：一般來說，斜率和彈性是兩個(gè)不同的概念。只有在雙對(duì)數(shù)模型中，彈性才等于斜率。7778

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AK

L

eμQ：產(chǎn)出量，K：投入的資本；L：投入的勞動(dòng)

方程兩邊取對(duì)數(shù)：

lnQ=lnA+

lnK+lnL+μ即

Q*

=A*+K*+L*

+μ模型中的

、

分別為資本和勞動(dòng)的產(chǎn)出彈性：79（2）指數(shù)曲線型：

y=ae

bx若a>0，則ln

y=ln

a+bx（半對(duì)數(shù)模型——只有一個(gè)變量（被解釋變量）是以對(duì)數(shù)形式出現(xiàn)）令y*=ln

y，a*

=ln

a，得：y*=a*

+bxln

y=ln

a+bxab<0x0yb>0yx0aa>0表示x每變動(dòng)1個(gè)單位時(shí)，y將變動(dòng)的百分比，特別在x表示時(shí)間變量（年份）時(shí)，系數(shù)b衡量了y的年均增長(zhǎng)速度。80例如，生產(chǎn)中成本C與產(chǎn)量Q的關(guān)系呈現(xiàn)指數(shù)關(guān)系：兩邊取對(duì)數(shù)在對(duì)經(jīng)濟(jì)變量的變動(dòng)規(guī)律研究中，測(cè)定其增長(zhǎng)率或衰減率是一個(gè)重要方面。在回歸分析中，我們可以用半對(duì)數(shù)模型來測(cè)度這些增長(zhǎng)率。（3）

對(duì)數(shù)曲線模型：y=a+b

ln

x令x*=ln

x，得：y=a+bx*（半對(duì)數(shù)模型—只有一個(gè)變量（解釋變量）是以對(duì)數(shù)形式出現(xiàn)）b>0x0y0yxb<0對(duì)數(shù)曲線模型：y=a+b

ln

x它表示x每變動(dòng)1%時(shí)，y將變動(dòng)的絕對(duì)量，即變動(dòng)b%個(gè)單位。81823、復(fù)雜函數(shù)模型與級(jí)數(shù)展開法

方程兩邊取對(duì)數(shù)后，得到：

(

1+2=1)Q:產(chǎn)出量，K：資本投入，L：勞動(dòng)投入：替代參數(shù)，1、

2：分配參數(shù)例如，固定替代彈性CES生產(chǎn)函數(shù)

將式中l(wèi)n(

1K-+2L-)在

=0處展開泰勒級(jí)數(shù),取關(guān)于

的線性項(xiàng)，即得到一個(gè)線性近似式。

如取0階、1階、2階項(xiàng)，可得83并非所有的函數(shù)形式都可以線性化

無法線性化模型的一般形式為:其中，f(X1,X2,…,Xk)為非線性函數(shù)。如：84本節(jié)我們討論了幾種參數(shù)之間是線性的模型或是可通過適當(dāng)?shù)淖冃纬蓞?shù)線性的模型(但變量之間并不一定是線性的)。這些不同的模型都有其自己特殊的性質(zhì)和特征。主要的6種模型如下：(1)倒數(shù)（雙曲函數(shù)）模型。應(yīng)變量是線性形式，但解釋變量是倒數(shù)形式;(2)多項(xiàng)式模型。解釋變量以不同次方形式進(jìn)入模型。(3)冪函數(shù)(雙對(duì)數(shù))模型。應(yīng)變量和解釋變量都是對(duì)數(shù)形式。(4)指數(shù)函數(shù)（半對(duì)數(shù)）模型。應(yīng)變量是對(duì)數(shù)形式，但解釋變量是線性形式。(5)對(duì)數(shù)函數(shù)（半對(duì)數(shù)）模型。解釋變量是對(duì)數(shù)形式，但應(yīng)變量是線性形式。(6)復(fù)雜函數(shù)模型。§3.6受約束回歸

在建立回歸模型時(shí)，有時(shí)根據(jù)經(jīng)濟(jì)理論需對(duì)模型中變量的參數(shù)施加一定的約束條件。

如：

0階齊次性條件的消費(fèi)需求函數(shù)

1階齊次性條件的C-D生產(chǎn)函數(shù)模型施加約束條件后進(jìn)行回歸，稱為受約束回歸（restrictedregression）;

不加任何約束的回歸稱為無約束回歸（unrestrictedregression）。85受約束回歸

一、模型參數(shù)的線性約束二、對(duì)回歸模型增加或減少解釋變量三、參數(shù)的穩(wěn)定性*四、非線性約束86

一、模型參數(shù)的線性約束對(duì)模型施加約束得或(3.6.1)如果對(duì)（3.6.4）式回歸得出則由約束條件可得：(3.6.2)(3.6.3)(3.6.4)87

然而，對(duì)所考查的具體問題能否施加約束？需進(jìn)一步進(jìn)行相應(yīng)的檢驗(yàn)。常用的檢驗(yàn)有：

F檢驗(yàn)、x2檢驗(yàn)與t檢驗(yàn)，

主要介紹F檢驗(yàn)在同一樣本下，記無約束樣本回歸模型為受約束樣本回歸模型為于是88受約束樣本回歸模型的殘差平方和RSSR于是e’e為無約束樣本回歸模型的殘差平方和RSSU(*)受約束與無約束模型都有相同的TSS由（*）式RSSR

RSSU從而

ESSR

ESSU這意味著，通常情況下，對(duì)模型施加約束條件會(huì)降低模型的解釋能力。89

但是，如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，RSSR

與RSSU的差異變小。可用RSSR

-RSSU的大小來檢驗(yàn)約束的真實(shí)性根據(jù)數(shù)理統(tǒng)計(jì)學(xué)的知識(shí)：于是：注意，kU

–kR=q恰為約束條件的個(gè)數(shù)。kU為無約束條件解釋變量個(gè)數(shù)

kR為

kU+約束條件個(gè)數(shù)q90

討論：

如果約束條件無效，RSSR

與RSSU的差異較大，計(jì)算的F值也較大。拒絕原假設(shè)可能性越大

于是，可用計(jì)算的F統(tǒng)計(jì)量的值與所給定的顯著性水平下的臨界值作比較，對(duì)約束條件的真實(shí)性進(jìn)行檢驗(yàn)。注意，kU

-kR恰為約束條件的個(gè)數(shù)。在顯著水平α條件下。查表得F分布臨界值Fα

將統(tǒng)計(jì)量F與Fα進(jìn)行比較，如果F>Fα，拒絕原假設(shè)，認(rèn)為參數(shù)約束不成立，否則不能拒絕原假設(shè)。91例3.6.1

中國(guó)城鎮(zhèn)居民對(duì)食品的人均消費(fèi)需求實(shí)例中，對(duì)零階齊次性檢驗(yàn)：

取

=5%，查得臨界值F0.05(1,10)=4.96

判斷：0.231<4.96不能拒絕中國(guó)城鎮(zhèn)居民對(duì)食品的人均消費(fèi)需求函數(shù)具有零階齊次特性這一假設(shè)。無約束回歸:RSSU=0.00324，

kU=3

受約束回歸:RSSR=0.00332，KR=2

樣本容量n=14，約束條件個(gè)數(shù)kU

-kR=3-2=192這里的F檢驗(yàn)適合所有關(guān)于參數(shù)線性約束的檢驗(yàn)如：多元回歸中對(duì)方程總體線性性的F檢驗(yàn)：

H0：

j=0j=1,2,…,k這里：受約束回歸模型為這里，運(yùn)用了ESSR

＝0。93

二、對(duì)回歸模型增加或減少解釋變量考慮如下兩個(gè)回歸模型(*)(**)(*)式可看成是（**）式的受約束回歸：H0：相應(yīng)的Ｆ統(tǒng)計(jì)量為：94如果約束條件為真，即額外的變量Xk+1,…,Xk+q對(duì)Ｙ?zèng)]有解釋能力，則Ｆ統(tǒng)計(jì)量較??；否則，約束條件為假，意味著額外的變量對(duì)Ｙ有較強(qiáng)的解釋能力，則Ｆ統(tǒng)計(jì)量較大。因此，可通過F的計(jì)算值與臨界值的比較，來判斷額外變量是否應(yīng)包括在模型中。討論：

Ｆ統(tǒng)計(jì)量的另一個(gè)等價(jià)式

P96例3.2.295

三、參數(shù)的穩(wěn)定性

1、鄒氏參數(shù)穩(wěn)定性檢驗(yàn)建立模型時(shí)往往希望模型的參數(shù)是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，這將提高模型的預(yù)測(cè)與分析功能。如何檢驗(yàn)？假設(shè)需要建立的模型為在兩個(gè)連續(xù)的時(shí)間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應(yīng)的模型分別為：96

合并兩個(gè)時(shí)間序列為(1,2,…，n1

，n1+1,…，n1+n2)，則可寫出如下無約束回歸模型如果

=

，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對(duì)如下假設(shè)進(jìn)行檢驗(yàn)：

H0:

=

(*)式施加上述約束后變換為受約束回歸模型(*)（**）97因此，檢驗(yàn)的F統(tǒng)計(jì)量為：記RSS1與RSS2為在兩時(shí)間段上分別回歸后所得的殘差平方和，容易驗(yàn)證，于是98參數(shù)穩(wěn)定性的檢驗(yàn)步驟：（1）分別以兩連續(xù)時(shí)間序列作為兩個(gè)樣本進(jìn)行回歸，得到相應(yīng)的殘差平方：RSS1與RSS2

（2）將兩序列并為一個(gè)大樣本后進(jìn)行回歸，得到大樣本下的殘差平方和RSSR

（3）計(jì)算F統(tǒng)計(jì)量的值，與臨界值比較：

若F值大于臨界值，則拒絕原假設(shè)，認(rèn)為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗(yàn)也被稱為鄒氏參數(shù)穩(wěn)定性檢驗(yàn)（Chowtestforparameterstability）。99

2、鄒氏預(yù)測(cè)檢驗(yàn)

上述參數(shù)穩(wěn)定性檢驗(yàn)要求n2>k。

如果出現(xiàn)n2<k

，則往往進(jìn)行如下的鄒氏預(yù)測(cè)檢驗(yàn)（Chowtestforpredictivefailure）。

鄒氏預(yù)測(cè)檢驗(yàn)的基本思想:

先用前一時(shí)間段n1個(gè)樣本估計(jì)原模型，再用估計(jì)出的參數(shù)進(jìn)行后一時(shí)間段n2個(gè)樣本的預(yù)測(cè)。

如果預(yù)測(cè)誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。100分別以

、

表示第一與第二時(shí)間段的參數(shù)，則其中，如果

=0，則

=，表明參數(shù)在估計(jì)期與預(yù)測(cè)期相同(*)

(*)的矩陣式：可見，用前n1個(gè)樣本估計(jì)可得前k個(gè)參數(shù)

的估計(jì)，而

不外是用后n2個(gè)樣本測(cè)算的預(yù)測(cè)誤差X2(-)(**)101如果參數(shù)沒有發(fā)生變化，則

=0，矩陣式簡(jiǎn)化為(***)（***）式與（**）式這里：KU-KR=n2RSSU=RSS1分別可看成受約束與無約束回歸模型，于是有如下F檢驗(yàn)：102

第一步，在兩時(shí)間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和RSSR

；

第二步，對(duì)前一時(shí)間段的n1個(gè)子樣做OLS回歸，得殘差平方和RSS1

；

第三步，計(jì)算檢驗(yàn)的F統(tǒng)計(jì)量，做出判斷：鄒氏預(yù)測(cè)檢驗(yàn)步驟：給定顯著性水平

，查F分布表，得臨界值F

(n2,n1-k-1)

如果F>F(n2,n1-k-1)

，則拒絕原假設(shè)，認(rèn)為預(yù)測(cè)期發(fā)生了結(jié)構(gòu)變化。103

例3.6.2

中國(guó)城鎮(zhèn)居民食品人均消費(fèi)需求的鄒氏檢驗(yàn)。

1、參數(shù)穩(wěn)定性檢驗(yàn)1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)1981~2001:

(14.83)(27.26)(-3.24)(-11.17)104給定

=5%，查表得臨界值F0.05(4,13)=3.18