多元線性回歸模型新

多元線性回歸模型新第一頁，共一百七十三頁，編輯于2023年，星期日§3.1多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

第二頁，共一百七十三頁，編輯于2023年，星期日一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸系數(shù)（regressioncoefficient）。第三頁，共一百七十三頁，編輯于2023年，星期日也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:表示：各變量X值固定時Y的平均響應(yīng)。

習(xí)慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）

第四頁，共一百七十三頁，編輯于2023年，星期日總體回歸模型n個隨機方程的矩陣表達式為:

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。如果給出一組觀察值：(X1i,X2i,…,Xki,Yi)則總體回歸模型：第五頁，共一百七十三頁，編輯于2023年，星期日用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：其中第六頁，共一百七十三頁，編輯于2023年，星期日其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項i的近似替代。

樣本回歸函數(shù)及回歸模型的矩陣表達:

及其中：即樣本回歸模型第七頁，共一百七十三頁，編輯于2023年，星期日1、關(guān)于模型關(guān)系的假設(shè)假設(shè)1：回歸模型設(shè)定是正確的。假設(shè)2：解釋變量X1，X2,……,Xk是非隨機的或固定的，且各Xj之間不存在嚴(yán)格線性相關(guān)性（無完全共線性）假設(shè)3：樣本方差假設(shè)。隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。時間序列數(shù)據(jù)作樣本時間適用第八頁，共一百七十三頁，編輯于2023年，星期日

假設(shè)4：隨機誤差項具有零均值、同方差及不序列相關(guān)性。j=1,2,……,nj=1,2,……,n第九頁，共一百七十三頁，編輯于2023年，星期日假設(shè)5：解釋變量與隨機項不相關(guān)。j=1,2,…,k假設(shè)6：隨機干擾項滿足正態(tài)分布.第十頁，共一百七十三頁，編輯于2023年，星期日上述假設(shè)的矩陣符號表示

式：

假設(shè)2，n(k+1)矩陣X是非隨機的，且X的秩(X)=k+1，即X滿秩。

第十一頁，共一百七十三頁，編輯于2023年，星期日

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣或有問題，只是對角線上的有假設(shè)3第十二頁，共一百七十三頁，編輯于2023年，星期日假設(shè)4Var(μ）=第十三頁，共一百七十三頁，編輯于2023年，星期日假設(shè)6，向量

有一多維正態(tài)分布，即

假設(shè)5，E(X'

)=0，即

第十四頁，共一百七十三頁，編輯于2023年，星期日多維正態(tài)分布的表示法：如果隨機向量X=（X1,,X2,···,Xn)的密度為：則稱該隨機向量服從n維正態(tài)分布，記作X~N(μ,V），其中V為X的協(xié)方差矩陣

x=(x1,x2,…,xn)Tμ=（μ1，μ2，…,μn)T第十五頁，共一百七十三頁，編輯于2023年，星期日§3.2多元線性回歸模型的估計

一、普通最小二乘估計*二、最大或然估計*三、矩估計四、參數(shù)估計量的性質(zhì)五、樣本容量問題六、估計實例

第十六頁，共一百七十三頁，編輯于2023年，星期日說明估計方法：3大類方法：OLS、ML或者MM在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用ML或者MM在本節(jié)中，ML與MM為選學(xué)內(nèi)容第十七頁，共一百七十三頁，編輯于2023年，星期日一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是右列方程組的解

其中第二版樣本點表示有問題(X1i,X2i,…,Xki,Yi)i=1,2,…n或表示成（Xi，Yi)Xi=(X1i,X2i,…,Xki)第十八頁，共一百七十三頁，編輯于2023年，星期日

于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

解該（k+1）個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值$,,,,,bjj=012L。k第十九頁，共一百七十三頁，編輯于2023年，星期日□正規(guī)方程組的矩陣形式即由于X'X滿秩，故有

第二十頁，共一百七十三頁，編輯于2023年，星期日

將上述過程用矩陣表示如下：

即求解方程組：注意：是梯度▽Q，以各偏導(dǎo)數(shù)為分量的向量。β的二次型第二十一頁，共一百七十三頁，編輯于2023年，星期日公式推導(dǎo)的詳細(xì)說明第二十二頁，共一百七十三頁，編輯于2023年，星期日二次型的基本概念A(yù)是對稱矩陣,aij=aji第二十三頁，共一百七十三頁，編輯于2023年，星期日第二十四頁，共一百七十三頁，編輯于2023年，星期日得到：

于是：例3.2.1：在例2.1.1的家庭收入-消費支出例中，

所以有第二十五頁，共一百七十三頁，編輯于2023年，星期日可求得：

于是：

第二十六頁，共一百七十三頁，編輯于2023年，星期日?正規(guī)方程組的另一種寫法對于正規(guī)方程組

于是

或

(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法。很多地方有用

(*)(**)第二十七頁，共一百七十三頁，編輯于2023年，星期日為什么是正規(guī)方程的另一種表達式第二十八頁，共一百七十三頁，編輯于2023年，星期日?樣本回歸函數(shù)的離差形式i=1,2…n

其矩陣形式為：其中：

在離差形式下，參數(shù)的最小二乘估計結(jié)果為

從正規(guī)方程的第一個方程可得到注意：這里的X與前面不同第二十九頁，共一百七十三頁，編輯于2023年，星期日即離差形式的推導(dǎo)這里已經(jīng)不同，少了第一列第三十頁，共一百七十三頁，編輯于2023年，星期日第三十一頁，共一百七十三頁，編輯于2023年，星期日?隨機誤差項的方差的無偏估計

可以證明，隨機誤差項的方差的無偏估計量為：

第三十二頁，共一百七十三頁，編輯于2023年，星期日*二、最大似然估計對于多元線性回歸模型由于μi~N(0,σ2），易知Y的隨機抽取的n組樣本觀測值的聯(lián)合概率密度：其中：Xi=(1X1iX2i···Xki)第三十三頁，共一百七十三頁，編輯于2023年，星期日對數(shù)似然函數(shù)為對對數(shù)似然函數(shù)求極大值，也就是對

求極小值。即為變量Y的或似函數(shù)

第三十四頁，共一百七十三頁，編輯于2023年，星期日因此，參數(shù)的最大似然估計為結(jié)果與參數(shù)的普通最小二乘估計相同第三十五頁，共一百七十三頁，編輯于2023年，星期日*三、矩估計（MomentMethod,MM）

OLS估計是通過得到一個關(guān)于參數(shù)估計值的正規(guī)方程組并對它進行求解而完成的。

該正規(guī)方程組

可以從另外一種思路來導(dǎo):

求期望

:第三十六頁，共一百七十三頁，編輯于2023年，星期日稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。

E(X'(Y-Xβ))=0樣本均值去估計總體期望第三十七頁，共一百七十三頁，編輯于2023年，星期日由此得到正規(guī)方程組

解此正規(guī)方程組即得參數(shù)的MM估計量。

易知MM估計量與OLS、ML估計量等價。矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)矩估計的原理是由樣本k階原點矩估計總體k階原點矩第三十八頁，共一百七十三頁，編輯于2023年，星期日在矩方法中利用了關(guān)鍵是

E(X')=0

如果某個解釋變量與隨機項相關(guān)，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在＞k+1個變量與隨機項不相關(guān)，可以構(gòu)成一組包含＞k+1方程的矩條件。這就是GMM。第三十九頁，共一百七十三頁，編輯于2023年，星期日

四、參數(shù)估計量的性質(zhì)

在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計、最大或然估計及矩估計仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數(shù)估計量具有：

漸近無偏性、漸近有效性、一致性。第四十頁，共一百七十三頁，編輯于2023年，星期日

1、線性性

其中,C=(X′X)-1X為一僅與固定的X有關(guān)的行向量

2、無偏性

這里利用了假設(shè):E(X')=0第四十一頁，共一百七十三頁，編輯于2023年，星期日

3、有效性（最小方差性）

記號第四十二頁，共一百七十三頁，編輯于2023年，星期日其中利用了

和第四十三頁，共一百七十三頁，編輯于2023年，星期日

五、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。

⒈最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

≥

k+1因為，無多重共線性要求：秩(X)=k+1從公式中：(X'X)-1也需要秩(X)=k+1第四十四頁，共一百七十三頁，編輯于2023年，星期日

2、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n30時，Z檢驗才能應(yīng)用；

n-k≥8時,t分布較為穩(wěn)定

一般經(jīng)驗認(rèn)為:

當(dāng)n≥30或者至少n≥3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明第四十五頁，共一百七十三頁，編輯于2023年，星期日

六、多元線性回歸模型的參數(shù)估計實例

地區(qū)城鎮(zhèn)居民消費模型被解釋變量：地區(qū)城鎮(zhèn)居民人均消費Y解釋變量：地區(qū)城鎮(zhèn)居民人均可支配收入X1前一年地區(qū)城鎮(zhèn)居民人均消費X2樣本：2006年，31個地區(qū)第四十六頁，共一百七十三頁，編輯于2023年，星期日數(shù)據(jù)第四十七頁，共一百七十三頁，編輯于2023年，星期日變量間關(guān)系第四十八頁，共一百七十三頁，編輯于2023年，星期日變量間關(guān)系第四十九頁，共一百七十三頁，編輯于2023年，星期日OLS估計第五十頁，共一百七十三頁，編輯于2023年，星期日OLS估計結(jié)果第五十一頁，共一百七十三頁，編輯于2023年，星期日ML估計第五十二頁，共一百七十三頁，編輯于2023年，星期日ML估計結(jié)果第五十三頁，共一百七十三頁，編輯于2023年，星期日MM估計第五十四頁，共一百七十三頁，編輯于2023年，星期日MM估計結(jié)果第五十五頁，共一百七十三頁，編輯于2023年，星期日§3.3多元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度檢驗二、方程的顯著性檢驗(F檢驗)

三、變量的顯著性檢驗（t檢驗）四、參數(shù)的置信區(qū)間

第五十六頁，共一百七十三頁，編輯于2023年，星期日一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)則總離差平方和的分解第五十七頁，共一百七十三頁，編輯于2023年，星期日由于:

=0所以有：

注意：一個有趣的現(xiàn)象加了后相等????-+++=ikiikiiieYXeXeebbb???110L這里利用了(3.2.6)式第五十八頁，共一百七十三頁，編輯于2023年，星期日

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大？這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。——

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。第五十九頁，共一百七十三頁，編輯于2023年，星期日

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。第六十頁，共一百七十三頁，編輯于2023年，星期日在中國居民消費支出的二元模型例中在中國居民消費支出的一元模型例中第六十一頁，共一百七十三頁，編輯于2023年，星期日

*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

第六十二頁，共一百七十三頁，編輯于2023年，星期日地區(qū)城鎮(zhèn)居民消費模型（k=2）第六十三頁，共一百七十三頁，編輯于2023年，星期日地區(qū)城鎮(zhèn)居民消費模型（k=1）與k=2比較，變化不大第六十四頁，共一百七十三頁，編輯于2023年，星期日

Eviews的估計結(jié)果顯示：中國居民消費一元例中：

AIC=14.93591AC=15.02842

中國居民消費二元例中：

AIC=14.84089AC=14.97966從這點看，可以說前期人均居民消費X2應(yīng)包括在模型中。

第六十五頁，共一百七十三頁，編輯于2023年，星期日二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。第六十六頁，共一百七十三頁，編輯于2023年，星期日

可提出如下原假設(shè)與備擇假設(shè)：

H0：0=1=2==k=0H1：j不全為0

F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS第六十七頁，共一百七十三頁，編輯于2023年，星期日

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。

根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

第六十八頁，共一百七十三頁，編輯于2023年，星期日服從自由度為(k,n-k-1)的F分布。

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F(k,n-k-1)或F≤F(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。第六十九頁，共一百七十三頁，編輯于2023年，星期日對于中國居民人均消費支出的例子：一元模型：F=985.6616二元模型：F=560.5650給定顯著性水平

=0.05，查分布表，得到臨界值：一元例：F(1,29)=4.18

二元例：F(2,28)=3.34顯然有FF(k,n-k-1)

，即二個模型的線性關(guān)系在95%的水平下顯著成立。第七十頁，共一百七十三頁，編輯于2023年，星期日地區(qū)城鎮(zhèn)居民消費模型拒絕0假設(shè)，犯錯誤的概率為0第七十一頁，共一百七十三頁，編輯于2023年，星期日

2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由可推出：與或第七十二頁，共一百七十三頁，編輯于2023年，星期日第七十三頁，共一百七十三頁，編輯于2023年，星期日在中國居民人均收入—消費一元模型中，在中國居民人均收入—消費二元模型中，說明對判定系數(shù)的要求很低。？應(yīng)該是顯著水平0,05第七十四頁，共一百七十三頁，編輯于2023年，星期日

對于一般的實際問題，在5%的顯著性水平下，F(xiàn)統(tǒng)計量的臨界值所對應(yīng)的R2的水平是較低的。所以，不宜過分注重R2值，應(yīng)注重模型的經(jīng)濟意義；在進行總體顯著性檢驗時，顯著性水平應(yīng)該控制在5%以內(nèi)。第七十五頁，共一百七十三頁，編輯于2023年，星期日三、變量的顯著性檢驗（t檢驗）

方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的。因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。第七十六頁，共一百七十三頁，編輯于2023年，星期日

1、t統(tǒng)計量

由于

以cj+1,j+1表示矩陣(X'X)-1

主對角線上的第j+1個元素，于是參數(shù)估計量的方差為：

其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

書上錯了，應(yīng)該是j+112)()?(-￠=XXβsVar第七十七頁，共一百七十三頁，編輯于2023年，星期日因此，可構(gòu)造如下t統(tǒng)計量

書上錯了，應(yīng)該是j+1第七十八頁，共一百七十三頁，編輯于2023年，星期日

2、t檢驗

設(shè)計原假設(shè)與備擇假設(shè)：

H1：i0

（i=1,2…k）

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過

|t|t/2(n-k-1)或|t|≤t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0第七十九頁，共一百七十三頁，編輯于2023年，星期日注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

第八十頁，共一百七十三頁，編輯于2023年，星期日地區(qū)城鎮(zhèn)居民消費模型第八十一頁，共一百七十三頁，編輯于2023年，星期日由應(yīng)用軟件計算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(28)=2.048。

可見，計算的t1t2

值都大于該臨界值，所以拒絕原假設(shè)。即:2個解釋變量都在0.05的顯著水平下顯著，都通過了變量顯著性檢驗。第八十二頁，共一百七十三頁，編輯于2023年，星期日3、關(guān)于常數(shù)項的顯著性檢驗T檢驗同樣可以進行。一般不以t檢驗決定常數(shù)項是否保留在模型中，而是從經(jīng)濟意義方面分析回歸線是否應(yīng)該通過原點。第八十三頁，共一百七十三頁，編輯于2023年，星期日四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。

在變量的顯著性檢驗中已經(jīng)知道：注意：應(yīng)該是j+1第八十四頁，共一百七十三頁，編輯于2023年，星期日容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2(n-k-1)為顯著性水平為、自由度為n-k-1的臨界值。

在中國居民人均收入－消費支出二元模型例中,給定=0.05，查表得臨界值：t0.025(28)=2.048不嚴(yán)密第八十五頁，共一百七十三頁，編輯于2023年，星期日計算得參數(shù)的置信區(qū)間：

1

：(0.4014，0.7098)

2

：(0.0174,0.4828)

從回歸計算中已得到:（從表中可查到）第八十六頁，共一百七十三頁，編輯于2023年，星期日如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度，因為樣本參數(shù)估計量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。第八十七頁，共一百七十三頁，編輯于2023年，星期日提高樣本觀測值的分散度,一般情況，樣本觀測值越分散，(X'X)-1的分母的|X'X|的值越大，致使區(qū)間縮小。第八十八頁，共一百七十三頁，編輯于2023年，星期日§3.4多元線性回歸模型的預(yù)測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間第八十九頁，共一百七十三頁，編輯于2023年，星期日對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：

它可以是總體均值E(Y0)或個值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計值，而不是預(yù)測值。

為了進行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

(二、三版次序不同）第九十頁，共一百七十三頁，編輯于2023年，星期日一、E(Y0)的置信區(qū)間易知

第九十一頁，共一百七十三頁，編輯于2023年，星期日容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：其中，t/2（n-k-1)為(1-)的置信水平下的臨界值。第九十二頁，共一百七十三頁，編輯于2023年，星期日二、Y0的置信區(qū)間如果已經(jīng)知道實際的預(yù)測值Y0，那么預(yù)測誤差為：容易證明

第九十三頁，共一百七十三頁，編輯于2023年，星期日詳細(xì)推導(dǎo)(利用了E(μ0μi）=0）第九十四頁，共一百七十三頁，編輯于2023年，星期日e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

第九十五頁，共一百七十三頁，編輯于2023年，星期日

在二元模型3.2.2中：2006年人均可支配收入為：20000元，

于是人均消費支出的預(yù)測值為

?0=143.3+0.556×20000+0.2501×14000=14757（元）

預(yù)測的置信區(qū)間：第九十六頁，共一百七十三頁，編輯于2023年，星期日于是E(?0）的95%的置信區(qū)間為:

或（14318.2，15196.6）由于X0=(1,20000,14000)第九十七頁，共一百七十三頁，編輯于2023年，星期日或

（13853.1,15661.47

）同樣，易得?0的95%的置信區(qū)間為第九十八頁，共一百七十三頁，編輯于2023年，星期日§3.5回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實例三、非線性最小二乘估計第九十九頁，共一百七十三頁，編輯于2023年，星期日說明在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運用線性回歸模型的理論方法。第一百頁，共一百七十三頁，編輯于2023年，星期日一、模型的類型與變換

1、倒數(shù)模型、多項式模型與變量的直接置換法

例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0例如：商品的需求量Q和價格P之間表現(xiàn)為非線性關(guān)系：1/Q=a+b(1/P)+μ設(shè)Y=1/Q,X=1/P,可將函數(shù)化為：Y=a+bX+μ第一百零一頁，共一百七十三頁，編輯于2023年，星期日只要是關(guān)于參數(shù)是線性的都可以，即：只要令：就有第一百零二頁，共一百七十三頁，編輯于2023年，星期日2、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLQ：產(chǎn)出量，K：投入的資本；L：投入的勞動

方程兩邊取對數(shù)：

lnQ=lnA+lnK+lnL第一百零三頁，共一百七十三頁，編輯于2023年，星期日3、復(fù)雜函數(shù)模型與級數(shù)展開法

方程兩邊取對數(shù)后，得到：

(1+2=1)

Q:產(chǎn)出量，K：資本投入，L：勞動投入

：替代參數(shù)，1、2：分配參數(shù)例如，常替代彈性CES生產(chǎn)函數(shù)第一百零四頁，共一百七十三頁，編輯于2023年，星期日

將式中l(wèi)n(1K-

+2L-)在=0處展開臺勞級數(shù),取關(guān)于的線性項，即得到一個線性近似式。

如取0階、1階、2階項，可得:第一百零五頁，共一百七十三頁，編輯于2023年，星期日實際上是更一般的另一個生產(chǎn)函數(shù)p224(337)m從何而來在二版中，有第一百零六頁，共一百七十三頁，編輯于2023年，星期日二、非線性回歸實例

例3.5.1

建立中國城鎮(zhèn)居民食品消費需求函數(shù)模型。

根據(jù)需求理論，居民對食品的消費需求函數(shù)大致為:

Q:居民對食品的需求量，X：消費者的消費支出總額P1：食品價格指數(shù)，P0：居民消費價格總指數(shù)。

(*)第一百零七頁，共一百七十三頁，編輯于2023年，星期日

零階齊次性，當(dāng)所有商品和消費者貨幣支出總額按同一比例變動時，需求量保持不變

(**)為了進行比較，將同時估計（*）式與（**）式。

第一百零八頁，共一百七十三頁，編輯于2023年，星期日

根據(jù)恩格爾定律，居民對食品的消費支出與居民的總支出間呈冪函數(shù)的變化關(guān)系:

首先,確定具體的函數(shù)形式對數(shù)變換:

(***)式中β0=lnA第一百零九頁，共一百七十三頁，編輯于2023年，星期日考慮到零階齊次性時(****)式也可看成是對（***）式施加如下約束而得:因此，對（****）式進行回歸，就意味著原需求函數(shù)滿足零階齊次性條件。(****)第一百一十頁，共一百七十三頁，編輯于2023年，星期日X：人均消費X1：人均食品消費GP：居民消費價格指數(shù)FP：居民食品消費價格指數(shù)Q：人均食品消費（90年價）P0：居民消費價格縮減指數(shù)（1990=100）P1：居民食品消費價格縮減指數(shù)（1990=100）第一百一十一頁，共一百七十三頁，編輯于2023年，星期日按（***）式估計具體解釋估計結(jié)果及其經(jīng)濟含義。第一百一十二頁，共一百七十三頁，編輯于2023年，星期日具體解釋估計結(jié)果及其經(jīng)濟含義。按（****）式估計第一百一十三頁，共一百七十三頁，編輯于2023年，星期日為了比較，改寫該式為：

與3.3.18比較很接近，意味著：所建立的食品需求函數(shù)滿足零階齊次性特征。第一百一十四頁，共一百七十三頁，編輯于2023年，星期日三、非線性最小二乘估計第一百一十五頁，共一百七十三頁，編輯于2023年，星期日⒈普通最小二乘原理

殘差平方和

取極小值的一階條件

如何求解非線性方程？第一百一十六頁，共一百七十三頁，編輯于2023年，星期日⒉高斯－牛頓(Gauss-Newton)迭代法

高斯－牛頓迭代法的原理

對原始模型展開臺勞級數(shù)，取一階近似值第一百一十七頁，共一百七十三頁，編輯于2023年，星期日

構(gòu)造并估計線性偽模型構(gòu)造線性模型估計得到參數(shù)的第1次迭代值迭代第一百一十八頁，共一百七十三頁，編輯于2023年，星期日高斯－牛頓迭代法的步驟第一百一十九頁，共一百七十三頁，編輯于2023年，星期日⒊牛頓－拉夫森(Newton-Raphson)迭代法

自學(xué)，掌握以下2個要點牛頓－拉夫森迭代法的原理

對殘差平方和展開臺勞級數(shù)，取二階近似值；對殘差平方和的近似值求極值；迭代。與高斯－牛頓迭代法的區(qū)別直接對殘差平方和展開臺勞級數(shù)，而不是對其中的原模型展開；

取二階近似值，而不是取一階近似值。第一百二十頁，共一百七十三頁，編輯于2023年，星期日⒋應(yīng)用中的一個困難如何保證迭代所逼近的是總體極小值（即最小值）而不是局部極小值？一般方法是模擬試驗：隨機產(chǎn)生初始值→估計→改變初始值→再估計→反復(fù)試驗，設(shè)定收斂標(biāo)準(zhǔn)（例如100次連續(xù)估計結(jié)果相同）→直到收斂。第一百二十一頁，共一百七十三頁，編輯于2023年，星期日⒌非線性普通最小二乘法在軟件中的實現(xiàn)給定初值寫出模型估計模型改變初值反復(fù)估計第一百二十二頁，共一百七十三頁，編輯于2023年，星期日⒍例題例3.5.1

建立中國城鎮(zhèn)居民食品消費需求函數(shù)模型。線性估計第一百二十三頁，共一百七十三頁，編輯于2023年，星期日線性估計第一百二十四頁，共一百七十三頁，編輯于2023年，星期日討論一般情況下，線性化估計和非線性估計結(jié)果差異不大。如果差異較大，在確認(rèn)非線性估計結(jié)果為總體最小時，應(yīng)該懷疑和檢驗線性模型。非線性估計確實存在局部極小問題。根據(jù)參數(shù)的經(jīng)濟意義和數(shù)值范圍選取迭代初值。NLS估計的異方差和序列相關(guān)問題。NLS不能直接處理。應(yīng)用最大似然估計。第一百二十五頁，共一百七十三頁，編輯于2023年，星期日§3.6受約束回歸一、模型參數(shù)的線性約束二、對回歸模型增加或減少解釋變量三、參數(shù)的穩(wěn)定性*四、非線性約束第一百二十六頁，共一百七十三頁，編輯于2023年，星期日說明在建立回歸模型時，有時根據(jù)經(jīng)濟理論需要對模型中的參數(shù)施加一定的約束條件。例如：——需求函數(shù)的0階齊次性條件——生產(chǎn)函數(shù)的1階齊次性條件模型施加約束條件后進行回歸，稱為受約束回歸（restrictedregression）;未加任何約束的回歸稱為無約束回歸（unrestrictedregression）。第一百二十七頁，共一百七十三頁，編輯于2023年，星期日一、模型參數(shù)的線性約束第一百二十八頁，共一百七十三頁，編輯于2023年，星期日1、參數(shù)的線性約束第一百二十九頁，共一百七十三頁，編輯于2023年，星期日2、參數(shù)線性約束檢驗對所考查的具體問題能否施加約束？需進一步進行相應(yīng)的檢驗。常用的檢驗有：F檢驗、x2檢驗與t檢驗。F檢驗構(gòu)造統(tǒng)計量；檢驗施加約束后模型的解釋能力是否發(fā)生顯著變化。第一百三十頁，共一百七十三頁，編輯于2023年，星期日F檢驗

在同一樣本下，記無約束樣本回歸模型為:受約束樣本回歸模型為:于是:第一百三十一頁，共一百七十三頁，編輯于2023年，星期日

受約束樣本回歸模型的殘差平方和RSSR于是e'e為無約束樣本回歸模型的殘差平方和RSSU(*)受約束與無約束模型都有相同的TSS因為：這里因為由3.2.6式：X'e=0.所以：第一百三十二頁，共一百七十三頁，編輯于2023年，星期日這意味著，通常情況下，對模型施加約束條件會降低模型的解釋能力。但是，如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，RSSR

與RSSU的差異變小。由（*）式RSSR

≥

RSSU從而

ESSR≤

ESSU第一百三十三頁，共一百七十三頁，編輯于2023年，星期日可用RSSR-RSSU的大小來檢驗約束的真實性

根據(jù)數(shù)理統(tǒng)計學(xué)的知識：于是：注意：該分布有可加性，而無可減性第一百三十四頁，共一百七十三頁，編輯于2023年，星期日

討論：如果約束條件無效，RSSR

與RSSU的差異較大，計算的F值也較大。

于是，可用計算的F統(tǒng)計量的值與所給定的顯著性水平下的臨界值作比較，對約束條件的真實性進行檢驗。注意，kU-kR恰為約束條件的個數(shù)。第一百三十五頁，共一百七十三頁，編輯于2023年，星期日

例3.6.1

中國城鎮(zhèn)居民對食品的人均消費需求實例中，對零階齊次性檢驗：取=5%，查得臨界值F0.05(1,18)=4.41

結(jié)論：不能拒絕中國城鎮(zhèn)居民對食品的人均消費需求函數(shù)具有零階齊次特性這一假設(shè)。

無約束回歸:RSSU=0.017748，kU=3

受約束回歸:RSSR=0.017787，KR=2

樣本容量n=22，約束條件個數(shù)kU-kR=3-2=1第一百三十六頁，共一百七十三頁，編輯于2023年，星期日這里的F檢驗適合所有關(guān)于參數(shù)線性約束的檢驗如：多元回歸中對方程總體線性性的F檢驗：

H0：j=0j=1,2,…,k第一百三十七頁，共一百七十三頁，編輯于2023年，星期日這里：受約束回歸模型為這里，運用了ESSR

＝0。這就是前面的F統(tǒng)計量第一百三十八頁，共一百七十三頁，編輯于2023年，星期日二、對回歸模型增加或減少解釋變量第一百三十九頁，共一百七十三頁，編輯于2023年，星期日前者可以被看成是后者的受約束回歸，通過約束檢驗決定是否增加變量。H0：第一百四十頁，共一百七十三頁，編輯于2023年，星期日相應(yīng)的Ｆ統(tǒng)計量為：Ｆ統(tǒng)計量的另一個等價式（分子分母同除TSS)第一百四十一頁，共一百七十三頁，編輯于2023年，星期日

如果約束條件為真，即額外的變量Xk+1,…,Xk+q對Ｙ沒有解釋能力，則Ｆ統(tǒng)計量較小；否則，約束條件為假，意味著額外的變量對Ｙ有較強的解釋能力，則Ｆ統(tǒng)計量較大。因此，可通過F的計算值與臨界值的比較，來判斷額外變量是否應(yīng)包括在模型中。討論：第一百四十二頁，共一百七十三頁，編輯于2023年，星期日

例3.6.2

中國城鎮(zhèn)居民食品人均消費需求的增加和減少解釋變量的檢驗?？疾炖?.5.1，注意有：第一百四十三頁，共一百七十三頁，編輯于2023年，星期日受約束，去掉P1，P0做回歸，得：而RSSU=0.17748，代入公式，有：F>F0..05(2,18)=3.55，兩變量不應(yīng)該同時去掉第一百四十四頁，共一百七十三頁，編輯于2023年，星期日可否去掉一個，如P0，做回歸得：而RSSU=0.017748，代入公式，有：F<F0.05(1,18)=4.41，可以去掉P0第一百四十五頁，共一百七十三頁，編輯于2023年，星期日三、參數(shù)的穩(wěn)定性第一百四十六頁，共一百七十三頁，編輯于2023年，星期日1、鄒氏參數(shù)穩(wěn)定性檢驗為了檢驗?zāi)Ｐ驮趦蓚€連續(xù)的時間序列（1,2,…，n1）與（n1+1,…，n1+n2）中是否穩(wěn)定，可以將它轉(zhuǎn)變?yōu)樵诤喜r間序列(1,2,…，n1

，n1+1,…，n1+n2)中模型的約束檢驗問題。（1,2,…，n1）（n1+1,…，n1+n2）第一百四十七頁，共一百七十三頁，編輯于2023年，星期日

合并兩個時間序列為(1,2,…，n1

，n1+1,…，n1+n2)，則可寫出如下無約束回歸模型

如果=，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對如下假設(shè)進行檢驗：H0:=施加上述約束后變換為受約束回歸模型：第一百四十八頁，共一百七十三頁，編輯于2023年，星期日因此，檢驗的F統(tǒng)計量為：

記RSS1與RSS2為在兩時間段上分別回歸后所得的殘差平方和，容易驗證，于是)]1(2,[~)]1(2/[/)(2121+-++-+-=knnkFknnRSS(k+1)RSSRSSFUUR第一百四十九頁，共一百七十三頁，編輯于2023年，星期日參數(shù)穩(wěn)定性的檢驗步驟：

（1）分別以兩連續(xù)時間序列作為兩個樣本進行回歸，得到相應(yīng)的殘差平方：RSS1與RSS2

（2）將兩序列并為一個大樣本后進行回歸，得到大樣本下的殘差平方和RSSR

第一百五十頁，共一百七十三頁，編輯于2023年，星期日

（3）計算F統(tǒng)計量的值，與臨界值比較：若F值大于臨界值，則拒絕原假設(shè)，認(rèn)為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗也被稱為鄒氏參數(shù)穩(wěn)定性檢驗（Chowtestforparameterstability）。第一百五十一頁，共一百七十三頁，編輯于2023年，星期日2、鄒氏預(yù)測檢驗

上述參數(shù)穩(wěn)定性檢驗要求n2>k。如果出現(xiàn)n2<k

，則往往進行如下的鄒氏預(yù)測檢驗（Chowtestforpredictivefailure）。

鄒氏預(yù)測檢驗的基本思想:

先用前一時間段n1個樣本估計原模型，再用估計出的參數(shù)進行后一時間段n2個樣本的預(yù)測。預(yù)測誤差：i>n1第一百五十二頁，共一百七十三頁，編輯于2023年，星期日

如果預(yù)測誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。

分別以、表示第一與第二時間段的參數(shù)，則:其中:(*)第一百五十三頁，共一百七十三頁，編輯于2023年，星期日

如果

=0，則

=，表明參數(shù)在估計期與預(yù)測期相同

(*)的矩陣式：

可見，用前n1個樣本估計可得前k個參數(shù)的估計，而是用后n2個樣本測算的預(yù)測誤差X2(-)(**)第一百五十四頁，共一百七十三頁，編輯于2023年，星期日如果參數(shù)沒有發(fā)生變化，則=0，矩陣式簡化為(***)（***）式與（**）式第一百五十五頁，共一百七十三頁，編輯于2023年，星期日這里：KU-KR=n2RSSU=RSS1

分別可看成受約束與無約束回歸模型，于是有如下F檢驗：第一百五十六頁，共一百七十三頁，編輯于2023年，星期日

第一步，在兩時間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和RSSR

；

第二步，對前一時間段的n1個子樣做OLS回歸，得殘差平方和RSS1

；

第三步，計算檢驗的F統(tǒng)計量，做出判斷：鄒氏預(yù)測檢驗步驟：

給定顯著性水平，查F分布表，得臨界值F(n2,n1-k-1)，如果F>F(n2,n1-k-1)

，則拒絕原假設(shè)，認(rèn)為預(yù)測期發(fā)生了結(jié)構(gòu)變化。第一百五十七頁，共一百七十三頁，編輯于2023年，星期日

例3.6.3

中國城鎮(zhèn)居民食品人均消費需求的鄒氏檢驗。

參數(shù)穩(wěn)定性檢驗1985~1997：RSS1=0.0083

1998~2006：1985~2006:

RSS2=0.0008RSSU=0.0178第一百五十八頁，共一百七十三頁，編輯于2023年，星期日給定=5%，查表得臨界值F0.05(3,16)=3.24

結(jié)論：F值>臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè)，表明中國城鎮(zhèn)居民食品人均消費需求在1998年前后發(fā)生了顯著變化。

第一百五十九頁，共一百七十三頁，編輯于2023年，星期日2、鄒氏預(yù)測檢驗給定=5%，查表得臨界值F0.05(9,10)=2.97

結(jié)論：

F值<臨界值，接受參數(shù)穩(wěn)定的原假設(shè)

RSSR=0.0178,RSS1=0.0083第一百六十頁，共一百七十三頁，編輯于2023年，星期日*四、非線性約束