3.1 多元回歸模型.ppt

1、第三章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型Multiple Linear Regression Model,說(shuō)明,考慮到一些學(xué)校將一元回歸模型作為自學(xué)內(nèi)容，直接從多元回歸模型開始講授，所以本章課件有一部分內(nèi)容與第2章重復(fù)。（主要出現(xiàn)在基本假設(shè)和估計(jì)方法部分） 如果從一元回歸模型開始講授，可以將本章課件的重復(fù)內(nèi)容略去。,本章內(nèi)容,多元線性回歸模型概述 多元線性回歸模型的參數(shù)估計(jì) 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 多元線性回歸模型的預(yù)測(cè) 可化為線性的非線性模型 受約束回歸,3.1 多元線性回歸模型概述(Regression Analysis),一、多元線性回歸模型 二、多元線性回歸模型的基本假設(shè)

2、,一、多元線性回歸模型,總體回歸模型,i=1,2,n,總體回歸模型：總體回歸函數(shù)的隨機(jī)表達(dá)形式,k為解釋變量的數(shù)目。習(xí)慣上，把常數(shù)項(xiàng)看成為虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。于是，模型中解釋變量的數(shù)目為（k+1）。 j稱為回歸參數(shù)（regression coefficient）。,總體回歸函數(shù)：描述在給定解釋變量Xi條件下被解釋變量Yi的條件均值。,j也被稱為偏回歸系數(shù)(partial regression coefficients)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化。 或者說(shuō)j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量

3、）影響。,總體回歸函數(shù),總體回歸模型的矩陣表示,樣本回歸函數(shù)與樣本回歸模型,從一次抽樣中獲得的總體回歸函數(shù)的近似，稱為樣本回歸函數(shù)（sample regression function）。 樣本回歸函數(shù)的隨機(jī)形式，稱為樣本回歸模型（sample regression model）。,樣本回歸函數(shù)的矩陣表示,二、多元線性回歸模型的基本假設(shè),1、關(guān)于模型關(guān)系的假設(shè),模型設(shè)定正確假設(shè)。The regression model is correctly specified. 線性回歸假設(shè)。The regression model is linear in the parameters。,注意：“l(fā)in

4、ear in the parameters”的含義是什么？,2、關(guān)于解釋變量的假設(shè),確定性假設(shè)。X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic. 注意：“in repeated sampling”的含義是什么？ 與隨機(jī)項(xiàng)不相關(guān)假設(shè)。The covariances between Xi and i are zero.,由確定性假設(shè)可以推斷。,觀測(cè)值變化假設(shè)。X values in a given sample must not all be the same.

5、無(wú)完全共線性假設(shè)。There is no perfect multicollinearity among the explanatory variables. 適用于多元線性回歸模型。 樣本方差假設(shè)。隨著樣本容量的無(wú)限增加，解釋變量X的樣本方差趨于一有限常數(shù)。,時(shí)間序列數(shù)據(jù)作樣本時(shí)間適用,3、關(guān)于隨機(jī)項(xiàng)的假設(shè),0均值假設(shè)。The conditional mean value of i is zero.,同方差假設(shè)。The conditional variances of i are identical.(Homoscedasticity),由模型設(shè)定正確假設(shè)推斷。,是否滿足需要檢驗(yàn)。,序列不相

6、關(guān)假設(shè)。The correlation between any two i and j is zero.,是否滿足需要檢驗(yàn)。,4、隨機(jī)項(xiàng)的正態(tài)性假設(shè),在采用OLS進(jìn)行參數(shù)估計(jì)時(shí)，不需要正態(tài)性假設(shè)。在利用參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷時(shí)，需要假設(shè)隨機(jī)項(xiàng)的概率分布。 一般假設(shè)隨機(jī)項(xiàng)服從正態(tài)分布。可以利用中心極限定理（central limit theorem, CLT）進(jìn)行證明。 正態(tài)性假設(shè)。The s follow the normal distribution.,5、CLRM 和 CNLRM,以上假設(shè)（正態(tài)性假設(shè)除外）也稱為線性回歸模型的經(jīng)典假設(shè)或高斯（Gauss）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱

7、為經(jīng)典線性回歸模型（Classical Linear Regression Model, CLRM）。 同時(shí)滿足正態(tài)性假設(shè)的線性回歸模型，稱為經(jīng)典正態(tài)線性回歸模型（Classical Normal Linear Regression Model, CNLRM）。,3.2 多元線性回歸模型的估計(jì),一、普通最小二乘估計(jì) 二、最大或然估計(jì) 三、矩估計(jì) 四、參數(shù)估計(jì)量的性質(zhì) 五、樣本容量問(wèn)題 六、估計(jì)實(shí)例,說(shuō) 明,估計(jì)方法： 3大類方法：OLS、ML或者M(jìn)M 在經(jīng)典模型中多應(yīng)用OLS 在非經(jīng)典模型中多應(yīng)用ML或者M(jìn)M,一、普通最小二乘估計(jì)(OLS),1、普通最小二乘估計(jì),最小二乘原理：根據(jù)被解釋變量的

8、所有觀測(cè)值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。,已知,假定,步驟：,正規(guī)方程組的矩陣形式,條件？,OLS估計(jì)的矩陣表示,2、正規(guī)方程組的另一種表達(dá),該正規(guī)方程組成立的條件是什么？,3、隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì),M為等冪矩陣,二、最大似然估計(jì),1、最大似然法,最大似然法(Maximum Likelihood,ML)，也稱最大或然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。 基本原理：當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。 ML必須已知隨機(jī)項(xiàng)的分布。,2、估計(jì)步驟:以一元

9、模型為例,Yi的分布,Yi的概率函數(shù),Y的所有樣本觀測(cè)值的聯(lián)合概率似然函數(shù),對(duì)數(shù)似然函數(shù),對(duì)數(shù)似然函數(shù)極大化的一階條件,結(jié)構(gòu)參數(shù)的ML估計(jì)量,分布參數(shù)的ML估計(jì)量,3、似然函數(shù),4、ML估計(jì)量,由對(duì)數(shù)似然函數(shù)求極大，得到參數(shù)估計(jì)量,結(jié)果與參數(shù)的OLS估計(jì)相同,分布參數(shù)估計(jì)結(jié)果與OLS不同,注意： ML估計(jì)必須已知Y的分布。 只有在正態(tài)分布時(shí)ML和OLS的結(jié)構(gòu)參數(shù)估計(jì)結(jié)果相同。 如果Y不服從正態(tài)分布，不能采用OLS。例如：選擇性樣本模型、計(jì)數(shù)數(shù)據(jù)模型等。,三、矩估計(jì)Moment Method, MM,1、參數(shù)的矩估計(jì),參數(shù)的矩估計(jì)就是用樣本矩去估計(jì)總體矩。 用樣本的一階原點(diǎn)矩作為期望的估計(jì)量。

10、用樣本的二階中心矩作為方差的估計(jì)量。 從樣本觀測(cè)值計(jì)算樣本一階（原點(diǎn)）矩和二階（原點(diǎn)）矩，然后去估計(jì)總體一階矩和總體二階矩，再進(jìn)一步計(jì)算總體參數(shù)（期望和方差）的估計(jì)量。,樣本的一階矩和二階矩,總體一階矩和總體二階矩的估計(jì)量,總體參數(shù)（期望和方差）的估計(jì)量,2、多元線性計(jì)量經(jīng)濟(jì)學(xué)模型的矩估計(jì),如果模型的設(shè)定是正確，則存在一些為0的條件矩。矩估計(jì)的基本思想是利用矩條件估計(jì)模型參數(shù)。,一組矩條件，等同于OLS估計(jì)的正規(guī)方程組。,四、參數(shù)估計(jì)量的性質(zhì),說(shuō)明,在滿足基本假設(shè)的情況下，多元線性模型結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)具有線性性、無(wú)偏性、有效性。 同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)

11、量具有漸近無(wú)偏性、漸近有效性、一致性。 利用矩陣表達(dá)可以很方便地證明,注意證明過(guò)程中利用的基本假設(shè)。,1、無(wú)偏性,這里利用了假設(shè): E(X)=0,2、有效性（最小方差性）,五、樣本容量問(wèn)題,1、最小樣本容量,所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。,樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1,為什么？,2、滿足基本要求的樣本容量,從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能應(yīng)用； n-k8時(shí), t分布較為穩(wěn)定。,一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。

12、,模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明。,六、例題,地區(qū)城鎮(zhèn)居民消費(fèi)模型,被解釋變量：地區(qū)城鎮(zhèn)居民人均消費(fèi)Y 解釋變量： 地區(qū)城鎮(zhèn)居民人均可支配收入X1 前一年地區(qū)城鎮(zhèn)居民人均消費(fèi)X2 樣本：2006年，31個(gè)地區(qū),數(shù)據(jù),變量間關(guān)系,變量間關(guān)系,OLS估計(jì),OLS估計(jì)結(jié)果,ML估計(jì),ML估計(jì)結(jié)果,MM估計(jì),MM估計(jì)結(jié)果,3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) Statistical Test of Multiple Linear Regression Model,一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 三、變量的顯著性檢驗(yàn)（t檢驗(yàn)） 四、參數(shù)的置信區(qū)間,一、擬合優(yōu)度檢驗(yàn) Go

13、odness of Fit,1、概念,擬合優(yōu)度檢驗(yàn)：對(duì)樣本回歸直線與樣本觀測(cè)值之間擬合程度的檢驗(yàn)。 問(wèn)題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程度？ 如何檢驗(yàn)：構(gòu)造統(tǒng)計(jì)量 統(tǒng)計(jì)量只能是相對(duì)量,2、可決系數(shù)與調(diào)整的可決系數(shù),總離差平方和的分解,證明： 該項(xiàng)等于0,可決系數(shù)（ Coefficient of Determination ）,該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。,從R2的表達(dá)式中發(fā)現(xiàn)，如果在模型中增加解釋變量， R2往往增大。,這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。,但是，由增加解釋變量引起的R2的增大與擬合好壞無(wú)

14、關(guān)，所以R2需調(diào)整。,調(diào)整的可決系數(shù)（adjusted coefficient of determination）,其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。,調(diào)整的可決系數(shù)多大才是合適的？,3、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則,為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有: 赤池信息準(zhǔn)則（Akaike information criterion, AIC）,施瓦茨準(zhǔn)則（Schwarz criterion，SC）,這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。,地區(qū)城鎮(zhèn)居民消費(fèi)模型（k=2）,地區(qū)城鎮(zhèn)居民消費(fèi)模型

15、（k=1）,與k=2比較，變化不大,二、方程的顯著性檢驗(yàn)(F檢驗(yàn))Testing the Overall Significance of a Multiple Regression (the F test),1、假設(shè)檢驗(yàn)（Hypothesis Testing）,所謂假設(shè)檢驗(yàn)，就是事先對(duì)總體參數(shù)或總體分布形式作出一個(gè)假設(shè)，然后利用樣本信息來(lái)判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原假設(shè)。 假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。 判斷結(jié)果合理與否，是基于“小概率事件不

16、易發(fā)生”這一原理的。,2、方程顯著性的F檢驗(yàn),方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。 在多元模型中，即檢驗(yàn)?zāi)Ｐ椭械膮?shù)j是否顯著不為0。,F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式 TSS=ESS+RSS,如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。,在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量,給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò) F F(k,n-k-1) 或 FF(k,n-k-1) 來(lái)拒絕或接受原假設(shè)

17、H0，以判定原方程總體上的線性關(guān)系是否顯著成立。,地區(qū)城鎮(zhèn)居民消費(fèi)模型,拒絕0假設(shè)，犯錯(cuò)誤的概率為0,3、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論,對(duì)于一般的實(shí)際問(wèn)題，在5%的顯著性水平下，F(xiàn)統(tǒng)計(jì)量的臨界值所對(duì)應(yīng)的R2的水平是較低的。所以，不宜過(guò)分注重R2值，應(yīng)注重模型的經(jīng)濟(jì)意義；在進(jìn)行總體顯著性檢驗(yàn)時(shí)，顯著性水平應(yīng)該控制在5%以內(nèi)。,三、變量的顯著性檢驗(yàn)（t檢驗(yàn)） Testing the Significance of Variables (the t test),方程的總體線性關(guān)系顯著不等于每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。 必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變

18、量被保留在模型中。 這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。,1、t統(tǒng)計(jì)量,以cii表示矩陣(XX)-1 主對(duì)角線上的第i個(gè)元素,2、t檢驗(yàn),設(shè)計(jì)原假設(shè)與備擇假設(shè)：,H1：i0,給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò) |t| t/2(n-k-1) 或 |t|t/2(n-k-1) 判斷拒絕或不拒絕原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。,H0：i=0 （i=1,2k）,地區(qū)城鎮(zhèn)居民消費(fèi)模型,3、關(guān)于常數(shù)項(xiàng)的顯著性檢驗(yàn),T檢驗(yàn)同樣可以進(jìn)行。 一般不以t檢驗(yàn)決定常數(shù)項(xiàng)是否保留在模型中，而是從經(jīng)濟(jì)意義方面分析回歸線是否應(yīng)該通過(guò)原點(diǎn)。,四、參數(shù)的置信

19、區(qū)間 Confidence Interval of Parameter,1、區(qū)間估計(jì),回歸分析希望通過(guò)樣本得到的參數(shù)估計(jì)量能夠代替總體參數(shù)。 假設(shè)檢驗(yàn)可以通過(guò)一次抽樣的結(jié)果檢驗(yàn)總體參數(shù)可能的假設(shè)值的范圍（例如是否為零），但它并沒(méi)有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多“近”。 要判斷樣本參數(shù)的估計(jì)值在多大程度上“近似”地替代總體參數(shù)的真值，需要通過(guò)構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來(lái)考察它以多大的可能性（概率）包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。,如果存在這樣一個(gè)區(qū)間，稱之為置信區(qū)間； 1-稱為置信系數(shù)（置信度）（confidence coeffici

20、ent）， 稱為顯著性水平；置信區(qū)間的端點(diǎn)稱為置信限（confidence limit）。,2、參數(shù)的置信區(qū)間,在(1-)的置信水平下,3、如何才能縮小置信區(qū)間？,增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小。 提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。 提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，(XX)-1的分母的|XX|的值越大，致使區(qū)間縮小。,3.4 多元線性回歸模型的預(yù)測(cè),一、E(Y0)的置信區(qū)間 二、Y0的置信區(qū)間,一、E(Y0)的置信區(qū)

21、間,于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：,其中，t/2為(1-)的置信水平下的臨界值。,二、Y0的置信區(qū)間,如何根據(jù)置信區(qū)間正確地陳述預(yù)測(cè)結(jié)果？,3.5 回歸模型的其他函數(shù)形式,一、模型的類型與變換 二、非線性回歸實(shí)例 三、非線性最小二乘估計(jì),說(shuō) 明,在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見(jiàn)。 如著名的恩格爾曲線(Engle curves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillips cuves）表現(xiàn)為雙曲線形式等。 但是，大部分非線性關(guān)系又可以通過(guò)一些簡(jiǎn)單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸模型的理論

22、方法。,一、模型的類型與變換,1、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法,例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線 s = a + b r + c r2 c0 s：稅收； r：稅率,設(shè)X1 = r，X2 = r2， 則原方程變換為 s = a + b X1 + c X2 c0,2、冪函數(shù)模型、指數(shù)函數(shù)模型與對(duì)數(shù)變換法,例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù) Q = AKL Q：產(chǎn)出量，K：投入的資本；L：投入的勞動(dòng),方程兩邊取對(duì)數(shù)： ln Q = ln A + ln K + ln L,3、復(fù)雜函數(shù)模型與級(jí)數(shù)展開法,方程兩邊取對(duì)數(shù)后，得到：,(1+2=1),Q:產(chǎn)出量，K：資本投入，L

23、：勞動(dòng)投入 ：替代參數(shù)， 1、2：分配參數(shù),例如，常替代彈性CES生產(chǎn)函數(shù),將式中l(wèi)n(1K- + 2L-)在=0處展開臺(tái)勞級(jí)數(shù),取關(guān)于的線性項(xiàng)，即得到一個(gè)線性近似式。,如取0階、1階、2階項(xiàng)，可得,二、可化為線性的非線性回歸實(shí)例,例3.5.1 建立中國(guó)城鎮(zhèn)居民食品消費(fèi)需求函數(shù)模型。,根據(jù)需求理論，居民對(duì)食品的消費(fèi)需求函數(shù)大致為,Q:居民對(duì)食品的需求量，X：消費(fèi)者的消費(fèi)支出總額 P1：食品價(jià)格指數(shù)，P0：居民消費(fèi)價(jià)格總指數(shù)。,零階齊次性，當(dāng)所有商品和消費(fèi)者貨幣支出總額按同一比例變動(dòng)時(shí)，需求量保持不變,(*),(*),為了進(jìn)行比較，將同時(shí)估計(jì)（*）式與（*）式。,根據(jù)恩格爾定律，居民對(duì)食品的消費(fèi)

24、支出與居民的總支出間呈冪函數(shù)的變化關(guān)系:,首先,確定具體的函數(shù)形式,對(duì)數(shù)變換:,考慮到零階齊次性時(shí),(*),(*),(*)式也可看成是對(duì)（*）式施加如下約束而得,因此，對(duì)（*）式進(jìn)行回歸，就意味著原需求函數(shù)滿足零階齊次性條件。,X：人均消費(fèi) X1：人均食品消費(fèi) GP：居民消費(fèi)價(jià)格指數(shù) FP：居民食品消費(fèi)價(jià)格指數(shù) Q：人均食品消費(fèi)（90年價(jià)） P0：居民消費(fèi)價(jià)格縮減指數(shù)（1990=100） P1：居民食品消費(fèi)價(jià)格縮減指數(shù)（1990=100）,按（*）式估計(jì),具體解釋估計(jì)結(jié)果及其經(jīng)濟(jì)含義。,按（*）式估計(jì),具體解釋估計(jì)結(jié)果及其經(jīng)濟(jì)含義。,三、非線性最小二乘估計(jì), 普通最小二乘原理,殘差平方和,取極

25、小值的一階條件,如何求解非線性方程？, 高斯牛頓(Gauss-Newton)迭代法,高斯牛頓迭代法的原理 對(duì)原始模型展開臺(tái)勞級(jí)數(shù)，取一階近似值,構(gòu)造并估計(jì)線性偽模型,構(gòu)造線性模型,估計(jì)得到參數(shù)的第1次迭代值,迭代,高斯牛頓迭代法的步驟, 牛頓拉夫森(Newton-Raphson)迭代法,自學(xué)，掌握以下2個(gè)要點(diǎn) 牛頓拉夫森迭代法的原理 對(duì)殘差平方和展開臺(tái)勞級(jí)數(shù)，取二階近似值； 對(duì)殘差平方和的近似值求極值； 迭代。 與高斯牛頓迭代法的區(qū)別 直接對(duì)殘差平方和展開臺(tái)勞級(jí)數(shù)，而不是對(duì)其中的原模型展開； 取二階近似值，而不是取一階近似值。,應(yīng)用中的一個(gè)困難,如何保證迭代所逼近的是總體極小值（即最小值）而不

26、是局部極小值？ 一般方法是模擬試驗(yàn)：隨機(jī)產(chǎn)生初始值估計(jì)改變初始值再估計(jì)反復(fù)試驗(yàn)，設(shè)定收斂標(biāo)準(zhǔn)（例如100次連續(xù)估計(jì)結(jié)果相同）直到收斂。,非線性普通最小二乘法在軟件中的實(shí)現(xiàn),給定初值 寫出模型 估計(jì)模型 改變初值 反復(fù)估計(jì),例題,例3.5.1 建立中國(guó)城鎮(zhèn)居民食品消費(fèi)需求函數(shù)模型。,線性估計(jì),線性估計(jì),討論,一般情況下，線性化估計(jì)和非線性估計(jì)結(jié)果差異不大。如果差異較大，在確認(rèn)非線性估計(jì)結(jié)果為總體最小時(shí)，應(yīng)該懷疑和檢驗(yàn)線性模型。 非線性估計(jì)確實(shí)存在局部極小問(wèn)題。 根據(jù)參數(shù)的經(jīng)濟(jì)意義和數(shù)值范圍選取迭代初值。 NLS估計(jì)的異方差和序列相關(guān)問(wèn)題。 NLS不能直接處理。 應(yīng)用最大似然估計(jì)。,3.6 受約束

27、回歸 Restricted Regression,一、模型參數(shù)的線性約束 二、對(duì)回歸模型增加或減少解釋變量 三、參數(shù)的穩(wěn)定性,說(shuō) 明,在建立回歸模型時(shí)，有時(shí)根據(jù)經(jīng)濟(jì)理論需要對(duì)模型中的參數(shù)施加一定的約束條件。例如： 需求函數(shù)的0階齊次性條件 生產(chǎn)函數(shù)的1階齊次性條件 模型施加約束條件后進(jìn)行回歸，稱為受約束回歸（restricted regression）; 未加任何約束的回歸稱為無(wú)約束回歸（unrestricted regression）。,一、模型參數(shù)的線性約束,1、參數(shù)的線性約束,2、參數(shù)線性約束檢驗(yàn),對(duì)所考查的具體問(wèn)題能否施加約束？需進(jìn)一步進(jìn)行相應(yīng)的檢驗(yàn)。常用的檢驗(yàn)有：F檢驗(yàn)、x2檢驗(yàn)與t

28、檢驗(yàn)。 F檢驗(yàn) 構(gòu)造統(tǒng)計(jì)量； 檢驗(yàn)施加約束后模型的解釋能力是否發(fā)生顯著變化。,受約束樣本回歸模型的殘差平方和RSSR大于無(wú)約束樣本回歸模型的殘差平方和RSSU。這意味著，通常情況下，對(duì)模型施加約束條件會(huì)降低模型的解釋能力。,如果約束條件為真，則受約束回歸模型與無(wú)約束回歸模型具有相同的解釋能力，RSSR 與 RSSU的差異較小。 可用（RSSR RSSU）的大小來(lái)檢驗(yàn)約束的真實(shí)性。,例3.6.1 中國(guó)城鎮(zhèn)居民對(duì)食品的人均消費(fèi)需求實(shí)例中，對(duì)零階齊次性檢驗(yàn)：,取=5%，查得臨界值F0.05(1,18)=4.41 結(jié)論：不能拒絕中國(guó)城鎮(zhèn)居民對(duì)食品的人均消費(fèi)需求函數(shù)具有零階齊次特性這一假設(shè)。,無(wú)約束回歸

29、:RSSU=0.017748， kU=3 受約束回歸:RSSR=0.017787， KR=2 樣本容量n=22， 約束條件個(gè)數(shù)kU - kR=3-2=1,二、對(duì)回歸模型增加或減少解釋變量,前者可以被看成是后者的受約束回歸，通過(guò)約束檢驗(yàn)決定是否增加變量。,H0：,三、參數(shù)的穩(wěn)定性,1、鄒氏參數(shù)穩(wěn)定性檢驗(yàn),為了檢驗(yàn)?zāi)Ｐ驮趦蓚€(gè)連續(xù)的時(shí)間序列（1,2,，n1）與（n1+1,，n1+n2）中是否穩(wěn)定，可以將它轉(zhuǎn)變?yōu)樵诤喜r(shí)間序列( 1,2,，n1 ，n1+1,，n1+n2 )中模型的約束檢驗(yàn)問(wèn)題。,（1,2,，n1）,（n1+1,，n1+n2）,合并兩個(gè)時(shí)間序列為( 1,2,，n1 ，n1+1,，n1+n2 )，則可寫出如下無(wú)約束回歸模型,如果