多元線性回歸模型的矩陣表示課件

第四章多元線性回歸分析1第四章多元線性回歸分析1本章主要內(nèi)容第一節(jié)多元線性回歸模型第二節(jié)參數(shù)估計(jì)第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)2本章主要內(nèi)容第一節(jié)多元線性回歸模型2第一節(jié)多元線性回歸模型一、模型的建立二、模型的假設(shè)3第一節(jié)多元線性回歸模型一、模型的建立3一、模型的建立多元線性回歸模型就是研究多因素關(guān)系，有多個(gè)解釋變量的線性回歸模型。一般形式是：

其中Y是被解釋變量，是K個(gè)認(rèn)為對(duì)Y有顯著影響的解釋變量（K2），是K+1個(gè)待定參數(shù)，是計(jì)量經(jīng)濟(jì)分析首先要估計(jì)的對(duì)象，是隨機(jī)誤差項(xiàng)。4一、模型的建立多元線性回歸模型就是研究多因素關(guān)系，有多個(gè)解釋多元線性回歸模型的建立也需要有理論和現(xiàn)實(shí)的根據(jù)。多元線性回歸模型中包括哪些變量、因素，哪個(gè)指標(biāo)是被解釋變量，有幾個(gè)解釋變量或哪幾個(gè)指標(biāo)作為解釋變量，既要考慮理論分析和研究目的的需要，也應(yīng)該根據(jù)所研究問(wèn)題的具體情況、相關(guān)經(jīng)濟(jì)理論，以及以往研究經(jīng)驗(yàn)等確定。5多元線性回歸模型的建立也需要有理論和現(xiàn)實(shí)的根據(jù)。5雖然一個(gè)經(jīng)濟(jì)指標(biāo)受到其他幾個(gè)經(jīng)濟(jì)指標(biāo)線性影響在現(xiàn)實(shí)經(jīng)濟(jì)中是存在的，但更多的情況下多變量關(guān)系往往是非線性的，需要經(jīng)過(guò)數(shù)學(xué)變換才能轉(zhuǎn)化為多元線性回歸模型的標(biāo)準(zhǔn)形式。例：

6雖然一個(gè)經(jīng)濟(jì)指標(biāo)受到其他幾個(gè)經(jīng)濟(jì)指標(biāo)線性影響在現(xiàn)實(shí)經(jīng)濟(jì)中是存二、模型的假設(shè)(1)、變量和之間存在多元線性隨機(jī)函數(shù)關(guān)系；(2)、對(duì)任意都成立；(3)、,與無(wú)關(guān)；(4)、誤差項(xiàng)不相關(guān)，當(dāng)時(shí)，(5)、解釋變量都是確定性的而非隨機(jī)變量，且解釋變量之間不存在線性關(guān)系；(6)、誤差項(xiàng)服從正態(tài)分布。7二、模型的假設(shè)(1)、變量和之間存在多對(duì)假設(shè)的進(jìn)一步分析上述六條假設(shè)中（2）、（3）、（4）和（6）與兩變量模型相同。第（1）條是關(guān)于模型基本變量關(guān)系的。第（5）條不僅針對(duì)的解釋變量數(shù)目增加了，而且多了一個(gè)要求解釋變量之間沒(méi)有線性關(guān)系的假設(shè)，這是多元線性回歸模型的重要特點(diǎn)。8對(duì)假設(shè)的進(jìn)一步分析上述六條假設(shè)中（2）、（3）、（4）和（6多元線性回歸模型的矩陣表示9多元線性回歸模型的矩陣表示9第二節(jié)參數(shù)估計(jì)一、最小二乘估計(jì)二、投資函數(shù)模型參數(shù)估計(jì)三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)10第二節(jié)參數(shù)估計(jì)10一、最小二乘估計(jì)參數(shù)估計(jì)也是多元線性回歸模型的基本步驟。最小二乘法也是多元線性回歸的基本方法。對(duì)于多元線性回歸模型11一、最小二乘估計(jì)參數(shù)估計(jì)也是多元線性回歸模型的基本步驟。1得到樣本回歸方程：回歸殘差平方和當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于0，得到正規(guī)方程組：其中12得到樣本回歸方程：12該正規(guī)方程組有K+1個(gè)方程，未知數(shù)也是K+1個(gè)。只要滿足模型假設(shè)（5），解釋變量之間不存在嚴(yán)格線性關(guān)系，就可以解出的唯一一組解。該解就是的最小二乘估計(jì)。13該正規(guī)方程組有K+1個(gè)方程，未知數(shù)也是K+1個(gè)。只要滿足模型特別地，對(duì)于兩個(gè)解釋變量的線性回歸模型：樣本回歸方程是：可推導(dǎo)出參數(shù)最小二乘估計(jì)的公式如下：

14特別地，對(duì)于兩個(gè)解釋變量的線性回歸模型：14最小二乘估計(jì)的向量、矩陣形式向量表示回歸方程的向量表示回歸殘差向量殘差平方和15最小二乘估計(jì)的向量、矩陣形式向量表示15當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于016當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于016二、投資函數(shù)模型參數(shù)估計(jì)作為例子，我們估計(jì)[例4-1]的投資函數(shù)多元線性回歸模型的參數(shù)。假設(shè)已獲得該地區(qū)1968-1983年期間實(shí)際投資和實(shí)際GNP數(shù)據(jù)。17二、投資函數(shù)模型參數(shù)估計(jì)作為例子，我們估計(jì)[例4-1]的投資表4.1某地區(qū)投資和GNP數(shù)據(jù)

年份實(shí)際投資實(shí)際GNP年份實(shí)際投資實(shí)際GNP19680.1611.05819760.1951.29819690.1721.08819770.2311.37019700.1581.08619780.2571.43919710.1731.12219790.2591.47919720.1951.18619800.2251.47419730.2171.25419810.2411.50319740.1991.24619820.2041.47519750.1631.23219830.2101.50018表4.1某地區(qū)投資和GNP數(shù)據(jù)年份實(shí)際投資實(shí)際GNP年份投資函數(shù)EViews回歸輸出結(jié)果

DependentVariable:YMethod:LeastSquaresDate:07/13/04Time:19:44Sample:19681983Includedobservations:16VariableCoefficientStd.Errort-StatisticProb.C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362Meandependentvar0.203750AdjustedR-squared0.951957S.D.dependentvar0.033061S.E.ofregression0.007246Akaikeinfocriterion-6.849241Sumsquaredresid0.000683Schwarzcriterion-6.704381Loglikelihood57.79393F-statistic149.6088Durbin-Watsonstat1.313453Prob(F-statistic)0.00000019投資函數(shù)EViews回歸輸出結(jié)果DependentVar三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)只要變量關(guān)系符合多元回歸模型的假設(shè)，多元回歸分析參數(shù)的最小二乘估計(jì)量也有優(yōu)良的性質(zhì)，也是BLUE估計(jì)和一致估計(jì)。因此在模型假設(shè)成立的前提下，最小二乘估計(jì)也是多元線性回歸分析基本的參數(shù)估計(jì)方法，并能為相關(guān)統(tǒng)計(jì)推斷和預(yù)測(cè)分析提供基礎(chǔ)。20三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)只要變量關(guān)系符合多元回歸模型的假要進(jìn)一步對(duì)多元線性回歸模型進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)，同樣需要先估計(jì)參數(shù)估計(jì)量的方差。據(jù)最小二乘估計(jì)公式和模型假設(shè)，可以導(dǎo)出兩個(gè)解釋變量的多元回歸模型各個(gè)參數(shù)的最小二乘估計(jì)量的方差。21要進(jìn)一步對(duì)多元線性回歸模型進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)，同樣需要先估計(jì)2222上述參數(shù)估計(jì)量方差中的是模型誤差項(xiàng)的方差，一般可以用多元線性回歸最小二乘估計(jì)的殘差序列：加以估計(jì)，公式是：

＝23上述參數(shù)估計(jì)量方差中的是模型誤差項(xiàng)的方差，一般可第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)分析兩變量線性回歸決定系數(shù)公式可以發(fā)現(xiàn)，該決定系數(shù)只與被解釋變量的觀測(cè)值以及回歸殘差有關(guān)，而與解釋變量無(wú)直接關(guān)系。

多元模型解釋變量的數(shù)目有多有少，該決定系數(shù)是解釋變量數(shù)目的增函數(shù)，意味著不管增加的解釋變量是否真是影響被解釋變量的重要因素，都會(huì)提高決定系數(shù)的數(shù)值，解釋變量個(gè)數(shù)越多，決定系數(shù)一定會(huì)越大。

24第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)分析兩變量線性回歸決定系數(shù)公克服決定系數(shù)上述缺陷的方法，是對(duì)決定系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用如下“調(diào)整的決定系數(shù)”：

＝25克服決定系數(shù)上述缺陷的方法，是對(duì)決定系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用根據(jù)上述公式可以看出，當(dāng)n較大和K

較小時(shí)，和R差別不大，但當(dāng)n并不是很大而K又較大時(shí)，兩者的差別是比較明顯的。用這個(gè)調(diào)整的決定系數(shù)作為評(píng)價(jià)多元線性回歸擬合度的評(píng)價(jià)標(biāo)準(zhǔn)，可以基本消除由于解釋變量數(shù)目差異造成的影響。根據(jù)上述公式計(jì)算決定系數(shù)，需要先根據(jù)回歸直線計(jì)算的理論值，然后計(jì)算回歸殘差序列，再結(jié)合樣本數(shù)據(jù)進(jìn)行計(jì)算。

26根據(jù)上述公式可以看出，當(dāng)n較大和K較小時(shí)，和R差第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化二、統(tǒng)計(jì)推斷和檢驗(yàn)三、預(yù)測(cè)27第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化27一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化在滿足模型假設(shè)的情況下，多元線性回歸模型參數(shù)的最小二乘估計(jì)量是線性無(wú)偏估計(jì)。參數(shù)估計(jì)量服從以參數(shù)真實(shí)值為中心的正態(tài)分布：可以通過(guò)下列變換轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計(jì)量：

=N[0，1]28一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化在滿足模型假設(shè)的情況下，多元線性回歸模用無(wú)偏估計(jì)代替誤差項(xiàng)方差，代入得到的統(tǒng)計(jì)量服從自由度為n-K-1的t分布，記為=t(n-K-1)這個(gè)t分布統(tǒng)計(jì)量是對(duì)多元線性回歸參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)的基礎(chǔ)。29用無(wú)偏估計(jì)代替誤差項(xiàng)方差，代入二、統(tǒng)計(jì)推斷和檢驗(yàn)（一）單個(gè)參數(shù)的置信區(qū)間（二）參數(shù)顯著性檢驗(yàn)（三）模型總體顯著性檢驗(yàn)30二、統(tǒng)計(jì)推斷和檢驗(yàn)（一）單個(gè)參數(shù)的置信區(qū)間30（一）單個(gè)參數(shù)的置信區(qū)間對(duì)給定的或要求的置信度，下式應(yīng)該成立：

||=

因此參數(shù)置信度為的置信區(qū)間（或稱區(qū)間估計(jì)）為：[-,+]31（一）單個(gè)參數(shù)的置信區(qū)間對(duì)給定的或要求的置信度，下式應(yīng)該成立投資函數(shù)模型參數(shù)的區(qū)間估計(jì)

首先根據(jù)EViews給出的回歸分析結(jié)果，知道的點(diǎn)估計(jì)=0.639117，的方差即=0.052896。再通過(guò)查表得到自由度為，顯著性水平=0.05的雙側(cè)t分布臨界值把這些數(shù)值及代入?yún)^(qū)間估計(jì)公式，可得：32投資函數(shù)模型參數(shù)的區(qū)間估計(jì)首先根據(jù)EViews給出的（二）參數(shù)的顯著性檢驗(yàn)可以對(duì)多元線性回歸模型的各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，或取特定值的假設(shè)檢驗(yàn)。模型參數(shù)顯著性檢驗(yàn)就是對(duì)相應(yīng)參數(shù)檢驗(yàn)原假設(shè)：＝0。如果=0成立，那么意味著不能排除模型中第k個(gè)假設(shè)變量是不重要的。根據(jù)要求的置信度（95%或99%），查t分布表得到自由度為n-K-1的t分布統(tǒng)計(jì)量的雙側(cè)分布臨界值。33（二）參數(shù)的顯著性檢驗(yàn)可以對(duì)多元線性回歸模型的各個(gè)參數(shù)進(jìn)行顯如果假設(shè)是真實(shí)的，那么95%或99%應(yīng)該成立：

==(n-K-1)如果t統(tǒng)計(jì)量數(shù)值不滿足上述不等式，意味著可以拒絕原假設(shè)，不能認(rèn)為第k個(gè)解釋變量是不重要的，稱模型的第k個(gè)解釋變量通過(guò)了顯著性檢驗(yàn)。

34如果假設(shè)是真實(shí)的，那么95%或99%應(yīng)該成立：34除了上述參數(shù)非0的顯著性檢驗(yàn)以外，也可以檢驗(yàn)多元回歸模型各個(gè)參數(shù)取非0的其他特定值的可能性。檢驗(yàn)的原理與顯著性檢驗(yàn)基本相同，只要把參數(shù)的真實(shí)值換成要檢驗(yàn)是否成立的數(shù)值即可。35除了上述參數(shù)非0的顯著性檢驗(yàn)以外，也可以檢驗(yàn)多元回歸模型各個(gè)（三）模型總體顯著性檢驗(yàn)多元線性回歸模型每個(gè)參數(shù)的顯著性與模型總體的顯著性并不一定一致。因此還可以進(jìn)行模型總體顯著性，也就是全體解釋變量總體對(duì)被解釋變量是否存在明顯影響的檢驗(yàn)，稱為“回歸顯著性檢驗(yàn)”?；貧w顯著性檢驗(yàn)的基本方法，是檢驗(yàn)?zāi)Ｐ统?shù)項(xiàng)以外所有參數(shù)同時(shí)為0的假設(shè)，即檢驗(yàn)原假設(shè)為：＝0。36（三）模型總體顯著性檢驗(yàn)多元線性回歸模型每個(gè)參數(shù)的顯著性與模為了方便起見(jiàn)，實(shí)踐中一般都利用成立時(shí)模型的決定系數(shù)應(yīng)為0的事實(shí)，通過(guò)檢驗(yàn)決定系數(shù)的顯著性間接檢驗(yàn)回歸顯著性。決定系數(shù)的顯著性則利用下列F分布統(tǒng)計(jì)量進(jìn)行檢驗(yàn)：F=F(K,n-K-1)給定顯著性水平（對(duì)應(yīng)置信度1-），查F分布臨界值表，得到臨界值F(K,n-K-1)，若F統(tǒng)計(jì)量大于F回歸是顯著的，否則是不顯著的。37為了方便起見(jiàn)，實(shí)踐中一般都利用成立時(shí)模型的決定系數(shù)應(yīng)三、預(yù)測(cè)預(yù)測(cè)也是多元線性回歸分析的目的和進(jìn)一步檢驗(yàn)?zāi)Ｐ偷姆椒?，也包括點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)兩方面。

點(diǎn)預(yù)測(cè)就是求對(duì)應(yīng)解釋變量觀測(cè)值的被解釋變量值的估計(jì)。得到回歸直線以后，只要把代入回歸直線，得到：

就是一個(gè)點(diǎn)預(yù)測(cè)。38三、預(yù)測(cè)預(yù)測(cè)也是多元線性回歸分析的目的和進(jìn)一步檢驗(yàn)?zāi)Ｐ偷姆椒词鼓Ｐ痛淼慕?jīng)濟(jì)規(guī)律在預(yù)測(cè)時(shí)刻是嚴(yán)格成立的，預(yù)測(cè)與實(shí)際發(fā)生的一般也不會(huì)完全一樣，因?yàn)轭A(yù)測(cè)和實(shí)際值之間存在預(yù)測(cè)誤差。但在模型假設(shè)成立的前提下，上述基于最小二乘參數(shù)估計(jì)的預(yù)測(cè)是一個(gè)“線性無(wú)偏預(yù)測(cè)”，而且是具有最小方差的線性無(wú)偏預(yù)測(cè)，也稱為“最優(yōu)預(yù)測(cè)”。

是觀測(cè)值的線性組合，以為數(shù)學(xué)期望，且服從正態(tài)分布。

39即使模型代表的經(jīng)濟(jì)規(guī)律在預(yù)測(cè)時(shí)刻是嚴(yán)格成立的，預(yù)測(cè)與實(shí)利用點(diǎn)預(yù)測(cè)的上述性質(zhì)，我們可以構(gòu)造比點(diǎn)預(yù)測(cè)更有意義的區(qū)間預(yù)測(cè)：[se()，+se()]40利用點(diǎn)預(yù)測(cè)的上述性質(zhì)，我們可以構(gòu)造比點(diǎn)預(yù)測(cè)更有意義的區(qū)間預(yù)測(cè)(例)利用投資函數(shù)模型進(jìn)行預(yù)測(cè)

假設(shè)1984年的GNP為1.52萬(wàn)億元，要求預(yù)測(cè)該年該地區(qū)的總投資。由于1984年相當(dāng)于模型中的，1.52萬(wàn)億相當(dāng)于。把這兩個(gè)解釋變量的數(shù)值代入回歸直線，可得到第1984年實(shí)際GNP為1.52萬(wàn)億時(shí)，實(shí)際投資水平的點(diǎn)預(yù)測(cè)：=≈0.203

41(例)利用投資函數(shù)模型進(jìn)行預(yù)測(cè)假設(shè)1984年的GNP為1.用EViews軟件進(jìn)行預(yù)測(cè)時(shí)，需要先把工作文件的樣本范圍擴(kuò)大（changeworkfilerange）至包括1984年，然后在數(shù)據(jù)庫(kù)中加以編輯（edit），輸入1984年的解釋變量數(shù)值（17，1.52）。進(jìn)行回歸以后，在回歸結(jié)果窗口直接點(diǎn)擊菜單“forcast”，并在對(duì)話框中選擇預(yù)測(cè)樣本區(qū)間為1968-1984，為了得到預(yù)測(cè)的標(biāo)準(zhǔn)差序列，在對(duì)話框中將其命名為SEYF。結(jié)果可輸出如下的預(yù)測(cè)圖形：42用EViews軟件進(jìn)行預(yù)測(cè)時(shí)，需要先把工作文件的樣本范圍擴(kuò)大投資函數(shù)預(yù)測(cè)圖形

43投資函數(shù)預(yù)測(cè)圖形43注意在回歸樣本區(qū)間范圍內(nèi)的預(yù)測(cè)實(shí)際上就是擬合，主要作用是檢驗(yàn)?zāi)Ｐ?。?duì)應(yīng)1984年的最后一個(gè)預(yù)測(cè)值（YF）0.202918和預(yù)測(cè)標(biāo)準(zhǔn)差（SEYF）0.008896是我們真正關(guān)注的預(yù)測(cè)。44注意在回歸樣本區(qū)間范圍內(nèi)的預(yù)測(cè)實(shí)際上就是擬合，主要作用是檢驗(yàn)在點(diǎn)預(yù)測(cè)和預(yù)測(cè)標(biāo)準(zhǔn)差的基礎(chǔ)上，很容易進(jìn)一步構(gòu)造區(qū)間預(yù)測(cè)了。仍然采用95%的置信度，t分布臨界值仍然是。將上述點(diǎn)預(yù)測(cè)和預(yù)測(cè)標(biāo)準(zhǔn)差代入?yún)^(qū)間預(yù)測(cè)的公式，得到的95%置信度的區(qū)間預(yù)測(cè)為[0.184，0.222]。45在點(diǎn)預(yù)測(cè)和預(yù)測(cè)標(biāo)準(zhǔn)差的基礎(chǔ)上，很容易進(jìn)一步構(gòu)造區(qū)間預(yù)測(cè)了。仍第四章多元線性回歸分析46第四章多元線性回歸分析1本章主要內(nèi)容第一節(jié)多元線性回歸模型第二節(jié)參數(shù)估計(jì)第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)47本章主要內(nèi)容第一節(jié)多元線性回歸模型2第一節(jié)多元線性回歸模型一、模型的建立二、模型的假設(shè)48第一節(jié)多元線性回歸模型一、模型的建立3一、模型的建立多元線性回歸模型就是研究多因素關(guān)系，有多個(gè)解釋變量的線性回歸模型。一般形式是：

其中Y是被解釋變量，是K個(gè)認(rèn)為對(duì)Y有顯著影響的解釋變量（K2），是K+1個(gè)待定參數(shù)，是計(jì)量經(jīng)濟(jì)分析首先要估計(jì)的對(duì)象，是隨機(jī)誤差項(xiàng)。49一、模型的建立多元線性回歸模型就是研究多因素關(guān)系，有多個(gè)解釋多元線性回歸模型的建立也需要有理論和現(xiàn)實(shí)的根據(jù)。多元線性回歸模型中包括哪些變量、因素，哪個(gè)指標(biāo)是被解釋變量，有幾個(gè)解釋變量或哪幾個(gè)指標(biāo)作為解釋變量，既要考慮理論分析和研究目的的需要，也應(yīng)該根據(jù)所研究問(wèn)題的具體情況、相關(guān)經(jīng)濟(jì)理論，以及以往研究經(jīng)驗(yàn)等確定。50多元線性回歸模型的建立也需要有理論和現(xiàn)實(shí)的根據(jù)。5雖然一個(gè)經(jīng)濟(jì)指標(biāo)受到其他幾個(gè)經(jīng)濟(jì)指標(biāo)線性影響在現(xiàn)實(shí)經(jīng)濟(jì)中是存在的，但更多的情況下多變量關(guān)系往往是非線性的，需要經(jīng)過(guò)數(shù)學(xué)變換才能轉(zhuǎn)化為多元線性回歸模型的標(biāo)準(zhǔn)形式。例：

51雖然一個(gè)經(jīng)濟(jì)指標(biāo)受到其他幾個(gè)經(jīng)濟(jì)指標(biāo)線性影響在現(xiàn)實(shí)經(jīng)濟(jì)中是存二、模型的假設(shè)(1)、變量和之間存在多元線性隨機(jī)函數(shù)關(guān)系；(2)、對(duì)任意都成立；(3)、,與無(wú)關(guān)；(4)、誤差項(xiàng)不相關(guān)，當(dāng)時(shí)，(5)、解釋變量都是確定性的而非隨機(jī)變量，且解釋變量之間不存在線性關(guān)系；(6)、誤差項(xiàng)服從正態(tài)分布。52二、模型的假設(shè)(1)、變量和之間存在多對(duì)假設(shè)的進(jìn)一步分析上述六條假設(shè)中（2）、（3）、（4）和（6）與兩變量模型相同。第（1）條是關(guān)于模型基本變量關(guān)系的。第（5）條不僅針對(duì)的解釋變量數(shù)目增加了，而且多了一個(gè)要求解釋變量之間沒(méi)有線性關(guān)系的假設(shè)，這是多元線性回歸模型的重要特點(diǎn)。53對(duì)假設(shè)的進(jìn)一步分析上述六條假設(shè)中（2）、（3）、（4）和（6多元線性回歸模型的矩陣表示54多元線性回歸模型的矩陣表示9第二節(jié)參數(shù)估計(jì)一、最小二乘估計(jì)二、投資函數(shù)模型參數(shù)估計(jì)三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)55第二節(jié)參數(shù)估計(jì)10一、最小二乘估計(jì)參數(shù)估計(jì)也是多元線性回歸模型的基本步驟。最小二乘法也是多元線性回歸的基本方法。對(duì)于多元線性回歸模型56一、最小二乘估計(jì)參數(shù)估計(jì)也是多元線性回歸模型的基本步驟。1得到樣本回歸方程：回歸殘差平方和當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于0，得到正規(guī)方程組：其中57得到樣本回歸方程：12該正規(guī)方程組有K+1個(gè)方程，未知數(shù)也是K+1個(gè)。只要滿足模型假設(shè)（5），解釋變量之間不存在嚴(yán)格線性關(guān)系，就可以解出的唯一一組解。該解就是的最小二乘估計(jì)。58該正規(guī)方程組有K+1個(gè)方程，未知數(shù)也是K+1個(gè)。只要滿足模型特別地，對(duì)于兩個(gè)解釋變量的線性回歸模型：樣本回歸方程是：可推導(dǎo)出參數(shù)最小二乘估計(jì)的公式如下：

59特別地，對(duì)于兩個(gè)解釋變量的線性回歸模型：14最小二乘估計(jì)的向量、矩陣形式向量表示回歸方程的向量表示回歸殘差向量殘差平方和60最小二乘估計(jì)的向量、矩陣形式向量表示15當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于061當(dāng)對(duì)的一階偏導(dǎo)數(shù)都等于016二、投資函數(shù)模型參數(shù)估計(jì)作為例子，我們估計(jì)[例4-1]的投資函數(shù)多元線性回歸模型的參數(shù)。假設(shè)已獲得該地區(qū)1968-1983年期間實(shí)際投資和實(shí)際GNP數(shù)據(jù)。62二、投資函數(shù)模型參數(shù)估計(jì)作為例子，我們估計(jì)[例4-1]的投資表4.1某地區(qū)投資和GNP數(shù)據(jù)

年份實(shí)際投資實(shí)際GNP年份實(shí)際投資實(shí)際GNP19680.1611.05819760.1951.29819690.1721.08819770.2311.37019700.1581.08619780.2571.43919710.1731.12219790.2591.47919720.1951.18619800.2251.47419730.2171.25419810.2411.50319740.1991.24619820.2041.47519750.1631.23219830.2101.50063表4.1某地區(qū)投資和GNP數(shù)據(jù)年份實(shí)際投資實(shí)際GNP年份投資函數(shù)EViews回歸輸出結(jié)果

DependentVariable:YMethod:LeastSquaresDate:07/13/04Time:19:44Sample:19681983Includedobservations:16VariableCoefficientStd.Errort-StatisticProb.C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362Meandependentvar0.203750AdjustedR-squared0.951957S.D.dependentvar0.033061S.E.ofregression0.007246Akaikeinfocriterion-6.849241Sumsquaredresid0.000683Schwarzcriterion-6.704381Loglikelihood57.79393F-statistic149.6088Durbin-Watsonstat1.313453Prob(F-statistic)0.00000064投資函數(shù)EViews回歸輸出結(jié)果DependentVar三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)只要變量關(guān)系符合多元回歸模型的假設(shè)，多元回歸分析參數(shù)的最小二乘估計(jì)量也有優(yōu)良的性質(zhì)，也是BLUE估計(jì)和一致估計(jì)。因此在模型假設(shè)成立的前提下，最小二乘估計(jì)也是多元線性回歸分析基本的參數(shù)估計(jì)方法，并能為相關(guān)統(tǒng)計(jì)推斷和預(yù)測(cè)分析提供基礎(chǔ)。65三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì)只要變量關(guān)系符合多元回歸模型的假要進(jìn)一步對(duì)多元線性回歸模型進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)，同樣需要先估計(jì)參數(shù)估計(jì)量的方差。據(jù)最小二乘估計(jì)公式和模型假設(shè)，可以導(dǎo)出兩個(gè)解釋變量的多元回歸模型各個(gè)參數(shù)的最小二乘估計(jì)量的方差。66要進(jìn)一步對(duì)多元線性回歸模型進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)，同樣需要先估計(jì)6722上述參數(shù)估計(jì)量方差中的是模型誤差項(xiàng)的方差，一般可以用多元線性回歸最小二乘估計(jì)的殘差序列：加以估計(jì)，公式是：

＝68上述參數(shù)估計(jì)量方差中的是模型誤差項(xiàng)的方差，一般可第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)分析兩變量線性回歸決定系數(shù)公式可以發(fā)現(xiàn)，該決定系數(shù)只與被解釋變量的觀測(cè)值以及回歸殘差有關(guān)，而與解釋變量無(wú)直接關(guān)系。

多元模型解釋變量的數(shù)目有多有少，該決定系數(shù)是解釋變量數(shù)目的增函數(shù)，意味著不管增加的解釋變量是否真是影響被解釋變量的重要因素，都會(huì)提高決定系數(shù)的數(shù)值，解釋變量個(gè)數(shù)越多，決定系數(shù)一定會(huì)越大。

69第三節(jié)回歸擬合度評(píng)價(jià)和決定系數(shù)分析兩變量線性回歸決定系數(shù)公克服決定系數(shù)上述缺陷的方法，是對(duì)決定系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用如下“調(diào)整的決定系數(shù)”：

＝70克服決定系數(shù)上述缺陷的方法，是對(duì)決定系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用根據(jù)上述公式可以看出，當(dāng)n較大和K

較小時(shí)，和R差別不大，但當(dāng)n并不是很大而K又較大時(shí)，兩者的差別是比較明顯的。用這個(gè)調(diào)整的決定系數(shù)作為評(píng)價(jià)多元線性回歸擬合度的評(píng)價(jià)標(biāo)準(zhǔn)，可以基本消除由于解釋變量數(shù)目差異造成的影響。根據(jù)上述公式計(jì)算決定系數(shù)，需要先根據(jù)回歸直線計(jì)算的理論值，然后計(jì)算回歸殘差序列，再結(jié)合樣本數(shù)據(jù)進(jìn)行計(jì)算。

71根據(jù)上述公式可以看出，當(dāng)n較大和K較小時(shí)，和R差第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化二、統(tǒng)計(jì)推斷和檢驗(yàn)三、預(yù)測(cè)72第四節(jié)統(tǒng)計(jì)推斷和預(yù)測(cè)一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化27一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化在滿足模型假設(shè)的情況下，多元線性回歸模型參數(shù)的最小二乘估計(jì)量是線性無(wú)偏估計(jì)。參數(shù)估計(jì)量服從以參數(shù)真實(shí)值為中心的正態(tài)分布：可以通過(guò)下列變換轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計(jì)量：

=N[0，1]73一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化在滿足模型假設(shè)的情況下，多元線性回歸模用無(wú)偏估計(jì)代替誤差項(xiàng)方差，代入得到的統(tǒng)計(jì)量服從自由度為n-K-1的t分布，記為=t(n-K-1)這個(gè)t分布統(tǒng)計(jì)量是對(duì)多元線性回歸參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)的基礎(chǔ)。74用無(wú)偏估計(jì)代替誤差項(xiàng)方差，代入二、統(tǒng)計(jì)推斷和檢驗(yàn)（一）單個(gè)參數(shù)的置信區(qū)間（二）參數(shù)顯著性檢驗(yàn)（三）模型總體顯著性檢驗(yàn)75二、統(tǒng)計(jì)推斷和檢驗(yàn)（一）單個(gè)參數(shù)的置信區(qū)間30（一）單個(gè)參數(shù)的置信區(qū)間對(duì)給定的或要求的置信度，下式應(yīng)該成立：

||=

因此參數(shù)置信度為的置信區(qū)間（或稱區(qū)間估計(jì)）為：[-,+]76（一）單個(gè)參數(shù)的置信區(qū)間對(duì)給定的或要求的置信度，下式應(yīng)該成立投資函數(shù)模型參數(shù)的區(qū)間估計(jì)

首先根據(jù)EViews給出的回歸分析結(jié)果，知道的點(diǎn)估計(jì)=0.639117，的方差即=0.052896。再通過(guò)查表得到自由度為，顯著性水平=0.05的雙側(cè)t分布臨界值把這些數(shù)值及代入?yún)^(qū)間估計(jì)公式，可得：77投資函數(shù)模型參數(shù)的區(qū)間估計(jì)首先根據(jù)EViews給出的（二）參數(shù)的顯著性檢驗(yàn)可以對(duì)多元線性回歸模型的各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，或取特定值的假設(shè)檢驗(yàn)。模型參數(shù)顯著性檢驗(yàn)就是對(duì)相應(yīng)參數(shù)檢驗(yàn)原假設(shè)：＝0。如果=0成立，那么意味著不能排除模型中第k個(gè)假設(shè)變量是不重要的。根據(jù)要求的置信度（95%或99%），查t分布表得到自由度為n-K-1的t分布統(tǒng)計(jì)量的雙側(cè)分布臨界值。78（二）參數(shù)的顯著性檢驗(yàn)可以對(duì)多元線性回歸模型的各個(gè)參數(shù)進(jìn)行顯如果假設(shè)是真實(shí)的，那么95%或99%應(yīng)該成立：

==(n-K-1)如果t統(tǒng)計(jì)量數(shù)值不滿足上述不等式，意味著可以拒絕原假設(shè)，不能認(rèn)為第k個(gè)解釋變量是不重要的，稱模型的第k個(gè)解釋變量通過(guò)了顯著性檢驗(yàn)。

79如果假設(shè)是真實(shí)的，那么95%或99%應(yīng)該成立：34除了上述參數(shù)非0的顯著性檢驗(yàn)以外，也可以檢驗(yàn)多元回歸模型各個(gè)參數(shù)取非0的其他特定值的可能性。檢驗(yàn)的原理與顯著性檢驗(yàn)基本相同，只要把參數(shù)的真實(shí)值換成要檢驗(yàn)是否成立的數(shù)值即可。80除了上述參數(shù)非0的顯著性檢驗(yàn)以外，也可以檢驗(yàn)多元回歸模型各個(gè)（三）模型總體顯著性檢驗(yàn)多元線性回歸模型每個(gè)參數(shù)的顯著性與模型總體的顯著性并不一定一致。因此還可以進(jìn)行模型總體顯著性，也就是全體解釋變量總體對(duì)被解釋變量是否存在明顯影響的檢驗(yàn)，稱為“回歸顯著性檢驗(yàn)”。回歸顯著性檢驗(yàn)的基本方法，是檢驗(yàn)?zāi)Ｐ统?shù)項(xiàng)以外所有參數(shù)同時(shí)為0的假設(shè)，即檢驗(yàn)原假設(shè)為：＝0。81（三）模型總體顯著性檢驗(yàn)多元線性回歸模型每個(gè)參數(shù)的顯著性與模為了方便起見(jiàn)，實(shí)踐中一般都利用成立時(shí)模型的決定系數(shù)應(yīng)為0的事實(shí)，通過(guò)檢驗(yàn)決定系數(shù)的顯著性間接檢驗(yàn)回歸顯著性。決定系數(shù)的顯著性則利用下列F分布統(tǒng)計(jì)量進(jìn)行檢驗(yàn)：F=F(K,n-K-1)給定