多元線性回歸

多元線性回歸第一頁，共五十四頁，編輯于2023年，星期五第三章多元線性回歸模型

3.1多元線性回歸模型及古典假定3.2多元線性回歸模型的估計3.3多元線性回歸模型的檢驗3.4多元線性回歸模型的預(yù)測3.5案例分析第二頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式3.1.2多元線性回歸模型的古典假定第三頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式一種社會經(jīng)濟現(xiàn)象和許多現(xiàn)象相聯(lián)系，比如描述產(chǎn)出量與資本投入、勞動投入之間的關(guān)系的Cobb-Douglas生產(chǎn)函數(shù)：轉(zhuǎn)化為線性的：為非線性模型lnY為被解釋變量，lnK,lnL為解釋變量,lnμ為隨機誤差項,lnA,α,β為參數(shù)。再如：西部地區(qū)各省區(qū)電力消費的變化與各地區(qū)國民生產(chǎn)總值及電力價格水平變動等因素的關(guān)系。建立模型如下Y為西部地區(qū)各省區(qū)電力消費量；X2為各地區(qū)國民生產(chǎn)總值；X3為各地區(qū)電力價格變動。μ為隨機誤差項。第四頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。線性是指對各個參數(shù)而言是線性的。3.1.1多元線性回歸模型的基本形式i=1,2…,n其中:k為參數(shù)的數(shù)目，j稱為偏回歸參數(shù)（regressioncoefficient），k-1為解釋變量的個數(shù)。表示當控制其他解釋變量不變的條件下，Xj每變化1個單位時，Y的均值E(Y)的變化.一般表現(xiàn)形式：第五頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式對被解釋變量Y及多個解釋變量做n次觀測，所得的n組觀測值則有：第六頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式對被解釋變量Y及多個解釋變量做n次觀測，所得的n組觀測值樣本回歸模型：樣本回歸函數(shù)：多元線性回歸分析要解決的主要問題，仍然是如何根據(jù)變量的樣本觀測值去估計回歸模型中的各個參數(shù)。第七頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式即為以下線性方程組：將以上方程組寫成矩陣的形式：第八頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式=+第九頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式Y(jié)：被解釋變量觀測列向量X：數(shù)據(jù)矩陣或設(shè)計矩陣，為解釋變量觀測值矩陣B：參數(shù)列向量U:隨機誤差項列向量即：即：令：第十頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式類似地，多元樣本線性回歸函數(shù)的矩陣表示為：或其中：第十一頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定假設(shè)1:零均值假定：用矩陣表示為：假設(shè)2:同方差和無自相關(guān)假定：第十二頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定隨機誤差項的方差-協(xié)方差矩陣)為：第十三頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定假設(shè)3:隨機誤差項與解釋變量不相關(guān)假定：用矩陣表示為：E(X’U)=第十四頁，共五十四頁，編輯于2023年，星期五3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定用矩陣表示為：假設(shè)4:無多重共線性假定：即解釋變量之間不存在線性相關(guān)關(guān)系，即矩陣X列滿秩。假設(shè)5:正態(tài)性假定：i~N(0,2)

i=1,2,…,n則：，可逆，存在上述假定條件稱為多元線性回歸模型的古典假定。第十五頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計一：多元線性回歸參數(shù)的最小二乘估計二：參數(shù)最小二乘估計的性質(zhì)三：OLS估計的分布性質(zhì)四：隨機擾動項方差的估計第十六頁，共五十四頁，編輯于2023年，星期五一：多元線性回歸模型的最小二乘法如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2，…，n根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是下列方程組的解

其中3.2多元線性回歸模型的估計第十七頁，共五十四頁，編輯于2023年，星期五于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

3.2多元線性回歸模型的估計一：多元線性回歸模型的最小二乘法解該k個方程組成的線性代數(shù)方程組，即可得到k個待估參數(shù)的估計值第十八頁，共五十四頁，編輯于2023年，星期五由極值條件得由于X’X滿秩，故有

3.2多元線性回歸模型的估計一：多元線性回歸模型的最小二乘法對樣本回歸函數(shù)兩邊同乘以樣本觀測值矩陣X的轉(zhuǎn)置矩陣，得到極值條件第十九頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計一：多元線性回歸模型的最小二乘法對于二元線性回歸模型：參數(shù)最小二乘估計式為：其中：第二十頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計一：多元線性回歸模型的最小二乘法例3.1研究2002年西部地區(qū)各省區(qū)電力消費的變化與各地區(qū)國民生產(chǎn)總值及電力價格水平變動等因素的關(guān)系。建立模型如下Y：電力消費量；X2：國民生產(chǎn)總值；X3：電力價格變動（以水電燃料價格指數(shù)來代表）。原始數(shù)據(jù)見課本78頁表3.1。被解釋變量觀測值矩陣和解釋變量觀測值矩陣分別為：第二十一頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計一：多元線性回歸模型的最小二乘法例3.1研究2002年西部地區(qū)各省區(qū)電力消費的變化與各地區(qū)國民生產(chǎn)總值及電力價格水平變動等因素的關(guān)系。所估計的樣本回歸函數(shù)為：第二十二頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計二：參數(shù)最小二乘法估計的性質(zhì)1．線性性

2．無偏性

由可知，最小二乘參數(shù)估計的參數(shù)估計量是被解釋變量Yi的線性函數(shù)。第二十三頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計二：參數(shù)最小二乘法估計的性質(zhì)3、有效性（最小方差性）

UU’UU’UU’和由第二十四頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計三：OLS估計的分布性質(zhì)由OLS估計量的性質(zhì)可知：以cjj表示矩陣(X’X)-1主對角線上的第j個元素，標準差：第二十五頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計四：隨機擾動項方差的估計如果記則就是隨機誤差項方差的無偏估計量的方差估計量為：第二十六頁，共五十四頁，編輯于2023年，星期五3.2多元線性回歸模型的估計四：隨機擾動項方差的估計例3.1續(xù)：可以計算出：同理：第二十七頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗3.3.2回歸方程的顯著性檢驗（F檢驗）3.3.3回歸參數(shù)的顯著性檢驗（t檢驗）第二十八頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗一.多重可決系數(shù)（1）變差：TSS=RSS+ESS總離差平方和TSS反映了被解釋變量觀測值總變量的大小，回歸平方和ESS反映了被解釋變量回歸估計值總變差的大小，它是被解釋變量觀測值總變差中由多個解釋變量做出解釋的那部分變差，殘差平方和RSS反映了被解釋變量觀測值與估計值之間的變差，是被解釋變量觀測值總離差中未被列入模型的解釋變量解釋的那部分變差。第二十九頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗一.多重可決系數(shù)（1）變差：

顯然，ESS越大，RSS越小，從而被解釋變量觀測值總變差中能由解釋變量解釋的那部分變差就越大，模型對觀測數(shù)據(jù)的擬合程度就越高，因此定義多重可決系數(shù)為或者因為：可得：第三十頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗一.多重可決系數(shù)

作為檢驗回歸方程與樣本值擬合優(yōu)度的指標：越大，表示回歸方程擬合樣本的的效果越好；反之，回歸方程擬合樣本值較差。第三十一頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗二.修正的可決系數(shù)

還可表示為第三十二頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗引入自由度來校正可決系數(shù)1）當k>1時，<2）可能為負值，這時規(guī)定=0，但是必定非負TSS自由度為：n-1ESS自由度為：k-1（回歸模型中解釋變量的個數(shù)）RSS自由度為：n-k第三十三頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗例3.1續(xù)：已知：可計算得：第三十四頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗注意：1.用樣本估計的回歸模型計算的可決系數(shù)和修正的可決系數(shù)，也是隨抽樣而變動的隨機變量。2.可決系數(shù)只是對模型擬合優(yōu)度的度量，只說明列入模型中的解釋變量對被解釋變量的聯(lián)合影響程度。并不能說明模型中各個解釋變量對被解釋變量的影響程度。第三十五頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.1擬合優(yōu)度檢驗注意：3.在回歸分析中，不僅要模型的擬合程度高，而且還要得到總體回歸系數(shù)的可靠估計量。因此，在選擇模型時，不能單純的靠可決系數(shù)的高低來斷定模型的優(yōu)劣，有時為了整體考慮模型的可靠度及其經(jīng)濟意義，可以適當降低對可決系數(shù)的要求。4.可決系數(shù)和修正的可決系數(shù)只能提供對擬合優(yōu)度的度量，它們的值究竟要達到多大才算模型通過檢驗？并沒有給出確定的界限。第三十六頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗

方程的顯著性檢驗，是對模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著作出推斷。該檢驗是在方差分析的基礎(chǔ)上，利用F檢驗進行的。第三十七頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗第三十八頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗二、檢驗步驟1.提出原假設(shè)H0和備擇假設(shè)H1不全為零2.構(gòu)造統(tǒng)計量：3.給定顯著性水平α，查F分布表，得到臨界值：4.比較判斷：若，則拒絕原假設(shè)，說明回歸方程顯著。若，則接受原假設(shè)，說明回歸方程不顯著。第三十九頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗F(k-1,n-k)1-Ff(F)拒絕域顯著水平α的單側(cè)F檢驗拒絕域第四十頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗F檢驗與可決系數(shù)的關(guān)系：一般來講，模型對觀測值的擬合程度越高，模型總體線性關(guān)系的顯著性就越強?？蓻Q系數(shù)越大，F(xiàn)統(tǒng)計量的值越大，R2=0時，F(xiàn)=0；R2=1時，F(xiàn)趨于∞。第四十一頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗注意：一元線性回歸中，由于解釋變量只有一個，不存在解釋變量的聯(lián)合影響的整體檢驗問題。因此，不需要進行F檢驗。換種說法，對參數(shù)的顯著性檢驗（t檢驗）與對回歸總體的顯著性檢驗（F檢驗）是一致的，說明如下：給定顯著性水平α,查臨界值，發(fā)現(xiàn)：第四十二頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.3回歸參數(shù)的顯著性檢驗總體線性關(guān)系顯著（方程顯著性檢驗通過）只能表明所有解釋變量共同對Y影響是顯著的，但不能表明每個解釋變量影響都是顯著的。所以必須對每個解釋變量作顯著性檢驗。其目的是將影響不大的解釋變量刪除。利用t檢驗來檢驗解釋變量對被解釋變量的影響程度。

第四十三頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.3回歸參數(shù)的顯著性檢驗

t檢驗是一種回歸系數(shù)的顯著性檢驗。如果某個解釋變量Xj對被解釋變量Y的作用顯著，那么它的參數(shù)βj應(yīng)不等于零。因此，提出檢驗原假設(shè)H0：βj

=0備擇假設(shè)H1:βj

≠0顯然，若拒絕原假設(shè)，則表明解釋變量Xj對被解釋變量Y的影響顯著。第四十四頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.3回歸參數(shù)的顯著性檢驗由最小二乘估計量的性質(zhì)可知:標準化得：由于未知，可用代替，可得第四十五頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.2回歸方程的顯著性檢驗二、檢驗步驟1.提出原假設(shè)H0和備擇假設(shè)H12.構(gòu)造統(tǒng)計量：3.給定顯著性水平α，查t分布表，得到臨界值：4.比較判斷：若，接受原假設(shè)，說明在其他解釋變量不變的情況下，解釋變量對被解釋變量沒有顯著的影響。若，拒絕原假設(shè)，說明在其他解釋變量不變的情況下，解釋變量對被解釋變量的影響是顯著的。第四十六頁，共五十四頁，編輯于2023年，星期五3.3多元線性回歸模型的檢驗3.3.3回歸參數(shù)的顯著性檢驗tf(t)接受域接受域））))第四十七頁，共五十四頁，編輯于2023年，星期五3.4.1點預(yù)測3.4.2E(Y0)的置信區(qū)間3.4.3Y0的置信區(qū)間3.4多元線性回歸模型的預(yù)測第四十八頁，共五十四頁，編輯于2023年，星期五3.4多元線性回歸模型的預(yù)測對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20