多元線性回歸

多元線性回歸第一頁，共五十四頁，2022年，8月28日第三章多元線性回歸模型

3.1多元線性回歸模型及古典假定3.2多元線性回歸模型的估計(jì)3.3多元線性回歸模型的檢驗(yàn)3.4多元線性回歸模型的預(yù)測3.5案例分析第二頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式3.1.2多元線性回歸模型的古典假定第三頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式一種社會經(jīng)濟(jì)現(xiàn)象和許多現(xiàn)象相聯(lián)系，比如描述產(chǎn)出量與資本投入、勞動(dòng)投入之間的關(guān)系的Cobb-Douglas生產(chǎn)函數(shù)：轉(zhuǎn)化為線性的：為非線性模型lnY為被解釋變量，lnK,lnL為解釋變量,lnμ為隨機(jī)誤差項(xiàng),lnA,α,β為參數(shù)。再如：西部地區(qū)各省區(qū)電力消費(fèi)的變化與各地區(qū)國民生產(chǎn)總值及電力價(jià)格水平變動(dòng)等因素的關(guān)系。建立模型如下Y為西部地區(qū)各省區(qū)電力消費(fèi)量；X2為各地區(qū)國民生產(chǎn)總值；X3為各地區(qū)電力價(jià)格變動(dòng)。μ為隨機(jī)誤差項(xiàng)。第四頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。線性是指對各個(gè)參數(shù)而言是線性的。3.1.1多元線性回歸模型的基本形式i=1,2…,n其中:k為參數(shù)的數(shù)目，j稱為偏回歸參數(shù)（regressioncoefficient），k-1為解釋變量的個(gè)數(shù)。表示當(dāng)控制其他解釋變量不變的條件下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化.一般表現(xiàn)形式：第五頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式對被解釋變量Y及多個(gè)解釋變量做n次觀測，所得的n組觀測值則有：第六頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式對被解釋變量Y及多個(gè)解釋變量做n次觀測，所得的n組觀測值樣本回歸模型：樣本回歸函數(shù)：多元線性回歸分析要解決的主要問題，仍然是如何根據(jù)變量的樣本觀測值去估計(jì)回歸模型中的各個(gè)參數(shù)。第七頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式即為以下線性方程組：將以上方程組寫成矩陣的形式：第八頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式=+第九頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式Y(jié)：被解釋變量觀測列向量X：數(shù)據(jù)矩陣或設(shè)計(jì)矩陣，為解釋變量觀測值矩陣B：參數(shù)列向量U:隨機(jī)誤差項(xiàng)列向量即：即：令：第十頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.1多元線性回歸模型的基本形式類似地，多元樣本線性回歸函數(shù)的矩陣表示為：或其中：第十一頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定假設(shè)1:零均值假定：用矩陣表示為：假設(shè)2:同方差和無自相關(guān)假定：第十二頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定隨機(jī)誤差項(xiàng)的方差-協(xié)方差矩陣)為：第十三頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定假設(shè)3:隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)假定：用矩陣表示為：E(X’U)=第十四頁，共五十四頁，2022年，8月28日3.1多元線性回歸模型及古典假定3.1.2多元線性回歸模型的古典假定用矩陣表示為：假設(shè)4:無多重共線性假定：即解釋變量之間不存在線性相關(guān)關(guān)系，即矩陣X列滿秩。假設(shè)5:正態(tài)性假定：i~N(0,2)

i=1,2,…,n則：，可逆，存在上述假定條件稱為多元線性回歸模型的古典假定。第十五頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)一：多元線性回歸參數(shù)的最小二乘估計(jì)二：參數(shù)最小二乘估計(jì)的性質(zhì)三：OLS估計(jì)的分布性質(zhì)四：隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)第十六頁，共五十四頁，2022年，8月28日一：多元線性回歸模型的最小二乘法如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2，…，n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

其中3.2多元線性回歸模型的估計(jì)第十七頁，共五十四頁，2022年，8月28日于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

3.2多元線性回歸模型的估計(jì)一：多元線性回歸模型的最小二乘法解該k個(gè)方程組成的線性代數(shù)方程組，即可得到k個(gè)待估參數(shù)的估計(jì)值第十八頁，共五十四頁，2022年，8月28日由極值條件得由于X’X滿秩，故有

3.2多元線性回歸模型的估計(jì)一：多元線性回歸模型的最小二乘法對樣本回歸函數(shù)兩邊同乘以樣本觀測值矩陣X的轉(zhuǎn)置矩陣，得到極值條件第十九頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)一：多元線性回歸模型的最小二乘法對于二元線性回歸模型：參數(shù)最小二乘估計(jì)式為：其中：第二十頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)一：多元線性回歸模型的最小二乘法例3.1研究2002年西部地區(qū)各省區(qū)電力消費(fèi)的變化與各地區(qū)國民生產(chǎn)總值及電力價(jià)格水平變動(dòng)等因素的關(guān)系。建立模型如下Y：電力消費(fèi)量；X2：國民生產(chǎn)總值；X3：電力價(jià)格變動(dòng)（以水電燃料價(jià)格指數(shù)來代表）。原始數(shù)據(jù)見課本78頁表3.1。被解釋變量觀測值矩陣和解釋變量觀測值矩陣分別為：第二十一頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)一：多元線性回歸模型的最小二乘法例3.1研究2002年西部地區(qū)各省區(qū)電力消費(fèi)的變化與各地區(qū)國民生產(chǎn)總值及電力價(jià)格水平變動(dòng)等因素的關(guān)系。所估計(jì)的樣本回歸函數(shù)為：第二十二頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)二：參數(shù)最小二乘法估計(jì)的性質(zhì)1．線性性

2．無偏性

由可知，最小二乘參數(shù)估計(jì)的參數(shù)估計(jì)量是被解釋變量Yi的線性函數(shù)。第二十三頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)二：參數(shù)最小二乘法估計(jì)的性質(zhì)3、有效性（最小方差性）

UU’UU’UU’和由第二十四頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)三：OLS估計(jì)的分布性質(zhì)由OLS估計(jì)量的性質(zhì)可知：以cjj表示矩陣(X’X)-1主對角線上的第j個(gè)元素，標(biāo)準(zhǔn)差：第二十五頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)四：隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)如果記則就是隨機(jī)誤差項(xiàng)方差的無偏估計(jì)量的方差估計(jì)量為：第二十六頁，共五十四頁，2022年，8月28日3.2多元線性回歸模型的估計(jì)四：隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)例3.1續(xù)：可以計(jì)算出：同理：第二十七頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）3.3.3回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）第二十八頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)一.多重可決系數(shù)（1）變差：TSS=RSS+ESS總離差平方和TSS反映了被解釋變量觀測值總變量的大小，回歸平方和ESS反映了被解釋變量回歸估計(jì)值總變差的大小，它是被解釋變量觀測值總變差中由多個(gè)解釋變量做出解釋的那部分變差，殘差平方和RSS反映了被解釋變量觀測值與估計(jì)值之間的變差，是被解釋變量觀測值總離差中未被列入模型的解釋變量解釋的那部分變差。第二十九頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)一.多重可決系數(shù)（1）變差：

顯然，ESS越大，RSS越小，從而被解釋變量觀測值總變差中能由解釋變量解釋的那部分變差就越大，模型對觀測數(shù)據(jù)的擬合程度就越高，因此定義多重可決系數(shù)為或者因?yàn)椋嚎傻茫旱谌?，共五十四頁?022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)一.多重可決系數(shù)

作為檢驗(yàn)回歸方程與樣本值擬合優(yōu)度的指標(biāo)：越大，表示回歸方程擬合樣本的的效果越好；反之，回歸方程擬合樣本值較差。第三十一頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)二.修正的可決系數(shù)

還可表示為第三十二頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)引入自由度來校正可決系數(shù)1）當(dāng)k>1時(shí)，<2）可能為負(fù)值，這時(shí)規(guī)定=0，但是必定非負(fù)TSS自由度為：n-1ESS自由度為：k-1（回歸模型中解釋變量的個(gè)數(shù)）RSS自由度為：n-k第三十三頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)例3.1續(xù)：已知：可計(jì)算得：第三十四頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)注意：1.用樣本估計(jì)的回歸模型計(jì)算的可決系數(shù)和修正的可決系數(shù)，也是隨抽樣而變動(dòng)的隨機(jī)變量。2.可決系數(shù)只是對模型擬合優(yōu)度的度量，只說明列入模型中的解釋變量對被解釋變量的聯(lián)合影響程度。并不能說明模型中各個(gè)解釋變量對被解釋變量的影響程度。第三十五頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.1擬合優(yōu)度檢驗(yàn)注意：3.在回歸分析中，不僅要模型的擬合程度高，而且還要得到總體回歸系數(shù)的可靠估計(jì)量。因此，在選擇模型時(shí)，不能單純的靠可決系數(shù)的高低來斷定模型的優(yōu)劣，有時(shí)為了整體考慮模型的可靠度及其經(jīng)濟(jì)意義，可以適當(dāng)降低對可決系數(shù)的要求。4.可決系數(shù)和修正的可決系數(shù)只能提供對擬合優(yōu)度的度量，它們的值究竟要達(dá)到多大才算模型通過檢驗(yàn)？并沒有給出確定的界限。第三十六頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)

方程的顯著性檢驗(yàn)，是對模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著作出推斷。該檢驗(yàn)是在方差分析的基礎(chǔ)上，利用F檢驗(yàn)進(jìn)行的。第三十七頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)第三十八頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)二、檢驗(yàn)步驟1.提出原假設(shè)H0和備擇假設(shè)H1不全為零2.構(gòu)造統(tǒng)計(jì)量：3.給定顯著性水平α，查F分布表，得到臨界值：4.比較判斷：若，則拒絕原假設(shè)，說明回歸方程顯著。若，則接受原假設(shè)，說明回歸方程不顯著。第三十九頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)F(k-1,n-k)1-Ff(F)拒絕域顯著水平α的單側(cè)F檢驗(yàn)拒絕域第四十頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)F檢驗(yàn)與可決系數(shù)的關(guān)系：一般來講，模型對觀測值的擬合程度越高，模型總體線性關(guān)系的顯著性就越強(qiáng)?？蓻Q系數(shù)越大，F(xiàn)統(tǒng)計(jì)量的值越大，R2=0時(shí)，F(xiàn)=0；R2=1時(shí)，F(xiàn)趨于∞。第四十一頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)注意：一元線性回歸中，由于解釋變量只有一個(gè)，不存在解釋變量的聯(lián)合影響的整體檢驗(yàn)問題。因此，不需要進(jìn)行F檢驗(yàn)。換種說法，對參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）與對回歸總體的顯著性檢驗(yàn)（F檢驗(yàn)）是一致的，說明如下：給定顯著性水平α,查臨界值，發(fā)現(xiàn)：第四十二頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.3回歸參數(shù)的顯著性檢驗(yàn)總體線性關(guān)系顯著（方程顯著性檢驗(yàn)通過）只能表明所有解釋變量共同對Y影響是顯著的，但不能表明每個(gè)解釋變量影響都是顯著的。所以必須對每個(gè)解釋變量作顯著性檢驗(yàn)。其目的是將影響不大的解釋變量刪除。利用t檢驗(yàn)來檢驗(yàn)解釋變量對被解釋變量的影響程度。

第四十三頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.3回歸參數(shù)的顯著性檢驗(yàn)

t檢驗(yàn)是一種回歸系數(shù)的顯著性檢驗(yàn)。如果某個(gè)解釋變量Xj對被解釋變量Y的作用顯著，那么它的參數(shù)βj應(yīng)不等于零。因此，提出檢驗(yàn)原假設(shè)H0：βj

=0備擇假設(shè)H1:βj

≠0顯然，若拒絕原假設(shè)，則表明解釋變量Xj對被解釋變量Y的影響顯著。第四十四頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.3回歸參數(shù)的顯著性檢驗(yàn)由最小二乘估計(jì)量的性質(zhì)可知:標(biāo)準(zhǔn)化得：由于未知，可用代替，可得第四十五頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.2回歸方程的顯著性檢驗(yàn)二、檢驗(yàn)步驟1.提出原假設(shè)H0和備擇假設(shè)H12.構(gòu)造統(tǒng)計(jì)量：3.給定顯著性水平α，查t分布表，得到臨界值：4.比較判斷：若，接受原假設(shè)，說明在其他解釋變量不變的情況下，解釋變量對被解釋變量沒有顯著的影響。若，拒絕原假設(shè)，說明在其他解釋變量不變的情況下，解釋變量對被解釋變量的影響是顯著的。第四十六頁，共五十四頁，2022年，8月28日3.3多元線性回歸模型的檢驗(yàn)3.3.3回歸參數(shù)的顯著性檢驗(yàn)tf(t)接受域接受域））))第四十七頁，共五十四頁，2022年，8月28日3.4.1點(diǎn)預(yù)測3.4.2E(Y0)的置信區(qū)間3.4.3Y0的置信區(qū)間3.4多元線性回歸模型的預(yù)測第四十八頁，共五十四頁，2022年，8月28日3.4多元線性回歸模型的預(yù)測對于模型

給定樣本以外的解釋變量的觀測