《多元線性回歸》PPT課件.ppt

第 3 章 多元線性回歸,3.1 多元線性回歸模型 3.2 回歸參數(shù)的估計 3.3 參數(shù)估計量的性質(zhì) 3.4 回歸方程的顯著性檢驗 3.5 中心化和標(biāo)準(zhǔn)化 3.6 相關(guān)陣與偏相關(guān)系數(shù) 3.7 本章小結(jié)與評注,3.1 多元線性回歸模型,一、多元線性回歸模型的一般形式,y=0+1x1+2x2+pxp+,3.1 多元線性回歸模型,一、多元線性回歸模型的一般形式,對n組觀測數(shù)據(jù) (xi1, xi2,xip; yi), i=1,2,n, 線性回歸模型表示為:,3.1 多元線性回歸模型,一、多元線性回歸模型的一般形式,寫成矩陣形式為: y=X+, 其中,3.1 多元線性回歸模型,二、多元線性回歸模型的基本假定,1. 解釋變量x1,x2,xp是確定性變量,不是隨機變量,且要求 rk(X)=p+1n。表明設(shè)計矩陣X中的自變量列之間不相關(guān), X是一滿秩矩陣。,2 .隨機誤差項具有0均值和等方差,即,這個假定稱為Gauss-Markov條件,3.1 多元線性回歸模型,二、多元線性回歸模型的基本假定,3. 正態(tài)分布的假定條件為:,用矩陣形式(3.5)式表示為:,N(0, s2In),yN(X, s2In),E(y)=X var(y)= s2In,3.1 多元線性回歸模型,三、多元線性回歸方程的解釋,y表示空調(diào)機的銷售量, x1表示空調(diào)機的價格, x2表示消費者可用于支配的收入。,y=0+1x1+2x2+ E(y)=0+1x1+2x2,在x2保持不變時,有,在x1保持不變時,有,3.1 多元線性回歸模型,三、多元線性回歸方程的解釋,考慮國內(nèi)生產(chǎn)總值GDP和三次產(chǎn)業(yè)增加值的關(guān)系， GDP=x1 + x2+ x3,現(xiàn)在做GDP對第二產(chǎn)業(yè)增加值x2的一元線性回歸， 得回歸方程,3.1 多元線性回歸模型,3.1 多元線性回歸模型,三、多元線性回歸方程的解釋,建立GDP對x1和x2的回歸，得二元回歸方程,=2 914.6+0.607 x1+1.709 x2,你能夠合理地解釋兩個回歸系數(shù)嗎 ？,3.2 回歸參數(shù)的估計,一、回歸參數(shù)的普通最小二乘估計,最小二乘估計要尋找,3.2 回歸參數(shù)的估計,一、回歸參數(shù)的普通最小二乘估計,3.2 回歸參數(shù)的估計,一、回歸參數(shù)的普通最小二乘估計,經(jīng)整理后得用矩陣形式表示的正規(guī)方程組,移項得,存在時，即得回歸參數(shù)的最小二乘估計為：,3.2 回歸參數(shù)的估計,二、回歸值與殘差,為回歸值,稱為帽子矩陣，其主對角線元素記為hii ，則,3.2 回歸參數(shù)的估計,二、回歸值與殘差,此式的證明只需根據(jù)跡的性質(zhì)tr(AB)=tr(BA),因而,3.2 回歸參數(shù)的估計,二、回歸值與殘差,cov(e,e)=cov(（I-H）Y,（I-H）Y) =（I-H）cov(Y,Y)（I-H） =2（I-H）In（I-H）=2（I-H）,得 D(ei)=(1-hii)2，i=1,2,n,3.2 回歸參數(shù)的估計,二、回歸值與殘差,是2的無偏估計,3.2 回歸參數(shù)的估計,三 、回歸參數(shù)的最大似然估計,yN(X,2In),似然函數(shù)為,等價于使(y-X)(y-X)達(dá)到最小,這又完全與OLSE一樣,3.2 回歸參數(shù)的估計,例3.1 國際旅游外匯收入是國民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個國家或地區(qū)旅游收入的因素包括自然、文化、社會、經(jīng)濟(jì)、交通等多方面的因素，本例研究第三產(chǎn)業(yè)對旅游外匯收入的影響。中國統(tǒng)計年鑒把第三產(chǎn)業(yè)劃分為12個組成部分，分別為x1農(nóng)林牧漁服務(wù)業(yè),x2地質(zhì)勘查水利管理業(yè),x3交通運輸倉儲和郵電通信業(yè),x4批發(fā)零售貿(mào)易和餐飲業(yè),x5金融保險業(yè),x6房地產(chǎn)業(yè),x7社會服務(wù)業(yè),x8衛(wèi)生體育和社會福利業(yè)，x9教育文化藝術(shù)和廣播,x10科學(xué)研究和綜合藝術(shù),x11黨政機關(guān)，x12其他行業(yè)。采用1998年我國31 個省、市、自治區(qū)的數(shù)據(jù)，以國際旅游外匯收入（百萬美元）為因變量y，以如上12 個行業(yè)為自變量做多元線性回歸，數(shù)據(jù)見表3.1，其中自變量單位為億元人民幣。,3.2 回歸參數(shù)的估計,3.3 參數(shù)估計量的性質(zhì),性質(zhì)1 是隨機向量y的一個線性變換。,性質(zhì)2,是的無偏估計。,3.3 參數(shù)估計量的性質(zhì),3.3 參數(shù)估計量的性質(zhì),當(dāng)p=1時,3.3 參數(shù)估計量的性質(zhì),性質(zhì)4 Gauss-Markov定理,預(yù)測函數(shù),是 的線性函數(shù),Gauss-Markov定理 在假定E(y)=X, D(y)=2In時,的任一線性函數(shù) 的最小方差線性無偏估計(Best Lnear Unbiased Estimator簡記為BLUE)為c,其中c是任一p+1維向量, 是的最小二乘估計。,3.3 參數(shù)估計量的性質(zhì),第一，取常數(shù)向量c的第j（j=0,1,n）個分量為1，其余分量為0，這時G-M定理表明最小二乘估計是j的最小方差線性無偏估計。 第二，可能存在y1, y2 , , yn的非線性函數(shù)，作為 的無偏估計，比最小二乘估計 的方差更小。 第三，可能存在 的有偏估計量，在某種意義（例如均方誤差最?。┫卤茸钚《斯烙?更好。 第四，在正態(tài)假定下， 是 的最小方差無偏估計。也就是說，既不可能存在y1, y2 , , yn的非線性函數(shù)，也不可能存在y1, y2 , , yn的其它線性函數(shù)，作為 的無偏估計，比最小二乘估計 方差更小。,3.3 參數(shù)估計量的性質(zhì),性質(zhì)5 cov（,，e）=0,此性質(zhì)說明 與e不相關(guān),在正態(tài)假定下等價于與e獨立, 從而與 獨立。,性質(zhì)6 在正態(tài)假設(shè),(1),(2),3.4 回歸方程的顯著性檢驗,一、F檢驗,H0:1=2=p=0,SST = SSR + SSE,當(dāng)H0成立時服從,3.4 回歸方程的顯著性檢驗,一、F檢驗,3.4 回歸方程的顯著性檢驗,二、回歸系數(shù)的顯著性檢驗,H0j:j=0, j=1,2,p,（,（X）-1）,記 (X)-1=（cij) i,j=0,1,2, ,p,構(gòu)造t統(tǒng)計量,其中,3.4 回歸方程的顯著性檢驗,二、回歸系數(shù)的顯著性檢驗 （剔除x1),3.4 回歸方程的顯著性檢驗,二、回歸系數(shù)的顯著性檢驗,3.4 回歸方程的顯著性檢驗,二、回歸系數(shù)的顯著性檢驗,從另外一個角度考慮自變量xj的顯著性。 y對自變量x1,x2,xp線性回歸的殘差平方和為SSE，回歸平方和為SSR，在剔除掉xj后，用y對其余的p-1個自變量做回歸，記所得的殘差平方和為SSE（j），回歸平方和為SSR（j），則 自變量xj對回歸的貢獻(xiàn)為SSR（j）=SSR-SSR（j）， 稱為xj的偏回歸平方和。由此構(gòu)造偏F統(tǒng)計量,3.4 回歸方程的顯著性檢驗,二、回歸系數(shù)的顯著性檢驗,當(dāng)原假設(shè)H0j ：j=0成立時，（3.42）式的偏F統(tǒng)計量Fj服從自由度為(1,n-p-1)的F分布，此F檢驗與（3.40）式的t檢驗是一致的，可以證明Fj=tj2,3.4 回歸方程的顯著性檢驗,三、回歸系數(shù)的置信區(qū)間,可得j的置信度為1-的置信區(qū)間為：,3.4 回歸方程的顯著性檢驗,四、擬合優(yōu)度,決定系數(shù)為：,y關(guān)于x1,x2,xp的樣本復(fù)相關(guān)系數(shù),3.5 中心化和標(biāo)準(zhǔn)化,一、中心化,經(jīng)驗回歸方程,經(jīng)過樣本中心,將坐標(biāo)原點移至樣本中心，即做坐標(biāo)變換：,回歸方程轉(zhuǎn)變?yōu)椋?回歸常數(shù)項為,3.5 中心化和標(biāo)準(zhǔn)化,二、標(biāo)準(zhǔn)化回歸系數(shù),當(dāng)自變量的單位不同時普通最小二乘估計的回歸系數(shù)不具有可比性，例如有一回歸方程為:,其中x1的單位是噸, x2的單位是公斤,3.5 中心化和標(biāo)準(zhǔn)化,二、標(biāo)準(zhǔn)化回歸系數(shù),樣本數(shù)據(jù)的標(biāo)準(zhǔn)化公式為：,得標(biāo)準(zhǔn)化的回歸方程,3.5 中心化和標(biāo)準(zhǔn)化,二、標(biāo)準(zhǔn)化回歸系數(shù),標(biāo)準(zhǔn)化 回歸系數(shù),3.6 相關(guān)陣與偏相關(guān)系數(shù),一、樣本相關(guān)陣,自變量樣本相關(guān)陣,增廣的樣本相關(guān)陣為：,3.6 相關(guān)陣與偏相關(guān)系數(shù),一、樣本相關(guān)陣,3.6 相關(guān)陣與偏相關(guān)系數(shù),二、偏判定系數(shù),當(dāng)其他變量被固定后,給定的任兩個變量之間的 相關(guān)系數(shù),叫偏相關(guān)系數(shù)。 偏相關(guān)系數(shù)可以度量p+1個變量y,x1,x2, xp之中 任意兩個變量的線性相關(guān)程度,而這種相關(guān)程度是在 固定其余p-1個變量的影響下的線性相關(guān)。,3.6 相關(guān)陣與偏相關(guān)系數(shù),二、偏判定系數(shù),偏判定系數(shù)測量在回歸方程中已包含若干個自變量時，再引入某一個新的自變量后y的剩余變差的相對減少量，它衡量y的變差減少的邊際貢獻(xiàn)。,3.6 相關(guān)陣與偏相關(guān)系數(shù),二、偏判定系數(shù),以x1表示某種商品的銷售量， x2表示消費者人均可支配收入， x3表示商品價格。 從經(jīng)驗上看，銷售量x1與消費者人均可支配收入x2之間應(yīng)該有正相關(guān)，簡單相關(guān)系數(shù)r12應(yīng)該是正的。但是如果你計算出的r12是個負(fù)數(shù)也不要感到驚訝，這是因為還有其它沒有被固定的變量在發(fā)揮影響，例如商品價格x3在這期間大幅提高了。反映固定x3后x1與x2相關(guān)程度的偏相關(guān)系數(shù)r12；3會是個正數(shù)。,3.6 相關(guān)陣與偏相關(guān)系數(shù),1兩個自變量的偏判定系數(shù),二元線性回歸模型為：yi=0+1xi1+2xi2+i,記SSE（x2）是模型中只含有自變量x2時y的殘差平方和， SSE(x1，x2)是模型中同時含有自變量x1和x2時y的殘差平方和。因此模型中已含有x2時再加入x1使y的剩余變差的相對減小量為：,此即模型中已含有x2時，y與x1的偏判定系數(shù)。,3.6 相關(guān)陣與偏相關(guān)系數(shù),1兩個自變量的偏判定系數(shù),同樣地，模型中已含有x1時，y與x2的偏判定系數(shù)為：,3.6 相關(guān)陣與偏相關(guān)系數(shù),2.一般情況,在模型中已含有x2,xp時，y與x1的偏判定系數(shù)為：,3.6 相關(guān)陣與偏相關(guān)系數(shù),三、偏相關(guān)系數(shù),偏判定系數(shù)的平方根稱為偏相關(guān)系數(shù)， 其符號與相應(yīng)的回歸系數(shù)的符號相同。,例3.2 研究北京市各經(jīng)濟(jì)開發(fā)區(qū)經(jīng)濟(jì)發(fā)展與招商投資的關(guān)系，因變量y為各開發(fā)區(qū)的銷售收入（百萬元），選取兩個自變量， x1為截至1998年底各開發(fā)區(qū)累計招商數(shù)目， x2為招商企業(yè)注冊資本（百萬元）。 表中列出了至1998年底招商企業(yè)注冊資本x2在5億至50億元的15個開發(fā)區(qū)的數(shù)據(jù)。,3.6 相關(guān)陣與偏相關(guān)系數(shù),三、偏相關(guān)系數(shù),北京開發(fā)區(qū)數(shù)據(jù),3.6 相關(guān)陣與偏相關(guān)系數(shù),三、偏相關(guān)系數(shù),偏相關(guān)系數(shù)表,3.6 相關(guān)陣與偏相關(guān)系數(shù),三、偏相關(guān)系數(shù),用y與x1做一元線性回歸時，x1能消除y的變差SST的比例為,再引入x2時，x2能消除剩余變差SSE（X1）的比例為,因而自變量x1和x2消除y變差的總比例為,=1-(1-0.651)(1-0.546)=0.842=84.2%。,這個值84.2%恰好是y對x1和x2二元線性回歸的判定系數(shù)R2,3.6 相關(guān)陣與偏相關(guān)系數(shù),三、偏相關(guān)系數(shù),對任意p個變量x1,x2,xp