多元線性應(yīng)用回歸

多元線性應(yīng)用回歸第1頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才2第三章多元線性回歸模型例子：①工資收入y，教育x1、工資經(jīng)驗(yàn)x2;②產(chǎn)品的銷售量y，自身的價(jià)格x1、替代品的價(jià)格x2、互補(bǔ)品的價(jià)格x3;③某品牌手機(jī)的銷售額y，廣告費(fèi)x1、價(jià)格x2、可支配的收入x3、研發(fā)的投入x4;④汽車的速度y，動(dòng)力x1、重量x2;⑤血糖y，胰島素x1、生長(zhǎng)素x2?！陨侠拥奶攸c(diǎn)：被解釋變量只有一個(gè)，解釋變量有2個(gè)或2個(gè)以上，這樣的模型稱為多元線性回歸模型。本章的主要內(nèi)容：多元線性回歸模型、基本假設(shè)、未知參數(shù)的估計(jì)及性質(zhì)、回歸方程的系數(shù)和回歸方程的檢驗(yàn)、預(yù)測(cè)等。本章特點(diǎn)：利用矩陣進(jìn)行計(jì)算。第2頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才33.1多元線性回歸模型一多元線性回歸模型的一般形式：y=0+1

x1+2

x2+……p

xp

+εy為被解釋變量，是隨機(jī)變量；x1,x2,……,xp為解釋變量，確定性變量，可以控制和測(cè)量；0,1,…,

p是（p+1）個(gè)未知參數(shù)；0回歸常數(shù)，1,…,

p回歸系數(shù)。n組樣本觀測(cè)值（xi1,xi2,xi3,…,xip;yi）i=1,2,…,n.(每一組樣本觀測(cè)值為一個(gè)向量，前面一個(gè)下標(biāo)i

表示第i組樣本觀測(cè)值，后面一個(gè)下標(biāo)表示解釋變量)第3頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才4多元線性回歸模型的矩陣形式第4頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才5矩陣形式其中Y,ε均為n維列向量；X為n*(p+1)的矩陣；β為p維列向量第5頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才6

二.多元線性回歸模型的基本假設(shè)1.x1,x2,…,xp是確定性變量.2.xi(i=1,2,…,p.)之間無(wú)線性關(guān)系(即無(wú)共線性).3.高斯－馬爾科夫條件:E(εi)=0,i=1,2,…n.;Cov(εi,εj)=0,i≠j;Cov(εi,εj)=σ2,i=j.4.εi的正態(tài)性假設(shè)：εi

~N（0，σ2

）。第6頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才7三、回歸系數(shù)的解釋例題多元線性回歸方程的解釋

y表示空調(diào)機(jī)的銷售量,x1表示空調(diào)機(jī)的價(jià)格,x2表示消費(fèi)者可用于支配的收入。y=β0+β1x1+β2x2+εE(y)=β0+β1x1+β2x2

在x2保持不變時(shí),有在x1保持不變時(shí),有第7頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才8三、多元線性回歸方程的系數(shù)解釋第8頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才9四.完全共線性例子假設(shè)我們想估計(jì)競(jìng)選支出對(duì)競(jìng)選結(jié)果的影響.假定每次選舉都有兩位侯選人.令voteA為侯選人A的得票率,expendA為侯選人A的競(jìng)選支出;expendB為侯選人B的競(jìng)選支出;totexpend為競(jìng)選總支出.為了將每個(gè)侯選人競(jìng)選支出與競(jìng)選總支出的影響隔離開(kāi),考慮如下模型:voteA=0+1

expendA+2

expendB+3

totexpend+ε由于expendA+expendB=totexpend,因此這3個(gè)自變量存在完全共線性.只要解釋1

的意義就會(huì)揭示出問(wèn)題.參數(shù)1

被認(rèn)為是在保持侯選人B的競(jìng)選支出和競(jìng)選總支出不變的情況下,度量了侯選人A的競(jìng)選支出對(duì)其得票率的影響.因?yàn)槿绻鹐xpendB和totexpend都保持不變,我們就不可能增加expendA,所以這就毫無(wú)意義.解決完全共性方法:將3個(gè)自變量中去掉1個(gè).第9頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才10利用矩陣形式求回歸參數(shù)的估計(jì)第10頁(yè)，共112頁(yè)，2023年，2月20日，星期四關(guān)于向量求導(dǎo)浙江財(cái)經(jīng)學(xué)院倪偉才11第11頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才12第12頁(yè)，共112頁(yè)，2023年，2月20日，星期四關(guān)于矩陣求導(dǎo)浙江財(cái)經(jīng)學(xué)院倪偉才13第13頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才14第14頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才15第15頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才16殘差性質(zhì)第16頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才17rank(X)=p+1

?

rank(X’X)=p+1

第17頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才18例題（用Stata!）數(shù)據(jù)：ch05pr04.dta請(qǐng)用矩陣求線性回歸模型的系數(shù)估計(jì)值1：計(jì)算矩陣形式X’X2：計(jì)算矩陣形式（X’X）-1

3：計(jì)算矩陣形式X’Y4：計(jì)算矩陣形式系數(shù)的估計(jì)值（X’X）-1X’Y5：將用矩陣運(yùn)算得到的系數(shù)估計(jì)值和軟件的直接回歸得到的結(jié)果比較！第18頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才19Stata命令數(shù)據(jù)：ch05pr04.dtagenone=1mkmaty,mat(y)

mkmat(onex),mat(x)matlistxmatlistymatb=inv(x'*x)*x'*ymatlistbregyx第19頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才20最大似然估計(jì)

y～N(Xβ,σ2In)等價(jià)于使(y-Xβ)’(y-Xβ)達(dá)到最小,這又完全與OLSE一樣第20頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才21例3.1

（數(shù)據(jù)：12元回歸.sav）

例3.1國(guó)際旅游外匯收入是國(guó)民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個(gè)國(guó)家或地區(qū)旅游收入的因素包括自然、文化、社會(huì)、經(jīng)濟(jì)、交通等多方面的因素，本例研究第三產(chǎn)業(yè)對(duì)旅游外匯收入的影響。《中國(guó)統(tǒng)計(jì)年鑒》把第三產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為x1農(nóng)林牧漁服務(wù)業(yè),x2地質(zhì)勘查水利管理業(yè),x3交通運(yùn)輸倉(cāng)儲(chǔ)和郵電通信業(yè),x4批發(fā)零售貿(mào)易和餐飲業(yè),x5金融保險(xiǎn)業(yè),x6房地產(chǎn)業(yè),x7社會(huì)服務(wù)業(yè),x8衛(wèi)生體育和社會(huì)福利業(yè)，x9教育文化藝術(shù)和廣播,x10科學(xué)研究和綜合藝術(shù),x11黨政機(jī)關(guān)，x12其他行業(yè)。采用1998年我國(guó)31個(gè)省、市、自治區(qū)的數(shù)據(jù)，以國(guó)際旅游外匯收入（百萬(wàn)美元）為因變量y，以如上12個(gè)行業(yè)為自變量做多元線性回歸，數(shù)據(jù)見(jiàn)表3.1，其中自變量單位為億元人民幣。第21頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才22殘差（abstractedfromGreene《ECONOMETRICANALYSIS》chapter3)第22頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才23wecaninterpretMasamatrixthatproducesthevectorofleastsquaresresidualsintheregressionofyonXwhenitpremultipliesanyvectory.Itisconvenienttorefertothismatrixasa“residualmaker.”ItfollowsthatMX=0.OnewaytointerpretthisresultisthatifXisregressedonX,aperfectfitwillresultandtheresidualswillbezero.Then×nmatrixMdefinedisfundamentalinregressionanalysis.YoucaneasilyshowthatMisbothsymmetric

(M=M’)andidempotent(M=M2).residualmaker:M第23頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才24fitvalue第24頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才25ThematrixP,whichisalsosymmetricandidempotent,isaprojectionmatrix.ItisthematrixformedfromXsuchthatwhenavectoryispremultipliedbyP,theresultisthefittedvaluesintheleastsquaresregressionofyonX.ThisisalsotheprojectionofthevectoryintothecolumnspaceofX.projection(orhat)matrix:P第25頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才26projection(orhat)matrix:P性質(zhì)1:對(duì)稱矩陣2:冪等矩陣第26頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才27殘差的方差協(xié)方差矩陣第27頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才28隨機(jī)誤差項(xiàng)ε的方差σ2的無(wú)偏估計(jì)為第28頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才29課堂練習(xí)數(shù)據(jù)見(jiàn):TableF2.2.dta題目來(lái)源于GreeneNotes3解釋變量y=G,x=(one,pg,y)請(qǐng)用Stata計(jì)算:1:x’x,x’y,(x’x)-1,b2:M3:x’e=x’My,[whereeisresiduals]4:MX第29頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才30Stata命令egenone=fill(1,1)mkmatG,mat(y)mkmatonePgY,mat(x)matb=inv(x’x)*x’*y

mate=m*ymatxte=x'*m*ymatlistxtematm=I(36)-x*inv(x’*x)*x’matmx=m*xmatlistmx第30頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才31補(bǔ)充內(nèi)容（矩陣計(jì)算）《AppliedLinearRegressionModels》(FourthEdition)chapter5simplelinearregressionProblems5.23,5.25例題Problems5.23學(xué)生練習(xí)：Problems5.25具體請(qǐng)見(jiàn)word格式:回歸模型的矩陣計(jì)算(stata).doc第31頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才32Homework第32頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才333.3參數(shù)估計(jì)的性質(zhì)(BLUE)第33頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才34第34頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才35特例

(一元線性回歸模型)

當(dāng)p=1時(shí)

第35頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才36性質(zhì)3:D(^)=σ2(X’X)-1的意義:第36頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才37CalculatingParameterandStandardErrorEstimatesforMultipleRegressionModelsExample:Thefollowingmodelwithk=3isestimatedover15observations: andthefollowingdatahavebeencalculatedfromtheoriginalX’s.

Calculatethecoefficientestimatesandtheirstandarderrors.

Tocalculatethecoefficients,justmultiplythematrixbythevectortoobtain Tocalculatethestandarderrors,weneedanestimateof2.

第37頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才38(cont’d)Thevariance-covariancematrixofisgivenbyThevariancesareontheleadingdiagonal:Wewrite:第38頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才39性質(zhì)4:高斯馬爾可夫定理Gauss-Markovtheorem:

在高斯馬爾可夫條件下,即E(ε)=0,E(ε’ε)=σ2I,在的所有線性無(wú)偏估計(jì)中,由最小二乘法得到的估計(jì)值^的方差最小.(即BLUE)注①可能存在非線性函數(shù)(指的是y1,y2,…yn的函數(shù)),是無(wú)偏估計(jì),但它的方差比由最小二乘法得到的估計(jì)值^的方差要?、诳赡艽嬖谟衅烙?jì),它的方差比由最小二乘法得到的估計(jì)值^的方差要?、郾径ɡ淼囊粋€(gè)前提是在的線性,無(wú)偏估計(jì)中.④本定理的證明采用矩陣形式.詳細(xì)過(guò)程請(qǐng)參考《EconometricModelsandEconomicForecasts》PindyckAppendix4.3TheMultipleRegressionModelinMatrixForm該書(shū)110,111頁(yè),此種證明方法較繁瑣?、萁ㄗh采用Greene《EconometricAnalysis》的方法！第39頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才40Greene的方法?。ㄒ笳莆?）第40頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才41Con’d第41頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才42注解：Gauss-Markovtheorem的證明可以參考JamesH.Stock,MarkW.Watson《IntroductiontoEconometrics》APPENDIX16.5第42頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才43參數(shù)估計(jì)量的性質(zhì)

性質(zhì)5cov（，e）=0此性質(zhì)說(shuō)明與e不相關(guān),在正態(tài)假定下等價(jià)于與e獨(dú)立,從而與獨(dú)立。性質(zhì)6

在正態(tài)假設(shè)(1)(2)第43頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才443.4回歸方程的顯著性檢驗(yàn)第44頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才45M0

[很方便的記號(hào)！]第45頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才46M0性質(zhì)第46頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才47SST,SSR,SSE第47頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才48SST=SSR+SSE第48頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才49請(qǐng)用矩陣計(jì)算[重點(diǎn)是3種平方和]第49頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才50Stata例：數(shù)據(jù)：chap05pr04.dtagenone=1mkmatonex,mat(x)mkmaty,mat(y)matb=inv(x'*x)*x'*ymatp=x*inv(x'*x)*x'matm=I(5)-pmatyhat=p*ymate=m*ymati=J(5,1,1)matlistimatm0=I(5)-i*inv(i'*i)*i'matlistm0第50頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才51Con’dmatssr=e'*ematsse=yhat'*m0*yhatmatsst=y'*m0*ymatlistssematlistssrmatlistsstregyx具體的輸出結(jié)果請(qǐng)參考：3種平方和的矩陣計(jì)算.doc練習(xí)：《AppliedLinearRegressionModels》chapter5problems5.24數(shù)據(jù)：chap05pr21.dta第51頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才52樣本決定系數(shù)R2=SSE/SST=1－SSR/SSTR2measurestheproportionofvariationinYwhichisexplainedbythemultipleregressionequation.R2is

oftenusedinformallyasagoodnessoffitstatisticandtocomparethevalidityofregressionresultsunderalternativespecificationsoftheindependentvariablesinthemodel.However,thereareseveralproblemswiththeuseofR2.First,allourstatisticresultsfollowfromtheinitialassumptionthatthemodeliscorrect;wehavenoprocedurethatcomparesalternativespecifications.Second,R2issensitivetothenumberofindependentvariablesincludedintheregressionmodel.TheadditionofmoreindependentvariablestotheregressionequationcanneverlowerR2andislikelytoraiseit.(TheadditionofanewexplanatoryvariabledoesnotalterSSTbutislikelytoincreaseSSE.)Thus,onecouldsimplyaddmorevariablestoanequationifonewishedonlytomaximizeR2.第52頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才53AdjustedR2[要掌握！]ThedifficultywithR2asameasureofgoodnessoffitisthatR2pertainsonlytoexplainedandunexplainedvariationinYandthereforedoesnotaccountforthenumberofdegreeoffreedom.Anaturalsolutionistousevariances,notvariations,thuseliminatingthedependenceofgoodnessoffitinthenumberofindependentvariablesinthemodel.第53頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才54AdjustedR2性質(zhì)第54頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才55三.Ｆ統(tǒng)計(jì)量：回歸方程總體顯著性的檢驗(yàn)第55頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才56Con’d第56頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才57聯(lián)合排除性約束的F檢驗(yàn)[很重要，務(wù)必掌握]第57頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才58聯(lián)合排除性約束的F檢驗(yàn)的公式[記住]第58頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才59聯(lián)合排除性約束的F檢驗(yàn)和一般F檢驗(yàn)的關(guān)系一般F檢驗(yàn)實(shí)際上就是聯(lián)合排除性約束的F檢驗(yàn)的特例！第59頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才60一道有趣的題目：Wooldridgequestion4.5第60頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才61練習(xí)ConsiderPatientsatisfaction[chap06pr15.dta]1:TestwhetherX3canbedroppedfromtheregressionmodelgiventhatX1andX2areretained.UseFteststatisticandlevelofsignificance0.05.Statethealternatives,decisionrule,andconclusion.WhatistheP-valueofthetest?

2:Testwhether?1=-1and?2=0.Statethealternatives,fullmodelandreducedmodel,decisionrule,andconclusion.WhatistheP-valueofthetest?

[abstractedfrom《AppliedLinearRegressionModels》Problems7.5and7.9]第61頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才62Stata[chap06pr15.dta]1:regyx1x2x3testx3di3.60^0.51.89736662:quiregyx1x2x3

testx1=-1F(1,42)=0.43Prob>F=0.5133testx2=0,accumulateF(2,42)=0.88Prob>F=0.4208第62頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才63四.t統(tǒng)計(jì)量：個(gè)別回歸系數(shù)的顯著性檢驗(yàn)第63頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才64五.講解課本例3.1(12元.dta)注①：全體12個(gè)自變量做為整體對(duì)y有顯著性的線性關(guān)系；但每一個(gè)自變量對(duì)y沒(méi)有顯著性的線性關(guān)系。②：對(duì)于多元回歸而言，回歸方程總體性的顯著性F檢驗(yàn)和回歸系數(shù)的個(gè)別顯著性的t檢驗(yàn)不同；原因在于多重共線性。③如何才能使每一個(gè)變量都對(duì)y具有顯著性影響：方法：剔除多余變量，一個(gè)一個(gè)剔除，先剔除p值最大的，進(jìn)行檢驗(yàn)，依次進(jìn)行，直到所有的變量對(duì)y的影響都是顯著的（即每個(gè)p值均小于）.第64頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才65Statafor課本例3.1

數(shù)據(jù):12元.dtaregyx*regyx2-x12regyx3-x12regyx3-x11regyx3x5-x11

regyx3x5x6x8-x11regyx3x5x8-x11regyx3x8-x11regyx3x8x9x11第65頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才66六.對(duì)F顯著，t不顯著的直觀解釋y:thetotaltraveltime;X1:thenumberofmiles

traveled;X2:thenumberofgallonsofgasolineconsumed.AssumethatweobtaintheequationandfindthattheFtestshowstherelationshiptobesignificant.Thensupposeweconductateston1todeterminewhether1≠0，andwecannotrejectH0:1=0.Doesthismeanthattraveltimeyisnotrelatedtomilestraveledx1?第66頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才67Con’dNotnecessarily.Whatitprobablymeansisthatwithx2alreadyinthemodel,x1doesnotmakeasignificantcontributiontodeterminingthevalueofy.Thisinterpretationmakessenseinourexample:ifweknowtheamountofgasolineconsumed,wedonotgainmuchadditionalinformationusefulinpredictingybyknowingthemilestraveled.Similarly,attestmightleadustoconclude2=0onthegroundsthat,withx1inthemodel,knowledgeoftheamountofgasolineconsumeddoesnotaddmuch.第67頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才683.5標(biāo)準(zhǔn)化系數(shù)請(qǐng)參考《AppliedLinearRegressionModels》chapter7,7.5部分StandardizedMultipleRegessionModelPurpose:Astandardizedformofthegeneralmultipleregressionmodelisemployedtocontrolroundofferrorsinnormalequationscalculationsandtopermitcomparisonsoftheestimatedregressioncoefficientsincommonunits.第68頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才69RoundoffErrorsincalculationsTheresultsfromnormalequationscalculationscanbesensitivetoroundingofdatainintermediatestagesofcalculations.WhenthenumberofXvariablesissmall-say,threeorless-roundoffeffectscanbecontrolledbycarryingasufficientnumberofdigitsinintermediatecalculations.Indeed,mostcomputerregressionprogramsusedouble-precisionarithmeticinallcomputationstocontrolroundoffeffects.Still,withalargenumberofXvariables,seriousroundoffeffectscanarisedespitetheuseofmanydigitsinintermediatecalculations.第69頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才70Con’dRoundofferrorstendtoentercalculationsprimarilywhentheinverseofX’Xistaken.Thedangerofseriousroundofferrorsin(X’X)-1isparticularlygreatwhen(1)X’Xhasadeterminantthatisclosetozeroand/or(2)theelementsofX’Xdiffersubstantiallyinordertomagnitude.ThefirstconditionariseswhensomeoralloftheXvariablesarehighlyintercorrelated.ThesecondconditionariseswhentheXvariableshavesubstantiallydifferentmagnitudessothattheentriesintheX’Xmatrixcoverawiderange,say,from15to49000000第70頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才71LackofComparabilityinRegressionCoefficients例：考慮二元回歸方程②從表面上看，2000比2大，誤解為x1對(duì)y的平均影響要比x2對(duì)y的平均影響要大①?gòu)?fù)習(xí)回歸系數(shù)的實(shí)際意義聯(lián)系：可口可樂(lè)：比2升多送250毫升！其它的：如買一送三。第71頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才722000表示x1增加1噸，y平均增加2000個(gè)單位；實(shí)際上，x1

，x2對(duì)y的平均影響是相同的。③x1，x2的單位不同，x1的單位為噸，x2的單位為公斤2表示x2增加1公斤，y平均增加2個(gè)單位即：表示x2增加1噸，y平均增加2000個(gè)單位第72頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才73WhytotransformvariablesThetransformationtoobtainthestandardizedregressionmodel,calledthecorrelationtransformation,makesallenriesintheX’Xmatrixforthetransformedvariablesfallbetween-1and1inclusive,sothatthecalculationoftheinversematrixbecomesmuchlesssubjecttoroundofferrorsduetodissimilarordersofmagnitudesthanwiththeoriginalvariables.第73頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才74CorrelationTransformationThecorrelationtransformationisasimplemodificationoftheusualstandardizationofavariable.Thecorrelationtransformationisasimplefunctionofthestandardizedvariables第74頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才75變量標(biāo)準(zhǔn)化第75頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才76Formulaforcorrelationtransformation第76頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才77StandardizedRegressionModelTheregressionmodelwiththetransformedy*andxk*asdefinedbythecorrelationtransformationformulaiscalledastandardizedregressionmodelandisasfollows:Thereasonwhythereisnointerceptparameterinthestandardizedregressionmodelisthattheleastsquarescalculationsalwayswouldleadtoanestimatedintercepttermofzeroifaninterceptparameterwerepresentinthemodel.第77頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才78RelationItiseasytoshowthattheparameters?*0,?*1,….,?*pinthestandardizedregressionmodelandtheoriginalparameters?0,?1,….,?pintheordinarymultipleregressionmodelarerelatedasfollows:Weseethatthestandardizedregressioncoefficients?*kandtheoriginalregressioncoefficients?karerelatedbysimplescalingfactorsinvolvingratiosofstandarddeviations第78頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才79標(biāo)準(zhǔn)化系數(shù)的推導(dǎo)第79頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才80Inordertocomparetheimportanceoftheindependentvariablesindeterminingthedependentvariable,thestandardizedcoefficientsaremoreappropriateforthepurpose.第80頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才81標(biāo)準(zhǔn)化回歸系數(shù)與普通最小二乘回歸系數(shù)之間的關(guān)系：標(biāo)準(zhǔn)化回歸方程：注意：標(biāo)準(zhǔn)化回歸方程回歸常數(shù)項(xiàng)為0!第81頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才82求標(biāo)準(zhǔn)化系數(shù)的步驟1：先將y,x1,x2,…,xp標(biāo)準(zhǔn)化2：然后將y的z得分對(duì)x1,x2,…,xp的z得分進(jìn)行回歸3：最后根據(jù)回歸方程得到標(biāo)準(zhǔn)化系數(shù)第82頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才83例：污染對(duì)住房?jī)r(jià)格的影響（Wooldridgep175example6.1）（數(shù)據(jù)見(jiàn)hprice2.sav）被解釋變量：price;解釋變量：nox（氧化亞氮）,crime,rooms,dist,stratio（學(xué)生和教師的比例）例題講解(spss)考慮price關(guān)于nox,crime,room,dist，stratio的多元線性回歸第83頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才84結(jié)合例子回歸方程標(biāo)準(zhǔn)化的3種方法：①首先descriptivestatistics-descriptives–options-mean,std.deviation;然后利用compute產(chǎn)生各個(gè)變量的z得分；最后進(jìn)行回歸.(該方法主要為了熟悉標(biāo)準(zhǔn)化的具體過(guò)程！)③利用regression直接得到?、诶胐escriptives-savestandardizedvaluesasvariables直接產(chǎn)生z得分，再進(jìn)行回歸.(該方法可以馬上得到z得分！)第84頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才85(3)根據(jù)結(jié)果，在環(huán)境污染、犯罪率、住房的大小的3個(gè)自變量中對(duì)價(jià)格影響最大的是哪種因素？最小呢？如果想知道每個(gè)自變量對(duì)平均住房?jī)r(jià)格的美元價(jià)值的影響，那就應(yīng)該使用未經(jīng)標(biāo)準(zhǔn)化的變量。思考：提醒(1)寫(xiě)出標(biāo)準(zhǔn)化回歸方程：(2)標(biāo)準(zhǔn)化回歸方程中的標(biāo)準(zhǔn)化系數(shù)的符號(hào)與實(shí)際一致嗎？第85頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才86Statadata:chap07ta05.dtaegenys=std(y)egenx1s=std(x1)egenx2s=std(x2)regressysx1sx2s,noconstantregressyx1x2,beta第86頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才87練習(xí)ConsiderPatientsatisfaction[chap06pr15.dta]1:Transformthevariablesbymeansofthecorrelationtransformationformulaandfitthestandardizedregressionmodel.2:Transformtheestimatedstandardizedregressioncoefficientsbacktotheonesforfittedregressionmodelintheoriginalvariables.[abstractedfrom《AppliedLinearRegressionModels》Problems7.18]第87頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才88Statafor練習(xí)[chap06pr15.dta]egenys=std(y)egenx1s=std(x1)egenx2s=std(x2)egenx3s=std(x3)regysx1sx2sx3s,nocons

sumyx1x2x3di-.5906664*17.23646/8.918092

di-.1106149*17.23646/4.313556di-.2339312*17.23646/.2993391regyx1x2x3,beta第88頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才89X’Xmatrixfortransformvariables其中rij為xi,xj之間的簡(jiǎn)單相關(guān)系數(shù)第89頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才90Cont.WeconsidertheX’Xmatrixforthetransformedvariables.TheXvariablehereis:Rememberthatthestandardizedregressionmodeldoesnotcontainaninterceptterm;hence,thereisnocolumnof1sintheXmatrix.第90頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才91Formula:X’X=rxxItcanbeshownthattheX’XmatrixforthetransformedvariablesissimplythecorrelationmatrixoftheXvariables.X’X=rxxSincetheX’XmatrixforthetransformedvariablesconsistsofcoefficientsofcorrelationbetweentheXvariables,allofitselementsarebetween－1and1andthusareofthesameorderofmagnitude.Aswepointedoutearlier,thiscanbeofgreathelpincontrollingroundofferrorswheninvertingtheX’Xmatrix第91頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才92commentWeillustratethattheX’XmatrixforthetransformedvariablesisthecorrelationmatrixoftheXvariablesbyconsideringtwoentriesinthematrix:1:IntheupperleftcornerofX’Xwehave:2:Inthefirstrow,secondcolumnofX’X,wehave第92頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才93EstimatedStandardizedRegressionCoefficients第93頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才94commentWhentherearetwoXvariablesintheregressionmodel,wecanreadilyseethealgebraicfromofthestandardizedregressioncoefficients.第94頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才953.6相關(guān)矩陣、偏決定系數(shù)、偏相關(guān)系數(shù)1：自變量的樣本相關(guān)陣其中rij為xi,xj之間的簡(jiǎn)單相關(guān)系數(shù)樣本相關(guān)陣是對(duì)稱的一.樣本相關(guān)陣第95頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才962：在樣本相關(guān)陣的基礎(chǔ)上進(jìn)一步求出y與每個(gè)自變量xi的相關(guān)系數(shù)ryi,得到增廣的樣本相關(guān)陣第96頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才97例：計(jì)算課本例3.1旅游外匯收入的相關(guān)矩陣和增廣相關(guān)矩陣（注意兩者的區(qū)別）（數(shù)據(jù)見(jiàn)12元回歸.sav）問(wèn)題：①y和哪個(gè)自變量的相關(guān)性最強(qiáng)？②哪些自變量的相關(guān)系數(shù)大于0.9？解答：①ry7=0.741;②r56=0.989，r34=0.934，r84=0.926，r89=0.937，r811=0.906，r56=0.989第97頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才98二.偏決定系數(shù)

偏決定系數(shù)衡量在回歸方程中已包含了若干個(gè)自變量時(shí)，再引入某一個(gè)新的自變量時(shí)，y的殘差會(huì)發(fā)生改變，殘差平方和的相對(duì)減少量，可以衡量某自變量的引進(jìn)對(duì)y的邊際貢獻(xiàn)（marginalcontribution）.回憶：復(fù)決定系數(shù)R2是衡量回歸方程擬合度的一個(gè)指標(biāo)，所有的自變量作為整體解釋y的變異的比例.復(fù)相關(guān)系數(shù)R實(shí)際上是y和y的預(yù)測(cè)值的樣本相關(guān)系數(shù)。（上機(jī)驗(yàn)證12元回歸.sav

）第98頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才99

模型中已含有x2，再加入X1使y殘差平方和的相對(duì)減少量是r2y1;2=[SSR（X2）－SSR（X1

，X2

）]/SSR（X2）;稱r2y1;2為已含有x2，y和x1的偏決定系數(shù)二元線性回歸模型的偏決定系數(shù)：SSR（X1）表示只含x1時(shí)y的殘差平方和；SSR（X2）表示只含x2時(shí)y的殘差平方和；SSR（X1

，X2

）表示同時(shí)含x1，X2時(shí)y的殘差平和。模型中已含有x1，再加入X2使y殘差平方和的相對(duì)減少量是r2y2

;1=[SSR（X1）－SSR（X1

，X2

）]/SSR（X1）;稱r2y2

;1為已含有x1，y和x2的偏決定系數(shù)偏決定系數(shù)的意義y和x1的偏決定系數(shù)r2y2;1：未被x1解釋的y的變異部分由于x2被引進(jìn)到模型中來(lái)而得到解釋的比例。第99頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才100偏決定系數(shù)實(shí)際上就是聯(lián)合F檢驗(yàn)上機(jī)驗(yàn)證12元回歸.savRegressionyonx1,blockx2,Andstatistics-Rsquaredchange第100頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才101三、偏相關(guān)系數(shù)r12;y=y保持不變下的x1和x2的偏相關(guān)系數(shù).考慮二元線性回歸模型的偏相關(guān)系數(shù)定義ry1;2=x2保持不變下的y和x1的偏相關(guān)系數(shù)；ry2;1=x1保持不變下的y和x2的偏相關(guān)系數(shù)；第101頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才102偏相關(guān)系數(shù)的例題（數(shù)據(jù)見(jiàn)pcorr.dta）④

做殘差e1

對(duì)殘差e2

的回歸。

e2

前的估計(jì)系數(shù)是x1的單位變化對(duì)y的凈影響。（理解多元回歸系數(shù)的意義）計(jì)算y和x1的偏相關(guān)系數(shù)，分3步：①做y僅對(duì)x2的回歸，得到殘差e1②做x1僅對(duì)x2的回歸，得到殘差e2.注意殘差e1

，e2

的含義：e1

表示除去x2

對(duì)y的影響后的y值；e2表示除去x2

對(duì)x1的影響后的x1值.即e1

，e2

是凈化了的y和x1

，即除掉了x2

的影響的y和x1③殘差e1和殘差e2

的簡(jiǎn)單相關(guān)系數(shù)就是y和x1的偏相關(guān)系數(shù)。（spss:bivariate,partial）(參考Greene29!)第102頁(yè)，共112頁(yè)，2023年，2月20日，星期四浙江財(cái)經(jīng)學(xué)院倪偉才103Stata[pcorr.dta]1: