課件-群編7.1-7.4章回歸分析初步

1第七章回歸分析初步§7.1引言§7.2一元線性回歸模型§7.3回歸方程的顯著性檢驗(yàn)§7.4一元線性回歸的預(yù)測統(tǒng)計(jì)關(guān)系的例子1：商品的消費(fèi)量(y)與居民收入(x)之間的關(guān)系2：收入水平(y)與受教育程度(x)之間的關(guān)系3：學(xué)生的學(xué)習(xí)成績(y)與學(xué)生缺課的次數(shù)(x)關(guān)系4：子女身高(y)與父親身高(x)之間的關(guān)系5：商品銷售額(y)與廣告費(fèi)支出(x)之間的關(guān)系§7.1引言2統(tǒng)計(jì)關(guān)系變量間具有密切的關(guān)系，但它們的密切程度并沒有到由一個(gè)完全確定另一個(gè)。例：汽車的消費(fèi)量y與收入x。除了收入外，還有其它的因素影響汽車的消費(fèi)量：如汽車的價(jià)格、汽油的價(jià)格、消費(fèi)習(xí)慣、職業(yè)、離工作單位的距離、停車位、健康狀況、年齡等。變量間具有密切的關(guān)系，但不能由某一個(gè)或某一些變量唯一確定另一個(gè)變量的關(guān)系，稱為變量間的統(tǒng)計(jì)關(guān)系?；貧w函數(shù)回歸分析是處理變量x與y之間統(tǒng)計(jì)關(guān)系的一種統(tǒng)計(jì)技術(shù)和方法。當(dāng)x的值給定時(shí)，y的值不能確定，因此要通過一定的概率分布來描述。回歸函數(shù)：給定x的值時(shí)，y的條件數(shù)學(xué)期望

f(x)=E(y|x)為隨機(jī)變量y對x的回歸函數(shù)。因此回歸函數(shù)是從平均意義上刻畫x與y統(tǒng)計(jì)關(guān)系?！?.2一元線性回歸模型兩個(gè)變量y,x具有明顯的線性關(guān)系，故考慮直線方程y=0+1x（函數(shù)表達(dá)的是確定性關(guān)系）y=0+1x+u,u表示除x外，影響y其它一切因素。將y與x之間的關(guān)系用兩部分來描述：a.一部分0+1x

，由x的變化引起y變化；b.另一部分u

，除x外的其它一切因素引起y變化。

參數(shù)(parameters)0,1;0稱為回歸常數(shù)(截距)（intercept,constant），1稱為回歸斜率(slope)回歸的術(shù)語y的名稱：因變量(dependentvariable)或被解釋變量(explainedvariable)；X的名稱：自變量(independentvariable)或解釋變量(explanatoryvariable)U的名稱：

隨機(jī)誤差項(xiàng)或隨機(jī)擾動(dòng)項(xiàng)(stochasticerrorterm,randomdisturbanceterm):表示其它因素的影響，是不可觀測的隨機(jī)誤差！參數(shù)0，1的估計(jì)方法：普通最小二乘估計(jì)OLSE

(ordinaryleastsquareestimation)目的：

利用樣本數(shù)據(jù)得到0，1的理想估計(jì)值原則：

使n個(gè)樣本點(diǎn)最靠近回歸直線最小二乘法名稱的由來擬合值、殘差殘差實(shí)際上是y的觀測值與回歸值的差或者說是y的實(shí)際值與回歸值的差最小二乘估計(jì)公式的推導(dǎo)利用二元微積分求極值的知識知：

作為

極值問題解的必要條件是：在

取值時(shí)，Q(0，1)關(guān)于0，1的偏導(dǎo)數(shù)必須為0：續(xù)問題例題例表列出了15起火災(zāi)事故的損失及火災(zāi)發(fā)生地與最近的消防站的距離。參數(shù)β0、β1的估計(jì)例§7.3回歸方程的顯著性檢驗(yàn)回歸系數(shù)的t檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)就是檢驗(yàn)自變量x對因變量y影響程度是否顯著。原假設(shè)H0:1=0對立假設(shè)H1:1≠0如果原假設(shè)成立，y和x之間并不存在真正的線性關(guān)系；拒絕原假設(shè)，y和x之間存在線性關(guān)系。

構(gòu)造t統(tǒng)計(jì)量的理由：回歸的標(biāo)準(zhǔn)誤

稱為回歸的標(biāo)準(zhǔn)誤（thestandarderroroftheregression)例題例：y關(guān)于x的一元線性回歸的計(jì)算結(jié)果如下：請估計(jì)參數(shù)和它們的標(biāo)準(zhǔn)誤。解答標(biāo)準(zhǔn)誤的計(jì)算SST=SSE+SSR總平方和（totalsumofsquares）表示觀測值yi圍繞其均值的總變異解釋平方和（explainedsumofsquares）表示估計(jì)值圍繞其均值的變異殘差平方和（residualsumofsquares）

表示殘差圍繞回歸線的變異SST=SSE+SSR，其中SSE是由解釋變量x引起的，SSR是由殘差（其它因素）引起的。證明：SST=SSE+SSR判定系數(shù)R2SST=SSE+SSR，在總平方和SST中，如果解釋平方和SSE所占的比重越大，則線性回歸效果越好，稱回歸直線和樣本觀測值擬合優(yōu)度（goodnessoffit）較好;如果殘差平方和SSR所占的比重越大，則回歸直線和樣本觀測值擬合得不理想。判定系數(shù)R2=SSE/SST（或1－SSR/SST）R2

的性質(zhì):(1)非負(fù),(2)0≤R2≤1自由度(df)自由度（numberofdegreeoffreedom）是指樣本觀測值的總數(shù)（n）減去對它們的獨(dú)立（線性）約束或限制的個(gè)數(shù)。換句話，它是指觀測值的總個(gè)數(shù)中獨(dú)立的觀測值個(gè)數(shù)。F統(tǒng)計(jì)量樣本決定系數(shù)R2

能夠說明樣本的擬和優(yōu)度。但是我們還需要對總體做出推斷，檢驗(yàn)總體的線性是否成立。思路：若SSE/SSR比較大，則X對Y的解釋程度就比較高，可以推測總體存在線性。但是SSE/SSR樣本不同而不同，對于給定的樣本，利用SSE/SSR對總體進(jìn)行推斷，必須進(jìn)行統(tǒng)計(jì)檢驗(yàn)。方差分析表ssdfMeanSquareFRegressionSSE1SSE/1[SSE/1]/[SSR/(n-2)]ResidualSSRn-2SSR/(n-2)TotalSSTn-1對F統(tǒng)計(jì)量的注解1：SSE服從卡方分布，SSR也服從卡方分布！2：可以證明SSE和SSR獨(dú)立！3：考慮分子、分母的自由度！因此，服從F分布！ttest和Ftest的關(guān)系§7.4一元線性回歸的預(yù)測根據(jù)經(jīng)濟(jì)理論建立線性回歸模型，并利用統(tǒng)計(jì)資料對模型參數(shù)進(jìn)行了估計(jì)，建立了回歸方程。經(jīng)