第三講一元線性回歸演示文稿

第三講一元線性回歸演示文稿現(xiàn)在是1頁\一共有50頁\編輯于星期五（優(yōu)選）第三講一元線性回歸現(xiàn)在是2頁\一共有50頁\編輯于星期五Y=10.766+0.005X+u現(xiàn)在是3頁\一共有50頁\編輯于星期五測試成績和學(xué)生/教師比關(guān)系的OLS估計(jì)值及其分析。打開數(shù)據(jù)文件：score.dtaregtestscrstr現(xiàn)在是4頁\一共有50頁\編輯于星期五testscr=698.93-2.28str+u現(xiàn)在是5頁\一共有50頁\編輯于星期五回歸結(jié)果的分析現(xiàn)在是6頁\一共有50頁\編輯于星期五現(xiàn)在是7頁\一共有50頁\編輯于星期五1。截距項(xiàng)和斜率的含義是什么？本題的截距表示：學(xué)生教師比為0（沒有學(xué)生時(shí)）的測試成績的最高值，因此沒有實(shí)際意義。可以理解為確定回歸線的系數(shù)?，F(xiàn)在是8頁\一共有50頁\編輯于星期五斜率：表示彈性

-2.28的斜率表示當(dāng)每個(gè)教師對應(yīng)的學(xué)生人數(shù)增加1個(gè)時(shí)，學(xué)區(qū)測試成績將平均下降2.28分。而當(dāng)每個(gè)教師對應(yīng)的學(xué)生人數(shù)減少2個(gè)時(shí)，測試成績平均提高：((-2)×(-2.28))=4.56分，負(fù)的斜率表明每個(gè)教師對應(yīng)的學(xué)生人數(shù)越多(較大規(guī)模的班)，則相應(yīng)的測試成績越差?，F(xiàn)在是9頁\一共有50頁\編輯于星期五

2。方程的經(jīng)濟(jì)預(yù)測能力：得到回歸結(jié)果后，可以進(jìn)行簡單的預(yù)測，只要給定學(xué)生/教師比（X）取值后就能預(yù)測全學(xué)區(qū)的測試成績了。

testscr=698.93-2.28×str+u

如每個(gè)教師對應(yīng)20個(gè)學(xué)生的學(xué)區(qū)，其測試成績預(yù)測值為698.93-2.28×20=653.30。當(dāng)然，由于其他決定學(xué)區(qū)成績的因素（u）的影響，預(yù)測不會(huì)是絕對正確的。預(yù)測的準(zhǔn)確程度取決于模型的優(yōu)劣?，F(xiàn)在是10頁\一共有50頁\編輯于星期五3。方程的斜率的大小評估：觀察選取的420個(gè)樣本的總體分布（分位數(shù)）現(xiàn)在是11頁\一共有50頁\編輯于星期五一個(gè)例子：

假設(shè)某個(gè)學(xué)區(qū)處于加利福尼亞學(xué)區(qū)的中位數(shù)，對應(yīng)的學(xué)生/教師比為19.7，現(xiàn)在想減少到17.7。一方面：她的學(xué)區(qū)學(xué)生/教師比從50%分位數(shù)移到接近10%分位數(shù)。這是一個(gè)相當(dāng)大的變動(dòng)。另一方面：帶入方程，測試成績預(yù)計(jì)從654.5提高到659.1，從50%分位數(shù)移到將近60%分位數(shù)?，F(xiàn)在是12頁\一共有50頁\編輯于星期五股票的beta值：證券組合的風(fēng)險(xiǎn)與報(bào)酬（一）證券組合的風(fēng)險(xiǎn)同時(shí)投資于多種證券的方式稱為證券的投資組合，簡稱證券組合或投資組合。證券組合的風(fēng)險(xiǎn)分為可分散風(fēng)險(xiǎn)與不可分散風(fēng)險(xiǎn)。可分散風(fēng)險(xiǎn)不可分散風(fēng)險(xiǎn)別稱非系統(tǒng)性風(fēng)險(xiǎn)公司特別風(fēng)險(xiǎn)系統(tǒng)性風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)含義某些因素對單個(gè)證券造成經(jīng)濟(jì)損失的可能性某些因素給市場上所有證券都帶來經(jīng)濟(jì)損失的可能性特性可通過證券持有的多樣化來抵消不能通過證券組合分散掉13可分散風(fēng)險(xiǎn)可通過證券組合來消減現(xiàn)在是13頁\一共有50頁\編輯于星期五Rm是市場組合的期望收益，一般用C&P500組合收益，Rf是市場無風(fēng)險(xiǎn)收益，可以理解為各類存款收益?，F(xiàn)在是14頁\一共有50頁\編輯于星期五我們把利用OLS方法估計(jì)出的參數(shù)b0和b1稱為OLS估計(jì)量，用表示。用OLS方法估計(jì)出的方程：現(xiàn)在是15頁\一共有50頁\編輯于星期五殘差的概念殘差是每個(gè)樣本的擬合值和實(shí)際值之間的差。用ei或者表示。樣本回歸模型：樣本擬合線：殘差值：現(xiàn)在是16頁\一共有50頁\編輯于星期五基本原理：1。確定樣本個(gè)數(shù)n，給出觀測值(Xi，Yi)，

i=1,2,3,…n。由于樣本容量已定，樣本回歸模型可寫為：其中稱為回歸系數(shù)(擬合參數(shù))，稱為殘差（擬合誤差）。普通最小二乘法（OLS）現(xiàn)在是17頁\一共有50頁\編輯于星期五2。利用OLS法尋找殘差的平方和最小的直線，估計(jì)出的具體值。3。此時(shí)可得到利用OLS方法測算出的Y的擬合值，注意，并不是實(shí)際的Y值，有如下計(jì)算公式：因此，是Y的估計(jì)值或擬合值，而殘差的大小決定了模型的優(yōu)劣。現(xiàn)在是18頁\一共有50頁\編輯于星期五思考：與ui是否是一回事？有什么區(qū)別和聯(lián)系？現(xiàn)在是19頁\一共有50頁\編輯于星期五直線上的點(diǎn)的坐標(biāo)是，樣本點(diǎn)的坐標(biāo)是Yi

是從樣本點(diǎn)到直線的距離?，F(xiàn)在是20頁\一共有50頁\編輯于星期五擬合優(yōu)度擬合優(yōu)度R2：描述OLS回歸線對樣本數(shù)據(jù)的擬合效果；描述觀測值在回歸線附近的離散程度；同時(shí)描述了樣本數(shù)據(jù)有多大程度可以被回歸方程所解釋?；貧wR2是指可由Xi解釋(或預(yù)測)的Yi樣本方差的比例。現(xiàn)在是21頁\一共有50頁\編輯于星期五OLS方法得到的擬合線一定是所有直線中擬合效果最好的，但由于樣本自身的原因，擬合效果有好有壞。最典型的例子是錯(cuò)誤的函數(shù)形式現(xiàn)在是22頁\一共有50頁\編輯于星期五這是一個(gè)典型的對數(shù)函數(shù)的例子，用線性方程，模擬效果較差?，F(xiàn)在是23頁\一共有50頁\編輯于星期五擬合優(yōu)度現(xiàn)在是24頁\一共有50頁\編輯于星期五

對于所有樣本點(diǎn)的平方和，均有下列結(jié)論：記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）現(xiàn)在是25頁\一共有50頁\編輯于星期五TSS=ESS+RSS（證明見附錄）

Y的觀測值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機(jī)勢力(RSS)。在給定樣本中，TSS不變，如果實(shí)際觀測點(diǎn)離樣本回歸線越近，則ESS在TSS中占的比重越大，因此

擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS現(xiàn)在是26頁\一共有50頁\編輯于星期五2、擬合優(yōu)度R2統(tǒng)計(jì)量

稱R2為（樣本）擬合優(yōu)度/可決系數(shù)/判定系數(shù)（coefficientofdetermination)。

擬合優(yōu)度的取值范圍：[0，1]

R2越接近1，說明實(shí)際觀測點(diǎn)離樣本線越近，擬合優(yōu)度越高。現(xiàn)在是27頁\一共有50頁\編輯于星期五由于每次向回歸方程中增加解釋變量，R2必然只增不減。為此，可以通過調(diào)整自由度對解釋變量過多進(jìn)行“懲罰”，因此，可以定義“校正的擬合優(yōu)度”

現(xiàn)在是28頁\一共有50頁\編輯于星期五察看上述例題的擬合優(yōu)度注意：1。擬合優(yōu)度一定程度上反映了選取變量的對被解釋變量的“解釋能力”。2。擬合優(yōu)度低一般說明方程忽略了某些重要的解釋因素。3。在大樣本下，擬合優(yōu)度一般不會(huì)太高。現(xiàn)在是29頁\一共有50頁\編輯于星期五回歸標(biāo)準(zhǔn)誤差（SER）回歸標(biāo)準(zhǔn)誤差(standarderroroftheregression.SER)是回歸誤差u的標(biāo)準(zhǔn)差估計(jì)量，是用因變量單位度量的觀測值在回歸線附近的離散程度。對于誤差項(xiàng)ui，我們更關(guān)心它在回歸線附近的離散程度，即標(biāo)準(zhǔn)差。希望標(biāo)準(zhǔn)差越小越好。由于ui本身是不可知的，因此，實(shí)際上sui是無法獲得的，為了模擬其數(shù)值大小，我們用的標(biāo)準(zhǔn)差作為ui的標(biāo)準(zhǔn)差的估計(jì)值，稱為回歸的標(biāo)準(zhǔn)誤差?，F(xiàn)在是30頁\一共有50頁\編輯于星期五為什么要除以n-2？n-2是自由度?，F(xiàn)在是31頁\一共有50頁\編輯于星期五模型中樣本值可以自由變動(dòng)的個(gè)數(shù)，稱為自由度。自由度=樣本個(gè)數(shù)—樣本數(shù)據(jù)受約束條件（方程）的個(gè)數(shù)。例如，樣本數(shù)據(jù)個(gè)數(shù)為n，它們受k個(gè)方程的約束（系數(shù)矩陣秩為k），那么，自由度df=n-k?，F(xiàn)在是32頁\一共有50頁\編輯于星期五其中n-2為自由度。由于隨機(jī)變量必須滿足k+1個(gè)正規(guī)方程（一元線形回歸模型中有2個(gè)方程），故只有n-k-1個(gè)是相互獨(dú)立的。經(jīng)過這樣校正后，才是無偏估計(jì)?，F(xiàn)在是33頁\一共有50頁\編輯于星期五如果無任何特征和規(guī)律可言，整個(gè)計(jì)量模型的建立將無法開展，因此，我們需要人為地為它設(shè)定一些假定條件。如果下列假定條件滿足，我們就可以用最小二乘法對模型進(jìn)行回歸估計(jì)。本書中的經(jīng)典假設(shè)是對于大樣本數(shù)據(jù)而言，根據(jù)中心極限定理，大樣本數(shù)據(jù)有很好的分布特征?，F(xiàn)在是34頁\一共有50頁\編輯于星期五假設(shè)1:給定Xi時(shí)ui的條件分布均值為零(1)隨機(jī)誤差項(xiàng)ui的數(shù)學(xué)期望為0。

E(ui|Xi)=0。同時(shí)：

E(Yi|Xi)=E()=E()=

理論上，隨機(jī)誤差項(xiàng)被假定為沒有被納入到模型中的微小影響，因此，沒有理由相信這樣一些影響會(huì)以一種系統(tǒng)的方式使被解釋變量變大或者變小，可以假定其均值為0?，F(xiàn)在是35頁\一共有50頁\編輯于星期五現(xiàn)在是36頁\一共有50頁\編輯于星期五例如對某一給定的班級規(guī)模Xi，如每班20個(gè)學(xué)生，其他因素ui有時(shí)使成績高于預(yù)測值(ui>0)，有時(shí)使成績低于預(yù)測值(ui<0)，但就總體平均而言，ui的分布的均值為零。同時(shí)，給定班級規(guī)模Xi，由于ui的干擾，某些Y’i的值大于Yi，某些Y’i的值小于Yi，但就總體平均而言，Y’i的分布的均值為E(Yi|Xi)=B0+B1Xi，即總體均值在回歸線上?，F(xiàn)在是37頁\一共有50頁\編輯于星期五推論E(ui|Xi)=0意味著ui和Xi不相關(guān)，即：Corr(ui,Xi)=0這是最小二乘法最基本的假設(shè)，如果Corr(ui,Xi)<>0，模型是有偏的?，F(xiàn)在是38頁\一共有50頁\編輯于星期五假設(shè)2：(Xi,Yi)滿足獨(dú)立同分布每次從總體中的抽樣都包含相同的分布；同時(shí)，每次抽樣均是獨(dú)立進(jìn)行的?？梢宰C明：(Xi,Yi)滿足獨(dú)立同分布，則Xi也滿足獨(dú)立同分布。現(xiàn)在是39頁\一共有50頁\編輯于星期五假設(shè)3：不太可能出現(xiàn)大異常值有限峰度假設(shè)現(xiàn)在是40頁\一共有50頁\編輯于星期五當(dāng)出現(xiàn)大異常值時(shí)，X和Y分布的峰度會(huì)變得很大。包含四階距，要求其有限。即：0<E(Xi4)<∞0<E(Yi4)<∞現(xiàn)在是41頁\一共有50頁\編輯于星期五出現(xiàn)大異常值的一種可能是數(shù)據(jù)登錄錯(cuò)誤，如印刷錯(cuò)誤或?qū)Σ煌^測錯(cuò)誤地采用了不同的單位：如設(shè)想一下收集以米為單位的學(xué)生身高數(shù)據(jù)，但不小心把其中一個(gè)學(xué)生的身高記成了以厘米為單位。發(fā)現(xiàn)異常值的一種方法是畫出數(shù)據(jù)圖。如果你確定是由于數(shù)據(jù)登錄錯(cuò)誤造成了異常值，則你可以改正這個(gè)錯(cuò)誤，如果不能改正就把它從數(shù)據(jù)集中刪除?，F(xiàn)在是42頁\一共有50頁\編輯于星期五最小二乘假設(shè)的作用主要作用：大樣本下，抽樣分布服從正態(tài)分布。同時(shí)，假設(shè)樣本數(shù)據(jù)沒有錯(cuò)誤。現(xiàn)在是43頁\一共有50頁\編輯于星期五OLS估計(jì)量的抽樣分布現(xiàn)在是44頁\一共有50頁\編輯于星期五OLS估計(jì)量的抽樣分布在ui滿足高斯假定條件時(shí)，通過OLS方法，我們可以得到回歸系數(shù)的估計(jì)量成為的擬合值。注意：是不是兩個(gè)常數(shù)？現(xiàn)在是45頁\一共有50頁\編輯于星期五計(jì)量回歸模型中，對于要研究的問題，可以建立方程：這是總體的方程描述。應(yīng)該能夠確定。但事實(shí)上我們沒有能力獲得整體信息，只能通過部分?jǐn)?shù)據(jù)模擬整體分布，即抽樣?，F(xiàn)在是46頁\一共有50頁\編輯于星期五我們是在總體中進(jìn)行抽樣。每抽取一組樣本就會(huì)有一組相應(yīng)的回歸系數(shù)，因此，一定不是常數(shù)，而是隨機(jī)變量，并且具有一定的概率分布。