演示文稿簡單回歸模型

演示文稿簡單回歸模型目前一頁\總數(shù)六十三頁\編于十六點（優(yōu)選）簡單回歸模型目前二頁\總數(shù)六十三頁\編于十六點回歸的歷史含義F.加爾頓最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于

“回歸”到全體人口的平均身高。簡單回歸模型的定義目前三頁\總數(shù)六十三頁\編于十六點

回歸的現(xiàn)代釋義

回歸分析用于研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。

關(guān)注對象：（1）用x來解釋y

（2）研究y如何隨x而變化商品需求函數(shù)：

警察和犯罪率：

目前四頁\總數(shù)六十三頁\編于十六點除x外其他影響y的因素如何處理？y和x函數(shù)關(guān)系如何設(shè)定？

簡單回歸的幾個問題：y=0

+1

x+u擾動項u的引入。x和y的非線性關(guān)系怎么辦？生產(chǎn)函數(shù)：

目前五頁\總數(shù)六十三頁\編于十六點yx因變量(dependentV.)自變量(independentV.)被解釋變量(explainedV.)解釋變量(explainatoryV.)響應(yīng)變量(responseV.)控制變量(controlV.)被預測變量(predictedV.)預測變量(predictorV.)回歸子(regressand)回歸元(regressor)u誤差項（errorterm)擾動項、干擾項（disturbance）目前六頁\總數(shù)六十三頁\編于十六點兩個例子yield=0

+1

fertilizer+uwage=0

+1

educ+u其他因素不變，u=0，則：

1

=yield/fertilizer

1

=wage/educ變化解釋變量fertilizer或educ時，能假定其他因

素不變嗎？

目前七頁\總數(shù)六十三頁\編于十六點

解釋變量x和擾動項u關(guān)于均值獨立：均值獨立比“不相關(guān)”更強相關(guān)關(guān)系度量的是變量間的線性關(guān)系。若x表示受教育水平，u是個人能力，假定可能成立嗎？關(guān)于u的假定E(u|x)=E(u)目前八頁\總數(shù)六十三頁\編于十六點對于模型：

如方程包含常數(shù)項，可以假定：

若E(u)=a0，可將模型調(diào)整為：零條件均值假定：y=0

+1

x+uE(u)=0y=0

+a+1

x+u1E(u|x)=0目前九頁\總數(shù)六十三頁\編于十六點總體回歸函數(shù)（PRF）E(y|x)=0

+1

xPRF是確定的，未知的目前十頁\總數(shù)六十三頁\編于十六點總體回歸函數(shù)（傳統(tǒng)思路）

假想案例

總體回歸函數(shù)的隨機設(shè)定

隨機誤差項的意義目前十一頁\總數(shù)六十三頁\編于十六點XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191戶數(shù)5657665765總支出32546244570767875068510439661211

假設(shè)一個國家只有60戶居民，他們的可支配收入和消費支出數(shù)據(jù)如下（單位：美元）：

假想案例目前十二頁\總數(shù)六十三頁\編于十六點

描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。E(Y|Xi)

=0

+1Xi=17.00+0.6Xi目前十三頁\總數(shù)六十三頁\編于十六點“天行有常，不為堯存，不為桀亡。應(yīng)之以治則吉，應(yīng)之以亂則兇。”

---荀子《天論》E(Y|Xi)

=0

+1Xi

總體回歸函數(shù)其中：Y——被解釋變量；X——解釋變量；0，1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）目前十四頁\總數(shù)六十三頁\編于十六點

總體回歸模型的隨機設(shè)定

對于某一個家庭，如何描述可支配收入和消費支出的關(guān)系?XiYi.........E(Y|Xi)

=0

+1

XiY1Y2Y3u1u2u3—總體回歸直線ui＝Y(jié)i-E(Y|Xi)—誤差項某個家庭的消費支出分為兩部分：一是E(Y|Xi)=0

+1Xi

，稱為系統(tǒng)成分或確定性成分；二是ui，稱為非系統(tǒng)或隨機性成分。Yi=E(Y|Xi)

+ui

=0

+1

Xi

+ui目前十五頁\總數(shù)六十三頁\編于十六點Yi=0

+1

Xi

+uiE(Y|Xi)

=0

+1

Xi,隨機性總體回歸函數(shù)確定性總體回歸函數(shù)目前十六頁\總數(shù)六十三頁\編于十六點

隨機誤差項u的意義

反映被忽略掉的因素對被解釋變量的影響?；蛘呃碚摬粔蛲晟?，或者數(shù)據(jù)缺失；或者影響輕微。模型設(shè)定誤差度量誤差人類行為內(nèi)在的隨機性目前十七頁\總數(shù)六十三頁\編于十六點普通最小二乘法對于一元回歸模型：兩個條件：兩個未知數(shù)：所有的yi和xi都是已知數(shù)據(jù)。

E(u)=0E(u|x)=0E(xu)=0yi=0

+1

xi

+ui0

和1

目前十八頁\總數(shù)六十三頁\編于十六點方程組：

用樣本矩代替總體矩：

E(y-0

-1

x)=E(u)=0E[x(y-0

-1

x)]=E(xu)=0目前十九頁\總數(shù)六十三頁\編于十六點當滿足條件：

OLS估計量

：實際上就是y和x的樣本協(xié)方差與x的樣本方

差之比。目前二十頁\總數(shù)六十三頁\編于十六點目前二十一頁\總數(shù)六十三頁\編于十六點擬合值：給定截距和斜率估計值，y在x=xi時的預測值該函數(shù)為樣本回歸函數(shù)

（SRF）殘差：目前二十二頁\總數(shù)六十三頁\編于十六點普通最小二乘法（傳統(tǒng)思路）如何得到一條能夠較好地反映這些點變化規(guī)律

的直線呢？目前二十三頁\總數(shù)六十三頁\編于十六點Q==通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導數(shù)得到。殘差的平方和最小目前二十四頁\總數(shù)六十三頁\編于十六點求Q對兩個待估參數(shù)的偏導數(shù)：即目前二十五頁\總數(shù)六十三頁\編于十六點XY8010012014016018020022024026055——————135137—60——93107115————6574—95110120—140—175——94103——144——17875—98108—135——175—－88－113125—－—189—－－－115－－－162－191戶數(shù)4226331333總支出255162192627342370144337501544樣本回歸函數(shù)

為研究總體，我們需要抽取一定的樣本。

第一個樣本目前二十六頁\總數(shù)六十三頁\編于十六點樣本回歸線樣本均值連線目前二十七頁\總數(shù)六十三頁\編于十六點XY80100120140160180200220240260—6579—102—120135——60708493—115——145152—7490—————155——80——116—144152165—7585——118—145——180－—－——140－160189185－－－115－－－—－—戶數(shù)2532323343總支出135374253208336255409447654517樣本回歸函數(shù)

第二個樣本目前二十八頁\總數(shù)六十三頁\編于十六點樣本回歸線樣本均值連線目前二十九頁\總數(shù)六十三頁\編于十六點

總體回歸模型和樣本回歸模型的比較目前三十頁\總數(shù)六十三頁\編于十六點

幾個例子首席執(zhí)行官的薪水和股本回報率？目前三十一頁\總數(shù)六十三頁\編于十六點工資和受教育程度投票結(jié)果與競選支出：

目前三十二頁\總數(shù)六十三頁\編于十六點Xiyiy1y2y3u1u2u3E(y|xi)

=0

+1

xi注意：分清幾個關(guān)系式和表示符號（2）樣本（估計的）回歸直線：（3）總體（真實的）回歸模型：

（4）樣本（估計的）回歸模型：（1）總體（真實的）回歸直線：ui——隨機誤差項

——殘差項目前三十三頁\總數(shù)六十三頁\編于十六點OLS操作技巧

（1）殘差和及樣本均值都等于零OLS估計量代數(shù)性質(zhì)=

=

（2）回歸元和殘差的樣本協(xié)方差為零目前三十四頁\總數(shù)六十三頁\編于十六點（3）總在OLS回歸線上

（4）擬合值的樣本均值等于yi的樣本均值

（5）擬合值和殘差的樣本協(xié)方差為零目前三十五頁\總數(shù)六十三頁\編于十六點........yxyi

xi

A0=+總離差

=回歸差

+殘差

回歸差：由樣本回歸直線解釋的部分

殘差：不能由樣本回歸直線解釋的部分

可以證明:

離差平方和分解目前三十六頁\總數(shù)六十三頁\編于十六點

總平方和＝解釋平方和＋殘差平方和SST=SSE+SSR=+

利用性質(zhì)（1）和性質(zhì)（5）：目前三十七頁\總數(shù)六十三頁\編于十六點＋=1解釋平方（SSE）和在總平方和（SST）中所占的比重越大，說明樣本回歸模型對樣本數(shù)據(jù)擬合的程度越好。因此，用來表示擬合優(yōu)度的可決系數(shù)定義為：R2R2的取值范圍是

[0，1]。對于一組數(shù)據(jù)，TSS是不變，所以ESS↑（↓），RSS↓（↑）

擬合優(yōu)度與判定系數(shù)（可決系數(shù)）目前三十八頁\總數(shù)六十三頁\編于十六點R2=0時表明解釋變量x與被解釋變量y之間不存在線性關(guān)系；R2=1時表明樣本回歸線與樣本值重合；一般情況下，R2越接近1表示擬合程度越好，x對y的解釋能力越強；看似很低的R2值，并不意味著OLS回歸方程沒有用！

R2=

=

=

=(R)2目前三十九頁\總數(shù)六十三頁\編于十六點度量單位和函數(shù)形式改變度量單位對OLS估計量的影響首席執(zhí)行官的薪水和股本回報率？若salarydol=1000salary，即將薪水單位由千美元

調(diào)整為美元，模型估計結(jié)果為：目前四十頁\總數(shù)六十三頁\編于十六點若股本回報率由百分比調(diào)整為小數(shù)，即roedoc=roe/100，模型估計結(jié)果為：若將薪水單位調(diào)整為美元，股本回報率調(diào)整為小數(shù)，

模型估計結(jié)果？判定系數(shù)R2為什么不變？目前四十一頁\總數(shù)六十三頁\編于十六點

彈性度量：雙對數(shù)模型

yt

=axtb

兩側(cè)同取對數(shù)，加入擾動項：

Lnyt=Lna+bLnxt+ut令a*=Lna，yt*=Lnyt，xt*=Lnxt，上式表示為

yt*=a*+bxt*+utCobb-Douglas生產(chǎn)函數(shù)Q=AL

K

模型的非線性目前四十二頁\總數(shù)六十三頁\編于十六點雙對數(shù)模型與線性模型的區(qū)別雙對數(shù)模型中斜率系數(shù)b為y對x的彈性E：Lnyt=a*+bLnxt+utb=E=線性模型中斜率系數(shù)b為x對y的邊際影響：yt=a+bxt+ut

b=dy/dx從而彈性E

=(dy/dx)(x/y)=b(x/y)雙對數(shù)模型中彈性E是不變的，線性模型中彈性隨著x/y的變化而變化。

目前四十三頁\總數(shù)六十三頁\編于十六點增長率測度：半對數(shù)模型Lnyt

=a+bxt+ut

b反映x一單位變動導致y的相對變動：當x表示時間時，b為y的增長率。

令

yt

=y0(1+r)t兩側(cè)同時取對數(shù)：Lnyt

=Lny0

+tLn(1+r)

當r很小時，b=Ln(1+r)≈r目前四十四頁\總數(shù)六十三頁\編于十六點人力資本研究中，通常會使用半對數(shù)模型：

這里wage為工資收入，edu為受教育年限，ability為能力，work為工作經(jīng)驗。引入work2是因為人們通常認為存在最優(yōu)工作年限！半對數(shù)模型中，參數(shù)1的含義為：1

=如果使用線性模型，即被解釋變量為wage，則參數(shù)1的含義為目前四十五頁\總數(shù)六十三頁\編于十六點

線性—對數(shù)模型

yt=a+bLnxt

+ut

（b>0）

家庭預算的截面研究中，一類支出y和收入x的關(guān)系。預算花費在這種商品之前，收入要達到一個確定的臨界水平e-a/b。而且支出隨著收入的增加而單調(diào)增加，但其增長率遞減，該商品消費的邊際傾向(b/x)和彈性(b/y)都隨著收入增加而遞減。目前四十六頁\總數(shù)六十三頁\編于十六點目前四十七頁\總數(shù)六十三頁\編于十六點

倒數(shù)模型

yt=a+b/xt

+ut

yxy=a0yt=a+b/xtb>0，a<0yx0yt=a+b/xtb<0,a>0菲利普斯曲線恩格爾消費曲線目前四十八頁\總數(shù)六十三頁\編于十六點多項式模型：二次函數(shù)：

yt=b0+b1xt+b2xt2+ut

交叉乘積項：

yt=b0+b1x1t+b2x2t+b3x1tx2t+ut

目前四十九頁\總數(shù)六十三頁\編于十六點吸煙與肺癌目前五十頁\總數(shù)六十三頁\編于十六點關(guān)于參數(shù)線性，而不是關(guān)于變量線性！可以通過變量替換，轉(zhuǎn)化為線性模型！“線性”回歸的含義目前五十一頁\總數(shù)六十三頁\編于十六點OLS估計量的期望值和方差

高斯-馬爾可夫定理（參見P97）如果滿足古典線性回歸模型的基本假定，則在所有的線性估計量中，OLS估計量是最優(yōu)線性無偏估計量（BLUE）。線性性無偏性有效性目前五十二頁\總數(shù)六十三頁\編于十六點簡單回歸的高斯—馬爾科夫假定假定1：關(guān)于參數(shù)線性y=0

+1

x+u

（1）假定2：隨機抽樣

有一個服從總體模型（1）的隨機樣本{(xi,yi):i=1,2,…,n}，n為樣本容量假定3：解釋變量的樣本有變異

xi的樣本實現(xiàn)值，{xi:i=1,2,…,n}不是完全