選擇性樣本模型

1、4.5 4.5 受限被解釋變量數(shù)據(jù)模型受限被解釋變量數(shù)據(jù)模型選擇性樣本選擇性樣本 model with limited dependent variable selective samples model一、社會(huì)經(jīng)濟(jì)生活中的選擇性樣本問題一、社會(huì)經(jīng)濟(jì)生活中的選擇性樣本問題 二、二、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)三、三、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的heckman兩步估兩步估計(jì)計(jì) 四、四、“歸并歸并”數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn) th

2、e bank of sweden prize in economic sciences in memory of alfred nobel 2000 for his development of theory and methods for analyzing selective samples”james j heckmanusa “shadow prices, market wages and labour supply”, econometrica 42 (4), 1974, p679-694 發(fā)現(xiàn)并提出發(fā)現(xiàn)并提出“選擇性樣本選擇性樣本”問題問題。 “sample selection b

3、ias as a specification error”, econometrica 47(1), 1979, p153-161 證明了偏誤的存在并提出了證明了偏誤的存在并提出了heckman兩步修正法。兩步修正法。一、社會(huì)經(jīng)濟(jì)生活中的選擇性樣本問題一、社會(huì)經(jīng)濟(jì)生活中的選擇性樣本問題 1 1、“截?cái)嘟財(cái)唷保╰runcationtruncation）問題）問題 不能從全部截面?zhèn)€體，而只能從一部分個(gè)體中隨不能從全部截面?zhèn)€體，而只能從一部分個(gè)體中隨機(jī)抽取被解釋變量的樣本觀測(cè)值。機(jī)抽取被解釋變量的樣本觀測(cè)值。 分為兩種情況分為兩種情況: 一是，所抽取的部分個(gè)體的觀測(cè)值都大于或者小于某一是，所抽取的部

4、分個(gè)體的觀測(cè)值都大于或者小于某個(gè)確定值，即出現(xiàn)個(gè)確定值，即出現(xiàn)“掐頭掐頭”或者或者“去尾去尾”的現(xiàn)象，與的現(xiàn)象，與其它個(gè)體的觀測(cè)值相比較，存在明顯的其它個(gè)體的觀測(cè)值相比較，存在明顯的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 二是，所抽取的樣本觀測(cè)值來(lái)自于具有某些特征的部二是，所抽取的樣本觀測(cè)值來(lái)自于具有某些特征的部分個(gè)體，但是樣本觀測(cè)值的大小與其它個(gè)體的觀測(cè)值分個(gè)體，但是樣本觀測(cè)值的大小與其它個(gè)體的觀測(cè)值相比較，并不存在明顯的相比較，并不存在明顯的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 樣本選擇受到限制。樣本選擇受到限制。2 2、“歸并歸并” (censoring)(censoring)問題問題 將被解釋變量的處于某一范圍的樣本觀測(cè)值

5、都用將被解釋變量的處于某一范圍的樣本觀測(cè)值都用一個(gè)相同的值代替。一個(gè)相同的值代替。 經(jīng)常出現(xiàn)在經(jīng)常出現(xiàn)在“檢查檢查”、“調(diào)查調(diào)查”活動(dòng)中，因此也稱為活動(dòng)中，因此也稱為“檢查檢查”(censoring) 問題。問題。 需求函數(shù)模型中用實(shí)際消費(fèi)量作為需求量的觀測(cè)值，需求函數(shù)模型中用實(shí)際消費(fèi)量作為需求量的觀測(cè)值，如果存在供給限制，就出現(xiàn)如果存在供給限制，就出現(xiàn)“歸并歸并”問題。問題。 被解釋變量觀測(cè)值存在最高和最低的限制。例如考試被解釋變量觀測(cè)值存在最高和最低的限制。例如考試成績(jī)，最高成績(jī)，最高100，最低，最低0，出現(xiàn)，出現(xiàn)“歸并歸并”問題。問題。 被解釋變量樣本觀測(cè)值受到限制。被解釋變量樣本觀測(cè)

6、值受到限制。二、二、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)大似然估計(jì) 1 1、思路、思路 如果一個(gè)單方程計(jì)量經(jīng)濟(jì)學(xué)模型，只能從如果一個(gè)單方程計(jì)量經(jīng)濟(jì)學(xué)模型，只能從“掐頭掐頭”或者或者“去尾去尾”的連續(xù)區(qū)間隨機(jī)抽取被解釋變量的的連續(xù)區(qū)間隨機(jī)抽取被解釋變量的樣本觀測(cè)值，那么很顯然，抽取每一個(gè)樣本觀測(cè)樣本觀測(cè)值，那么很顯然，抽取每一個(gè)樣本觀測(cè)值的概率以及抽取一組樣本觀測(cè)值的聯(lián)合概率，值的概率以及抽取一組樣本觀測(cè)值的聯(lián)合概率，與被解釋變量的樣本觀測(cè)值不受限制的情況是不與被解釋變量的樣本觀測(cè)值不受限制的情況是不同的。同的。 如果能夠知道在這種情況下抽取一組樣本觀測(cè)值如果能夠知

7、道在這種情況下抽取一組樣本觀測(cè)值的聯(lián)合概率函數(shù)，那么就可以通過該函數(shù)極大化的聯(lián)合概率函數(shù)，那么就可以通過該函數(shù)極大化求得模型的參數(shù)估計(jì)量。求得模型的參數(shù)估計(jì)量。2 2、截?cái)喾植?、截?cái)喾植?fafpa()()() fcfpcbabadbccb()( )()() 111如果服從均勻分布u(a, b)，但是它只能在(c, b)內(nèi)取得樣本觀測(cè)值，那么取得每一個(gè)樣本觀測(cè)值的概率 為隨機(jī)變量分布范圍內(nèi)的一個(gè)常數(shù) fafpae()( )()()()()()() /() 211121 2222paa()()( )11服從正態(tài)分布 是標(biāo)準(zhǔn)正態(tài)分布條件概率函數(shù) 3 3、截?cái)啾唤忉屪兞繑?shù)據(jù)模型的最大似然估計(jì)、截?cái)啾?/p>

8、解釋變量數(shù)據(jù)模型的最大似然估計(jì) yii xiin( ,)02ynixxii(,)2f yyaii()() /)() /)11xxiiln(ln()ln)()lnlnyaiinin 2212122121xxii ln()lyyiiiiiinin2ii2iixx2xg0 224211122ia() xi iii() ()1 求解該求解該1階極值條件，即可以得到模型的參數(shù)估階極值條件，即可以得到模型的參數(shù)估計(jì)量。計(jì)量。 由于這是一個(gè)復(fù)雜的非線性問題，需要采用迭代由于這是一個(gè)復(fù)雜的非線性問題，需要采用迭代方法求解，例如牛頓法。方法求解，例如牛頓法。4 4、演示例題、演示例題農(nóng)村居民消費(fèi)模型農(nóng)村居民消費(fèi)

9、模型 根據(jù)對(duì)農(nóng)民消費(fèi)行為的分析，發(fā)現(xiàn)農(nóng)民的消費(fèi)水根據(jù)對(duì)農(nóng)民消費(fèi)行為的分析，發(fā)現(xiàn)農(nóng)民的消費(fèi)水平（平（y）既取決于來(lái)自于農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)的持久收）既取決于來(lái)自于農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)的持久收入（入（x1），也受到來(lái)自于從事非農(nóng)生產(chǎn)的瞬時(shí)收），也受到來(lái)自于從事非農(nóng)生產(chǎn)的瞬時(shí)收入（入（x2）的影響。現(xiàn)有某地區(qū)）的影響?，F(xiàn)有某地區(qū)50戶農(nóng)戶的人均消戶農(nóng)戶的人均消費(fèi)、人均持久收入和人均瞬時(shí)收入的樣本觀測(cè)值費(fèi)、人均持久收入和人均瞬時(shí)收入的樣本觀測(cè)值，試圖建立該地區(qū)農(nóng)民消費(fèi)模型。，試圖建立該地區(qū)農(nóng)民消費(fèi)模型。 50, 2 , 121210ixxyiiii說(shuō)明：后面的估計(jì)結(jié)果如果與教科書不同，則是教科書中的數(shù)據(jù)存在錯(cuò)誤（第說(shuō)

10、明：后面的估計(jì)結(jié)果如果與教科書不同，則是教科書中的數(shù)據(jù)存在錯(cuò)誤（第34、43樣本的樣本的x2的觀測(cè)值中的小數(shù)點(diǎn)誤寫為逗號(hào)），本課件的結(jié)果是正確的。的觀測(cè)值中的小數(shù)點(diǎn)誤寫為逗號(hào)），本課件的結(jié)果是正確的。 樣樣本本觀觀測(cè)測(cè)值值 選擇截?cái)鄶?shù)據(jù)選擇截?cái)鄶?shù)據(jù)ml估計(jì)估計(jì) 將樣本視為不受限制的隨機(jī)抽取將樣本視為不受限制的隨機(jī)抽取 將樣本視為人均消費(fèi)大于將樣本視為人均消費(fèi)大于1500元的范圍內(nèi)隨機(jī)抽取元的范圍內(nèi)隨機(jī)抽取 將樣本視為在人均消費(fèi)大于將樣本視為在人均消費(fèi)大于1500元、小于元、小于6000元的范圍元的范圍內(nèi)隨機(jī)抽取內(nèi)隨機(jī)抽取 比較比較3種假設(shè)下的對(duì)數(shù)似然函數(shù)值可見，隨著截種假設(shè)下的對(duì)數(shù)似然函數(shù)值可

11、見，隨著截?cái)鄥^(qū)間的縮小，抽取同一個(gè)樣本的概率增大，致斷區(qū)間的縮小，抽取同一個(gè)樣本的概率增大，致使對(duì)數(shù)似然函數(shù)值增大。使對(duì)數(shù)似然函數(shù)值增大。 5 5、為什么截?cái)啾唤忉屪兞繑?shù)據(jù)模型不能采用、為什么截?cái)啾唤忉屪兞繑?shù)據(jù)模型不能采用普通最小二乘估計(jì)普通最小二乘估計(jì) 對(duì)于截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型，如果對(duì)于截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型，如果仍然把它看作為經(jīng)典的線性模型，采用仍然把它看作為經(jīng)典的線性模型，采用ols估計(jì)，估計(jì)，會(huì)產(chǎn)生什么樣的結(jié)果？會(huì)產(chǎn)生什么樣的結(jié)果？ 因?yàn)橐驗(yàn)閥i只能在大于只能在大于a的范圍內(nèi)取得觀測(cè)值，那么的范圍內(nèi)取得觀測(cè)值，那么yi的條件均值為：的條件均值為： e y yayy

12、 ya dyaaiiiiiai()()() /)() /)xxxiii1e y yaiii()() xi y ya e y yauuiiiiiii ()() xi iix e yyaddiiiiiiiiii()()()()xxiii2i211var uiiiii()()() 22211 由于被解釋變量數(shù)據(jù)的截?cái)鄦栴}，使得原模型變由于被解釋變量數(shù)據(jù)的截?cái)鄦栴}，使得原模型變換為包含一個(gè)非線性項(xiàng)模型。換為包含一個(gè)非線性項(xiàng)模型。 如果采用如果采用ols直接估計(jì)原模型：直接估計(jì)原模型： 實(shí)際上忽略了一個(gè)非線性項(xiàng)；實(shí)際上忽略了一個(gè)非線性項(xiàng)； 忽略了隨機(jī)誤差項(xiàng)實(shí)際上的異方差性。忽略了隨機(jī)誤差項(xiàng)實(shí)際上的異方差

13、性。 這就造成參數(shù)估計(jì)量的偏誤，而且如果不了解解釋變這就造成參數(shù)估計(jì)量的偏誤，而且如果不了解解釋變量的分布，要估計(jì)該偏誤的嚴(yán)重性也是很困難的。量的分布，要估計(jì)該偏誤的嚴(yán)重性也是很困難的。 三、三、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的heckmanheckman兩步估計(jì)兩步估計(jì) 說(shuō)明說(shuō)明 如果對(duì)截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型采用如果對(duì)截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型采用最大似然估計(jì)，必須首先求得最大似然估計(jì)，必須首先求得“截?cái)喾植冀財(cái)喾植肌?，為，為此，必須存在明確的此，必須存在明確的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 在實(shí)際的截?cái)鄶?shù)據(jù)模型中，這個(gè)條件經(jīng)常不能被在實(shí)際的截?cái)鄶?shù)據(jù)模型中，這個(gè)條件經(jīng)

14、常不能被滿足，諸如利用上市公司為樣本研究全部企業(yè)的滿足，諸如利用上市公司為樣本研究全部企業(yè)的行為，就不存在明確的被解釋變量的行為，就不存在明確的被解釋變量的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 關(guān)于這類模型的估計(jì)，關(guān)于這類模型的估計(jì)，heckman于于1979年提出年提出了兩步修正法。了兩步修正法。 下面以一個(gè)實(shí)例說(shuō)明兩步修正法的原理和步驟。下面以一個(gè)實(shí)例說(shuō)明兩步修正法的原理和步驟。 1 1、heckmanheckman兩步修正模型兩步修正模型 sample selection bias as a specification error, econometrica 47(1), 1979, p153-161 模

15、型模型 為了研究為了研究企業(yè)企業(yè)經(jīng)理報(bào)酬經(jīng)理報(bào)酬w與影響因素與影響因素x之間的關(guān)系，在之間的關(guān)系，在上市公司上市公司中隨機(jī)抽取中隨機(jī)抽取n1個(gè)企業(yè)為樣本，建立如下的模個(gè)企業(yè)為樣本，建立如下的模型：型： 11, 2 , 1niwii1ix- 為了修正偏誤，為了修正偏誤，在全部企業(yè)（包括上市和未上市）中隨在全部企業(yè)（包括上市和未上市）中隨機(jī)抽取機(jī)抽取n2個(gè)企業(yè)為樣本，建立如下的二元離散選擇模型：個(gè)企業(yè)為樣本，建立如下的二元離散選擇模型： 22*, 2 , 1niyii2iz經(jīng)理報(bào)酬模型經(jīng)理報(bào)酬模型上市傾向模型上市傾向模型 修正原理修正原理)()0(21*12iziiiieye)()0,(21*2i

16、1iizxxiiiieyweiiiywe1*)0,(1iixx)()(222i2izzi11, 2 , 1niwiii1ix逆米爾斯比逆米爾斯比inverse mills ratio 該模型已經(jīng)修正了選擇性偏誤，可以采用該模型已經(jīng)修正了選擇性偏誤，可以采用ols進(jìn)行估進(jìn)行估計(jì)。計(jì)。2 2、heckmanheckman兩步估計(jì)步驟兩步估計(jì)步驟 具體步驟如下：具體步驟如下： 第一步：利用從全部企業(yè)（包括上市和未上市）中隨第一步：利用從全部企業(yè)（包括上市和未上市）中隨機(jī)抽取的樣本，估計(jì)上市傾向模型機(jī)抽取的樣本，估計(jì)上市傾向模型 ；并利用估計(jì)結(jié)果；并利用估計(jì)結(jié)果計(jì)算逆米爾斯比的值。計(jì)算逆米爾斯比的值。

17、 第二步，利用選擇性樣本觀測(cè)值和計(jì)算得到的逆米爾第二步，利用選擇性樣本觀測(cè)值和計(jì)算得到的逆米爾斯比的值，將斯比的值，將(1)作為一個(gè)待估計(jì)參數(shù)，估計(jì)經(jīng)理報(bào)作為一個(gè)待估計(jì)參數(shù)，估計(jì)經(jīng)理報(bào)酬模型，得到酬模型，得到1的估計(jì)。的估計(jì)。 注意，在抽取樣本時(shí)間必須保證所有選擇性樣本包含注意，在抽取樣本時(shí)間必須保證所有選擇性樣本包含于全部樣本之中于全部樣本之中。四、四、“歸并歸并”數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)最大似然估計(jì) 1 1、思路、思路 以一種簡(jiǎn)單的情況為例，討論以一種簡(jiǎn)單的情況為例，討論“歸并歸并”問題的計(jì)問題的計(jì)量經(jīng)濟(jì)學(xué)模型。即假設(shè)被解釋變量服從正態(tài)分布，量經(jīng)濟(jì)學(xué)模型。即假設(shè)

18、被解釋變量服從正態(tài)分布，其樣本觀測(cè)值以其樣本觀測(cè)值以0為界，凡小于為界，凡小于0的都?xì)w并為的都?xì)w并為0，大于大于0的則取實(shí)際值。如果的則取實(shí)際值。如果y*以表示原始被解釋變以表示原始被解釋變量，量，y以表示歸并后的被解釋變量，那么則有：以表示歸并后的被解釋變量，那么則有： yyyyy000當(dāng)當(dāng)*yn*( ,) 2 單方程線性單方程線性“歸并歸并”問題的計(jì)量經(jīng)濟(jì)學(xué)模型為：?jiǎn)栴}的計(jì)量經(jīng)濟(jì)學(xué)模型為： yii xiin( ,)02如果能夠得到如果能夠得到y(tǒng)i的概率密度函數(shù)，那么就可以方便的概率密度函數(shù)，那么就可以方便地采用最大似然法估計(jì)模型，這就是研究這類問題地采用最大似然法估計(jì)模型，這就是研究這類問

19、題的思路。的思路。由于該模型是由由于該模型是由tobin于于1958年最早提出的，所以年最早提出的，所以也稱為也稱為tobin模型。模型。2 2、“歸并歸并”變量的正態(tài)分布變量的正態(tài)分布 由于原始被解釋變量由于原始被解釋變量y*服從正態(tài)分布，有服從正態(tài)分布，有 p yp y()()*001p yp yy( )()*當(dāng)03 3、歸并被解釋變量數(shù)據(jù)模型的最大似然估計(jì)、歸并被解釋變量數(shù)據(jù)模型的最大似然估計(jì) 該似然函數(shù)由兩部分組成，一部分對(duì)應(yīng)于沒有限該似然函數(shù)由兩部分組成，一部分對(duì)應(yīng)于沒有限制的觀測(cè)值，是經(jīng)典回歸部分；一部分對(duì)應(yīng)于受制的觀測(cè)值，是經(jīng)典回歸部分；一部分對(duì)應(yīng)于受到限制的觀測(cè)值。到限制的觀測(cè)

20、值。 這是一個(gè)非標(biāo)準(zhǔn)的似然函數(shù)，它實(shí)際上是離散分這是一個(gè)非標(biāo)準(zhǔn)的似然函數(shù)，它實(shí)際上是離散分布與連續(xù)分布的混合。布與連續(xù)分布的混合。 如何理解后一部分？如何理解后一部分？ lnln()ln()lnlyiyyii 122122200xxii為什么要求和？ 如果樣本觀測(cè)值不是以如果樣本觀測(cè)值不是以0為界，而是以某一個(gè)數(shù)為界，而是以某一個(gè)數(shù)值值a為界，則有為界，則有 yayayyya當(dāng)當(dāng)*yn*( ,) 2估計(jì)原理與方法相同。估計(jì)原理與方法相同。4 4、演示例題、演示例題 將將3個(gè)個(gè)5800視視為歸并為歸并數(shù)據(jù)數(shù)據(jù) 選擇歸并估計(jì)選擇歸并估計(jì) 估計(jì)結(jié)果估計(jì)結(jié)果 比較不受限制和歸并假設(shè)下的對(duì)數(shù)似然函數(shù)值可

21、比較不受限制和歸并假設(shè)下的對(duì)數(shù)似然函數(shù)值可見，將樣本中見，將樣本中3個(gè)個(gè)5800元的觀測(cè)值視為元的觀測(cè)值視為5800元的元的歸并時(shí)，歸并時(shí)，抽取該觀測(cè)值的概率顯著增大，致使模抽取該觀測(cè)值的概率顯著增大，致使模型估計(jì)的對(duì)數(shù)似然函數(shù)值顯著增大。型估計(jì)的對(duì)數(shù)似然函數(shù)值顯著增大。 5 5、歸并被解釋變量模型最大似然估計(jì)的條件、歸并被解釋變量模型最大似然估計(jì)的條件 構(gòu)造歸并數(shù)據(jù)似然函數(shù)時(shí)是以一個(gè)基本假設(shè)為條件構(gòu)造歸并數(shù)據(jù)似然函數(shù)時(shí)是以一個(gè)基本假設(shè)為條件的，即假設(shè)歸并數(shù)據(jù)中不可觀測(cè)的部分和可觀測(cè)的的，即假設(shè)歸并數(shù)據(jù)中不可觀測(cè)的部分和可觀測(cè)的部分具有相同的分布，例如都服從正態(tài)分布。部分具有相同的分布，例如都

22、服從正態(tài)分布。 如果這一條件得不到滿足，就不能得到似然函數(shù)，如果這一條件得不到滿足，就不能得到似然函數(shù)，最大似然估計(jì)將遇到困難。最大似然估計(jì)將遇到困難。 這時(shí)，這時(shí)，heckman兩步估計(jì)是一種合適的估計(jì)方法。兩步估計(jì)是一種合適的估計(jì)方法。 五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn) 1 1、經(jīng)驗(yàn)判斷、經(jīng)驗(yàn)判斷 選擇性樣本問題是對(duì)微觀截面?zhèn)€體而言的，所以選擇性樣本問題是對(duì)微觀截面?zhèn)€體而言的，所以對(duì)于時(shí)間序列樣本，不考慮選擇性樣本問題。對(duì)于時(shí)間序列樣本，不考慮選擇性樣本問題。 如果以截面上的全部個(gè)體作為樣本，不考慮截?cái)嗳绻越孛嫔系娜總€(gè)體作為樣本，不考慮截?cái)鄦栴}。如果按照抽樣理論選取截面上的部分個(gè)體問題。如果按照抽樣理論選取截面上的部分個(gè)體作為樣本，盡管樣本觀測(cè)值處