伍德里奇計(jì)量經(jīng)濟(jì)學(xué)導(dǎo)論1概率論知識(shí)

1SchoolofFinance,SUIBE高級(jí)計(jì)量經(jīng)濟(jì)學(xué)I第一章概率論、統(tǒng)計(jì)學(xué)知識(shí)復(fù)習(xí)整個(gè)計(jì)量經(jīng)濟(jì)學(xué)中，有三種類型的統(tǒng)計(jì)方法被普遍使用：估計(jì)方法、假設(shè)檢驗(yàn)方法和置信區(qū)間方法。SchoolofFinance,SUIBE3本章大綱隨機(jī)變量與概率分布期望值、均值及方差二元隨機(jī)變量正態(tài)分布、卡方分布、F分布和學(xué)生t分布隨機(jī)抽樣及樣本均值抽樣分布的大樣本逼近總體均值的估計(jì)利用數(shù)據(jù)對(duì)因果效應(yīng)的均值差進(jìn)行估計(jì)隨機(jī)變量的期望1.概率、樣本空間和隨機(jī)變量1.1隨機(jī)變量與概率分布結(jié)果（outcomes）：隨機(jī)過(guò)程中相互排斥的可能后果被稱為結(jié)果。結(jié)果的概率（Probability）：是指這個(gè)結(jié)果長(zhǎng)期發(fā)生次數(shù)的比率。樣本空間（SampleSpace）：所有可能結(jié)果的集合稱為樣本空間。事件（Event）：是樣本空間的一個(gè)子集，即事件是一個(gè)或多個(gè)結(jié)果的集合。隨機(jī)變量（RandomVariable，r.v.）：隨機(jī)變量是一個(gè)隨機(jī)結(jié)果的一系列數(shù)值表示。離散隨機(jī)變量（DiscreteRandomVariable）連續(xù)離散隨機(jī)變量（ContinuousRandomVariable）只能取離散數(shù)值，如：0,1,2，…如，0,1,2，…可能取值的連續(xù)空間。2.離散型隨機(jī)變量的概率分布概率分布（ProbabilityDistribution）：變量所有的可能值和每個(gè)值發(fā)生的概率的列表。這些概率之和為1。如，用M表示你在寫學(xué)期論文時(shí)電腦死機(jī)的次數(shù)。事件概率（EventProbability）：累積概率分布（CumulativeProbabilityDistribution）：是隨機(jī)變量小于或等于某個(gè)特定值的概率。

累積概率分布也常稱為累積概率分布（CumulativeProbabilityFunction，c.d.f.）。貝努利分布（BernoulliDistribution）：貝努利隨機(jī)變量（BernoulliRandomVariable）貝努利分布：

設(shè)G是高級(jí)計(jì)量經(jīng)濟(jì)I的最終成績(jī)，其中，G=0表示non-pass，G=1表示pass。G的結(jié)果和對(duì)應(yīng)的概率為其中，p表示pass的概率。公式（*）中的概率分布就是貝努利分布。3.連續(xù)型隨機(jī)變量的概率分布概率累積分布：是連續(xù)型隨機(jī)變量小于或等于某個(gè)特定值的概率。概率密度函數(shù)（ProbabilityDensityFunction，p.d.f.）例子：一個(gè)從家開(kāi)車到學(xué)校的老師，他的通勤時(shí)間可以取某值的一個(gè)連續(xù)區(qū)間，由于通勤時(shí)間依賴于諸如天氣和交通狀況等隨機(jī)因素，自然應(yīng)該是連續(xù)型隨機(jī)變量。1.隨機(jī)變量的期望1.2隨機(jī)變量的期望期望（ExpectedValue）：隨機(jī)變量Y的期望值是多次重復(fù)試驗(yàn)或發(fā)生過(guò)程中隨機(jī)變量Y的長(zhǎng)期平均值，表示為E[Y]。

假設(shè)Y為隨機(jī)變量。變量Y的期望值也被稱為Y的期望（Expected），或Y的均值（mean），表示為。重要概念一:

期望和均值假設(shè)隨機(jī)變量Y取k個(gè)可能的值，，其中表示第一個(gè)值，表示第二個(gè)值，以此類推。Y取的概率為，Y取的概率為，以此類推。用E[Y]表示Y的期望值，它是：其中，算式“”意味著“i取值從1到k時(shí)的和”。Y期望值也被稱為Y的均值或Y的期望，通常用表示。貝努利隨機(jī)變量的期望值：2.標(biāo)準(zhǔn)差和方差標(biāo)準(zhǔn)差（StandardDeviation或方差（Variance）：它們測(cè)度一個(gè)概率分布的離散程度或分散度。一個(gè)隨機(jī)變量的方差是Y對(duì)其均值的離差平方的期望，表示為var(Y)，即一個(gè)隨機(jī)變量的標(biāo)準(zhǔn)差就是方差的平方根，表示為。重要概念二：方差和標(biāo)準(zhǔn)差假設(shè)隨機(jī)變量Y的方差是用表示，計(jì)算公式為：

Y的標(biāo)準(zhǔn)差是，即方差的平方根。標(biāo)準(zhǔn)差的單位與Y的單位相同。貝努利方差：因而，貝努利標(biāo)準(zhǔn)差為。3.隨機(jī)變量線性函數(shù)的均值和方差例子：考慮一個(gè)所得稅方案，在這個(gè)方案下，個(gè)人的收入以20%的稅率被征收，然后給$2000美元的補(bǔ)助金（免稅的）。請(qǐng)問(wèn)在這個(gè)稅收方案下如何將稅后收入Y和稅前收入X聯(lián)系起來(lái)？在這個(gè)方案下，稅后收入Y和稅前收入X可以由以下方程聯(lián)系起來(lái)：假設(shè)一位女士明年的稅前收入是個(gè)均值為、方差為的隨機(jī)變量。請(qǐng)問(wèn)在這個(gè)方案下她的稅后收入的均值和方差為多少？在這個(gè)方案下，她稅后收入Y的期望值為：稅后收入Y的方差為：Y的標(biāo)準(zhǔn)差為：將以上分析推廣，假設(shè)Y以截距a（代替$2000）和斜率b（代替0.8）依賴于X，因此，Y與X的聯(lián)系：Y的期望、方差和標(biāo)準(zhǔn)差分別為：4.分布形態(tài)的其他測(cè)度指標(biāo)：均值和標(biāo)準(zhǔn)差測(cè)量一個(gè)分布的兩個(gè)重要指標(biāo)：中心水平（均值）和離散程度（標(biāo)準(zhǔn)差）。我們將討論一個(gè)分布的另外兩個(gè)測(cè)量指標(biāo)：偏度和峰度。注意：均值、方差、偏度和峰度都是以分布的矩為基礎(chǔ)的。k階矩（kthmoment)：其中，X的均值（mean）或期望值，即，

。期望(或均值）也就是隨機(jī)變量X的一階矩，它是度量分布的中心位置k階中心矩（kthcenteredmoment)：偏度(skewness):S(x)=0，該隨機(jī)變量分布對(duì)稱；S(x)>0，高峰向左偏移，長(zhǎng)尾向右側(cè)延伸稱為正偏態(tài)分布，也稱右偏態(tài)分布；S(x)<0，高峰向右偏移，長(zhǎng)尾向左延伸則成為負(fù)偏態(tài)分布，也稱左偏態(tài)分布。峰左移，右偏，正偏峰右移，左偏，負(fù)偏峰度(kurtosis):K(x)-3叫作超額峰度(excesskurtosis)。若超額峰度為正，則分布具有后尾，即稱為尖峰，反之，則稱為低峰。5.ConvergenceAlmostsureconvergenceConvergenceindistributionConvergenceinprobability1.聯(lián)合分布與邊緣分布1.3二元隨機(jī)變量

經(jīng)濟(jì)學(xué)中很多有趣的問(wèn)題都涉及兩個(gè)或兩個(gè)以上的變量。譬如，教育與就業(yè)問(wèn)題，收入與性別的問(wèn)題，等等。聯(lián)合分布（JointDistribution）：兩個(gè)離散隨機(jī)變量（比如說(shuō)X和Y）的聯(lián)合概率分布(JointProbabilityDistribution）是這兩個(gè)隨機(jī)變量同時(shí)去確定的值（比如說(shuō)x和y）的概率。所有可能的（x，y）組合的概率之和等于1。聯(lián)合概率分布可被寫成函數(shù)的形式，即。邊緣分布概率（MarginalProbabilityDistribution）：如果X有k個(gè)不同的值，那么Y取特定只y的邊緣概率是：2.條件分布條件分布（ConditionalDistribution）：隨機(jī)變量Y的分布如果要以另一個(gè)隨機(jī)變量X取特定的值為條件，則被稱為X條件下Y的條件分布（ConditionalDistributionofYgivenX）。當(dāng)X取值為x時(shí)，Y取值為y的條件概率記為條件期望：給定X條件下Y的期望（ConditionalexpectationofYgivenX），又稱給定X條件下Y的條件分布均值（ConditionalmeanofYGivenX），是指如果Y取k個(gè)值，那么給定X=x，Y的條件均值是：累期望法則（TheLawofIteratedExpectations）：如果X取m個(gè)不同的值，那么，換句話說(shuō)，Y的期望就是給定X時(shí)Y的條件期望的期望，即條件方差：以X為條件的Y的方差（VarianceofYConditionalonX）是指給定X條件下Y的條件方差，即，3.獨(dú)立性：獨(dú)立性：如果一個(gè)變量的值不會(huì)提供有關(guān)另一個(gè)變量的任何信息，那么兩個(gè)隨機(jī)變量X和Y就是獨(dú)立分布的（independentlydistributed）或者說(shuō)是獨(dú)立的（independent）。數(shù)學(xué)表達(dá)式：如果給定X條件下Y的條件分布等于Y的邊緣分布，那么X和Y就是獨(dú)立的，即，對(duì)于所有x和y值，

或者說(shuō)，

也就是說(shuō)，兩個(gè)獨(dú)立隨機(jī)變量的聯(lián)合分布是它們的邊緣分布的乘積。4.協(xié)方差和相關(guān)系數(shù)：協(xié)方差（Covariance）：測(cè)量?jī)蓚€(gè)隨機(jī)變量共同變化程度的一個(gè)指標(biāo)是它們的協(xié)方差。X和Y之間的協(xié)方差就是期望值其中，是X的均值，是Y的均值。協(xié)方差用

或

，或相關(guān)系數(shù)（Correlation）：相關(guān)系數(shù)是隨機(jī)變量X和Y之間相關(guān)程度的另一個(gè)測(cè)度。具體地說(shuō)，X和Y之間的相關(guān)系數(shù)是和Y的協(xié)方差除以它們各自的標(biāo)準(zhǔn)差。相關(guān)系數(shù)是無(wú)單位的。如果，那么隨機(jī)變量X和Y是不相關(guān)的（uncorrelated）。相關(guān)系數(shù)的值總是在-1和1之間。（相關(guān)系數(shù)的不等式）相關(guān)系數(shù)與條件均值：如果Y的條件均值不依賴于X，那么Y和X是不相關(guān)的，即，如果，那么且

。5.隨機(jī)變量和的均值和方差兩個(gè)隨機(jī)變量X與Y的和的均值等于它們均值的和，即，重要概念：隨機(jī)變量和的均值、方差和協(xié)方差

設(shè)X、Y和V為隨機(jī)變量，設(shè)和為X的均值和方差，為X和Y的協(xié)方差（其他變量亦如此），并設(shè)a，b和c為常數(shù)。根據(jù)均值、方差以及協(xié)方差的定義，可以得到如下公式1.4正態(tài)分布、卡方分布、分布和學(xué)生t分布

計(jì)量經(jīng)濟(jì)學(xué)中最常用的概率分布是正態(tài)分布、卡方分布、學(xué)生t分布以及F分布。1.正態(tài)分布（NormalDistribution）一個(gè)連續(xù)變量如果服從正態(tài)分布，則具有類似鐘形的概率密度。

正態(tài)分布及其衍生分布是統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)中最廣泛使用的分布。

其中，標(biāo)準(zhǔn)正態(tài)分布：正態(tài)分布的特殊形式是均值為0和方差為1。若隨機(jī)變量Z服從Normal（0,1），則Z服從標(biāo)準(zhǔn)正態(tài)分布。標(biāo)準(zhǔn)正態(tài)分布的pdf記為，即，標(biāo)準(zhǔn)正態(tài)分布的cdf記為，重要概念三：正態(tài)隨機(jī)變量概率計(jì)算

假設(shè)Y是一個(gè)均值為、方差為的正態(tài)分布，即。用Y減去其均值并除以其標(biāo)準(zhǔn)差，對(duì)其進(jìn)行標(biāo)準(zhǔn)化，即，計(jì)算。

設(shè)c1和c2代表兩個(gè)數(shù)，且，又設(shè)，。那么，多元正態(tài)分布（Multivariatenormaldistribution）：正態(tài)分布可用來(lái)描述一組隨機(jī)變量的聯(lián)合分布，這種分布被稱為多元正態(tài)分布。如果只考慮兩個(gè)變量，那么就稱其為二元正態(tài)分布（Bivariatenormaldistribution）。多元正態(tài)分布具有三個(gè)重要性質(zhì)：如果X和Y服從協(xié)方差為的二元正態(tài)分布，且a和b為常數(shù)，那么aX+bY也服從正態(tài)分布，即：（X、Y為二元正態(tài)分布）

或者說(shuō)，如果n個(gè)隨機(jī)變量都服從多元正態(tài)分布，那么這些變量的任何線性組合也都服從正態(tài)分布。如果一組變量都服從正態(tài)分布，那么每個(gè)變量的邊緣分布也都是正態(tài)的。如果服從多元正態(tài)分布的變量間的協(xié)方差為0，那么這些變量就是獨(dú)立的。分布（可以直接從獨(dú)立標(biāo)準(zhǔn)正態(tài)隨機(jī)變量推導(dǎo)出來(lái)）。令為n個(gè)獨(dú)立隨機(jī)變量，且都服從標(biāo)準(zhǔn)正態(tài)分布。定義一個(gè)新隨機(jī)變量為的一個(gè)平方和：

則，其中n為自由度（df)。2.卡方分布:

在統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)中，當(dāng)我們檢驗(yàn)?zāi)愁惣僭O(shè)是，經(jīng)常會(huì)用到卡方分布?？ǚ椒植迹–hi-squaredistribution）：是m個(gè)獨(dú)立標(biāo)準(zhǔn)正態(tài)分布的平方和的分布。這個(gè)分布依賴于m，m為卡方分布的自由度。例子：令是獨(dú)立的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量，那么3.學(xué)生t分布學(xué)生t分布（Studenttdistribution），是兩個(gè)因素之比的比率分布，其自由度為m。其中，分子是一個(gè)標(biāo)準(zhǔn)正態(tài)分布，分母是一個(gè)自由度為m的獨(dú)立卡方分布的隨機(jī)變量除以m之后的平方根。數(shù)學(xué)表達(dá)式：比如，設(shè)Z是個(gè)標(biāo)準(zhǔn)正態(tài)隨機(jī)變量，W是個(gè)服從自由度為m的卡方分布的隨機(jī)變量，并設(shè)Z和W是獨(dú)立分布的，那么，注意：學(xué)生t分布的形狀與正態(tài)分布的鐘形密度曲線相似，但當(dāng)m較小時(shí)（20或更?。?，它的尾巴的概率較大。也就是說(shuō)，它是個(gè)比正態(tài)分布“更肥尾”的鐘形分布。4.F分布:統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)中的另一個(gè)重要分布。F分布（Fdistribution），一般用表示，它等于兩個(gè)隨機(jī)變量的比率的分布，其分子是一個(gè)自由度為m的卡方分布的隨機(jī)變量除以m，其分母是一個(gè)自由度為n的獨(dú)立的卡方分布的隨機(jī)變量除以n。數(shù)學(xué)表達(dá)式：比如，W代表一個(gè)服從卡方分布的隨機(jī)變量，其自由度為m，令V代表一個(gè)自由度為n的卡方分布的隨機(jī)變量，其中W和V是相互獨(dú)立的，那么，即，分子的自由度為m，分母的自由度為n。注意：在統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)上分布兩個(gè)重要的特例：當(dāng)分母自由度足夠大是，分布逼近分布。在這個(gè)特例中，分母隨機(jī)變量V是無(wú)數(shù)多卡方分布隨機(jī)變量的均值，且均值為1。因?yàn)橐粋€(gè)標(biāo)準(zhǔn)正態(tài)分布隨機(jī)變量平方的均值還是1。1.5隨機(jī)抽樣幾樣本均值1.隨機(jī)抽樣簡(jiǎn)單隨機(jī)抽樣（SimpleRandomVariable）：從總體（Population）中隨機(jī)選擇n個(gè)個(gè)體，并且總體中的每個(gè)個(gè)體等可能的包含在樣本中。

由于包含在樣本中的個(gè)體是隨機(jī)選擇的，因此觀測(cè)值本身也是隨機(jī)的。獨(dú)立同分布抽樣獨(dú)立同分布（IndependentlyIdenticallyDistribution，i.i.d.）：當(dāng)取自一個(gè)同一個(gè)分布并且是獨(dú)立的，則稱它們?yōu)楠?dú)立同分布或i.i.d.。同分布（IdenticallyDistribution）：由于是從同一個(gè)總體中隨機(jī)抽取的，因此對(duì)每個(gè)

而言，的邊緣分布都是相同的，那么稱是同分布的。獨(dú)立分布（IndependentlyDistribution）：

在簡(jiǎn)單隨機(jī)抽樣下，的值并不能提供關(guān)于的信息，那么稱與

是獨(dú)立分布。重要概念四：簡(jiǎn)單隨機(jī)抽樣和i.i.d.隨機(jī)變量

在一個(gè)簡(jiǎn)單的隨機(jī)樣本中，從總體中隨機(jī)抽取n個(gè)個(gè)體，并且每個(gè)個(gè)體等可能的被抽到。對(duì)于第i個(gè)被隨機(jī)抽到的個(gè)體而言，用表示隨機(jī)變量Y的。由于每個(gè)對(duì)象等可能的被抽取，并且對(duì)于所有的i而言，的分布是相同的，因此隨機(jī)變量

是獨(dú)立同分布的（i.i.d.）。也就是說(shuō)，對(duì)于所有而言，的分布是相同的，并且是獨(dú)立于，其他結(jié)論以此類推。2.樣本均值的抽樣分布樣本均值：n個(gè)觀測(cè)值的樣本平均數(shù)的計(jì)算公式如下：樣本均值的均值、方差和標(biāo)準(zhǔn)差為1.6抽樣分布的大樣本逼近1.大數(shù)定律與一致性大數(shù)定律（LawofLargeNumber）：在一般條件下，當(dāng)n很大是，

將會(huì)以非常高的概率接近于。大數(shù)定律有時(shí)又被稱為“均值定律”，當(dāng)大量均值相同的隨機(jī)變量放在一起取平均數(shù)時(shí)，大的數(shù)值平衡了小的數(shù)值，而且它們的樣本均值接近于它們的共同均值。例子：假設(shè)股票上漲為還是不上漲，如果第i個(gè)隨機(jī)選擇的股票上漲那么令，否則。由于這兒使用的是貝努利分布，因此是獨(dú)立同分布的。一致性（consistency）：隨著n的增大，一不斷增大的概率接近于，這一性質(zhì)被稱為依概率收斂與（convergenceinProbability)，或更精確地稱為一致性（consistency）重要概念五：依概率收斂、一致性和大數(shù)定律

對(duì)任意的嘗試c>0，隨著n的增大，如果位于區(qū)域內(nèi)的概率任意地接近于1，那么我們就說(shuō)樣本均值依概率收斂與（或等價(jià)地，與是一致的），記為

大數(shù)定律指出：如果

是獨(dú)立同分布的，且

，，那么。2.中心極限定理中心極限定理（CentralLimitTheorem，CLM)：在一般條件下，當(dāng)n足夠大時(shí)，的分布可充分地逼近正態(tài)分布。問(wèn)題：n必須多大？

答案是“依情況而定”。正態(tài)近似的質(zhì)量好壞依賴于構(gòu)成均值對(duì)基本元素的分布。如果本身服從正態(tài)分布，那么對(duì)于所有的n來(lái)說(shuō)，精確地服從正態(tài)分布；相反，如果本身服從一個(gè)與正態(tài)分布相差甚遠(yuǎn)的分布，那么這種近似可能要求n=30或更大。

例子重要概念六：中心極限定理

假設(shè)是獨(dú)立同分布，且，，其中，。當(dāng)時(shí)，（其中，）的分布會(huì)被標(biāo)準(zhǔn)正態(tài)分布很好地近似替代。1.估計(jì)量及其性質(zhì)1.7總體均值的估計(jì)重要概念：估計(jì)量和估計(jì)值估計(jì)量（Estimator）是從一個(gè)總體中隨機(jī)抽取出來(lái)的樣本數(shù)據(jù)的函數(shù)。

注意：由于樣本選擇的隨機(jī)性，估計(jì)量是隨機(jī)變量，而估計(jì)值是非隨機(jī)的數(shù)值。估計(jì)值（Estimate）是利用特定樣本數(shù)據(jù)實(shí)際計(jì)算出來(lái)的估計(jì)量的數(shù)值。估計(jì)量：用樣本平均數(shù)來(lái)估計(jì)是一種很常用的方法。但它不是唯一的方法。例如，可以簡(jiǎn)單地用第一個(gè)觀測(cè)值來(lái)估計(jì)。問(wèn)題：怎樣判定一個(gè)估計(jì)量“好”于另一個(gè)估計(jì)量呢？

答案：估計(jì)量三個(gè)特定的理想性質(zhì)：無(wú)偏性（缺少偏差)、一致性和有效性。無(wú)偏性：估計(jì)量的一個(gè)理想性質(zhì)就是它的抽樣分布的均值等于，如果這樣，就稱估計(jì)量是無(wú)偏的。用數(shù)學(xué)表達(dá)，假設(shè)表示的某個(gè)估計(jì)量，如。如果，那么估計(jì)量是無(wú)偏的。其中，的抽樣分布的均值，否則，是有偏的。一致性：當(dāng)樣本容量很大時(shí)，由樣本的隨機(jī)變化所引起的值的不確定性很小。或者說(shuō)，當(dāng)樣本量增大時(shí)，它在真值附近很小區(qū)間內(nèi)的概率接近于1，即是一致的。方差與有效性：假如有兩個(gè)備選的估計(jì)量，而且它們都是無(wú)偏的，那么請(qǐng)問(wèn)如何在它們之間做出選擇？方差與有效性：選擇抽樣分布最密集的估計(jì)量，即，在之間選擇方差最小的那個(gè)估計(jì)量。如果，的方差比小，那么稱更有效。

設(shè)的估計(jì)量，那么：重要概念七：偏差、一致性和有效性的偏差（bias）為；如果，那么的無(wú)偏估計(jì)量（unbiasedestimator）；如果，那么的一致估計(jì)量（consistentestimator）；如果的另一個(gè)估計(jì)量，并假設(shè)都是無(wú)偏的。如果，那么更有效（efficient)。2.的性質(zhì)問(wèn)題：?jiǎn)斡闷睢⒁恢滦院陀行赃@三個(gè)標(biāo)準(zhǔn)進(jìn)行判斷時(shí)，作為的估計(jì)量表現(xiàn)如何？偏差和一致性：由于，以及由大數(shù)定律可得，因此，是無(wú)偏一致估計(jì)量。有效性：需要設(shè)定與相比較的一個(gè)或幾個(gè)估計(jì)量。譬如，，其，并且最佳線性無(wú)偏估計(jì)（BestlinearUnbiasedEstimator，BLUE)

是的加權(quán)平均計(jì)算出來(lái)的無(wú)偏估計(jì)中最有效的估計(jì)量，即為BLUE。也就是說(shuō)，它是所有與呈線性函數(shù)且又是無(wú)偏的估計(jì)量中最有效（最佳）的估計(jì)量。重要概念八：的有效性：是最佳線性無(wú)偏估計(jì)量假設(shè)的一個(gè)估計(jì)量，是的加權(quán)平均值，即其中，是非隨機(jī)變量。如果是無(wú)偏的，那么除非。這樣就是最佳線性無(wú)偏