伍德里奇計量經(jīng)濟(jì)學(xué)導(dǎo)論1概率論知識

1SchoolofFinance,SUIBE高級計量經(jīng)濟(jì)學(xué)I第一章概率論、統(tǒng)計學(xué)知識復(fù)習(xí)整個計量經(jīng)濟(jì)學(xué)中，有三種類型的統(tǒng)計方法被普遍使用：估計方法、假設(shè)檢驗方法和置信區(qū)間方法。SchoolofFinance,SUIBE3本章大綱隨機(jī)變量與概率分布期望值、均值及方差二元隨機(jī)變量正態(tài)分布、卡方分布、F分布和學(xué)生t分布隨機(jī)抽樣及樣本均值抽樣分布的大樣本逼近總體均值的估計利用數(shù)據(jù)對因果效應(yīng)的均值差進(jìn)行估計隨機(jī)變量的期望1.概率、樣本空間和隨機(jī)變量1.1隨機(jī)變量與概率分布結(jié)果（outcomes）：隨機(jī)過程中相互排斥的可能后果被稱為結(jié)果。結(jié)果的概率（Probability）：是指這個結(jié)果長期發(fā)生次數(shù)的比率。樣本空間（SampleSpace）：所有可能結(jié)果的集合稱為樣本空間。事件（Event）：是樣本空間的一個子集，即事件是一個或多個結(jié)果的集合。隨機(jī)變量（RandomVariable，r.v.）：隨機(jī)變量是一個隨機(jī)結(jié)果的一系列數(shù)值表示。離散隨機(jī)變量（DiscreteRandomVariable）連續(xù)離散隨機(jī)變量（ContinuousRandomVariable）只能取離散數(shù)值，如：0,1,2，…如，0,1,2，…可能取值的連續(xù)空間。2.離散型隨機(jī)變量的概率分布概率分布（ProbabilityDistribution）：變量所有的可能值和每個值發(fā)生的概率的列表。這些概率之和為1。如，用M表示你在寫學(xué)期論文時電腦死機(jī)的次數(shù)。事件概率（EventProbability）：累積概率分布（CumulativeProbabilityDistribution）：是隨機(jī)變量小于或等于某個特定值的概率。

累積概率分布也常稱為累積概率分布（CumulativeProbabilityFunction，c.d.f.）。貝努利分布（BernoulliDistribution）：貝努利隨機(jī)變量（BernoulliRandomVariable）貝努利分布：

設(shè)G是高級計量經(jīng)濟(jì)I的最終成績，其中，G=0表示non-pass，G=1表示pass。G的結(jié)果和對應(yīng)的概率為其中，p表示pass的概率。公式（*）中的概率分布就是貝努利分布。3.連續(xù)型隨機(jī)變量的概率分布概率累積分布：是連續(xù)型隨機(jī)變量小于或等于某個特定值的概率。概率密度函數(shù)（ProbabilityDensityFunction，p.d.f.）例子：一個從家開車到學(xué)校的老師，他的通勤時間可以取某值的一個連續(xù)區(qū)間，由于通勤時間依賴于諸如天氣和交通狀況等隨機(jī)因素，自然應(yīng)該是連續(xù)型隨機(jī)變量。1.隨機(jī)變量的期望1.2隨機(jī)變量的期望期望（ExpectedValue）：隨機(jī)變量Y的期望值是多次重復(fù)試驗或發(fā)生過程中隨機(jī)變量Y的長期平均值，表示為E[Y]。

假設(shè)Y為隨機(jī)變量。變量Y的期望值也被稱為Y的期望（Expected），或Y的均值（mean），表示為。重要概念一:

期望和均值假設(shè)隨機(jī)變量Y取k個可能的值，，其中表示第一個值，表示第二個值，以此類推。Y取的概率為，Y取的概率為，以此類推。用E[Y]表示Y的期望值，它是：其中，算式“”意味著“i取值從1到k時的和”。Y期望值也被稱為Y的均值或Y的期望，通常用表示。貝努利隨機(jī)變量的期望值：2.標(biāo)準(zhǔn)差和方差標(biāo)準(zhǔn)差（StandardDeviation或方差（Variance）：它們測度一個概率分布的離散程度或分散度。一個隨機(jī)變量的方差是Y對其均值的離差平方的期望，表示為var(Y)，即一個隨機(jī)變量的標(biāo)準(zhǔn)差就是方差的平方根，表示為。重要概念二：方差和標(biāo)準(zhǔn)差假設(shè)隨機(jī)變量Y的方差是用表示，計算公式為：

Y的標(biāo)準(zhǔn)差是，即方差的平方根。標(biāo)準(zhǔn)差的單位與Y的單位相同。貝努利方差：因而，貝努利標(biāo)準(zhǔn)差為。3.隨機(jī)變量線性函數(shù)的均值和方差例子：考慮一個所得稅方案，在這個方案下，個人的收入以20%的稅率被征收，然后給$2000美元的補(bǔ)助金（免稅的）。請問在這個稅收方案下如何將稅后收入Y和稅前收入X聯(lián)系起來？在這個方案下，稅后收入Y和稅前收入X可以由以下方程聯(lián)系起來：假設(shè)一位女士明年的稅前收入是個均值為、方差為的隨機(jī)變量。請問在這個方案下她的稅后收入的均值和方差為多少？在這個方案下，她稅后收入Y的期望值為：稅后收入Y的方差為：Y的標(biāo)準(zhǔn)差為：將以上分析推廣，假設(shè)Y以截距a（代替$2000）和斜率b（代替0.8）依賴于X，因此，Y與X的聯(lián)系：Y的期望、方差和標(biāo)準(zhǔn)差分別為：4.分布形態(tài)的其他測度指標(biāo)：均值和標(biāo)準(zhǔn)差測量一個分布的兩個重要指標(biāo)：中心水平（均值）和離散程度（標(biāo)準(zhǔn)差）。我們將討論一個分布的另外兩個測量指標(biāo)：偏度和峰度。注意：均值、方差、偏度和峰度都是以分布的矩為基礎(chǔ)的。k階矩（kthmoment)：其中，X的均值（mean）或期望值，即，

。期望(或均值）也就是隨機(jī)變量X的一階矩，它是度量分布的中心位置k階中心矩（kthcenteredmoment)：偏度(skewness):S(x)=0，該隨機(jī)變量分布對稱；S(x)>0，高峰向左偏移，長尾向右側(cè)延伸稱為正偏態(tài)分布，也稱右偏態(tài)分布；S(x)<0，高峰向右偏移，長尾向左延伸則成為負(fù)偏態(tài)分布，也稱左偏態(tài)分布。峰左移，右偏，正偏峰右移，左偏，負(fù)偏峰度(kurtosis):K(x)-3叫作超額峰度(excesskurtosis)。若超額峰度為正，則分布具有后尾，即稱為尖峰，反之，則稱為低峰。5.ConvergenceAlmostsureconvergenceConvergenceindistributionConvergenceinprobability1.聯(lián)合分布與邊緣分布1.3二元隨機(jī)變量

經(jīng)濟(jì)學(xué)中很多有趣的問題都涉及兩個或兩個以上的變量。譬如，教育與就業(yè)問題，收入與性別的問題，等等。聯(lián)合分布（JointDistribution）：兩個離散隨機(jī)變量（比如說X和Y）的聯(lián)合概率分布(JointProbabilityDistribution）是這兩個隨機(jī)變量同時去確定的值（比如說x和y）的概率。所有可能的（x，y）組合的概率之和等于1。聯(lián)合概率分布可被寫成函數(shù)的形式，即。邊緣分布概率（MarginalProbabilityDistribution）：如果X有k個不同的值，那么Y取特定只y的邊緣概率是：2.條件分布條件分布（ConditionalDistribution）：隨機(jī)變量Y的分布如果要以另一個隨機(jī)變量X取特定的值為條件，則被稱為X條件下Y的條件分布（ConditionalDistributionofYgivenX）。當(dāng)X取值為x時，Y取值為y的條件概率記為條件期望：給定X條件下Y的期望（ConditionalexpectationofYgivenX），又稱給定X條件下Y的條件分布均值（ConditionalmeanofYGivenX），是指如果Y取k個值，那么給定X=x，Y的條件均值是：累期望法則（TheLawofIteratedExpectations）：如果X取m個不同的值，那么，換句話說，Y的期望就是給定X時Y的條件期望的期望，即條件方差：以X為條件的Y的方差（VarianceofYConditionalonX）是指給定X條件下Y的條件方差，即，3.獨立性：獨立性：如果一個變量的值不會提供有關(guān)另一個變量的任何信息，那么兩個隨機(jī)變量X和Y就是獨立分布的（independentlydistributed）或者說是獨立的（independent）。數(shù)學(xué)表達(dá)式：如果給定X條件下Y的條件分布等于Y的邊緣分布，那么X和Y就是獨立的，即，對于所有x和y值，

或者說，

也就是說，兩個獨立隨機(jī)變量的聯(lián)合分布是它們的邊緣分布的乘積。4.協(xié)方差和相關(guān)系數(shù)：協(xié)方差（Covariance）：測量兩個隨機(jī)變量共同變化程度的一個指標(biāo)是它們的協(xié)方差。X和Y之間的協(xié)方差就是期望值其中，是X的均值，是Y的均值。協(xié)方差用

或

，或相關(guān)系數(shù)（Correlation）：相關(guān)系數(shù)是隨機(jī)變量X和Y之間相關(guān)程度的另一個測度。具體地說，X和Y之間的相關(guān)系數(shù)是和Y的協(xié)方差除以它們各自的標(biāo)準(zhǔn)差。相關(guān)系數(shù)是無單位的。如果，那么隨機(jī)變量X和Y是不相關(guān)的（uncorrelated）。相關(guān)系數(shù)的值總是在-1和1之間。（相關(guān)系數(shù)的不等式）相關(guān)系數(shù)與條件均值：如果Y的條件均值不依賴于X，那么Y和X是不相關(guān)的，即，如果，那么且

。5.隨機(jī)變量和的均值和方差兩個隨機(jī)變量X與Y的和的均值等于它們均值的和，即，重要概念：隨機(jī)變量和的均值、方差和協(xié)方差

設(shè)X、Y和V為隨機(jī)變量，設(shè)和為X的均值和方差，為X和Y的協(xié)方差（其他變量亦如此），并設(shè)a，b和c為常數(shù)。根據(jù)均值、方差以及協(xié)方差的定義，可以得到如下公式1.4正態(tài)分布、卡方分布、分布和學(xué)生t分布

計量經(jīng)濟(jì)學(xué)中最常用的概率分布是正態(tài)分布、卡方分布、學(xué)生t分布以及F分布。1.正態(tài)分布（NormalDistribution）一個連續(xù)變量如果服從正態(tài)分布，則具有類似鐘形的概率密度。

正態(tài)分布及其衍生分布是統(tǒng)計學(xué)和計量經(jīng)濟(jì)學(xué)中最廣泛使用的分布。

其中，標(biāo)準(zhǔn)正態(tài)分布：正態(tài)分布的特殊形式是均值為0和方差為1。若隨機(jī)變量Z服從Normal（0,1），則Z服從標(biāo)準(zhǔn)正態(tài)分布。標(biāo)準(zhǔn)正態(tài)分布的pdf記為，即，標(biāo)準(zhǔn)正態(tài)分布的cdf記為，重要概念三：正態(tài)隨機(jī)變量概率計算

假設(shè)Y是一個均值為、方差為的正態(tài)分布，即。用Y減去其均值并除以其標(biāo)準(zhǔn)差，對其進(jìn)行標(biāo)準(zhǔn)化，即，計算。

設(shè)c1和c2代表兩個數(shù)，且，又設(shè)，。那么，多元正態(tài)分布（Multivariatenormaldistribution）：正態(tài)分布可用來描述一組隨機(jī)變量的聯(lián)合分布，這種分布被稱為多元正態(tài)分布。如果只考慮兩個變量，那么就稱其為二元正態(tài)分布（Bivariatenormaldistribution）。多元正態(tài)分布具有三個重要性質(zhì)：如果X和Y服從協(xié)方差為的二元正態(tài)分布，且a和b為常數(shù)，那么aX+bY也服從正態(tài)分布，即：（X、Y為二元正態(tài)分布）

或者說，如果n個隨機(jī)變量都服從多元正態(tài)分布，那么這些變量的任何線性組合也都服從正態(tài)分布。如果一組變量都服從正態(tài)分布，那么每個變量的邊緣分布也都是正態(tài)的。如果服從多元正態(tài)分布的變量間的協(xié)方差為0，那么這些變量就是獨立的。分布（可以直接從獨立標(biāo)準(zhǔn)正態(tài)隨機(jī)變量推導(dǎo)出來）。令為n個獨立隨機(jī)變量，且都服從標(biāo)準(zhǔn)正態(tài)分布。定義一個新隨機(jī)變量為的一個平方和：

則，其中n為自由度（df)。2.卡方分布:

在統(tǒng)計學(xué)和計量經(jīng)濟(jì)學(xué)中，當(dāng)我們檢驗?zāi)愁惣僭O(shè)是，經(jīng)常會用到卡方分布。卡方分布（Chi-squaredistribution）：是m個獨立標(biāo)準(zhǔn)正態(tài)分布的平方和的分布。這個分布依賴于m，m為卡方分布的自由度。例子：令是獨立的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量，那么3.學(xué)生t分布學(xué)生t分布（Studenttdistribution），是兩個因素之比的比率分布，其自由度為m。其中，分子是一個標(biāo)準(zhǔn)正態(tài)分布，分母是一個自由度為m的獨立卡方分布的隨機(jī)變量除以m之后的平方根。數(shù)學(xué)表達(dá)式：比如，設(shè)Z是個標(biāo)準(zhǔn)正態(tài)隨機(jī)變量，W是個服從自由度為m的卡方分布的隨機(jī)變量，并設(shè)Z和W是獨立分布的，那么，注意：學(xué)生t分布的形狀與正態(tài)分布的鐘形密度曲線相似，但當(dāng)m較小時（20或更?。?，它的尾巴的概率較大。也就是說，它是個比正態(tài)分布“更肥尾”的鐘形分布。4.F分布:統(tǒng)計學(xué)和計量經(jīng)濟(jì)學(xué)中的另一個重要分布。F分布（Fdistribution），一般用表示，它等于兩個隨機(jī)變量的比率的分布，其分子是一個自由度為m的卡方分布的隨機(jī)變量除以m，其分母是一個自由度為n的獨立的卡方分布的隨機(jī)變量除以n。數(shù)學(xué)表達(dá)式：比如，W代表一個服從卡方分布的隨機(jī)變量，其自由度為m，令V代表一個自由度為n的卡方分布的隨機(jī)變量，其中W和V是相互獨立的，那么，即，分子的自由度為m，分母的自由度為n。注意：在統(tǒng)計學(xué)和計量經(jīng)濟(jì)學(xué)上分布兩個重要的特例：當(dāng)分母自由度足夠大是，分布逼近分布。在這個特例中，分母隨機(jī)變量V是無數(shù)多卡方分布隨機(jī)變量的均值，且均值為1。因為一個標(biāo)準(zhǔn)正態(tài)分布隨機(jī)變量平方的均值還是1。1.5隨機(jī)抽樣幾樣本均值1.隨機(jī)抽樣簡單隨機(jī)抽樣（SimpleRandomVariable）：從總體（Population）中隨機(jī)選擇n個個體，并且總體中的每個個體等可能的包含在樣本中。

由于包含在樣本中的個體是隨機(jī)選擇的，因此觀測值本身也是隨機(jī)的。獨立同分布抽樣獨立同分布（IndependentlyIdenticallyDistribution，i.i.d.）：當(dāng)取自一個同一個分布并且是獨立的，則稱它們?yōu)楠毩⑼植蓟騣.i.d.。同分布（IdenticallyDistribution）：由于是從同一個總體中隨機(jī)抽取的，因此對每個

而言，的邊緣分布都是相同的，那么稱是同分布的。獨立分布（IndependentlyDistribution）：

在簡單隨機(jī)抽樣下，的值并不能提供關(guān)于的信息，那么稱與

是獨立分布。重要概念四：簡單隨機(jī)抽樣和i.i.d.隨機(jī)變量

在一個簡單的隨機(jī)樣本中，從總體中隨機(jī)抽取n個個體，并且每個個體等可能的被抽到。對于第i個被隨機(jī)抽到的個體而言，用表示隨機(jī)變量Y的。由于每個對象等可能的被抽取，并且對于所有的i而言，的分布是相同的，因此隨機(jī)變量

是獨立同分布的（i.i.d.）。也就是說，對于所有而言，的分布是相同的，并且是獨立于，其他結(jié)論以此類推。2.樣本均值的抽樣分布樣本均值：n個觀測值的樣本平均數(shù)的計算公式如下：樣本均值的均值、方差和標(biāo)準(zhǔn)差為1.6抽樣分布的大樣本逼近1.大數(shù)定律與一致性大數(shù)定律（LawofLargeNumber）：在一般條件下，當(dāng)n很大是，

將會以非常高的概率接近于。大數(shù)定律有時又被稱為“均值定律”，當(dāng)大量均值相同的隨機(jī)變量放在一起取平均數(shù)時，大的數(shù)值平衡了小的數(shù)值，而且它們的樣本均值接近于它們的共同均值。例子：假設(shè)股票上漲為還是不上漲，如果第i個隨機(jī)選擇的股票上漲那么令，否則。由于這兒使用的是貝努利分布，因此是獨立同分布的。一致性（consistency）：隨著n的增大，一不斷增大的概率接近于，這一性質(zhì)被稱為依概率收斂與（convergenceinProbability)，或更精確地稱為一致性（consistency）重要概念五：依概率收斂、一致性和大數(shù)定律

對任意的嘗試c>0，隨著n的增大，如果位于區(qū)域內(nèi)的概率任意地接近于1，那么我們就說樣本均值依概率收斂與（或等價地，與是一致的），記為

大數(shù)定律指出：如果

是獨立同分布的，且

，，那么。2.中心極限定理中心極限定理（CentralLimitTheorem，CLM)：在一般條件下，當(dāng)n足夠大時，的分布可充分地逼近正態(tài)分布。問題：n必須多大？

答案是“依情況而定”。正態(tài)近似的質(zhì)量好壞依賴于構(gòu)成均值對基本元素的分布。如果本身服從正態(tài)分布，那么對于所有的n來說，精確地服從正態(tài)分布；相反，如果本身服從一個與正態(tài)分布相差甚遠(yuǎn)的分布，那么這種近似可能要求n=30或更大。

例子重要概念六：中心極限定理

假設(shè)是獨立同分布，且，，其中，。當(dāng)時，（其中，）的分布會被標(biāo)準(zhǔn)正態(tài)分布很好地近似替代。1.估計量及其性質(zhì)1.7總體均值的估計重要概念：估計量和估計值估計量（Estimator）是從一個總體中隨機(jī)抽取出來的樣本數(shù)據(jù)的函數(shù)。

注意：由于樣本選擇的隨機(jī)性，估計量是隨機(jī)變量，而估計值是非隨機(jī)的數(shù)值。估計值（Estimate）是利用特定樣本數(shù)據(jù)實際計算出來的估計量的數(shù)值。估計量：用樣本平均數(shù)來估計是一種很常用的方法。但它不是唯一的方法。例如，可以簡單地用第一個觀測值來估計。問題：怎樣判定一個估計量“好”于另一個估計量呢？

答案：估計量三個特定的理想性質(zhì)：無偏性（缺少偏差)、一致性和有效性。無偏性：估計量的一個理想性質(zhì)就是它的抽樣分布的均值等于，如果這樣，就稱估計量是無偏的。用數(shù)學(xué)表達(dá)，假設(shè)表示的某個估計量，如。如果，那么估計量是無偏的。其中，的抽樣分布的均值，否則，是有偏的。一致性：當(dāng)樣本容量很大時，由樣本的隨機(jī)變化所引起的值的不確定性很小?；蛘哒f，當(dāng)樣本量增大時，它在真值附近很小區(qū)間內(nèi)的概率接近于1，即是一致的。方差與有效性：假如有兩個備選的估計量，而且它們都是無偏的，那么請問如何在它們之間做出選擇？方差與有效性：選擇抽樣分布最密集的估計量，即，在之間選擇方差最小的那個估計量。如果，的方差比小，那么稱更有效。

設(shè)的估計量，那么：重要概念七：偏差、一致性和有效性的偏差（bias）為；如果，那么的無偏估計量（unbiasedestimator）；如果，那么的一致估計量（consistentestimator）；如果的另一個估計量，并假設(shè)都是無偏的。如果，那么更有效（efficient)。2.的性質(zhì)問題：單用偏差、一致性和有效性這三個標(biāo)準(zhǔn)進(jìn)行判斷時，作為的估計量表現(xiàn)如何？偏差和一致性：由于，以及由大數(shù)定律可得，因此，是無偏一致估計量。有效性：需要設(shè)定與相比較的一個或幾個估計量。譬如，，其，并且最佳線性無偏估計（BestlinearUnbiasedEstimator，BLUE)

是的加權(quán)平均計算出來的無偏估計中最有效的估計量，即為BLUE。也就是說，它是所有與呈線性函數(shù)且又是無偏的估計量中最有效（最佳）的估計量。重要概念八：的有效性：是最佳線性無偏估計量假設(shè)的一個估計量，是的加權(quán)平均值，即其中，是非隨機(jī)變量。如果是無偏的，那么除非。這樣就是最佳線性無偏