《隨機過程》課件第1章

第1章概率論補充知識1.1概率空間1.2隨機變量1.3特征函數(shù)1.4多元正態(tài)分布1.5隨機變量序列的收斂性1.6隨機變量函數(shù)的分布1.7條件數(shù)學期望習題一

概率論基礎知識點是隨機過程的基礎，為此本章對其作扼要復習，以加深對概率論基本概念的理解，同時補充了特征函數(shù)、多維正態(tài)分布、多維隨機向量變換和條件數(shù)學期望等知識，為學習隨機過程作準備。

1.1概率空間

在大學的概率論課程中，已經對古典概型和幾何概型這兩種特殊類型定義了概率。在古典概型中，要求試驗的可能結果是有限個且具有等可能性；對于幾何概型，雖然試驗的可能結果是無窮多個，但仍要求具有某種等可能性。然而，實際問題中大量的隨機試驗結果并不屬于這兩種類型，因此很有必要對一般的隨機現(xiàn)象給出一個明確的數(shù)學定義。

這個問題經過人們長期探討，并且隨著測度論和積分理論的日益發(fā)展，終于由前蘇聯(lián)數(shù)學家柯爾莫哥洛夫(Колмогоров)，在1933年30周歲時給出了概率論的公理化體系，明確了事件、概率等基本概念，從而使概率論成為一個嚴謹?shù)臄?shù)學分支。

一般把滿足上述條件的集F

稱為－σ域，所以事件域是一個σ－域，它具有下列性質:

(1)空集?∈F

;

(2)若對?n=1，

2，…，

An∈F

，則它們的交集

An=F

;

(3)若A，

B∈F

，則A與B的差A-B∈F

。

事件的發(fā)生有概率。設P(A)表示事件A發(fā)生的概率，作為概率它需要滿足一定的條件。

定義1.1.2設Ω是樣本空間，

F

是Ω

的一個事件域，定義在F

上的實值函數(shù)P(A)如果滿足以下條件：

(1)非負性：

?A∈F

，有P(A)≥0;

(2)歸一性：

P(Ω)=1;

(3)可列可加性：若對?n=1，

2，…，

An

∈F

，且對?i≠j，

AiAj=?;則有

則稱P是定義在二元組(Ω

，

F

)上的概率，而稱P(A)為事件A的概率。

至此，我們引進了概率論中的三個基本概念：樣本空間Ω

，事件域F

和概率P。它們是描述一個隨機試驗的三個基本組成部分，把三者結合起來，我們稱這三元有序總體(Ω

，

F

，P)為概率空間。在實際問題中，如何確定樣本空間Ω

，如何選取事件域F

，又如何在F

上定義概率P，要視具體情況而定。但在一般的研究中，我們總認為它們是預先給定的。概率論、隨機過程、數(shù)理統(tǒng)計中全部的結論都是建立在概率空間之上的。

設(Ω，

F

，

P)為概率空間，則概率P有如下性質:

(1)P(?)=0;

(2)有限可加性:若對?i=1，

2，…，

n，

Ai

∈

F

，且對?i≠j，

AiAj=?，則有

(3)可減性:若A∈F

，

B∈F

，且A?B，則有P(B-A)=P(B)-P(A);

(4)單調不減性:若A∈F

，

B∈F

，且A?B，則有P(A)≤P(B);

(5)次可加性：對?n=1，

2，…，

An

∈F

，有

(6)加法公式：對任意的Ak

∈F

(k=1，

2，…，

n)，有

當事件兩兩不相交時，有

加法公式對n=∞也成立。

1.1.2條件概率空間

定義1.1.3設(Ω，

F

，

P)是一已知的概率空間，

B∈F

滿足P(B)>0，定義

則P(·|B)是定義在F

上的一個概率，稱為在給定事件B的條件下的條件概率。

下面給出條件概率本身所具有的特殊性質。

(1)設(Ω，

F

，

PA

)是一條件概率空間，

B

∈F

，且PA(B)>0，則有

PA(C|B)=P(C|AB)=PAB(C)

即在條件概率空間(Ω，

F

，

PA

)上所定義的條件概率PA

(C|B)就等于在(Ω，

F

，

P)上構成的新的條件概率空間(Ω，

F

，

PAB)上的條件概率。

(2)(乘法公式)設Ω，

F

，

P)是一概率空間，

Ai

∈F

(i=1，

2，…，

n)，且P

(A1A2

…An-1)>0，則有

(3)(全概率公式)設A∈F，

Bi∈F

(i=1，

2，…)，若?i≠j，

BiBj=?，

Bi?A，P(Bi)>0，則

(4)(Bayes公式)設A∈F，

Bi∈F

(i=1，

2，…)滿足(3)中條件，且P(A)>0，則

1.1.3事件的獨立性

定義1.1.4設A

i∈F

(i=1，

2，…，

n)是概率空間(Ω，

F，

P)中的n個事件，若對任意的m(1≤m≤n)及任意的1≤k1<k2

<…<km≤n，都有

則稱事件A1

，

A2

，…，

An

是相互獨立的。

顯然，若A1

，

A2

，…，

An相互獨立，則A1

，

A2

，…，

An中的任意兩個都是獨立的(稱之為兩兩獨立);反之，若A1

，

A2

，…，

An兩兩獨立，則未必有A1

，

A2

，…，

An相互獨立。讀者不難構造反例說明。

以下定理給出相互獨立事件的一個充要條件。

定理1.1.1設Ai∈F

(i

=1，

2，…，

n)，則A1

，

A2

，…，

An相互獨立的充要條件是下列2n個式子成立：

定理的證明請讀者自己給出，或者參考概率論方面的教材。

1.2隨機變量

1.2.1隨機變量與隨機向量隨機變量以數(shù)量的形式來描述隨機現(xiàn)象，這給理論研究和數(shù)學運算都帶來了很大的方便。設Ω是某一隨機試驗的樣本空間，如果對每個ω∈Ω有一實數(shù)與之對應，就得到一個定義在Ω上的實值函數(shù)X

(ω

)。我們不僅關心X(ω)取什么值，而且還關心它取不同值的概率大小。

例如希望知道集{ω：X

(ω)≤x}的概率，其中

x是任一實數(shù)，以后為簡便計，常將{ω：X

(ω)≤x}簡記為{X(ω)≤x}或{X≤x}。因為我們只在事件上定義了概率，討論{X(ω)≤x

}的概率，當然要求{X(ω)≤x}是事件。由此，我們引入如下定義。

定義1.2.1設(Ω，

F

，

P)是一概率空間，

X

(ω

)是定義在Ω

上的單值實函數(shù)，如果對任一實數(shù)

x，{X≤x}∈F，則稱X

為(Ω，

F

，

P)上的一個隨機變量，進而，稱F

(x

)=P{X

≤x

}為隨機變量X的分布函數(shù)。

不難看出，隨機變量X的分布函數(shù)F(x)具有以下三個基本性質:

(1)單調不減性:即若x<y，則F(x)≤F(y);

(2)右連續(xù)性:即對任意x∈R1，

F(x+0)=F(x)；

(3)記F(-∞)

還可以證明，滿足上述三個性質的函數(shù)F(x)，必定是某個概率空間上某個隨機變量的分布函數(shù)。因此，我們也稱滿足以上三個條件的函數(shù)為分布函數(shù)。這樣，我們也可以直接討論分布函數(shù)，而不具體指明相應的概率空間。

有些隨機試驗的結果同時涉及到多個隨機變量，我們不但要考察其中每個隨機變量的性質，還要研究它們之間的聯(lián)系。這就引出隨機向量的概念。

定義1.2.2設(Ω，

F

，

P)是一概率空間，

X1

(ω)，

X2(ω

)，…，

Xn(ω)是定義在這個概率空間上的n

個隨機變量，稱X

(ω

)=(X1

(

ω)，

X2

(ω

)，…，

Xn(ω))為(Ω，

F，

P)上的一個n

維隨機向量。

n維隨機向量取值于n維實空間Rn

。

對于n

個實數(shù)x1

，

x2

，…，

xn

，由于

所以談論它的概率是有意義的。

定義1.2.3設X=(X1

，

X2

，…，

Xn

)是概率空間(Ω，

F，

P)上的n

維隨機向量，稱n元函數(shù)

F

(x1

，

x2

，…，

xn

)=P{X1≤x1

，

X2≤x2

，…，

Xn≤xn}

為隨機向量X=(X1

，

X2

，…，

Xn

)的分布函數(shù)，也稱之為隨機變量X1

，

X2

，…，

Xn

的聯(lián)合分布函數(shù)。

若隨機向量X=(X1

，

X2

，…，

Xn

)只取有限個或可列個不同的向量值，則稱X為離散型隨機向量。設X=(X1

，

X2

，…，

Xn

)的所有可能值為(x1i1，

x2i2，…，

xnin)，

i1，

i2

，…，

in=1，

2，…，則稱概率

為X=(X1

，

X2

，…，

Xn

)的分布律。它具有如下性質:

若存在n元非負Lebesgue可積函數(shù)p

(x1

，

x2

，…，

xn

)，使

則稱X=(X1

，

X2

，…，

Xn

)為連續(xù)型隨機向量，函數(shù)p(

x1

，

x2

，…，

xn)稱為X

的n

維概率密度函數(shù)。它滿足如下性質:

另知，

X

是離散(連續(xù))型隨機向量當且僅當它的每個分量都是離散(連續(xù))型的。

1.2.2隨機變量的獨立性

以下定義將事件的相互獨立性推廣到隨機變量的相互獨立性。

定義1.2.4

設X1

，

X2

，…，

Xn是定義在同一個概率空間(Ω，

F，

P)上的n個隨機變量，若對于任意的n個實數(shù)x1

，

x2

，…，

xn均有

P{X1≤x1，

X2≤x2，…，

Xn≤xn}=P{X1≤x1}P{X2≤x2}…P{Xn≤xn}

則稱n個隨機變量X1

，

X2

，…，

Xn是相互獨立的。

設X1

，

X2

，…，

Xn的分布函數(shù)分別為F1

(x)，

F

2

(x)，…，

Fn

(x)，它們的聯(lián)合分布函數(shù)為F

(x1

，

x

，…，

xn

)，則上式等價于

F

(x1

，

x2

，…，

xn)=F1(x1)F2(x2)…Fn(xn)

下面分別給出離散型隨機變量和連續(xù)型隨機變量相互獨立的充要條件。

定理1.2.1

設X1

，

X2

，…，

Xn是離散型隨機變量，則X1

，

X2

，…，

Xn相互獨立的充要條件是:對任意的i

1

，

i2

，…，

in，有

定理1.2.2

設

X1

，

X2

，…，

Xn是連續(xù)型隨機變量，

p

(x1

，

x2

，…，

xn

)及p1

(x)，p2(x)，…，

pn

(x)分別為它們的聯(lián)合概率密度函數(shù)及X1

，

X2

，…，

Xn

的概率密度函數(shù)，則X1

，

X2

，…，

Xn互獨立的充要條件是下式幾乎處處成立:

還可以證明:

(1)若隨機變量X1

，

X2

，…，

Xn相互獨立，則其中任意m(2≤m≤n)個隨機變量也相互獨立;

(2)若隨機變量X1

，

X2

，…，

Xn相互獨立，

g1

(x)，

g2

(x)，…，

gn

(x)是n

個Borel可測函數(shù)，則隨機變量g1

(X1

)，

g2

(X2

)，…，

gn

(Xn)也是相互獨立的。

1.2.3隨機變量的數(shù)字特征

用一個函數(shù)來描述隨機變量，對幫助我們理解還不夠。本小節(jié)引入一些數(shù)字來描述隨機變量與隨機向量。

定義1.2.5設F(x)是隨機變量X

的分布函數(shù)，若

則稱為隨機變量X

的數(shù)學期望，記為E(X)。

這里用到的積分是Riemann-Stieltjes積分。若X為離散型隨機變量:p(X=xk)=pk

，k=1，

2，

3，…，則

因此，

E(X)表示X取值的一種平均值，稱為概率平均值;X為連續(xù)型隨機變量時，情況亦如此。

定理1.2.3設F

(x

)為隨機變量X

的分布函數(shù)，函數(shù)g(x)滿足則隨機變量Y=g

(X

)的數(shù)學期望E[g(X)]存在，且

這個定理的證明要用到較深的數(shù)學知識，這里從略。讀者可參閱參考文獻[4]。

對于函數(shù)g

(x

)=(x-E(X))2

，若g

(X

)的數(shù)學期望存在，則稱X

的方差存在，且記方差為D(X

)，即

方差表示X

取值的分散程度，方差越大越分散。

定理1.2.3可以推廣到隨機向量的場合。設F

(x1

，

x2

，…，

xn

)為隨機向量X=(X1

，

X2

，…，

Xn)的分布函數(shù)，

g

(x1

，

x2

，…，

xn

)為一n元函數(shù)，若

則隨機變量Y=g

(X1

，

X2

，…，

Xn)的數(shù)學期望存在，且

對隨機變量X及Y，設它們的數(shù)學期望都存在，定義g(x，

y)=(x-E(X))(y-E(Y))，若Eg(X，

Y)存在，則稱之為X

與Y

的協(xié)方差，并記為cov(X

，

Y

)，即

定理1.2.4

(1)(切比雪夫不等式)設X

為任一具有有限方差的隨機變量，

ε>0，則

(2)(Cauchy-Schwarz不等式)設X、Y為概率空間(Ω，

F

，

P)上的兩個隨機變量，若E(X2)<+∞，

E(Y2)<+∞，則E(XY)存在，且

證明(1)設F(x)是X

的分布函數(shù)，則

(2)對任意的實數(shù)x

，由于

從而x的一元二次方程g(x

)=0或者沒有實根，或者有二重根。故判別式

即

1.3特征函數(shù)

我們知道，隨機變量的分布函數(shù)完全描述了隨機變量的統(tǒng)計規(guī)律，但是，若用分布函數(shù)來解決，有的問題并不一定容易，于是需要考慮引進有效的數(shù)學工具，其中之一是特征函數(shù)。特征函數(shù)有時對于計算隨機變量的矩以及求獨立隨機變量和的分布函數(shù)特別方便，在極限定理的研究中，它也發(fā)揮了重要的作用。

如果X、Y的數(shù)學期望EX、EY存在，則定義復隨機變量Z=X+jY的數(shù)學期望為EZ=EX+jEY。

而兩個復隨機變量Z1=X1+jY1

，

Z2=X2+jY2

的協(xié)方差定義為

特別地，

D(Z)=cov(Z，

Z)=E[|Z-EZ|2

]。

關于實隨機變量數(shù)學期望及協(xié)方差與方差的一些性質，對復隨機變量也成立，這里不再一一列出。

定義1.3.2設隨機變量X的分布函數(shù)為FX

(x)，則將X

的特征函數(shù)定義為

由于對任意t∈R1

，

|ejtx|=1，故E

[ejtX]總是存在的，即任一隨機變量的特征數(shù)總是存在的。

若X為離散型隨機變量，其分布律為pk=P{X=xk}，

k=1，

2，…，則

若X

為連續(xù)型隨機變量，其概率密度函數(shù)為p

(x)，則

這樣，特征函數(shù)可由其概率密度函數(shù)的Fourier變換得到fX

(t

)=F[p(x)](-t

)，其中F

表示Fourier變換。

例1.3.1設X服從參數(shù)為λ的Poisson分布，求其特征函數(shù)。

解

例1.3.2設X服從N(0，

1)，求其特征函數(shù)。

解

特征函數(shù)具有如下的一些性質。

性質1.3.1設f

(x

)是特征函數(shù)，則

證明設f(t)是X

的特征函數(shù)，則由其定義可得

性質1.3.2特征函數(shù)f

(t

)在(-∞，

∞)上一致連續(xù)。

證明設f(t

)是X

的特征函數(shù)，

X的分布函數(shù)為F(x

)，則

對于任意給定的ε>0，選取足夠大的A，使得

因此對t

一致地有|f(t+h)-f(t)|<ε

，即f(t)在(-∞，

∞)上一致連續(xù)。

性質1.3.3特征函數(shù)f(t

)是非負定的，即對任意的自然數(shù)

n，實數(shù)t1，

t2

，…，

tn

及復數(shù)a1

，

a2，…，

an

，有

證明

性質1.3.6若隨機變量X的n階矩存在，則它的特征函數(shù)n次可導，且

證明

由于X的n階矩存在，故

而X的特征函數(shù)為

又

故以下的微分與積分可交換次序:

若知道了X的特征函數(shù)，用以上性質求X的各階矩是很方便的。

1.3.2唯一性定理

由特征函數(shù)的定義知，隨機變量的分布函數(shù)唯一地確定了它的特征函數(shù)，反之，由特征函數(shù)能否唯一地確定分布函數(shù)呢?結論是肯定的。

定理1.3.1(唯一性定理)隨機變量的分布函數(shù)與特征函數(shù)是一一對應的，即可相互唯一確定。特別地，若特征函數(shù)f(t

)絕對可積，即則相應的分布函數(shù)是

連續(xù)型的，且f(t

)與密度函數(shù)p(x)之間有如下的關系式:

即在特征函數(shù)絕對可積的條件下，概率密度函數(shù)與特征函數(shù)構成一個Fourier變換對。

對于離散型隨機變量的特征函數(shù)，注意到離散型分布函數(shù)的特點可知，如果特征函數(shù)f

(t)可表示成如下形式:

其中，

xk

為實數(shù)，pk

為正數(shù)，且=1，則f(t)對應于離散型分布函數(shù)，其分布律為

上面用分布函數(shù)來描述、刻畫特征函數(shù)。那么，撇開分布函數(shù)，什么樣的函數(shù)可以成為特征函數(shù)呢?以下兩個定理討論這一問題。

定理1.3.2(Bochner-辛欽)函數(shù)f(t)是特征函數(shù)的充要條件為:f(t)是連續(xù)非負定的，且f(0)=1。

Bochner-辛欽定理是特征函數(shù)的一個重要定理。另一個是下面的Herglota定理。首先，對應于非負定函數(shù)的定義，我們定義非負定數(shù)列。

定義1.3.3復數(shù)列{cn|n=0，

±1，

±2，…}稱為是非負定的，如果對任意的正整數(shù)n及復數(shù)a1

，

a2

，…，

an

，有

定理1.3.3(Herglotz)數(shù)列{cn|n=0，

±1，

±2，…}可以表示為

的充要條件為它是非負定的，其中G

(x

)是[-π，

π]上的有界非降的右連續(xù)函數(shù)。

1.3.3多元特征函數(shù)

設n維隨機向量(X1

，

X2

，…，

Xn

)的分布函數(shù)為F

(x1

，

x2

，…，

xn)，與一維隨機變量的特征函數(shù)類似，定義它的特征函數(shù)為

與一維隨機變量的特征函數(shù)類似，有唯一性定理，且有類似的性質。下面給出多元特征函數(shù)f(t1

，

t2，…，

tn)的一些性質:

性質1.3.7

性質1.3.8(線性性)設X=(X1

，

X2

，…，

Xn

)的特征函數(shù)為fX

(x)=fX

(x1

，

x2

，…，

xn)，

A為一n×m矩陣，

b=(b1

，

b2

，…，

bn

)，則m維隨機向量Y=(Y1

，

Y2

，…，

Yn)=XA+b的特征函數(shù)為

特別地，若a1，

a2，…，

an

，

b為任意常數(shù)，則Y=a1X1+a2X2+…+anXn+b的特征函數(shù)為

更特別地，

Y=X1

，

X2

，…，

Xn的特征函數(shù)為fY

(t

)=f(t，

t，…，

t)。

證明:

性質1.3.9設(X1

，

X2

，…，

Xn)的特征函數(shù)為f(

t1，

t2，…，

tn)，則對k≤n，

k維隨機向量(X1

，

X2

，…，

Xnk

)的特征函數(shù)為

對(X1

，

X2

，…，

Xn)中任意k個分量構成的k維隨機向量(Xi1，

Xi2，…，

Xik)，其特征函數(shù)可類似地得到。

性質1.3.10設(X1

，

X2

，…，

Xn)的特征函數(shù)為f(

t1

，

t2

，…，

tn)，而Xk

的特征函數(shù)為fXk(t)，

k=1

，

2

，…，

n，則X1

，

X2

，…，

Xn相互獨立的充要條件為

性質1.3.11

例1.3.4設X、Y相互獨立，且

故由性質1.3.6得

(2)因為X、Y相互獨立，故由性質1.3.8和1.3.10可得Z的特征函數(shù)為

故由唯一性定理知

Z的概率密度函數(shù)為

1.4多元正態(tài)分布

正態(tài)分布在概率論中扮演極為重要的角色：一方面，在實際問題中許多隨機變量服從或近似服從正態(tài)分布;另一方面，正態(tài)分布有許多良好的分析性質。

1.4.1定義與特征函數(shù)

我們知道，二維正態(tài)隨機向量(X1，

X2)~N

的聯(lián)合概率密度函數(shù)為

記

則由

可得

一般地，

n維正態(tài)分布的定義如下。

定義1.4.1設B

為一n階實正定矩陣，

B-1是它的逆矩陣，μ為一實值n維行向量，則以

為概率密度函數(shù)的概率分布稱為n維正態(tài)分布，記為X~N(μ，

B)。

在一元正態(tài)分布中，標準正態(tài)分布(均值為0，方差為1)起著重要作用。那么，一般的多元正態(tài)分布與一元標準正態(tài)分布有什么關系呢?

引理1.4.1設X~N(μ，

B)，則存在n階正交矩陣T，使得

為n維相互獨立的正態(tài)隨機向量，即Y1

，

Y2

，…，

Yn

相互獨立，且Yk~N(0，

λk

)，其中λk>0為B的特征值。

證明由于B

是正定矩陣，故由線性代數(shù)知識知存在正交矩陣T

，使得

其中λk>0(k=1，

2，…，

n)為B的特征值，令Y=(X-μ)T

，由于此線性變換的Jacobi行列式

又

故

n維正態(tài)向量的特征函數(shù)由以下定理給出。

定理1.4.1設n維隨機向量X~N(μ，

B)，則其特征函數(shù)為

其中t=(t1

，

t2

，…，

tn)。

證明由引理1.4.1知，存在正交矩陣T

，使得

故由特征函數(shù)的性質知

因此由多元特征函數(shù)的性質1.3.8及X=μ+YT'得

性質1.4.2設X=(X1

，

X2

，…，

Xn)服從n維正態(tài)分布N

(μ，

B)，則μ和B分別為n維隨機向量X

的均值向量和協(xié)方差矩陣，即

證明由性質1.4.1知Xk~N(μk，

bkk

)，因此，

μi=EXi且bii=D(Xi)，

i=1，

2，…，n。從而由Cauchy-Schwarz不等式知X的協(xié)方差矩陣存在，且由

得

性質1.4.2說明，

n維正態(tài)分布由它的一階和二階矩完全確定。

性質1.4.3設X=(X1

，

X2

，…，

Xn)服從n維正態(tài)分布N(μ，

B)，則X1

，

X2

，…，

Xn相互獨立的充要條件為它們兩兩不相關，即B為對角矩陣。

證明

(必要性)顯然;

(充分性)設X1

，

X2

，…，

Xn兩兩不相關，則對?i≠k

，

bik=cov(Xi

，

Xk)=0;因此(X1

，

X2

，…，

Xn)的特征函數(shù)為

故由多元特征函數(shù)的性質1.3.10知，

X1

，

X2

，…，

Xn相互獨立。

性質1.4.5設n維隨機向量X服從n維正態(tài)分布N(

μ，

B)，而C為任一n×m矩陣，則Y=XC服從m維正態(tài)分布N(μC，C‘BC)。

證明因為對任意m維實值行向量t，有

這說明Y服從m維正態(tài)分布N(μC，C’BC)。

性質1.4.5表明正態(tài)變量在線性變換下還是正態(tài)變量，這個性質稱為正態(tài)變量的線性變換不變性。

例1.4.1設四維隨機向量X=(X1

，

X2

，

X3

，

X4

)~N(μX

，

BX

)，其中

(1)求出(X1

，

X2

)的分布;

(2)求出Y=(2X1

，

X1

+2X2

，

X3

+X4

)的分布。

解

(1)(X1

，

X2

)服從均值向量(2，

1)，協(xié)方差矩陣

的二維正態(tài)分布。

(2)由于

故Y

服從三維正態(tài)分布Y~N(μY，

BY)，其中

1.5隨機變量序列的收斂性

本節(jié)介紹隨機變量序列的四種收斂性以及連續(xù)性定理。1.5.1隨機變量序列的收斂性

1.幾乎肯定收斂定義1.5.1設Xn

，

n=1，

2，…及X

為定義在同一概率空間(Ω，

F，

P)中的隨機變量，如果P

[limn→∞Xn=則稱{Xn

}以概率1收斂于X，或稱{Xn

}幾乎肯定收斂于X

，記為Xna.s.

定理1.5.2設{Xn

}和X

是概率空間(Ω，

F

，

P)中的隨機變量，則

證明由數(shù)學分析的知識易知:Xn→X?對任意的ε>0，存在自然數(shù)n

，使當i≥n時，恒有|Xi-X|<ε?對任意的自然數(shù)k

，存在自然數(shù)n，使當i≥n時，恒有

定理從而成立。

定義1.5.2設Xn

，

n=1，

2，…及X為定義在同一概率空間(Ω，

F，

P)中的隨機變量，如果對?ε>0，有

P[|Xn

-X|≥ε]=0，則稱{Xn

}依概率收斂于X，記為Xn

P→X。

注意，依概率收斂與幾乎肯定收斂的概念是完全不同的。依概率收斂是指對任意的ε>0，事件列{|Xn

-X|≥ε}發(fā)生的概率當n→+∞時以0為極限，也就是說，事件{|Xn

-X|≥ε}在n無限增大時，其發(fā)生的可能性越來越小。

定理1.5.3

證明由定理1.5.2知

又因為

定理1.5.3之逆不真，即依概率收斂未必幾乎肯定收斂(反例可見參考文獻[3])，但有下面的結果。

所以對于每一個自然數(shù)k，存在一個自然數(shù)nk

，使得當n≥nk

時，恒有

可以假設n1<n2<…<nk<…，于是{Xnk}是{Xn}的一個子列，且對任意的ε>0，有

由于上式對一切充分大的k0

都成立，故

從而由定理1.5.2知，

盡管依概率收斂弱于幾乎肯定收斂，但與定理1.5.1相同，依概率收斂下的極限也是唯一的。

盡管{Fn

(x)}是分布函數(shù)列，但F(x)未必是分布函數(shù)。例如，分布函數(shù)列

弱收斂于F(x)≡0。

但如果F(x)也是分布函數(shù)，則引入如下定義。

證明設{Fn

(x)}及F(x)分別為隨機變量{Xn

，

n=1，

2，…}及X的分布函數(shù)，因為對?ε>0，有

類似地可得

從而在F

(x

)的每一個連續(xù)點x處，有

4.r階收斂

定義1.5.5設Xn，

n=1，

2，…及X

為定義在同一概率空間(Ω，

F

，

P)中的隨機變量，滿足E[|Xn|r]<∞，

E[|X

|r

]<∞，

r>0為常數(shù)。若則稱{Xn}r階收斂于X，記為

對于r階收斂，

r值越高，條件越嚴格，即設0<s<r，若

(Horder不等式的推論)。以下定理是說，

r階收斂強于依概率收斂。

定理1.5.3的逆不成立，反例可見參考文獻[4]。在r階收斂中，最重要的是r=2的情形，這時稱為均方收斂，將在第3章詳細討論。

1.5.2連續(xù)性定理

有時直接判斷一個分布函數(shù)序列是否弱收斂并不容易，而判斷相應的特征函數(shù)序列的收斂性往往比較簡單。對此，有以下定理。

定理1.5.9(1)(正極限定理)設分布函數(shù)序列{Fn(x)}弱收斂于某一分布函數(shù)F

(x)，則相應的特征函數(shù)序列{fn(t)}收斂于F(x)的特征函數(shù)f(t)，且在t的任一有限區(qū)

間內收斂是一致的。

(2)(逆極限定理)設特征函數(shù)序列{Fn

(t)}弱收斂于某一函數(shù)f(t)，且f(t)在t=0處連續(xù)，則相應的分布函數(shù)序列{Fn(x)}收斂于某一分布函數(shù)F(x

)，而且f(t)是F(x)的特征函數(shù)。

這個定理的證明非常繁瑣，讀者可參閱有關概率論書籍。通常把正逆極限定理合稱為連續(xù)性定理，連續(xù)性定理在研究中心極限定理時很有用處。進而還有海萊定理。

定理1.5.10(海萊定理)設h

(x

)在(-∞，

+∞)上有界連續(xù)，{Fn

(x)}是一致有界非降函數(shù)列且弱收斂于有界非降函數(shù)F

(x)，則

1.5.3弱大數(shù)定律和強大數(shù)定律

大數(shù)定律是關于大量隨機現(xiàn)象平均結果穩(wěn)定性的定理。按收斂性的不同，大數(shù)定律分為弱大數(shù)定律和強大數(shù)定律兩種。

定義1.5.6設{Xn

，

n=1，

2，…}為定義在概率空間(Ω，

F

，

P)上的一列存在期望的隨機變量，如果

即對任意的ε>0，有

則稱{Xn

，

n=1，

2，…}服從弱大數(shù)定律，簡稱服從大數(shù)定律。

定義1.5.6說明，若{Xn

，

n=1，

2，…}服從弱大數(shù)定律，則其前n項算術平均與相應的統(tǒng)計平均之差依概率收斂于零。

定理1.5.11設{Xn

，

n=1，

2，…}為定義在概率空間(Ω，

F

，

P

)上的一列隨機變量，若對任意的自然數(shù)n

服從大數(shù)定律。

證明由切比雪夫不等式得

注:如果隨機變量序列{Xn

，

n=1，

2，

…}相互獨立，則

定理1.5.12

(辛欽大數(shù)定律)設{Xn

，

n=1，

2，…}是相互獨立同分布的隨機變量序列，則{Xn

，

n=1，

2，…}服從大數(shù)定律的充分條件為X1

有有限的數(shù)學期望。

定義1.5.7設{Xn

，

n=1，

2，…}為定義在概率空間(Ω，

F

，

P)上的一列存在期望的隨機變量，如果

則稱{Xn，

n=1，

2，…}服從強大數(shù)定律。

定義1.5.7說明，若{Xn

，

n=1，

2，…}服從強大數(shù)定律，則其前n項算術平均與相應的統(tǒng)計平均之差以概率1收斂于零。關于強大數(shù)定律，我們有以下兩個定理。

定理1.5.13(柯爾莫哥洛夫)設{Xn

，

n=1，

2，…}是相互獨立的隨機變量序列，且

則{Xn

，

n=1，

2，…}服從強大數(shù)定律。

定理1.5.14設{Xn

，

n=1，

2，…}是相互獨立同分布的隨機變量序列，則{Xn

，

n=1，

2，…}服從強大數(shù)定律的充要條件為X1有有限的數(shù)學期望。

特別地，記P=P(A)為事件A的概率，記Xn為事件A在第n次獨立重復試驗中發(fā)生的次數(shù)，則強大數(shù)定律是說

1.6隨機變量函數(shù)的分布

當隨機變量X的分布已知時，如何求它的某個函數(shù)g(X)的分布?一般地，當隨機向量(X1

，

X2

，…，

Xn

)的聯(lián)合分布已知時，如何求函數(shù)Y=g

(X1

，

X2

，…，

Xn

)的分布?更一般地，如何求Y

1=g

1(X1

，

X2

，…，

Xn)，

Y

2

=g

2(X1

，

X2

，…，

Xn

)，…，

Y

n

=g

n(X1

，

X2

，…，

Xn

)的聯(lián)合分布?下面就連續(xù)型隨機變量(向量)情形討論這些問題。請讀者考慮X1

，

X2

，…，

Xn為離散型時的情形。

1.6.1單個隨機變量函數(shù)的分布

設X為一連續(xù)型隨機變量，其概率密度函數(shù)為pX

(x)，有:

(1)若y=g(x)嚴格單調可微，其反函數(shù)為x=h(y

)，則Y=g(X)為連續(xù)型隨機變量，且其概率密度函數(shù)為

其中α=min{g(-∞)，

g(+∞)}，

β=max{g(-∞)，

g(+∞)}。

(2)若y=g(x)在不相重疊的區(qū)間I1，

I2，…，

In上逐段嚴格單調可微，且在每一段上的反函數(shù)依次為x=h1

(y)，…，

x=hn(y)，其中X的值域∈Ik，則Y=g(X)為連續(xù)型隨機變量，且其概率密度函數(shù)為

證明對于?y∈R，令Bk(y)={x∈Ik|g(x)≤y}，

k=1，

2，…，

n，則Bk(y)，

k=1，2，…，

n兩兩互斥，故有

例1.6.1

已知X~N(0，

σ2

)，c>0為常數(shù)，求Y=cX2

的概率密度函數(shù)。

解

y=cx2

的反函數(shù)在x≥0及x<0上分別為

于是

故

在實際計算時，經常不是套用以上的公式，而是運用以上證明的思路，下面幾個小節(jié)中的方法也如此。

1.6.2多個隨機變量函數(shù)的分布

設(X1

，

X2，…，

Xn)是連續(xù)型隨機變量，其概率密度函數(shù)為p

(x1

，

x2

，…，

xn

)，則Y=g(X1

，

X2，…，

Xn

)的分布函數(shù)為

其中事件[Y≤y]=[g(X1

，

X2，…，

Xn

)≤y]等價于(X1

，

X2，…，

Xn

)落在區(qū)域D={(x1

，

x2

，…，

xn

)|g

(x1

，

x2

，…，

xn

)≤y}內。特別地，當X和Y均是連續(xù)型時

(1)和X+Y的概率密度函數(shù)為

(2)商Z=X/Y的概率密度函數(shù)為

1.6.3二維隨機向量的變換

設(X，

Y)為二維連續(xù)型隨機向量，其概率密度函數(shù)為pX

，

Y(x，

y)，再設g(x，

y)和h(x，y)為兩個二元實值的連續(xù)函數(shù)，則由U=g(X，

Y)，

V=h(X，

Y)確定的二維隨機向量(U，V)稱為(X，

Y)的變換。若變換

分布函數(shù)為

這里

為變換的Jacobi行列式。從而U，

V的聯(lián)合概率密度函數(shù)為

例1.6.4已知X1

，

X2

相互獨立都服從標準正態(tài)分布，(y1，

y2

)為點(x1

，

x2

)的極坐標(極徑和極角):

求(Y1

，

Y2

)的概率密度函數(shù)，并討論Y1

與Y2

的相互獨立性。

解由于(X1

，

X2

)的概率密度函數(shù)為

因此，(Y1

，

Y2

)的概率密度函數(shù)為

1.7條件數(shù)學期望

1.7.1條件數(shù)學期望的定義

1.離散型情形設(X，

Y)為二維離散型隨機向量，其聯(lián)合分布律為對任意的j，若

則X在Y=yj

的條件下的條件分布律為

為X在Y=yj條件下的條件數(shù)學期望。

類似地，對任意的i

，若pi·=P(X=xi)

=

則Y在X=xi的條件下的條件分布律為

為Y在X=xi條件下的條件數(shù)學期望。

2.連續(xù)型情形

設(X，

Y)為二維連續(xù)型隨機變量，其聯(lián)合概率密度函數(shù)為p(x，

y)，對任意的y，若pY

(y)>0，則X在Y=y的條件下的條件概率密度函數(shù)為pX|Y

(x|y)=

若

為X在Y=y條件下的條件數(shù)學期望。

類似地，對任意的x，若pX

(x)>0，則Y

在X=x條件下的條件概率密度函數(shù)為

若

為Y在X=x條件下的條件數(shù)學期望。

例1.7.1設(X，

Y)的概率密度函數(shù)為

求E[X|y]。

1.7.2條件數(shù)學期望的性質

正如條件概率具有普通概率的全部性質一樣，條件數(shù)學期望也具有普通數(shù)學期望的所有性質，如

當y固定時，

E

[g(X)|y]是一個常數(shù)?，F(xiàn)在我們換一個觀點，把y看成自變量，則E[g(X)|y]是y

的函數(shù)，記為h

(y)，則h(Y)=E

[g(X)|Y]是隨機變量Y

的函數(shù)，它也是一個隨機變量，也可考慮其數(shù)學期望。

定理1.7.1對任意的隨機變量X，

Y，有