隨機過程概率論基礎(chǔ)上

隨機過程概率論基礎(chǔ)上第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第2頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第3頁,共125頁，2024年2月25日，星期天1.1概率空間樣本空間一個試驗（experiment）所有可能出現(xiàn)的結(jié)果的全體稱為樣本空間（samplespace），記為Ω.樣本點試驗的一個結(jié)果稱為樣本點（sample），記為ω，即Ω

={ω}.隨機事件樣本空間的某個子集稱為隨機事件，簡稱為事件（event）.第4頁,共125頁，2024年2月25日，星期天定義1.1.1

設(shè)Ω是樣本空間，F(xiàn)

是Ω的某些子集構(gòu)成的集合，如果（1）Ω∈F（2）若A∈F

,

則ā∈F（對差運算封閉）（3）若An∈F

,n=1,2,…,則

F（對并運算封閉）那么稱

F

為一事件域，也稱F

為σ域

顯然，如果

F

是一事件域，那么：

（1）?∈F

（2）若A,B∈F

，則A-B∈F

（3）若An

∈

F

，n=1,2,…則

F

1.1概率空間第5頁,共125頁，2024年2月25日，星期天1.1概率空間定義1.1.2設(shè)Ω是樣本空間，F(xiàn)是一事件域，定義在F上的實值函數(shù)P(?)，如果滿足

(1)（Nonnegativity，非負性）對F中的任意事件A，P(A)≥0

；

(2)（Normalization，歸一性）

P(Ω)=1；

(3)（Additivity，可列可加性）對F中任意事件An，n=1,2,…，AiAj=?,i≠j,i,j=1,2,…

，有

那么，稱P是二元組(Ω,F)上的概率（Probability），稱P(A)為事件A的概率，稱三元組(Ω,F,P)為概率空間（ProbabilitySpace）.第6頁,共125頁，2024年2月25日，星期天1.1概率空間概率空間（

Ω

,F

,P）第7頁,共125頁，2024年2月25日，星期天1.1概率空間概率的性質(zhì)(1)P(?)=0(2)若Ai∈F,i=1,2,,…,n，AiAj=?,i≠j,i,j=1,2,…,n，則

（有限可加性）(3)A,B∈F,A

B，則P(B-A)=P(B)-P(A)(4)A,B∈F,A

B，則P(A)≤P(B)(5)若An∈F,則

P(A)≤1(6)若An∈F,則≤1-P(A)(7)若An∈F,則(8)若Ai∈F,i=1,2,,…,n，則（包含排斥原理）

第8頁,共125頁，2024年2月25日，星期天1.1概率空間

一列事件An∈F

，n=1,2,…，稱為單調(diào)遞增的事件列，如果AnAn+1,n=1,2,…。一列事件An∈F

，n=1,2,…，稱為單調(diào)遞減的事件列，如果AnAn+1，n=1,2,…定理1.1.1設(shè)An∈F，n=1,2,…

(1)若An，n=1,2,…，是單調(diào)遞增的事件列，則

(2)若An，n=1,2,…，是單調(diào)遞減的事件列，則第9頁,共125頁，2024年2月25日，星期天定義1.1.3

設(shè)(Ω,F,P)為一概率空間，A,B∈

F且P(A)>0，則稱

為事件A發(fā)生的條件下事件B發(fā)生的條件概率.不難驗證，條件概率P(?|A)符合定義1.1.2中的三個條件

(1)F，P(B|A)≥0(2)P(Ω|A)=1(3)設(shè)Bn∈F，n=1,2,…，BiBj=?,i≠j,i,j=1,2,…，則

1.1概率空間第10頁,共125頁，2024年2月25日，星期天1.1概率空間定理1.1.2

設(shè)(Ω,F,P)是一概率空間，有：

(1)(乘法公式)若Ai∈F，i=1,2,…,n，且P(A1A2…An)>0，則

第11頁,共125頁，2024年2月25日，星期天1.1概率空間(2)

(全概率公式)設(shè)B∈F,

Ai∈

F，P(Ai)>0,i=1,2,…，

且AiAj=?,i≠j,i,j=1,2,…，，則

第12頁,共125頁，2024年2月25日，星期天1.1概率空間(3)(貝葉斯(Bayes)公式)

設(shè)B∈F,P(B)>0,Ai∈

F，P(Ai)>0,i=1,2,…,且AiAj=?,i≠j,i=1,2,…,

第13頁,共125頁，2024年2月25日，星期天1.1概率空間定義1.1.4

設(shè)(Ω,F,P)為一概率空間,Ai∈F，i=1,2,…,n，如果對于任意的k(1<k≤n)及任意的1≤i1<i2<…<ik≤n,有

則稱事件

A1A2…An相互獨立（independent）.定理1.1.3

設(shè)A,B∈F相互獨立，則A所生成的σ

域

F

A={A,ā,?,Ω}中的任意一個事件和B所生成的σ

域F

B={B,,?,Ω}中的任意一個事件都相互獨立。這時，我們稱這兩個σ域F

A和F

B相互獨立.第14頁,共125頁，2024年2月25日，星期天1.1概率空間定理1.1.4

設(shè)A,B,C∈F相互獨立，則

(1)A與BC相互獨立；

(2)A與B∪C相互獨立；

(3)A與B-C相互獨立；

(4)A所生成的σ域中的任一事件與B和C所生成的σ域.F

B,C={

}中的任意一個事件都相互獨立.

第15頁,共125頁，2024年2月25日，星期天1.1概率空間推論1.1.1

設(shè)A,B,C∈F相互獨立，將A,B,C任意分為兩組，則他們各自生成的σ域仍然相互獨立.定理1.1.5

設(shè)Ai∈F，i=1,2,…,n相互獨立，將Ai,i=1,2,…,n，任意分成m(m≤n)組，并對各組中的事件施以積、和、逆運算后，所得到的事件B1,B2,…Bm也是相互獨立的.從而這m

組事件各自所生成的σ域也是相互獨立的.第16頁,共125頁，2024年2月25日，星期天1.1概率空間定理1.1.5蘊含以下的有用的具體結(jié)論：

(1)若A1,A2,An相互獨立，則也相互獨立，從而

(2)一列獨立事件中的任何一部分事件也相互獨立.

(3)若一列事件相互獨立，則將其中任一部分改寫為對立事件，所得的事件也相互獨立.第17頁,共125頁，2024年2月25日，星期天1.1概率空間（小結(jié)）概率空間樣本空間事件域概率條件概率乘法公式全概率公式Bayes公式事件的獨立性第18頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第19頁,共125頁，2024年2月25日，星期天1.2隨機變量及其分布隨機變量是概率論的主要研究對象.在概率模型中，試驗結(jié)果是數(shù)值化的，或與某些數(shù)值相聯(lián)系.當我們討論這些數(shù)值的時候，通常給這些數(shù)值確定概率.我們通過隨機變量實現(xiàn)這個任務(wù).隨機變量是試驗結(jié)果的一個實值函數(shù).描述隨機變量的概率特性用分布函數(shù).第20頁,共125頁，2024年2月25日，星期天1.2隨機變量及其分布定義1.2.1

設(shè)(Ω,F,P)為一概率空間，定義在Ω上的實函數(shù)X(?)，如果，

則稱X是F的隨機變量（RandomVarible，r.v.）.稱

F(x)=P(X≤x)

為隨機變量X的分布函數(shù)（CumulativeDistributionFunction，CDF）.第21頁,共125頁，2024年2月25日，星期天1.2隨機變量及其分布分布函數(shù)F(x)的性質(zhì)：

(1)F(x)是單調(diào)不減函數(shù)，即若x1<x2則F(x1)≤F(x2)

(2)F(x)是右連續(xù)函數(shù)，即,F(x+0)=F(x)

(3)同時可以證明，設(shè)F(x)，x∈R是單調(diào)不減、右連續(xù)的函數(shù)，并且，則必存在概率空間(Ω,F,P)及其上的一個隨機變量X使得X以F(x)為其分布函數(shù).第22頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布隨機變量有兩種類型：離散型和連續(xù)型隨機變量隨機變量X的可能取值為有限（finite）個或可列無限個(countablyinfinite)，則稱X

為離散型隨機變量（discreter.v.）.離散型隨機變量

X

的分布可用分布律（ProbabilityMassFunction，PMF）來描述，即

P(X=xi)=pi，i=1,2,…

這時，X的分布函數(shù)為

第23頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布第24頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布第25頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布設(shè)隨機變量X的分布函數(shù)為F(x),如果存在非負可積函數(shù)f(x)，使得則稱X為連續(xù)型隨機變量（Continuousr.v.），

f(x)為連續(xù)型隨機變量X的概率密度函數(shù)（ProbabilityDensityFunction，PDF）.第26頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布第27頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布第28頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布定義1.2.2

設(shè)(Ω,F,P)為一概率空間，定義在Ω上的n元實函數(shù)如果則稱X=(X1,X2,…，Xn)為n維隨機變量或n維隨機向量.

稱

為X的聯(lián)合分布函數(shù)（JointCDFs）.第29頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布設(shè)X是n維隨機變量，則X的聯(lián)合分布函數(shù)具有下列性質(zhì)

(1)F(x1,x2,…，xn)對任一xi(i=1,2,…,n)是單調(diào)不減函數(shù);

(2)F(x1,x2,…，xn)對任一xi(i=1,2,…,n)是右連續(xù)函數(shù)；

(3)

(4)設(shè)xi≤yi,i=1,2,…,n,則

第30頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布若n維隨機變量X的可能取值為有限對或可列無限對，則稱n維隨機變量X為離散型n維隨機變量.

離散型n維隨機變量X=(X1,X2,…,Xn)的分布可用聯(lián)合分布律（JointPMFs）來描述，即

P(X1=x1,X2=x2,…,Xn=xn)

其中xi∈Ii,Ii是離散集,i=1,2,…,n這時X的聯(lián)合分布函數(shù)為

第31頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布設(shè)n維隨機變量X的聯(lián)合分布函數(shù)為F(x1,x2,…,xn)，如果存在非負可積函數(shù)f(x)=f(x1,x2,…,xn),x∈Rn使得

則稱X為連續(xù)型n維隨機變量，f(x1,x2,…,xn),稱為連續(xù)型n維隨機變量X的聯(lián)合概率密度函數(shù)（JointPDFs）.第32頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布保留k(1≤k<n)個xi，比如x1,x2,…，xk，而令其他xi都趨于+∞得到k維邊緣分布函數(shù)（marginalCDF）

F(x1,x2,…,xk,+∞,…,+∞)若X是連續(xù)型n維隨機變量，則有

可見F(x1,x2,…,xk)=

F(x1,x2,…,xk,+∞,…,+∞)也是連續(xù)型k維隨機變量的聯(lián)合分布函數(shù)，其聯(lián)合概率密度函數(shù)為：第33頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布特別的，當k=1時,n維隨機變量X=(X1,X2,…,Xn)的n個邊緣分布函數(shù)和n個邊緣概率密度函數(shù)分別為

和第34頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布定義1.2.3

設(shè)X=(X1,X2,…,Xn)是一n維隨機變量，其聯(lián)合分布函數(shù)和邊緣分布函數(shù)分別為F(x1,x2,…,xn)和

如果對于任意的x1,x2,…，xk∈R有

F(x1,x2,…,xn)=則稱隨機變量X1,X2,…,Xn相互獨立（independent）.

第35頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布若X=(X1,X2,…,Xn)是離散型n維隨機變量，則X1,X2,…,Xn

相互獨立的充要條件是聯(lián)合分布律是各邊緣分布律的乘積，即P(X1=x1,X2=x2,…,Xn=xn)=P(X1=x1)P(X2=x2)???P(Xn=xn)

若X=(X1,X2,…,Xn)是連續(xù)型n維隨機變量，則X1,X2,…,Xn

相互獨立的充要條件是聯(lián)合概率密度函數(shù)是各邊緣概率密度函數(shù)的乘積，即第36頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布如果X是隨機變量（一維或多維），g(x)是已知的連續(xù)函數(shù)，則

g(X)也是隨機變量.關(guān)于g(X)的分布，有以下定理：定理1.2.1

設(shè)連續(xù)型n維隨機變量X=(X1,X2,…,Xn)的聯(lián)合概率密度函數(shù)為fX(x1,x2,…,xn),n元函數(shù)yi=yi(x1,x2,…,xn),滿足：

(1)存在唯一的反函數(shù)xi=xi(y1,y2,…,yn)，即方程組

存在唯一的實數(shù)解xi=xi(y1,y2,…,yn),i=1,2,…,n；

第37頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布

(2)

yi=yi(x1,x2,…,xn),及xi=xi(y1,y2,…,yn),i=1,2,…,n都是連續(xù)的.

(3)存在且連續(xù)，令

則，n維隨機變量Y=(Y1,Y2,…,Yn),Yi=yi(X1,X2,…,Xn),i=1,2,…,n的聯(lián)合概率密度函數(shù)為

第38頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布如果(1)的方程有多個解

l=1,2,…,n

,則n維隨機變量Y=(Y1,Y2,…,Yn),的聯(lián)合概率密度函數(shù)為

第39頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布

特別的，若X為連續(xù)型一維隨機變量，其概率密度函數(shù)為fX(x),則對于Y=g(X)的概率密度函數(shù)，有下列結(jié)果：

(1)若g(x)是嚴格單調(diào)可微函數(shù)，則Y=g(X)的概率密度函數(shù)為

其中h(y)是y=g(x)的反函數(shù),I是使h(y)有定義、

h’(y)有定義及fX(h(y))>0的y的取值的公共部分。第40頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布

(2)若g(x)不是嚴格單調(diào)的可微函數(shù)，則將g(x)在其定義域分成若干個單調(diào)分支，在每個單調(diào)分支上應(yīng)用(1)的結(jié)果，得Y=g(X)的概率密度函數(shù)為其中I

是在每個單調(diào)分支上按照(1)確定的y的取值的公共部分.

第41頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布例1.2.1

設(shè)，試求Y的概率密度函數(shù)fY(y)。

解由于y=tanx，故其反函數(shù)

h(y)=arctany,

并且因此，Y的概率密度函數(shù)為第42頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布例1.2.2

設(shè)X~N(0,1)，求Y=X2的概率密度函數(shù)fY(y)

解由于y=x2有兩個單調(diào)分支，其反函數(shù)分別為

并且

因而Y=X2的概率密度函數(shù)為

第43頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布例1.2.3

設(shè)(X,Y)為二維隨機變量，其中X,Y相互獨立并且都服從正態(tài)分布N(0,σ2)，記Z為(X,Y)的模，Θ為(X,Y)的輔角，求(Z,Θ)的聯(lián)合概率密度函數(shù)及邊緣概率密度函數(shù).從此例可得到工程上的一個重要結(jié)論：若二維隨機變量的兩個分量是相互獨立且同服從正態(tài)分布N(0,σ2)的隨機變量，則該二維隨機變量的模和輻角也是相互獨立的隨機變量，并且模服從參數(shù)為為σ的Rayleigh分布，輻角服從區(qū)間上的均勻分布.第44頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布解由于

X,Y

相互獨立，因此

又因為方程組

有唯一解(反函數(shù))第45頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布

所以(Z,Θ)的聯(lián)合概率密度函數(shù)為

第46頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布

故

從Z,Θ的概率密度函數(shù)可以看出，Z服從參數(shù)為σ的Rayleigh分布，Θ服從區(qū)間上的均勻分布，并且g(z,?)=gZ(z)gΘ(?)所以Z和Θ是相互獨立的.第47頁,共125頁，2024年2月25日，星期天1.2

隨機變量及其分布（小結(jié)）隨機變量（向量）及分布隨機變量（向量），分布函數(shù)離散型隨機變量（向量），概率分布律連續(xù)性隨機變量（向量），概率密度函數(shù)聯(lián)合分布與邊緣分布聯(lián)合分布函數(shù)，邊緣分布函數(shù)聯(lián)合分布律，邊緣分布律聯(lián)合概率密度函數(shù)，邊緣概率密度函數(shù)隨機變量的獨立性隨機變量函數(shù)的分布第48頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第49頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征隨機變量的分布函數(shù)是隨機變量概率分布的完整描述，但是要找到隨機變量的分布函數(shù)是一件不容易的事.在實際問題中描述隨機變量的概率特性，不一定都要求出它的分布函數(shù)，往往需要求出描述隨機變量概率特征的幾個表征值就夠了.

這就需要引入隨機變量的數(shù)字特征.第50頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.1

設(shè)f(x),g(x)是定義在[a,b]上的兩個有界函數(shù)，a=x0<x1<…<xn=b是區(qū)間[a,b]上的任一劃分,△xk=xk-xk-1,

△xk在每一個子區(qū)間[xk-1,xk]上任意取一點ξk作和式

如果極限

存在且與[a,b]的分法和ξk的取法都無關(guān)，則稱此極限為函數(shù)f(x)對函數(shù)g(x)在區(qū)間[a,b]上的Stieltjes積分，簡稱S積分，記.此時也稱f(x)對g(x)在[a,b]上S可積.第51頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.2

設(shè)f(x),g(x)是定義在(﹣∞,+∞)上的兩個函數(shù)，若在任意有限區(qū)間[a,b],

f(x)對g(x)在[a,b]上S可積,且極限

存在，則稱此極限為f(x)對g(x)在無窮區(qū)間(﹣∞,+∞)上的Stieltjes積分，簡稱S積分，記為

第52頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征在S積分中，當g(x)取一些特殊形式時，積分可化為級數(shù)和通常積分.若g(x)在(﹣∞,+∞)上是階梯函數(shù)，它的跳躍點為x1,x2,…

(有限多或可列無限多個),則

若g(x)在(﹣∞,+∞)上是可微函數(shù),它的導函數(shù)為g’(x)

,則

第53頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.3

設(shè)函數(shù)g(x)定義在無限區(qū)間(﹣∞,+∞)上，若積分

存在，則稱此積分為g(x)的Fourier-Stieltjes積分，簡稱F-S積分

.第54頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.4

設(shè)X是一隨機變量,F(x)是其分布函數(shù)，若

則稱為隨機變量X的數(shù)學期望（Expectation）或均值（Mean）.若X是離散型隨機變量，其分布律為P(X=xi)=pi,i=1,2,…則

第55頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征第56頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征若X是連續(xù)型隨機變量，其概率密度函數(shù)為f(x)，則

定理1.3.1設(shè)X是一隨機變量，其分布函數(shù)為F(x),y=g(x)是連續(xù)函數(shù)，如果存在，則

上述定理可推廣到n維隨機變量的場合.第57頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定理1.3.2

設(shè)X=(X1,X2,…,Xn)是n維隨機變量，其聯(lián)合分布函數(shù)為F(x1,x2,…,xn),g(x1,x2,…,xn)是連續(xù)函數(shù)，如果

存在，則

第58頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.5

設(shè)X是隨機變量，若E|X|2<+∞，則稱

為隨機變量X的方差（Variance）.定義1.3.6

設(shè)X,Y是隨機變量，若E|X|2<+∞,E|Y|2<+∞,

則稱

為隨機變量X,Y的協(xié)方差（Covariance）。第59頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征若DX>0，DY>0，則稱

為隨機變量X,Y的相關(guān)系數(shù)（CorrelationCoefficient）.若ρXY=0，則稱X,Y不相關(guān).第60頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征根據(jù)定理1.3.1，若X的分布函數(shù)為F(x)則

當X是離散型隨機變量是，其分布律為

P(X=xi)=pi,i=1,2,…

則當X是連續(xù)型隨機變量時，其概率密度為f(x)，則

第61頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征根據(jù)定理1.3.2，若(X,Y)的聯(lián)合分布函數(shù)為F(x,y)

，則

當(X,Y)是離散型隨機變量時，其聯(lián)合分布律為

P(X=xi,Y=yi)=pij,i,j=1,2,…

則

當(X,Y)是連續(xù)型隨機變量時，其聯(lián)合概率密度為f(x,y)，則第62頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征數(shù)學期望和方差的性質(zhì)：

(1)

設(shè)a,b是任意的常數(shù)，則E(aX+bY)=aEX+bEY;

(2)

設(shè)X,Y相互獨立，則EXY=EXEY;

(3)設(shè)a,b是任意的常數(shù)，X,Y相互獨立，則

D(aX+bY)=a2DX+b2DY

(4)

設(shè)E|X|2<+∞,E|Y|2<+∞，則(EXY)2≤EX2+EY2;（Schwarz不等式）

(5)

設(shè)Xn≥0，n=1,2,…,則

第63頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征例1.3.1

設(shè)X是隨機變量，若E|X|r<+∞，r>0則稱EXr

為隨機變量的r階矩，設(shè)隨機變量X的r階矩存在，則

證明設(shè)X的分布函數(shù)為F(X),則

即稱不等式為馬爾可夫不等式第64頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征特別地，在馬爾可夫不等式中令r=2，將X換成X-EX

可得重要的Chebyshv不等式.

定理1.3.3

設(shè)X是隨機變量，則DX=0的充要條件是P(X=C)=1（C是常數(shù)）.第65頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征對于多個隨機變量，方差和協(xié)方差之間具有下列重要的性質(zhì)：設(shè)X1,X2,…,Xn是n個隨機變量，則例1.3.2(Montmort配對問題)

n個人將自己的帽子放在一起，充分混合后每人隨機地取出一頂帽子，試求出選中自己帽子的人數(shù)的均值和方差.第66頁,共125頁，2024年2月25日，星期天1.3

隨機變量的數(shù)字特征

解設(shè)X表示選中自己帽子的人數(shù)，令

第i個人選中自己的帽子

否則

i=1,2,…,n，則

又

從而第67頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征

所以

由，得

而當i≠j時第68頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征

所以

第69頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定義1.3.7

設(shè)X=(X1,X2,…,Xn)是n維隨機變量，則稱

為n維隨機變量X=(X1,X2,…,Xn)的均值向量。稱

n維隨機變量X=(X1,X2,…,Xn)的協(xié)方差矩陣.第70頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征定理1.3.4

設(shè)B是n維隨機變量的協(xié)方差矩陣，則B是非負定矩陣.

證明由于對任意的n個實數(shù)t1,t2,…,tn二次型

即二次型是非負定的，因而矩陣B非負定.第71頁,共125頁，2024年2月25日，星期天常見的離散隨機變量的期望和方差1.3隨機變量的數(shù)字特征第72頁,共125頁，2024年2月25日，星期天常見的連續(xù)型隨機變量的期望和方差1.3隨機變量的數(shù)字特征第73頁,共125頁，2024年2月25日，星期天1.3隨機變量的數(shù)字特征（小結(jié)）S積分，F(xiàn)-S積分數(shù)學期望隨機變量函數(shù)的數(shù)學期望方差，協(xié)方差，相關(guān)系數(shù)常用隨機變量的期望和方差均值向量，協(xié)方差矩陣第74頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第75頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)隨機變量的分布函數(shù)是其概率分布的完整描述.分布函數(shù)一般來說不具有連續(xù)性、可微性等良好的分析性質(zhì)，這給利用分布函數(shù)研究隨機變量帶來困難.引入特征函數(shù)，它與分布函數(shù)一一對應(yīng)，既能完整地描述隨機變量的概率分布，又有良好的分析特性.第76頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)定義1.4.1

設(shè)(Ω,F,P)是一概率空間，X,Y都是F的實值隨機變量，則稱為復(fù)隨機變量.復(fù)隨機變量Z的數(shù)學期望定義為

若X是實值隨機變量，則ejtX應(yīng)是復(fù)隨機變量.第77頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)定義1.4.2

設(shè)X是(實)隨機變量，其分布函數(shù)為F(x)則稱

為隨機變量X的特征函數(shù).由于ejtX

=costX+jsintX，X的特征函數(shù)也可以表示為由于

隨機變量X的特征函數(shù)總存在.第78頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)當X是離散型隨機變量時，其分布律為

P(X=xi)=pi,i=1,2,…

則

當X是連續(xù)型隨機變量時，其概率密度函數(shù)為f(x),則

第79頁,共125頁，2024年2月25日，星期天例1.4.1

設(shè)X服從單點分布，即P(X=c)=1,其中c為常數(shù)，則X的特征函數(shù)

例1.4.2

設(shè)X~B(n,p)（二項分布，Binomial），即

k=0,1,2,…,n，0<p<1，q=1-p，則X的特征函數(shù)

特別地，當n=1時，X服從0-1分布，其特征函數(shù)為

1.4隨機變量的特征函數(shù)第80頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)例1.4.3

設(shè)X服從泊松分布（Poisson），即

，k=0,1,2,…，λ>0,則X的特征函數(shù)

例1.4.4

設(shè)X服從區(qū)間[a,b]上的均勻分布(Uniform)，即X的概率密度函數(shù)為

則X的特征函數(shù)

第81頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)例1.4.5

設(shè)X~N(μ,σ2)（正態(tài)分布，Normal），即X的概率密度函數(shù)為則X的特征函數(shù)

第82頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)特別地，若X~N(0,1)（標準正態(tài)分布，StandardNormal），則其特征函數(shù)例1.4.6

設(shè)X服從參數(shù)為λ(λ>0)的指數(shù)分布（Exponential），即X的概率密度函數(shù)為

則X的特征函數(shù)第83頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)隨機變量的特征函數(shù)φ(t)具有下列7條性質(zhì)

(1)

(2)，其中表示φ(t)的共軛.

(3)設(shè)隨機變量Y=aX+b，其中a,b是常數(shù)，則

其中分別表示隨機變量X,Y的特征函數(shù).

(4)

在(﹣∞,+∞)上一致連續(xù).第84頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)

(5)設(shè)隨機變量X,Y相互獨立，又Z=X+Y，則

此式表明兩個相互獨立的隨機變量之和的特征函數(shù)等于各自特征函數(shù)的乘積.

(6)是非負定的，即對于任意的正整數(shù)n，任意復(fù)數(shù)z1,z2,…,zn和任意實數(shù)t1,t2,…,tn,有

第85頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)

(7)

設(shè)隨機變量X的n階原點矩存在，則存在k(k≤n)階導數(shù)，且

例1.4.7設(shè)X~π(λ)（Poisson分布）,求EX,EX2,DX.

解由于X~π(λ),因而

故第86頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)例1.4.8

設(shè)X~N(0,σ2),求EXn

解因為

所以

從而第87頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)如果已知隨機變量的特征函數(shù)，怎樣確定它的分布以及它所對應(yīng)的分布是否唯一？對連續(xù)性隨機變量，已知概率密度函數(shù)f(x)，特征函數(shù)

在絕對可積的條件下，根據(jù)積分理論，有反演公式

且反演是唯一的.第88頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)定理1.4.1

設(shè)隨機變量X的分布函數(shù)為F(x)，特征函數(shù)為，則對F(x)的連續(xù)點x1,x2，有

定理1.4.2

隨機變量X的分布函數(shù)F(x)被它的特征函數(shù)惟一地確定.

由此定理可見，隨機變量的分布函數(shù)與特征函數(shù)是一一對應(yīng)的.第89頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)例1.4.9

設(shè)X1,X2,…,Xn相互獨立，且Xk~π(λk)，

k=1,2,…,n試用特征函數(shù)證明

證明由于X1,X2,…,Xn相互獨立，Xk~π(λk),k=1,2,…,n

故

從而

所以

獨立泊松分布的和還是泊松分布，且參數(shù)為各參數(shù)的和.第90頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)例1.4.10

設(shè)X1,X2,…,Xn相互獨立，且Xk~N(μk,σk2),

k=1,2,…,n,

試用特征函數(shù)求隨機變量的概率分布.

解

由于X1,X2,…,Xn相互獨立,且Xk~N(μk,σk2),

k=1,2,…,n

故

從而

所以

獨立正態(tài)分布的和還是正態(tài)分布，且參數(shù)為對應(yīng)各參數(shù)的和.第91頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)定義1.4.3

設(shè)X=(X1,X2,…,Xn)是n維隨機變量，其聯(lián)合分布函數(shù)為F(x)=F(x1,x2,…,xn)，則稱

為n

維隨機變量X的特征函數(shù).第92頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)若X=(X1,X2,…,Xn)是離散型隨機變量，其聯(lián)合分布律為P(X1=x1,X2=x2,…,Xn=xn)，則

其中是關(guān)于Xi的可能取值xi求和.若X=(X1,X2,…,Xn)是連續(xù)型隨機變量，其聯(lián)合概率密度函數(shù)為f(x)=f(x1,x2,…,xn)，則

第93頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)n

維隨機變量的特征函數(shù)具有下列性質(zhì)：

(1)

(2)

(3)設(shè)φ(t1,t2,…,tn)是n維隨機變量X=(X1,X2,…,Xn)的特征函數(shù)，則隨機變量Y=a1X1+a2X2+…+anXn

的特征函數(shù)為

φY(t)=φ(a1t,a2t,…,ant)

(4)φ(t1,t2,…,tn)在Rn上一致連續(xù)；第94頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)

(5)設(shè)φ(t1,t2,…,tn)是n維隨機變量X=(X1,X2,…,Xn)的特征函數(shù)

是隨機變量X1,X2,…,Xn相互獨立的充要條件是

(6)設(shè)φ(t1,t2,…,tn)是n維隨機變量X=(X1,X2,…,Xn)的特征函數(shù)，則k(1≤k<n)維隨機變量(X1,X2,…,Xk)的特征函數(shù)為

第95頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)

(7)設(shè)φ(t1,t2,…,tn)是n維隨機變量X=(X1,X2,…,Xn)的特征函數(shù),如果

存在，則

特征函數(shù)要求隨機變量X的取值范圍為，對只取非負值的隨機變量，用Laplace變換更為方便.第96頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)定義1.4.4設(shè)X是非負值隨機變量，其分布函數(shù)為F(x)，則稱

為F(x)的Laplace變換.其中，s=a+jb,a>0

.若X是連續(xù)型的非負值隨機變量，其概率密度函數(shù)為f(x),則稱為f(x)的Laplace變換，記為

f(x)稱為的Laplace反變換，它們相互唯一確定.第97頁,共125頁，2024年2月25日，星期天1.4隨機變量的特征函數(shù)（小結(jié)）復(fù)隨機變量特征函數(shù)的定義、計算方法使用概率分布律（概率密度函數(shù)）求離散型（連續(xù)型）隨機變量特征函數(shù)常用隨機變量的特征函數(shù)離散型：單點分布，二項分布，泊松分布連續(xù)型：均勻分布，正態(tài)分布，指數(shù)分布特征函數(shù)的性質(zhì)相互獨立的隨機變量之和的特征函數(shù)等于各自特征函數(shù)的乘積特征函數(shù)的k

階導數(shù)與k

階（原點）矩的關(guān)系利用特征函數(shù)求各階矩（期望，方差）特征函數(shù)與分布函數(shù)的一一對應(yīng)性n維隨機變量（向量）的特征函數(shù)第98頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第99頁,共125頁，2024年2月25日，星期天1.5n維正態(tài)隨機變量在概率論中，若(X1,X2)~N()，則二維正態(tài)隨機變量(X1,X2)的聯(lián)合概率密度函數(shù)為

其中，ρ為隨機變量X1,X2的相關(guān)系數(shù)。第100頁,共125頁，2024年2月25日，星期天下面用向量和矩陣的形式來表示二維正態(tài)分布的聯(lián)合概率密度函數(shù).令

x=(x1,x2)，μ

=(μ1μ2),

于是

1.5n維正態(tài)隨機變量第101頁,共125頁，2024年2月25日，星期天

所以

=(x-μ)B-1(x-μ)T

于是1.5n維正態(tài)隨機變量第102頁,共125頁，2024年2月25日，星期天定義1.5.1

設(shè)X=(X1,X2,…,Xn)是n維隨機變量，如果其聯(lián)合概率密度函數(shù)為

其中

則稱X=(X1,X2,…,Xn)服從μ

為均值向量、B為協(xié)方差矩陣的n維正態(tài)分布，記為X~N(μ,B).1.5n維正態(tài)隨機變量第103頁,共125頁，2024年2月25日，星期天定理1.5.1設(shè)X~N(μ,B),則存在n階正交矩陣A，使得

Y=(Y1,Y2,…,Yn)=(X-μ)AT

是n維獨立正態(tài)隨機變量，即Y1,Y2,…,Yn相互獨立，且Yk~N(0,dk),其中dk>0是B的特征值，k=1,2,…,n

.定理1.5.2設(shè)X~N(μ,B)，則X的特征函數(shù)

1.5n維正態(tài)隨機變量第104頁,共125頁，2024年2月25日，星期天定理1.5.3

（正態(tài)隨機變量的性質(zhì)）設(shè)X=(X1,X2,…,Xn)~

N(μ,B)

(1)若l1,l2,….ln是常數(shù)，則服從一維正態(tài)分布

其中μk=EXk，k=1,2,…,n.（一維正態(tài)隨機變量的線性組合仍然是正態(tài)隨機變量）

1.5n維正態(tài)隨機變量第105頁,共125頁，2024年2月25日，星期天(2)若m<n，則X

的m個分量構(gòu)成的m維隨機變量

服從m維正態(tài)分布，其中

（n

維正態(tài)隨機變量的m

維分量仍然是正態(tài)隨機變量）1.5n維正態(tài)隨機變量第106頁,共125頁，2024年2月25日，星期天(3)若m維隨機變量Y是X的線性變換，即Y=XC，其中C是n×m階矩陣，則Y

服從m維正態(tài)分布

N(μC,CTBC).（n維正態(tài)隨機變量的線性變換仍然是正態(tài)隨機變量）(4)X1,X2,…,Xn相互獨立的充要條件是X1,X2,…,Xn兩兩不相關(guān).（正態(tài)隨機變量的相互獨立性等價于兩兩獨立性）

1.5n維正態(tài)隨機變量第107頁,共125頁，2024年2月25日，星期天n維正態(tài)隨機變量的定義聯(lián)合概率密度函數(shù)的向量（均值向量）、矩陣（協(xié)方差矩陣）表示法n

維正態(tài)正態(tài)隨機變量由均值向量μ

和協(xié)方差矩陣B唯一確定n維正態(tài)隨機變量的特征函數(shù)n維正態(tài)隨機變量的性質(zhì)正態(tài)隨機變量的線性變換仍然是正態(tài)隨機變量正態(tài)隨機變量的分量仍然是正態(tài)隨機變量正態(tài)隨機變量的相互獨立性等價于兩兩獨立性

1.5n維正態(tài)隨機變量（小結(jié)）第108頁,共125頁，2024年2月25日，星期天第1章概率論基礎(chǔ)1.1概率空間1.2隨機變量及分布1.3隨機變量的數(shù)字特征1.4隨機變量的特征函數(shù)1.5n維正態(tài)隨機變量1.6條件數(shù)學期望第109頁,共125頁，2024年2月25日，星期天1.6條件數(shù)學期望對于多個事件我們討論了它們的條件概率，對于多個隨機變量我們可以討論它們的條件分布.定義1.6.1

設(shè)(X,Y)是離散型二維隨機變量，其聯(lián)合分布律為P(X=xi,Y=yi)=pij，i,j=1,2,…,如果則稱

為(X,Y)關(guān)于X在Y=yj的條件下的條件分布律(ConditionalPMF).第110頁,共125頁，2024年2月25日，星期天1.6條件數(shù)學期望第111頁,共125頁，2024年2月25日，星期天如果則稱

為(X,Y)關(guān)于Y在X=xi的條件下的條件分布律.

稱

為(X,Y)關(guān)于X在Y=yj的條件下的條件分布函數(shù)(ConditionalCDF).稱

為(X,Y)關(guān)于Y在X=xi的條件下的條件分布函數(shù).1.6條件數(shù)學期望第112頁,共125頁，2024年2月25日，星期天對于連續(xù)型二維隨機變量，由于對于任意的x,y,P(X=x)=0,P(Y=y)=0,因此就不能直接用條件概率公式引入條件分布函數(shù)了.我們用極限的方法來處理.給定y，設(shè)對于任意固定的正數(shù)ε，P(y-ε<Y≤y+ε)>0

且若對于任意的x，有

上式給出了在條件y-ε<Y≤y+ε

下X的條件分布函數(shù).1.6條件數(shù)學期望第113頁,共125頁，2024年2月25日，星期天定義1.6.2

給定y，設(shè)對于任意固定的正數(shù)ε，

P(y-ε<Y≤y+ε