隨機過程知識點

設設Q日〔1〕〔2〕第一章：預備知識§1.1概率空間隨機試驗，樣本空間記為Q。正一個集合，f是Q的某些子集組成的集合族。如果。6F;若A6F,則A=Q\A6F;假設A6F，n=】，2，…，那么頃A6F;

n nn=1那么稱F為。-代數(shù)(Borel域)。(Q,F)稱為可測空間，F(xiàn)中的元素稱為事件。由定義易知：06F；若A,B6F，則A\B6F；若A6F，i=1，2，…則Ua，何A，啊A6F.i iiii=1 i=1 i=1定義1.2設(。，f)是可測空間，P(?)是定義在F上的實值函數(shù)。如果⑴任意A6F,0<P(A)<1；P(Q)=1；對兩兩互不相容事件A,A，…當i。j時，AcA=0)有1 2 ijua.[=￡p(a)〔3〕1i=1 ' *1那么稱P是(Q,FJ上的概率，〔。，F(xiàn)，P〕稱為概率空間，P(A)為事件A的概率。設〔Q，F(xiàn)，P〕是概率空間，GuF，如果對任意A,A，…,A6G，n=1,2，…1 2 n代A]=HpCa)PIi=1那么稱G為獨立事件族。有：ii=1隨機變量X,分布函數(shù)F(x){x,t6T}是獨立的。t§1.2隨機變量及其分布，n維隨機變量或n維隨機向量，聯(lián)合分布函數(shù)，設隨機變量X的分布函數(shù)為F(x)，假設廣IxIdF(x)<8，那么稱E(X)=J8xdF(x)一8為X的數(shù)學期望或均值。上式右邊的積分稱為Lebesgue-Stieltjes積分。方差，Bxy=EKx-EX)Y-EY)」為X、Y的協(xié)方差，而孫 Bpxy一jdX：D為X、Y的相關系數(shù)。假設P =0,那么稱X、Y不相關。XY〔Schwarz不等式)假設EX2<8,EY2<8,那么(EXY*<EX2EY2.§1.4特征函數(shù)、母函數(shù)和拉氏變換定義1.10設隨機變量的分布函數(shù)為F〔x〕，稱g(t)=E(ejtx)=J8ejtxdF(x),-8<t<8-8為X的特征函數(shù)

隨機變量的特征函數(shù)具有以下性質(zhì)：⑴g(0)=1,|g(t)|<1,g(-t)=而1(2)g(t)在(—3,3)上一致連續(xù)?！?〕g(k)(0)=ikE(Xk)⑷假設X,X，…,X是相互獨立的隨機變量，那么X=X+X+...+X的特征函TOC\o"1-5"\h\z1 2 n 1 2 n數(shù)g(t)=g(t)g(t)???g(t)，其中g(t)是隨機變量X.的特征函數(shù)，i=1,2，…,n.1 2 n i I定義1.11設X=(X,X，…,X)是n維隨機變量，t=(t,t，…,t)6R,那么稱1 2 n 1 2ng(t)=g(t,t，…，t)=E(eitX')=E[exp(iYtX)],12n kk為X的特征函數(shù)。為X的特征函數(shù)。設X是非負整數(shù)值隨機變量，分布列p=P(X=x)k=1,2那么稱為X的母函數(shù)。§1.5 n維正態(tài)分布定義1.13假設n維隨機變量X=(X「X2，…,為X的母函數(shù)?！?.5 n維正態(tài)分布定義1.13假設n維隨機變量X=(X「X2，…,X〃)的聯(lián)合概率密度為1——exp{_L(x-a)B-1(x-a)t}n/2 2f(x)=f(x「x2,...,x〃)=(2)B|式中，a=(a,a,…,a)是常向量，B=(b)是正定矩陣，那么稱X為n維正態(tài)隨機1 2 n ijnxn變量或服從n維正態(tài)分布，記作X?N(a,B)。可以證明，假設X?N(a,B)，那么X的特征函數(shù)為g(t)=g(t,t，…，t)=exp{iat'—1iBt'}12n 2為了應用的方便，下面，我們不加證明地給出常用的幾個結(jié)論。性質(zhì)1假設X?N(a,B)那么E(X?=ak,B^^=b.l=1,2,?..,n。性質(zhì)2設X?N(a,B)，Y=XA，假設ABA正定，那么Y?N(aA,ABA)。即正態(tài)隨機變量的線性變換仍為正態(tài)隨機變量。性質(zhì)3設X=(X1,X2,X3,X4)是四維正態(tài)隨機變量，E(Xk)=0,k=1,2,3,4，那么E(XXXX)=E(XX)E(XX)+E(XX)E(XX)+E(XX)E(XX)1 2 3 4 1 2 3 4 1 3 2 4 1 4 2 3§1.6條件期望給定Y=y時，X的條件期望定義為E(X|Y=y)=JxdF(x|y)=Jxf(x|y)dx由此可見除了概率是關于事件{Y=y}的條件概率以外，現(xiàn)在的定義與無條件的情況完全一樣。E(X|Y=y)是y的函數(shù)，y是Y的一個可能值。假設在Y的條件下，全面地考慮X的均值，需要以Y代替y，E(X|Y)是隨機變量Y的函數(shù)，也是隨機變量，稱為X在Y下的條件期望。條件期望在概率論、數(shù)理統(tǒng)計和隨機過程中是一個十分重要的概念，下面我們介紹一個極其有用的性質(zhì)。性質(zhì) 假設隨機變量X與Y的期望存在，那么(1)E(X)=E[E(X|Y)]=JE(X|Y=y)dFJy)(1)如果Y是離散型隨機變量，那么上式為

E(X)=ZE(XIY=j)P{Y=j)y如果Y是連續(xù)型，具有概率密度f(x)，那么〔1〕式為+8E(X)=jE(XIY=y)f(y)dy第二章隨機過程的概念與根本類型§2.1隨機過程的根本概念設〔。，F(xiàn),P〕是概率空間,T是給定的參數(shù)集，假設對每個teT，有一個隨機變量X(t,e)與之對應，那么稱隨機變量族｛X(t,e),twT｝是〔。，F(xiàn),P〕的隨機過程，簡記為隨機過程｛X(t),twT｝°T稱為參數(shù)集，通常表示時間。通常將隨機過程｛X(t,e),twT｝解釋為一個物理系統(tǒng)。X(t)表示在時刻t所處的狀態(tài)。X(t)的所有可能狀態(tài)所構(gòu)成的集合稱為狀態(tài)空間或相空間，記為I。從數(shù)學的觀點來說，隨機過程｛X(t,e),twT｝是定義在TxQ上的二元函數(shù)。對固定的t,X(t,e)是定義在T上的普通函數(shù)，稱為隨機過程｛X(t,e),twT｝的一個樣本函數(shù)或軌道，樣本函數(shù)的全體稱為樣本函數(shù)的空間?！?.2隨機過程的函數(shù)特征X=｛X(t),teT｝的有限維分布函數(shù)族。t有限維特征函數(shù)族:中=｛g (0,0,???,0)：t,t，…,twT,n>1)其中：七，…,t 12n12n其中：g (0,。，???,6)=E(exp｛i乎0x(t)))ti,^,t 12 n kk" k=1定義2.3設Xt=｛X(t),teT｝的均值函數(shù)mX(t)defE[X(t)],twT。二階矩過程，協(xié)方差函數(shù)：Dx(t)=Bx(t,t)defE[X(t)-mX(t)h,twT相關函數(shù)：R(s,t)=E[X(s)X(t)]定義2.4設｛X(tfteT｝,｛Y(t),teT｝是兩個二階矩過程，互協(xié)方差函數(shù)，互相關函數(shù)§2.3 復隨機過程設｛X,twT)，｛Y,twT)是取實數(shù)值的兩個隨機過程，假設對任意twTt tZ=X+iY，復隨機過程｛Xf,twT｝的協(xié)方差函數(shù)B(s,t)復隨機過程｛Xf,twT｝的協(xié)方差函數(shù)B(s,t)具有性質(zhì)〔1〕對稱性：B(s,t)=B(t,s)；〔2〕非負定性§2.4幾種重要的隨機過程一，正交增■過程定義2.6設twt｝是零均值的二階矩過程，假設對任意的t<t<t<twT,有12 3 4公式

eIx(t)-X(t)]x(t)—X(t)]=0,那么稱X(t)正交增量過程。2143B(s,t)=R(s,t)=q2(min(s,t))二獨立增■過程XXX定義2.7設&QtG?。请S機過程，假設對任意的正整數(shù)n和t<t<?-<tGT，隨()()()() ()() 12 1機變量X(t)-X(t),X(t)-X(t),...,X(t)-X(t)是互相獨立的，那么稱)X(t),teTJ2 13 2 n n-1是獨立增量過程，，又稱可加過程。定義2.8設)tg普是平穩(wěn)獨立增量過程，假設對任意s<t,隨機變量X(t)—x(s)的分布僅依賴于t-s，那么稱teT)是平穩(wěn)獨立增量過程。三、馬爾可夫過程定義設*QtGT｝為隨機過程，假設對任意正整數(shù)n及t<t,???<t,P(X(t)=x,…,X()=x)>0，且其條件分布TOC\o"1-5"\h\z1 2 n 1/ 1 n—1 n—1P=xIX*)=x,…，X()=x/=P1X(t)=xIX*)=x/，(2.6)n1 1 n—1 n—1 nn n—1 n—1那么稱 tGT$為馬爾可夫過程。、正態(tài)過程和維納曜定義2.10設&QtgT｝是隨機過程，假設對任意正整數(shù)n和t,12,-tGGT,(X(t1)X，…,X匕))是n維正態(tài)隨機變量，那么稱｛x(t)tGT｝是正態(tài)過程或高斯過程。' ”定義2.11 設W(t),-8<t<s｝為隨機過程，如果〔1〕W(0)=0；〔2〕它是獨立、平穩(wěn)增量過程； ( )〔3〕對Vs,t，增量W(t)-W(s)-NMb2|t-s|Zb2>0，那么稱W(t),-8<t<s｝為維納過程，也稱布朗運動過程。定理2.3設W(t),-8<t<8｝是參數(shù)為b2的維納過程，那么任意七€(-8,8),W(t)~Nb,b2ItI；對任意-8<a<s,t<8,E1(W(s)-W(a))(W(t)-W(a))]=b2min(s-a,t-a),特別：Rw(s,t)=b2min(s,t)。五、平穩(wěn)過程定義2.12設*QtgT｝是隨機過程,如果對任意常數(shù)t和正整數(shù)n,當t，…,tgT,t+T，…,t+tgT時，(X(t)X(t X(t))TOC\o"1-5"\h\z1j(,(1一)”(〃_) 、/'._))1 2n與成匕+t2x1+t2…,X七+T刀有一樣的聯(lián)合分布，那么稱｛x3,tgt｝為嚴平穩(wěn)過程，也稱狹義平穩(wěn)過程. 〃定義2.13設*￥tgT｝是隨機過程，如果⑴k(t)tGT｝是二階矩過程；⑵對于任意tgT,改?=中。]=常數(shù)；⑶對任意的s,tgT,Rx(s,t)=Rx(t-0,那么稱k()tGT｝為廣義平穩(wěn)過程，簡稱為平穩(wěn)過程。 XX

假設T為離散集，那么稱平穩(wěn)過程*Q隹T｝為平穩(wěn)序列。第三章泊松過程

§3.1 泊松過程的定義和例子計數(shù)過程稱計數(shù)過程｛X(t),t>0｝為具有參數(shù)人>0的泊松過程，假設它滿足以下條件X(0)=0;X(t)是獨立增量過程；在任一長度為t的區(qū)間中，事件A發(fā)生的次數(shù)服從參數(shù)人t>0的泊松分布，即對任意s,t>0,有(3.1)P{X(s+1)—X(s)=n}=e永 ,(n=0,1,2,…)(3.1)n!注意，從條件(3)知泊松過程是平穩(wěn)增量過程且E[X(t)]=Xt。由于，X=E[X"表示單位時間內(nèi)事件A發(fā)生的平均個數(shù)，故稱X為此過程的速率或強度。稱計數(shù)過程｛X(t),t>0｝為具有參數(shù)X>0的泊松過程，假設它滿足以下條件⑴(2)⑶X(0)=⑴(2)⑶X(t)是獨立、平穩(wěn)增量過程；X(t)滿足以下兩式：(3.2)P｛X(t+h)-X(t)=1｝=Xh+o(h),(3.2)P｛X(t+h)-X(t)>2｝=o(h)定義3.2與定義3.3是等價的。3.2泊松過程的根本性質(zhì)一、數(shù)字特征設｛X(t),t>0｝是泊松過程，m(t)=E(X(t))=Xtb2(t)=D(X(t))=XtR(s,t)=E(X(s)X(t))=Xs(Xt+1)B(s,t)=R(s,t)一m(s)m(t)=Xs一般泊松過程的有Bx(s,t)=Xmin(s,t)。有特征函數(shù)定義，可得泊松過程的特征函數(shù)為g(u)=E[eiux(t)]=exp｛Xt(em—1)｝二、時間間隔與等待時間的分布W為第n次事件A出現(xiàn)的時刻或第n次事件A的等待時間，七是第n個時間間隔，它們都是隨機變量。 n設｛X(t),t>0｝是具有參數(shù)X的泊松分布，T'n>1)是對應的時間間隔序列，那么隨機變量T(n=1,2,…)是獨立同分布的均值為1/X的”指數(shù)分布。n設｛Wn,n>1｝是與泊松過程｛X(t),t>0｝對應的一個等待時間序列，那么吃服從參數(shù)為n與X的r分布，其概率密度為 ”0,t<0三、到達時間的條件分布設｛X(t),t>0｝是泊松過程，在[0,t]內(nèi)事件A發(fā)生n次，那么這n次到達時間w<W<???<W與相應于n個[0,t]上均勻分布的獨立隨機變量的順序統(tǒng)計量有一樣的分

布?！旆驱R次泊松過程布。定義稱計數(shù)過程｛X(t),t>0｝為具有跳躍強度函數(shù)人(t)的非齊次泊松過程，假設它滿足以下條件：(1)X(0)=0；(2)X(t)是獨立增量過程；P｛X(t+h)-X(t)=1｝=X(t)h+o(h)(3)P｛X(t+h)-X(t)>2｝=o(h)非齊次泊松過程的均值函數(shù)為：m(t)=jtX(s)ds定理3.5設｛X(t),t>0｝是具有均值函數(shù)mX(t)=jtX(s)ds的非齊次泊松過程，那么有 0P{X(t+s)—X(t)=n}=[m(t+s)-m(t)]exp{—四乂(t+s)—m^(t)]},(n>0)P｛X(t)=n｝=^1(<exp｛—mX(t)｝上式說明P｛X(t+s)—X(t)=n｝不僅是t的函數(shù)，也是s的函數(shù)。3.4復合泊松過程設｛N(t),t>0｝是強度為X的泊松過程，｛匕k=1,2,...｝是一列獨立同分布隨機變量，且與｛N(t),t>0｝獨立，令x(t)=￡、t>0,k=1那么稱｛X(t),t>0｝為復合泊松過程。N伊設x(t)=2Ykt>0,是復合泊松過程，那么k=1〔1〕。｛X(t),t>0｝是獨立增量過程；〔2〕X(t)的特征函數(shù)g (u)=exp｛Xt[g(u)—1]｝，其中g(u)是隨機變量Y的特TOC\o"1-5"\h\zX(t) Y Y 1征函數(shù)；X是事件的到達率?！?〕假設E(Y2)<8,那么E[X(t)]=XtE[Y],D[X(t)]=XtE[Y2].\o"CurrentDocument"1第4章馬爾苗夫鏈 1§4.1馬爾可夫鏈的概念及轉(zhuǎn)移概率一、 馬爾可夫鍵的定義定義1設有隨機過程｛X,neT｝，假設對于任意的整數(shù)neT和任意的i,i,…,ieI，n 01 n+1條件概率滿足p｛x=iX=i,x=i，-,x=i｝n+1 n+10 011 nn=P｛Xn+1='JXn°n｝那么稱｛Xn,neT｝為馬爾可夫鏈，簡稱馬氏鏈。二、 轉(zhuǎn)移概率定義2稱條件概率p(n)=P｛X.=jIX=i｝為馬爾可夫鏈｛X,neT｝在時刻n的一余轉(zhuǎn)移概率，其中i,jeI，簡稱為轉(zhuǎn)移概率。

定義3假設對任意的八j￡/,馬爾可夫鏈｛X,neT｝的轉(zhuǎn)移概率p(n)與n無關，那么稱馬爾可夫鏈是齊次的，并記p(n)為pon '定義4稱條件概率 ' 'p(n)p(n)=P｛X =jIX=i｝(i,jeI,m>0,n>1)j 為馬爾可夫鏈［x,neT｝的n步轉(zhuǎn)移概率，定理1 設｛X,neT｝為馬爾可夫鏈，"那么對任意整數(shù)n>0,0<l<n和i,jeI，n步轉(zhuǎn)移概率p(n)具有“以下性質(zhì)：ij 亍'pjn)=乙p(l)p(凡-l)；kef^p(n)—乙-.乙ijppIk、k]k2kie kn-ieI(3)P(n)=PP(n-1)；...pkn-1j(4)P(n)—Pn.定義5設｛X,neT｝為馬爾可夫鏈，稱np.—P｛Xo—j｝和^(n)—P｛Xn—j｝,(jeI)為｛X,neT｝的初始概率和絕對概率，并分別稱｛p.,jeI｝和｛p.(n),jeI｝為｛X,neT｝的初矗分布和絕對分布，簡記為｛p.｝和｛p.(n)｝。' ' n定理2 設｛X,neT｝為馬爾可夫鏈，那么對任意jeI和n>1，絕對概率p^(n)具有以下性質(zhì)： 'p(n)—乙pp(n)p_(n)-Rp_(n-1)p.ieIPt(n)—Pt(0)P(n)(4)Pt(n)—Pt(n-1)P定理3設｛X,neT｝為馬爾可夫鏈，那么對任意i,i,…,ieI和n>1，有n 1 2nP｛X=i,X=i,…，X=i｝=￡ppp…p112 2 nn iiiiiii112 n-1n§4.2 馬爾可關鏈的狀態(tài)分類一、狀態(tài)分類假設｛Xnn>0｝是齊次馬爾可夫鏈，其狀態(tài)空間I—｛0,1,2,...｝，轉(zhuǎn)移概率是p.,i,jeI,初始分布為｛p,i,jeI｝。定義4.6如集合｛n:n>1,p；">0｝非空,那么稱該集合的最大公約數(shù)d—d(i)—G.C.D｛n:pin)>0｝為狀態(tài)i的周期。如d>1就稱i為周期的，如d—1就稱i為非周期的?！布僭O對每一個不可被d整除的n，有p(n)=0，且d是具有此性質(zhì)的最大正整數(shù)，ii那么稱d為狀態(tài)i的周期。〕ii引理4.1如i的周期為d，那么存在正整數(shù)M，對一切n>M，有p(nd)>0。ii定義對i,jeS,記j=0,j=P｛X1—jIX0—i｝〔4.15〕j=P｛X=j,Xk豐j,k=1,2,...,n-1IX0=i｝,n>2

〔4.15〕f=，fj〃)f=，fj〃)n&T稱fjn)是系統(tǒng)在0時從i出發(fā)經(jīng)過n步轉(zhuǎn)移后首次到達狀態(tài)j的概率，而fj-)那么是在0時從i出發(fā)，系統(tǒng)在有限步轉(zhuǎn)移內(nèi)不可能到達狀態(tài)j的概率。我們將f(n)和f..統(tǒng)稱為首達概率ijij［又稱首中概率〕引理⑴(2)0<f(")<f首達概率可以用一f(n)=ij多概率來表示：乙ppp ?i1i2 in-1j‘1勺4勺’A"定乂4.7假設f=1，那么稱狀態(tài)i為常返的；假設f<1，那么稱狀態(tài)i為非常返的。定義4.8如日i<8，那么稱常返態(tài)i為正常返的：如日i=8，那么稱常返態(tài)i為零常返的，非周期的正常返態(tài)稱為遍歷狀態(tài)。 ’從狀態(tài)是否常返，如常返的話是否正常返，如正常返的話是否非周期等三層次上將狀態(tài)區(qū)分為以下的類型：'非常返態(tài)偵<1)ii零常返態(tài)(口=8)ii正常返態(tài)(口<8)［有周期3>1)常返態(tài)f=1)<f(")與p(n)有如下關系：ijij定理4.4對任意狀態(tài)i,常返態(tài)f=1)<f(")與p(n)有如下關系：ijij定理4.4對任意狀態(tài)i,j，及1<n<8，有p(n)=￡f.(k)p(n-k)=￡f.(n-k)p(k).k=1 k=0引理4.2 G.C.D{n:n>1,p(〃)>0}=G.C.D{n:n>1,f(〃)>0}.二、常返態(tài)的性質(zhì)及其性質(zhì)定理4?5 狀態(tài)i常返的充要條件為工p=8iin=0iiii〔4.18〕〔4.16〕如i非常返，那么芝p=」■n=0ii1-fi定理4.7 設i常返且有周期d,那么..一、dlimp(nd)=iin—8其中日i為i的平均返回時間。推論設i常返，那么Pi_jd=8時， 0.日i〔4.26〕(1)i零常返=limp(n)=0:〔2〕

ii

n—8定理4.8 可達關系與互通關系都具有傳遞性，即如果i—j，j—上，那么i—k:i遍歷 limp(n)iin—81=——>日i0。如果ifk,j—k，那么i0k。定理4.9如i0j,那么（1） i與j同為常返或非常返，假設為常返，那么它們同為正常返或零常返；（2） i與j有一樣的周期?！?.3狀態(tài)空間的分解狀態(tài)空間I的子集C稱為〔隨機）閉集，如對任意ieC及kwC都有Pk=0。閉集C稱為不可約的，如C的狀態(tài)互通。馬氏鏈｛X｝稱為不可約的，如其狀態(tài)空間不可約。 〃C是閉集的充要條件為對任意ieC及kwC都有P（〃）=0，nN1。稱狀態(tài)i為吸收的，如p=1。顯然狀態(tài)i吸收等價于單點集｛i｝為閉集。ii定理4.10任一馬氏鏈的狀態(tài)空間I，可唯一地分解成有限個或可列個互不相交的子集D,C,￡,...之和，使得每一C是常返態(tài)組成的不可約閉集。C中的狀態(tài)同類，或全是正常返，或全是零常返。它們有一樣的周期且nfk=1,i,ke匕。D由全體非常返狀態(tài)組成。自C中的狀態(tài)不能到達D中的狀態(tài)。稱矩陣〔％.〕為隨機矩陣，如其元素非負且每i有￡r=1。j顯然k步轉(zhuǎn)移矩陣P（k）=〔p（k）〕為隨機矩陣。ij設C為閉集，又G=〔pk）〕，i,j￡C,是C上所得的〔即與C相應的〕k步轉(zhuǎn)移子矩陣，那么G仍是隨機矩陣。定理周期為d的不可約馬氏鏈，其狀態(tài)空間C可唯一地分解為d個互不相交地子集之和，即〔）C=。G,G^氣=0,r豐s,〔）=0且使得自G中任一狀態(tài)出發(fā)，經(jīng)一步轉(zhuǎn)移必進入G］中〔其中G=^）。設｛X,nZ0｝是周期為d的不可約馬氏鏈，那么在定理的結(jié)論下有（1） 如員在時刻0,d,2d,..?上考慮｛X｝，即得一新馬氏鏈，其轉(zhuǎn)移陣P（d）=（p（d）），對此新鏈，每一G是不可約閉集，且G中的狀態(tài)是非周期的。ndp（n）的漸近性質(zhì)與平穩(wěn)分布j（2） 如原馬氏鏈｛Xn｝常返，｛X｝也常返。 rndp（n）的漸近性質(zhì)與平穩(wěn)分布j§一、p（n）的漸近性質(zhì)〔4.33)ij〔4.33)如j非常返或零常返，那么limp（n）=0，VieI11ms 11ms Jn—s推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限馬氏鏈必為正常返的。推論2如馬氏鏈有一個零常返狀態(tài)，那么必有無限多個零常返狀態(tài)。定理4如j正常返，周期為d，那么對任意i及0<r<d-1有l(wèi)imp（nd+r）=f（r）— ）nrsij ij目j推論設不可約、正常返、周期d的馬氏鏈，其狀態(tài)空間為C，那么對一切

i,jeC,i,jeC,有R sj0,否則，其中C=tr1G為定理4.11中所給出。特別，如d=1,那么對一切i,j有l(wèi)imp（n）ijns〔4.38)(4.39)‘0,^j是非常返或零常返f,若J是正常返Rl〔4.38)(4.39)‘0,^j是非常返或零常返f,若J是正常返Rlj常返，那么對任意i,j,有P（k）=— R.=8時，理解上=0定義稱概率分布｛兀，jeI｝為馬爾可夫鏈的平穩(wěn)分布，」假設它滿足七=s『ieIy1y

lim—y、nns ,k=1p(k)=<r??IJ推論如{X}不可約，nlim1ynsn,1k=1〔）￡兀=1,兀 >o.ij^jeI值得注意的是，對平穩(wěn)分布｛丸，jeI｝，有j(4.42)丸=y丸p（n）(4.42)ieI不可約非周期馬爾可夫鏈是正常返的充要條件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布｛上,jeI｝。uj推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。推論2假設不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返的，那么不存在平穩(wěn)分布.推論3假設｛丸,,jeI｝是馬爾可夫鏈的平穩(wěn)分布，那么p（n）=—=丸juj第五章逢續(xù)時間的馬爾可夫鏈TOC\o"1-5"\h\z§

設隨機過程{X(t),tN0},狀態(tài)空間I={小n>0}，假設對于任意0<\<七<???<七+1

及i,i,…,ieI有 n 1 2 n+112 n+1P{X(t)=iIX(t)=i,X(t)=i,…,X(t)=i}n+1 n+1 11 2 2 nn=P{X(t)=iIX(t)=i} (5.1)n+1 n+1 nn那么稱(X(t),tN0}為連續(xù)時間的馬爾可夫鏈。記(5.1)式條件概率的一般形式為p_(s,t)=P{X(s+1)=jIX(s)=i} (5.2)

(5.3)假設(5.2)式的轉(zhuǎn)移概率與s無關，那么稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率，此時轉(zhuǎn)移概率簡記為(5.3)p(s,t)=p(t)其轉(zhuǎn)移概率矩陣簡記為P(t)=(p(t)),(i,jgI,t>0)。以下的討論均假定我們所考慮的連續(xù)時間馬爾柯夫鏈都具有齊次轉(zhuǎn)移概率。為方便起見，簡稱為齊次馬爾可夫過程。定理5.1.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有以下性質(zhì)：(1)pj(t)>0； (2)Ep〔j(t)=1;EjGl_〃 「沃(t)pkj(')kwI其中〔3)式為馬爾可夫過程的Chapman-Kolmogorov〔簡稱C-K)方程?！?〕,〔2)由概率定義及p_(t)的定義易知，下面只證明〔3〕。定義5對于任一tN0,記TOC\o"1-5"\h\zpj(t)=P{X(t)=j},pj=pj(0)=P{X(0)=j},jgI分別稱{p.(t),jgI}和{p,jgI}為齊次馬爾可夫過程的絕對概率分布和初始概率分布。7 7，性質(zhì)齊次馬爾可夫過程的絕對概率及有限維概率分布具有以下性質(zhì)：(1)p.(t)>0； (2)Ep.(t)=1；\o"CurrentDocument"⑶p(t)=Epp(t);7(4)p(t+t)=Ep(t)p(t);

jiijjiij

iwI iwI(5)P{X(t)=i,X(t)=i，…,X(t)=i}E1 1 2 2 nnpp(t)p(t一t)…p(t-1)iii1ii21iin n-11 12 n-1n飛柯爾莫哥洛夫微分方程設齊次馬爾可夫過程滿足正那么性條件，那么對于任意固定的i,jgI,p(t)是t的一致連續(xù)函數(shù)。 7lim1--(Z)lim1--(Z)=y=q5△10 At iiilimp㈤)=q5i主jA10Atij我們稱q^為齊次馬爾可夫過程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移速率或跳躍強度。(2)(1)(2)〔5.2.1)推論對有限齊次馬爾可夫過程，有〔5.2.1)q=乙q<3j我(柯爾莫哥洛夫向前方程)假設乙q廣qn，那么對一切i,j及t>0,有p(t)=Eqp(t)-qp(t))ij ikkj iiijk豐i定理5.2.3〔柯爾莫哥洛夫向前方程〕在適當?shù)恼敲礂l件下p'(t)=Ep(t)q—p(t)q (5.2.6)ij ikkjijjjkoj定理5.2.4齊次馬爾可夫鏈過程在t時刻處于狀態(tài)jEI的絕對概率p.(t)滿足

如下方程:p(t)=-p(t)q+Zp(t)q如下方程:j j jjSk kj定理5設馬爾可夫過程是不可約的，那么有以下性質(zhì)：(1)假設它是正常返的，那么極限limPj(t)存在且等于丸>0,jeI，這里丸.是方程組 j元q二￡丸q<｛jj k力kkj乙丸二1jj的唯一非負解，此時稱&j,jeI｝是該過程的平穩(wěn)分布，并且有l(wèi)imp(t)二丸t-8j /(2)假設它是零常返的或非常返的，那么limPjt)=limP?(t)=0,i,jeItT8J tT8 /§5.3生滅過程定義設齊次馬爾可夫過程｛x(t),t>0｝的狀態(tài)空間為1=｛0,1,2,...｝，轉(zhuǎn)移概率為p.(t)，如果" [p(h)二人h+o(h)(X>0)TOC\o"1-5"\h\zwi iP (h)二日h+0(h)(R>0,R=0)Ji,i-1 i i 0p(h)=1-(X+r)h+o(h)ii iip(h)=o(h)(Ii-jl>2)那么稱｛X(t),t>0｝為生滅過程。其中，X.稱為出生率，R稱為死亡率。假設X.二認,R=iR(X,R為正常數(shù))，那么稱｛X(t),t>0｝為線性生滅過程；假設R三0，那么稱｛X(t),t>0｝為純生過程；i⑶假設氣三0，那么嘴X(六)章>0｝平穩(wěn)過程機過程§平穩(wěn)過程的概念與例子一、平穩(wěn)過程的定義定義§6.2聯(lián)合平穩(wěn)過程及相關函數(shù)的性質(zhì)一、聯(lián)合平穩(wěn)過程定義設｛X(t),teT｝和｛Y(t),teT｝是兩個平穩(wěn)過程，假設它們的互相關函數(shù)E[X(t)Y(t-T)]及E[Y(t)X(t-T)]僅與t有關，而與t無關，那么稱X(t)和Y(t)是聯(lián)合平穩(wěn)隨機過程。定理設｛X(t),teT｝為平穩(wěn)過程，那么其相關函數(shù)具以下性質(zhì)：(1)RX(0)>0; (2)確=RX(-t)； (3)Rx(t)|<Rx(0);(4)R(t)是非負定的，即對任意實數(shù)t,t，…,t及復數(shù)a,a，…,a，有X 12n 1 2n

x-n ￡R(t,t)aa>0Xijij"j=l假設X(t)是周期為T的周期函數(shù)，即X(t)=X(t+T),那么Rx(T)=Rx(t+t)；假設X(t)是不含周期分量的非周期過程，當TI—8時，X(t)與X(t+t)相互獨立，那么limR(t)=mm⑴|R^(t)|2<Rx(0)R「0),|Rx「t)|2<Rx(0)Ry(0);§6.3隨機分析⑵Rxy(-t)=R^(T)§6.3隨機分析一、收斂性概念1、處處收斂對于概率空間(。，粉，戶)上的隨機序列｛X｝，每個試驗結(jié)果e都對應一序列。nX(e),X(e),???，X(?),??? 〔6?2〕故隨機序列｛Xn｝實際上代表一族(6.2)式的序列，故不能用普通極限形式來定義隨機序列的收斂性。假設(6.2)式對每個e都收斂，那么稱隨機序列｛Xn｝處處收斂，即滿足X=Xmil nnstn其中X為隨機變量。2、以概率1收斂假設使隨機序列｛X.(e)｝滿足limX(e)=X(e)ntsn的e的集合的概率為1，即P｛e:limX(e)=X(e)｝=1ntsn我們稱二階矩隨機序列｛Xn(e)｝以概率1收斂于二階矩隨機變量X(e)，或稱｛Xn(e)｝幾乎處處收斂于X(e)，記作X—^^X3、3、假設對于任給的￡>0，假設有l(wèi)imP｛lX(e)-X(e)l>e｝=0，nnts那么稱二階矩隨機序列｛Xn(e)｝依概率收斂于二階矩隨機變量X(e)，記作-^rX。 〃n4、均方收斂設有二階矩隨機序列n4、均方收斂設有二階矩隨機序列｛Xn｝和二階矩隨機變量X，假設有\(zhòng)o"CurrentDocument"limE[lX-X|2]=0nts n成立，那么稱｛Xn｝均方收斂，記作Xn——TX。注：(6.3)式一般記為LLmX=X或I.imX=X。. Xrs5、依分布收斂設有二階矩隨機序列｛Xn｝和二階矩隨機變量X，假設｛Xn｝相應的分布函數(shù)列｛F(X)｝，在X的分布函數(shù)F(x)的每一個連續(xù)點處，有 〃n(6.3)-mrrSlimF(x)=F(x)nsn那么稱二階矩隨機序列｛Xn｝依分布收斂于二階矩隨機變量X,記作Xn—orX對于以上四種收斂定義進展比擬，有以下關系：假設Xn——rX，那么Xn——rX■Ore彳假設Xn—g^X，那么Xn——rX■Ore假設Xn——rX，那么Xn——rX定理2二階矩隨機序列｛X^｝收斂于二階矩隨機變量X的充要條件為"limE[IX-XI2]=0nrs nm定理3設｛Xn｝,｛r｝,｛Zn｝都是二階矩隨機序列，u為二階矩隨機變量，｛c」為常數(shù)序列，〔1〕，nmc=limc=c；nrsmU=U；m(cU)=cU；m(aX〔1〕，nmc=limc=c；nrsmU=U；m(cU)=cU；m(aX+bY)=aX+bY；limE[X]=E[X]=E[l.i.mX]；nrs n nlimE[XF]=E[XY]=E[(l.i.mX)(l.i.mYm)]；n,mrs nm n⑵〔3〕⑷〔5〕特別有l(wèi)imE[IX|2]=E[IX|2]=E[Il.i.mXI2]。TOC\o"1-5"\h\zns " n定理4設｛X」為二階矩隨機序列，那么｛X」均方收斂的充要條件為以下極限存在limE[X ]。n,mrs nm二、均方連續(xù)定義 設有二階矩過程｛X(t),teT｝，假設對t0eT，有l(wèi)imE[IX(t+h)-X(t)I2]=0，hr0 0 0那么稱X(t)在t0點均方連續(xù)，記作limX(t0+h)=X(t0)。假設對T中一切點都均方連續(xù)，那么稱X(t)在T上均方連續(xù)。 hr0定理〔均方連續(xù)準那么)二階矩過程｛X(t),teT｝在t點均方連續(xù)的充要條件為相關函數(shù)Rx(t1,t「在點(t,t)處連續(xù)。推論之假設相關函數(shù)Rx(t1,12)在｛(t,t),teT｝上連續(xù)，那么它在TXT上連續(xù)三、均方導數(shù)定義7設｛X(t),teT｝是二階矩過程，假設存在一個隨機過程X\t)，滿足limEI*(t+h)-X(()—x，(t)|2=0hT0 h則稱乂⑺在t點均方可微，記作X，(t)=、=l.imX(t+h)-X((tdt hr。

并稱乂'(t)為乂(t)在1點的均方導數(shù)。類似的有X〃(()或籍「R(t+h,t+h)-R(t+h,t)R(t,t+h)-R(t,t)

lim—X_1 1_2 2 X_1 1_——X_1_2 2 X_1_2—h項 hh hh。2項 12 12為RX(t］,12)在(t『t2)的廣義二階導數(shù)，記為合2R(t,t)dtdt定理6均方可微準那么二階矩過程｛X(t),teT｝在t點均方可微的充要條件為相關函數(shù)Rx(t「12)在點(t,t)的廣義二階導數(shù)存在。'推論1二階矩過程｛X(t),teT｝在T上均方可微的充要條件為相關函數(shù)R*12)在TOC\o"1-5"\h\z｛(t,t),teT｝上每一點廣義二階可微。 '12推論2假設R(t,t)在｛(t,t),teT｝上每一點廣義二階可微，那么dmX(t)在T上以dR RddR Rdt, 、d… 、d… 、'(t,t)^—R(t,t),R(t,t)

X12dtX12dtdtX12在TxT上存在，且有(4)y=dEXt)]=E[X'(t)]；dtdt哩(4)y=dEXt)]=E[X'(t)]；dtdt哩#‘2)=gE[X(t)E]=E[X(t)Xy?];dt1 dt1 1 2 1 2^RX^t1,t2)=：E[X(t)E]=E[X(t)XTT?]；

dt dt 1 2 1 2d2R(t,t-) d2R(t,口=E[Xf(t)X^]X_1-dtdt12X~1-dtdt四、均方積分—S|2=0，那么稱f(t)X(t)定義8如果A—0時n在［a,b］上均方可積，并記為S=Jbf(t)X(t)dt=lim2f(t')X(tf)(t—ta An—°i=1''''稱此為f(t)X(t)在區(qū)間［a,b］上的均方積分。定理7〔均方可積準那么〕f(t)X(t)在區(qū)間［a,b］上均方可積的充要條件為JbJbf(t)fP)R(t,t)dtdtaa1 2X1212存在。特別的，二階矩過程X(t)在［a,b］上均方可積的充要條件為RX(t］,t｝在［a,b］x［a,b］上可積。 x12定理8S均方收斂于S，即limEISnn,—1)特別有設f(t)X(t)在區(qū)間[a,b]上均方可積，那么有E[jbf(t)X(t)dt]=jbf(t)E[X(t)]dtaa…一E[JbX(t)dt]=JbE[X(t)]dt(2)E[fbf(t)X(t)dtjbf(t)X(t)dt]=jbjbf(t)^f(F)R(t,t)dtdt1 1 1 2 2 2 1 2X12 1 2a a aa特別的有 EIJbX(t)dt|2=JbJbR(t,t)dtdt。X12 1 2a aa定理9設二階矩過程(X(t),teT｝在［a,b］上均方連續(xù)，那么Y(t)=jtX(t)dT, (a<t<b)a在均方意義下存在，且隨機過程｛X(t),teT｝在［a,b］上均方可微，且有Y'(t)=X(t)。推論設X(t)均方可微，且X'(t)均方連續(xù)，那么X(t)-X(a)=jtX'(t)dta特別有X(t)-X(a)=jtX'(t)dta§4平穩(wěn)過程的各態(tài)歷經(jīng)性定義9設｛X(t),-8<tV8｝為均方連續(xù)的平穩(wěn)過程，那么分別稱<X(t)>=l.i.m—jTX(t)dt,<X(t)X(t-T)>=l.i.m—jTX(t)X(t-t)dtt*2T-t t*2T-t為該過程的時間均值和時間相關函數(shù)。定義10設｛X(t),-8<tV8｝是均方連續(xù)的平穩(wěn)過程，假設<X(t)>Pr.1E(X(t))，即m2tJtx(t)dt=m以概率1成立，那么稱該平穩(wěn)過程的均值具有各態(tài)歷經(jīng)性。假設<X(t)X(t-t)>Pr.1E(X(t)X(t-t))，即m—jTX(t)X(t-T)dt=R(t)t*2T-t x以概率1成立，那么稱該平穩(wěn)過程的相關函數(shù)具有各態(tài)歷經(jīng)性。定義11如果均方連續(xù)的平穩(wěn)過程｛X(t),teT｝的均值和相關函數(shù)都具有各態(tài)歷經(jīng)性，那么稱該平穩(wěn)過程為具有各態(tài)歷經(jīng)性或遍歷性。定理10設｛X(t),-8VtV8｝是均方連續(xù)的平穩(wěn)過程，那么它的均值具有各態(tài)歷經(jīng)「 1「 1j2TlimTw2T-2T(6.9)[R(T)-m|2]dT=0(6.9)X，X，設｛X(t),-8<tV8｝為均方連續(xù)的平穩(wěn)過程，那么其相關函數(shù)具有各態(tài)歷經(jīng)性的充要條件為其中l(wèi)imTT812Tj要條件為其中l(wèi)imTT812Tj2T"-

-2T，T―1-2T/B(t)-R(T)21XdT1=0(6.15)B(B(t)=EX(t)X(t-t)X(t-t)X(t-T-T)1對于均方連續(xù)平穩(wěn)過程｛X(t),0<t<8｝，mLjTX(t)dT=m1等式t*T0 1等式以概率1成立的充要條件為lim1j丁[1上]B(T)d=0f2T一t" T)x假設X(t)為實平穩(wěn)過程，那么上式變?yōu)閘im-j丁(1-L]B(t)dT=0T*T0IT)x對于均方連續(xù)平穩(wěn)過