馬爾可夫過程(新)

馬爾可夫鏈馬爾可夫性（無后效性）實際中有一類很廣泛的隨機過程，其特點體現(xiàn)在過程中各個時刻的隨機變量有一定的相依（非獨立）關(guān)系。具體地說就是：過去只影響現(xiàn)在，而不影響將來。這種隨機過程叫做馬爾可夫過程?；蛘哒f：當(dāng)隨機過程在時刻ti

所處的狀態(tài)已知時，過程在時刻t(t>ti)

所處的狀態(tài)僅與過程在時刻ti

的狀態(tài)有關(guān)，而與過程在時刻ti

以前所處的狀態(tài)無關(guān)。此特性稱為隨機過程的無后效性或馬爾可夫性。馬爾可夫過程分類按其狀態(tài)空間I和時間t

參數(shù)集是連續(xù)還是離散可分成四類。討論內(nèi)容：定義；轉(zhuǎn)移概率及轉(zhuǎn)移概率矩陣；齊次性；平穩(wěn)分布；遍歷性；其它性質(zhì)。目錄馬爾可夫鏈的基本概念馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈中狀態(tài)的分類狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布非常返狀態(tài)的分析典型的馬爾可夫鏈

馬爾可夫鏈的基本概念在這一節(jié)中我們將介紹以下內(nèi)容：馬爾可夫鏈定義馬爾可夫性質(zhì)齊次馬爾可夫鏈定義馬爾可夫鏈的基本概念定義：馬爾可夫鏈滿足以下的性質(zhì)的離散時間離散取值隨機過程是馬爾可夫鏈.

其中，是非連續(xù)的順序時刻.馬爾可夫鏈的基本概念說明：馬爾可夫鏈具有無后效性。

表述一：的“將來”只是通過“現(xiàn)在”與“過去”發(fā)生聯(lián)系，一旦“現(xiàn)在”已經(jīng)確定，“將來”與“過去”無關(guān)。馬爾可夫鏈的基本概念說明：馬爾可夫鏈具有無后效性。

表述二：在已知tm時過程所處狀態(tài)的條件下，時刻tm以后過程將到達狀態(tài)的情況與時刻以前過程所處狀態(tài)無關(guān)。這個稱為過程的無后效性或馬爾可夫性。馬爾可夫鏈的基本概念馬爾可夫鏈的性質(zhì)1：馬爾可夫鏈的有限維概率密度可以用轉(zhuǎn)移概率來表示.馬爾可夫鏈的基本概念馬爾可夫鏈的性質(zhì)1：馬爾可夫鏈的有限維概率密度可以用轉(zhuǎn)移概率來表示.馬爾可夫鏈的基本概念馬爾可夫鏈的性質(zhì)2：馬爾可夫鏈的有限維條件概率密度可以用轉(zhuǎn)移概率來表示

.馬爾可夫鏈的基本概念定義：齊次馬爾可夫鏈如果在馬爾可夫鏈中滿足即從i狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的概率與k無關(guān)，則稱這類馬爾可夫鏈為齊次馬爾可夫鏈.目錄馬爾可夫鏈的基本概念馬爾可夫鏈的數(shù)學(xué)描述

馬爾可夫鏈中狀態(tài)的分類狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布非常返狀態(tài)的分析典型的馬爾可夫鏈

馬爾可夫鏈的數(shù)學(xué)描述在研究馬爾可夫鏈的過程中，我們需要從物理問題中提取出其數(shù)學(xué)模型，然后用“數(shù)學(xué)語言”描述其特征進而用數(shù)學(xué)工具解決問題。這一小節(jié)我們就介紹一下馬爾可夫鏈的數(shù)學(xué)描述問題。主要包括馬爾可夫鏈的轉(zhuǎn)移概率以及切普曼－柯爾莫哥洛夫方程。馬爾可夫鏈的數(shù)學(xué)描述確定馬爾可夫鏈的狀態(tài)；馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣；馬爾可夫鏈的狀態(tài)轉(zhuǎn)換圖；馬爾可夫鏈的m步轉(zhuǎn)移概率；切普曼－柯爾莫哥洛夫方程。馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的一步轉(zhuǎn)移概率：定義條件概率為馬爾可夫鏈在時刻k時的一步轉(zhuǎn)移概率.馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的一步轉(zhuǎn)移概率性質(zhì)：馬爾可夫鏈的一步轉(zhuǎn)移概率具有非負性和歸一化特性.,.ExampleA,BandCarethreetowns.Eachyear:10%oftheresidentsofAmovetoB30%oftheresidentsofAmovetoC20%oftheresidentsofBmovetoA30%oftheresidentsofBmovetoC20%oftheresidentsofCmovetoA20%oftheresidentsofCmovetoBNoonedies.Nooneisborn.ABCA,B,andCarethreetowns.10peopleliveinA15peopleliveinC20peopleliveinBABCEachyear10%oftheresidentsofAmovetoB.10and20%oftheresidentsofAmovetoC

.20ABC.10.20Eachyear20%oftheresidentsofBmovetoA.20and30%oftheresidentsofBmovetoC

.30ABC.10.20.20.30Eachyear20%oftheresidentsofCmovetoA.20and20%oftheresidentsofCmovetoB

.20ABC.10.20.20.30.20.20ABC.10.20.20.30.20.20ABC.10.20.20.30.20.20BAC.10.20.20.30.20.20141417ABC102015ThisyearNextyearWherewilleveryonebein10years?ABC.10.20.20.30.20.20ABC.10.20.20.30.20.20An+1=.7AnAC.10.20.20.30.20.20An+1=.7An+.2Bn+.2CnBAC.10.20.20.30.20.20An+1=.7An+.2Bn+.2CnBn+1=.1An+.5Bn+.2CnBAC.10.20.20.30.20.20An+1=.7An+.2Bn+.2CnBn+1=.1An+.5Bn+.2CnCn+1=.2An+.3Bn+.6CnBAC.10.20.20.30.20.20An+1=.7An+.2Bn+.2CnBn+1=.1An+.5Bn+.2CnCn+1=.2An+.3Bn+.6CnBAn+1=.7An+.2Bn+.2CnBn+1=.1An+.5Bn+.2CnCn+1=.2An+.3Bn+.6CnNote:.7+.1+.2=1.Thisaccountsfor100%ofthoseintownAinyearnCn+1=.2An+.3Bn+.6CnCn+1=.2An+.3Bn+.6CnNote:.2+.5+.3=1.Thisaccountsfor100%ofthoseintownBinyearnNote:.2+.2+.6=1.Thisaccountsfor100%ofthoseintownCinyearn04132234031223021201vMvMvMvMvvMvMvMvvMvMvvMv==========AttimezeroIhaveX0=$2,andeachdayImakea$1bet.Iwinwithprobabilitypandlosewithprobability1–p.I’llquitifIeverobtain$4orifIloseallmymoney.AnExampleProblem--Gambler’sRuinifXt=4thenXt+1=Xt+2=???=43withprobabilityp1

withprobability1–pSo,X1={ThepossiblevaluesofXtisΩ={0,1,2,3,4}Xt=amountofmoneyIhaveafterthebetondayt.ifXt=0thenXt+1=Xt+2=???=0.ComponentsofStochasticProcessesThestatespaceofastochasticprocessis thesetofallvaluesthattheXt’scantake.(wewillbeconcernedwith stochasticprocesseswithafinite#ofstates)Time:t=0,1,2,...State:m-dimensionalvector,Ω=(s1,s2,...,sm

)or Ω=(s1,s2,...,sm)or(s0,s1,...,sm-1)SequenceXt,Xttakesoneofmvalues,soXt

Ω.P{Xt+1=j|

Xt=i}=P{X1=j|

X0=i}forallt(Theydon’tchangeovertime)WewillonlyconsiderstationaryMarkovchains.Theone-steptransitionmatrixforaMarkovchain withstatesS={0,1,2}iswherepij=P{X1=j

|X0=i}StationaryTransitionProbabilitiesStationaryMarkovChainsIfthestatespaceS={0,1,...,m–1}thenwehave

j

pij

=1

iandpij

0

i,j(wemust (eachtransitiongosomewhere) hasprob

0)PropertyofTransitionMatrixStationaryPropertyassumesthatthesevaluesdoesnotchangewithtimeTransitionMatrixoftheGambler’sproblem

0 1 2 3 4

01 0 0 0 0 1 1-p 0 p 0 0 2 0 1-p 0 p 0 3 0 0 1-p 0 p

4 0 0 0 0 1 AttimezeroIhaveX0=$2,andeachdayImakea$1bet.Iwinwithprobabilitypandlosewithprobability1–p.I’llquitifIeverobtain$4orifIloseallmymoney.Xt=amountofmoneyIhaveafterthebetondayt.TransitionMatrixofGambler’sRuinProblemThestate-transitiondiagramofGambler’sproblem11121-p1-p12340ppp1-pStateTransitionDiagramStateTransitionDiagramNodeforeachstate, Arcfromnodeitonodejifpij>0Noticenodes0and4are“trapping”node馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣：設(shè)P代表一步轉(zhuǎn)移概率pij所組成的矩陣，且狀態(tài)空間I由狀態(tài)0,1,2,…所組成，則顯然P矩陣的每個元素為非負，并且每行之和均為1。P被稱為一步轉(zhuǎn)移概率矩陣。馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣：在分析問題的過程中一步轉(zhuǎn)移狀態(tài)概率矩陣最好轉(zhuǎn)換成與其等價的更直觀的狀態(tài)轉(zhuǎn)換圖.例如：馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的m步轉(zhuǎn)移概率：定義條件概率為馬爾可夫鏈的m步轉(zhuǎn)移概率.

顯然.馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈的m步轉(zhuǎn)移概率(續(xù))：說明：馬爾可夫鏈的m步轉(zhuǎn)移概率表示在時刻k時狀態(tài)為i

的條件下，經(jīng)過m步轉(zhuǎn)移到達狀態(tài)j

的概率.馬爾可夫鏈的數(shù)學(xué)描述切普曼－柯爾莫哥洛夫方程切普曼-柯爾莫哥洛夫方程是用m步和r步轉(zhuǎn)移概率來表示m+r步轉(zhuǎn)移概率.Chapman-KolmogorovEquationsItfollowsfromthedefinitionofaMarkovchainthat,forexample,馬爾可夫鏈的數(shù)學(xué)描述齊次切普曼－柯爾莫哥洛夫方程齊次切普曼－柯爾莫哥洛夫方程矩陣形式馬爾可夫鏈的基本概念齊次馬爾可夫鏈性質(zhì)：齊次馬爾可夫鏈可以用一步狀態(tài)轉(zhuǎn)移概率表示任意步狀態(tài)轉(zhuǎn)移概率.即：若已知一步狀態(tài)轉(zhuǎn)移概率矩陣，就可以得到任意步狀態(tài)轉(zhuǎn)移概率.目錄馬爾可夫鏈的基本概念馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈中狀態(tài)的分類狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布非常返狀態(tài)的分析典型的馬爾可夫鏈

典型的馬爾可夫鏈這一小節(jié)中我們介紹獨立增量過程以及齊次獨立增量過程、正交增量過程的定義。并通過舉例初步說明在研究馬爾可夫鏈時如何基于實際中的物理問題進行數(shù)學(xué)建模。典型的馬爾可夫鏈獨立增量過程隨機過程,在參數(shù)集T上任選t1<t2<…<tnn個點,隨機過程的增量，，…，是相互統(tǒng)計獨立的,則稱這類隨機過程是獨立增量過程.

典型的馬爾可夫鏈齊次獨立增量過程如果獨立增量過程的增量僅與時間差tk-tk-1有關(guān)，而與時間tk、tk-1本身無關(guān)，則稱它為齊次獨立增量過程.典型的馬爾可夫鏈性質(zhì)：

獨立增量過程是一種特殊的馬爾可夫過程。獨立增量過程的有限維分布由它的初始概率分布和所有增量的概率分布唯一確定。

典型的馬爾可夫鏈無后效性典型的馬爾可夫鏈正交增量過程設(shè)隨機過程的二階矩存在,且當(dāng)時,有則稱該過程為正交增量過程.典型的馬爾可夫鏈定理獨立增量過程,若它還滿足：1.；2. ；則該改過程也是一個正交增量過程.典型的馬爾可夫鏈泊松過程和維納過程泊松過程和維納過程是兩個最重要的獨立增量過程。在日常生活及工程技術(shù)領(lǐng)域中，常常需要研究這樣一類問題，即研究在一定時間間隔內(nèi)某隨機事件出現(xiàn)次數(shù)的統(tǒng)計規(guī)律。例如：通過某交叉路口的電車、汽車數(shù)；某電話總機接到的呼喚次數(shù)；在電子技術(shù)中的散粒噪聲的沖激脈沖個數(shù)；數(shù)字通訊中已編碼信號的誤碼個數(shù)等。所有這些問題一般被稱為計數(shù)過程。計數(shù)過程泊松過程泊松過程數(shù)學(xué)期望：方差：自相關(guān)函數(shù)：二進制序列舉例（半隨機電報信號）半隨機電報信號是只?。?或－1的隨機過程。若在時間間隔(0,t)內(nèi)，變號時刻點的總數(shù)為偶數(shù)（或0），則X(t)

=1；若為奇數(shù)，則X(t)

=－1

。變號次數(shù)12345678X(t)-1+1-1+1-1+1-1+1討論：半隨機電報信號的期望、自相關(guān)函數(shù)和功率譜密度舉例（半隨機電報信號）數(shù)學(xué)期望：自相關(guān)函數(shù)：功率譜密度：舉例（隨機電報信號）數(shù)學(xué)期望：自相關(guān)函數(shù)：泊松沖激序列沖激序列數(shù)學(xué)期望：自相關(guān)函數(shù)：散粒噪聲泊松沖激序列N(T)為在[0,T)內(nèi)輸入到濾波器的沖激脈沖的個數(shù)，它服從泊松分布。

線性時不變系統(tǒng)散粒噪聲溫度限制的電子二極管中，由散粒（或散彈）效應(yīng)引起的散粒（或散彈）噪聲電流是過濾的泊松過程。晶體管中有三種類型的噪聲：①熱噪聲；②散粒噪聲；③閃爍噪聲（又稱噪聲，是一種低頻噪聲）。其中散粒噪聲的機理與電子管的相類似，也是過濾的泊松過程。維納過程維納過程是另一個重要的獨立增量過程，有時稱作布朗運動過程。它可以作為隨機游動的極限形式來研究，游動過程中的所有軌跡幾乎都是連續(xù)的。電阻中電子的熱運動就是具有維納過程的性質(zhì)，可用維納過程來描述。實際中我們常把白噪聲作為熱噪聲的理想化模型，而維納過程可看作是白噪聲通過積分器的輸出。此外，維納過程是一個非平穩(wěn)的高斯過程。蘇格蘭植物學(xué)家羅伯特?布朗1827年夏天對各種植物的花粉顆粒浸在水中時的運動做了研究。這種浸泡在水中花粉粒子的奇異的、不規(guī)則的運動后來被稱為“布朗運動”。維納過程定義1：若獨立增量過程X(t)，其增量的概率分布服從高斯分布，則稱X

(t)

為維納過程。定義2：對所有樣本函數(shù)幾乎處處連續(xù)的齊次獨立增量過程稱為維納過程。（兩種定義等價)數(shù)學(xué)期望：方差：自相關(guān)函數(shù)：非平穩(wěn)典型的馬爾可夫鏈馬爾可夫鏈問題的研究(一)

研究馬爾可夫鏈的第一步就是從實際的物理問題中提取出數(shù)學(xué)模型：確定馬爾可夫鏈的狀態(tài)空間；確定馬爾可夫鏈的一步狀態(tài)概率轉(zhuǎn)移矩陣；將一步狀態(tài)概率轉(zhuǎn)移矩陣轉(zhuǎn)換成狀態(tài)轉(zhuǎn)換圖。典型的馬爾可夫鏈馬爾可夫鏈舉例例1：天氣預(yù)報問題

如果明天是否有雨僅與今天的天氣(是否有雨)有關(guān)，而與過去的天氣無關(guān).設(shè)今天有雨明天有雨的概率為α，今天無雨明天有雨的概率為β；假設(shè)把有雨稱為0狀態(tài)天氣，把無雨稱為1狀態(tài)天氣.則這是一個兩狀態(tài)的馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例1：天氣預(yù)報問題(續(xù))

此馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣為狀態(tài)轉(zhuǎn)移圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例1：天氣預(yù)報問題(續(xù))兩步轉(zhuǎn)移概率為四步轉(zhuǎn)移概率為典型的馬爾可夫鏈馬爾可夫鏈舉例例2：數(shù)字通信系統(tǒng)在某數(shù)字通信系統(tǒng)中傳遞0、1兩種信號，且傳遞要經(jīng)過許多級。每級中由于噪聲的存在會引起誤差.典型的馬爾可夫鏈馬爾可夫鏈舉例例2：數(shù)字通信系統(tǒng)(續(xù))

如果每級送入0、1信號后，它的輸出不產(chǎn)生誤差的概率為p(即各級正確傳遞信息的概率)，則各級的輸入輸出狀態(tài)組成一個二狀態(tài)馬爾可夫鏈.

典型的馬爾可夫鏈馬爾可夫鏈舉例例2：數(shù)字通信系統(tǒng)(續(xù))此馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例3：無限制隨機游動

設(shè)有一個質(zhì)點在x軸上作隨機游動，在t=1,2,3,…時沿x軸正方向或反方向移動一個單位距離，沿正方向移動一個單位距離的概率為p，沿反方向移動一個單位距離的概率為q=1-p.典型的馬爾可夫鏈馬爾可夫鏈舉例例3：無限制隨機游動(續(xù))

若以表示時刻n質(zhì)點的位置，則是一個隨機過程，等n時刻以后質(zhì)點所處的位置只與有關(guān)，而與質(zhì)點在n以前是如何到達i

的無關(guān)。所以它是一個馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例3：無限制隨機游動(續(xù))此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例4：帶有一個吸收壁的隨機游動

設(shè)有一個質(zhì)點在x軸上作隨機游動，在t=1,2,3,…時沿x軸正方向或反方向移動一個單位距離，沿正方向移動一個單位距離的概率為p，沿反方向移動一個單位距離的概率為q=1-p.典型的馬爾可夫鏈馬爾可夫鏈舉例例4：帶有一個吸收壁的隨機游動(續(xù))

若以表示時刻n質(zhì)點的位置，則是一個隨機過程，等n時刻以后質(zhì)點所處的位置只與有關(guān)，而與質(zhì)點在n以前是如何到達i

的無關(guān).但質(zhì)點一旦到達狀態(tài)0，它就停留在狀態(tài)0上.所以它是一個馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例4：帶有一個吸收壁的隨機游動(續(xù))此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例4：帶有一個吸收壁的隨機游動(續(xù))此馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣為典型的馬爾可夫鏈馬爾可夫鏈舉例例5：帶有二個吸收壁的隨機游動

設(shè)有一個質(zhì)點在x軸上作隨機游動，在t=1,2,3,…時沿x軸正方向或反方向移動一個單位距離，沿正方向移動一個單位距離的概率為p，沿反方向移動一個單位距離的概率為q=1-p.典型的馬爾可夫鏈馬爾可夫鏈舉例例5：帶有二個吸收壁的隨機游動(續(xù))

若以表示時刻n質(zhì)點的位置，則是一個隨機過程，

等n時刻以后質(zhì)點所處的位置只與有關(guān)，而與質(zhì)點在n以前是如何到達i

的無關(guān).但質(zhì)點一旦到達狀態(tài)0和a，它就停留在狀態(tài)0和a上，0和a是兩個吸收壁.它是一個馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例5：帶有二個吸收壁的隨機游動(續(xù))此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例6：賭徒輸光問題兩個賭徒進行一系列賭博，在每一局賭博中甲獲勝的概率是p，乙獲勝的概率是1-p，每一局后，負者要付一元給勝者。如果起始時甲有資本a元，乙有資本b元，a+b=c，兩人賭博直到甲輸光或乙輸光為止，求甲輸光的概率。典型的馬爾可夫鏈馬爾可夫鏈舉例例6：賭徒輸光問題(續(xù))

此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例7：帶有一個反射壁的隨機游動 質(zhì)點的游動同例3所述，但當(dāng)質(zhì)點進入0狀態(tài)，下一步它以概率p向正方向移動一步，以概率(1-p)停留在0狀態(tài).這種情況也可以設(shè)想在-1/2處有一個反射壁，每次向負方向移動即被反射壁反射回0狀態(tài).它是一個馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例7：帶有一個反射壁的隨機游動(續(xù))此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例8：帶有二個反射壁的隨機游動 質(zhì)點的游動同例3所述，當(dāng)質(zhì)點進入0狀態(tài)，下一步它以概率p向正方向移動一步，以概率(1－p)停留在0狀態(tài).當(dāng)質(zhì)點進入a狀態(tài)，下一步它以概率(1－p)向負方向移動一步，以概率p停留在a狀態(tài).它是一個馬爾可夫鏈.典型的馬爾可夫鏈馬爾可夫鏈舉例例8：帶有二個反射壁的隨機游動(續(xù))此馬爾可夫鏈的狀態(tài)空間I為狀態(tài)轉(zhuǎn)換圖為典型的馬爾可夫鏈馬爾可夫鏈舉例例9：艾倫菲斯特(Ehrenfest)模型

一個壇子裝有c個球，它們或是紅色的或是黑色的。從壇子隨機地摸出一個球并換入另一個顏色的球，經(jīng)過n次摸換，研究壇子中黑球的數(shù)目。

典型的馬爾可夫鏈馬爾可夫鏈舉例例10：卜里耶(Polya)模型假設(shè)壇子里有b個黑球和r個紅球，隨機的從中取出一個球然后再把球放回去，并加入c個與摸出球相同顏色的球，如此放取，不斷進行下去。

目錄馬爾可夫鏈的基本概念馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈中狀態(tài)的分類

狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布非常返狀態(tài)的分析典型的馬爾可夫鏈

馬爾可夫鏈中的狀態(tài)分類

這節(jié)的內(nèi)容是通過馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣或狀態(tài)轉(zhuǎn)換圖研究馬爾可夫鏈的狀態(tài)分類，主要內(nèi)容有：到達和相通；狀態(tài)空間的分解；常返態(tài)和非常返態(tài)；周期和非周期；遍歷態(tài)。馬爾可夫鏈中的狀態(tài)分類到達和相通定義：狀態(tài)i可到達狀態(tài)j

如果對狀態(tài)

i和j存在某個n(n≥1)，使得，即由狀態(tài)i出發(fā)，經(jīng)過n次轉(zhuǎn)移以正的概率到達狀態(tài)j，則稱自狀態(tài)

i可到達狀態(tài)

j，記為ij.

反之，如果i不能到達

j，記為ij，此時對于一切n(n≥1)，.馬爾可夫鏈中的狀態(tài)分類到達和相通定理：到達的傳遞性如果由狀態(tài)i可以到達狀態(tài)k，由狀態(tài)k可以到達狀態(tài)j，則由狀態(tài)i可以到達狀態(tài)j，即到達具有傳遞性.

馬爾可夫鏈中的狀態(tài)分類到達和相通定義：狀態(tài)i和狀態(tài)j相通

有兩個狀態(tài)

i和j，如果由狀態(tài)i可以到達狀態(tài)

j，且由狀態(tài)

j可以到達狀態(tài)

i，則稱狀態(tài)

i和狀態(tài)j相通，記作ij.馬爾可夫鏈中的狀態(tài)分類到達和相通定理：相通的傳遞性如果狀態(tài)i和狀態(tài)k相通，狀態(tài)k和狀態(tài)j相通，則狀態(tài)i和狀態(tài)j相通，即相通具有傳遞性.

馬爾可夫鏈中的狀態(tài)分類狀態(tài)空間的分解定義：狀態(tài)空間的類

如果兩個狀態(tài)相通，則稱兩個狀態(tài)處于同一類中.

可以按照相通的概念把狀態(tài)空間分成一些隔離的類。

馬爾可夫鏈中的狀態(tài)分類狀態(tài)空間的分解定義：狀態(tài)空間的閉集

設(shè)C為狀態(tài)空間的一個子集，如果從C

中的任何一個狀態(tài)i不能到達C以外的任何狀態(tài)，則稱C是閉集.

如果單個狀態(tài)構(gòu)成一個閉集，則稱這個狀態(tài)為吸收態(tài).馬爾可夫鏈中的狀態(tài)分類狀態(tài)空間的分解定義：不可約的馬爾可夫鏈

稱除了整個狀態(tài)空間以外，沒有別的閉集的馬爾可夫鏈為不可約的，這時所有的狀態(tài)是相通的.

馬爾可夫鏈中的狀態(tài)分類狀態(tài)空間的分解定理：

在m步轉(zhuǎn)移概率矩陣中，如果只保留同類中各狀態(tài)間的轉(zhuǎn)移概率，而把其它所有行和列的元素都刪去，則所剩下的一個隨機矩陣滿足和

.

馬爾可夫鏈中的狀態(tài)分類例1：設(shè)有三個狀態(tài)（0，1，2）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求各個狀態(tài)之間的關(guān)系。

馬爾可夫鏈中的狀態(tài)分類例1：它的狀態(tài)轉(zhuǎn)換圖是

馬爾可夫鏈中的狀態(tài)分類例1：由狀態(tài)0可到達狀態(tài)2，由狀態(tài)2經(jīng)過狀態(tài)1也可以到達狀態(tài)0。故3個狀態(tài)是相通的。所以該馬爾可夫鏈為不可約的。

馬爾可夫鏈中的狀態(tài)分類例2：設(shè)有四個狀態(tài)（0，1，2，3）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求各個狀態(tài)之間的關(guān)系。

馬爾可夫鏈中的狀態(tài)分類例2：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類例2：從2狀態(tài)出發(fā)可以到達0、1、3三個狀態(tài)，但是從0、1、3三個狀態(tài)出發(fā)都不能到達2狀態(tài)，所以0、1兩個狀態(tài)和2狀態(tài)是不相通的。這個馬爾可夫鏈有兩個閉集{0,1}和{3}。馬爾可夫鏈中的狀態(tài)分類例3：設(shè)有9個狀態(tài)（0，1，2，3，4，5，6，7，8）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣如下，其中*表示正概率元素。馬爾可夫鏈中的狀態(tài)分類例3：它的一步轉(zhuǎn)移概率矩陣如下：馬爾可夫鏈中的狀態(tài)分類例3：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定義：

對于任意兩個狀態(tài)i、j，定義代表從狀態(tài)i出發(fā)首次進入狀態(tài)j的最早時刻，即

.馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定義：

定義從狀態(tài)i經(jīng)過n步第一次到達狀態(tài)j的概率馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定義

定義從狀態(tài)i遲早到達狀態(tài)

j的概率

馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定理一：

對于任意的

i、j∈I，1≤n<∞

，有

馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定理二：

fij>0的充要條件是i→j.

推論：i，j相通的充要條件是

fij>0,fji>0.馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定義：如果fii=1，則稱狀態(tài)i是常返的.

定義：如果fii<1，則稱狀態(tài)i是非常返的.

馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定理三：

狀態(tài)

i是常返的的充要條件是,

如果狀態(tài)

i是非常返的則.馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定理四：

設(shè)i、j狀態(tài)是馬爾可夫鏈的兩個相通的狀態(tài)，若狀態(tài)i是常返的，則狀態(tài)

j也是常返的.馬爾可夫鏈中的狀態(tài)分類狀態(tài)的常返態(tài)和滑過態(tài)定理五：

如果狀態(tài)

j是非常返的，則對每一個狀態(tài)i，

,馬爾可夫鏈中的狀態(tài)分類例4：設(shè)有四個狀態(tài)（0，1，2，3）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求各個狀態(tài)之間的關(guān)系。

馬爾可夫鏈中的狀態(tài)分類例4：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類例4：它是一個有限狀態(tài)的馬爾可夫鏈，所有的狀態(tài)都是相通的，因此，所有的狀態(tài)必然均為常返態(tài)，整個狀態(tài)空間形成一個閉集。馬爾可夫鏈中的狀態(tài)分類例5：設(shè)有五個狀態(tài)（0，1，2，3，4）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求各個狀態(tài)之間的關(guān)系。

馬爾可夫鏈中的狀態(tài)分類例5：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類例5：從狀態(tài)轉(zhuǎn)移圖中可以看出狀態(tài)2和3不可能和其它狀態(tài)相通，{2,3}組成一個閉集。狀態(tài)4可以轉(zhuǎn)移到{0,1}狀態(tài)，但是0、1兩狀態(tài)不能到達4狀態(tài)，{0,1}組成一個閉集。{0,1}閉集是有限態(tài)，故0、1均為常返態(tài)。{4}狀態(tài)為非常返態(tài)。馬爾可夫鏈中的狀態(tài)分類例6：試研究無限制隨機游動各狀態(tài)的性質(zhì)。馬爾可夫鏈中的狀態(tài)分類例6：當(dāng)p=1/2時：

狀態(tài)0和所有狀態(tài)是常返的。當(dāng)p≠1/2時狀態(tài)0和所有狀態(tài)都是非常返的。

馬爾可夫鏈中的狀態(tài)分類周期的狀態(tài)和非周期的狀態(tài)定義：周期的狀態(tài)

如果有正整數(shù)d，d>1，只有當(dāng)n=d，2d，

3d，…時，或者說當(dāng)n不能被d整除時，則稱

i狀態(tài)是具有周期性的狀態(tài).馬爾可夫鏈中的狀態(tài)分類例7：設(shè)有四個狀態(tài)（0，1，2，3）的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求各個狀態(tài)之間的關(guān)系。馬爾可夫鏈中的狀態(tài)分類例7：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類例7：

四個狀態(tài)可以分成{0,1}和{2,3}兩個子類。該過程有確定性的周期轉(zhuǎn)移

{0,1}->{2,3}->{0,1}->{2,3}…

它的周期為2。馬爾可夫鏈中的狀態(tài)分類例8：

設(shè)有8個狀態(tài)的馬爾可夫鏈，它的一步狀態(tài)轉(zhuǎn)移概率矩陣給定，給出它的狀態(tài)轉(zhuǎn)移圖，分析它狀態(tài)的周期性。馬爾可夫鏈中的狀態(tài)分類例8：它的一步狀態(tài)轉(zhuǎn)移概率矩陣如下：馬爾可夫鏈中的狀態(tài)分類例8：它的狀態(tài)轉(zhuǎn)換圖是馬爾可夫鏈中的狀態(tài)分類例8：八個狀態(tài)可以分成四個子集，C1：{0}，C2：{1,2,3}，C3：{4,5}，C4：{6,7}。C1

，C2

，C3

，C4是互不相交的子集，它們的并是馬爾可夫鏈的整個狀態(tài)空間。該過程有確定性的周期轉(zhuǎn)移

C1->

C2->C3

->C4

故該馬爾可夫鏈的周期為d=4。馬爾可夫鏈中的狀態(tài)分類遍歷態(tài)定義：遍歷態(tài)

非周期的正常返狀態(tài)稱為遍歷態(tài).馬爾可夫鏈中的狀態(tài)分類馬爾可夫鏈的研究(二)基于一步轉(zhuǎn)移概率矩陣以及狀態(tài)轉(zhuǎn)換圖可以進行以下分析：

1.類的分解

2.常返態(tài)和非常返態(tài)的分析

3.周期狀態(tài)和非周期狀態(tài)的分析

1基本概念2狀態(tài)類別的劃分和判別3狀態(tài)間的關(guān)系返回概率平均返回時間周期分類判別小結(jié)定義（可達、互通）性質(zhì)互通的兩個狀態(tài)之間的關(guān)系4狀態(tài)空間的分解定義及重要結(jié)論（閉集、等價類）分解定理（兩個定理）一、基本概念1.返回概率自狀態(tài)i出發(fā)，經(jīng)過n步首次到達狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài)i的概率定理1

對任意及，有說明1該定理表示n步轉(zhuǎn)移概率按照首次到達時間的所有可能值進行分解說明2首達時間系統(tǒng)從狀態(tài)i出發(fā)，首次到達狀態(tài)j的時刻稱為從狀態(tài)i出發(fā)首次進入狀態(tài)j

的時間，或稱自i到j(luò)

的首達時間。如果這樣的n不存在，規(guī)定說明12.平均返回時間說明2狀態(tài)i的平均返回時間

ij，簡寫

i

ij是從狀態(tài)i出發(fā)，首次到達狀態(tài)j的平均轉(zhuǎn)移步數(shù)（時間）定義一個常返狀態(tài)i當(dāng)且僅當(dāng)

i=時稱為是零常返的,當(dāng)且僅當(dāng)

i<時稱為正常返的.狀態(tài)i的周期若di

>1,稱i是周期的；若di=1,稱i是非周期的。說明13.周期di體現(xiàn)系統(tǒng)的發(fā)展變化種狀態(tài)i重復(fù)出現(xiàn)的概率周期。說明2若i的周期是di，并不是對所有的n滿足

說明3如果對所有n

1,都有,則約定周期為

;

di=1的狀態(tài)i稱為是非周期的.推論:

如果n不能被周期di整除,則必有.注:

當(dāng)狀態(tài)i的周期為d時,不一定成立.試求狀態(tài)0的周期.例3.若Markov鏈有狀態(tài)0,1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示用數(shù)學(xué)歸納法不難求出:所以d0=2.推論1.

設(shè)狀態(tài)i的周期為di.如果,則存在整數(shù)N,使得對所有n

N恒有命題.

如果狀態(tài)i有周期d,則存在整數(shù)N,使得對所有nN恒有.二、狀態(tài)類別的劃分及判別1.狀態(tài)類別的劃分狀態(tài)i非常返態(tài)常返態(tài)零常返態(tài)正常返態(tài)周期非周期（遍歷態(tài)）常返態(tài)非常返態(tài)正常返態(tài)零常返態(tài)注“常返”一詞，有時又稱“返回”、“常駐”或“持久”“瞬時”也稱“滑過”或“非常返”定理2證則系統(tǒng)從狀態(tài)i出發(fā)，經(jīng)過有限次轉(zhuǎn)移之后，必定以概率1返回狀態(tài)i。再由馬氏性系統(tǒng)返回狀態(tài)i要重復(fù)發(fā)生這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時間的無限推移，將無限次訪問狀態(tài)i。將“不返回i”稱為成功，則首次成功出現(xiàn)的次數(shù)服從幾何分布，也就是說以概率1只有有窮次返回i。即2.判別（1）判別是否常返態(tài)定理32.判別（2）判別是否零常返態(tài)、正常返有（非）周期定理4對任意給定的狀態(tài)i，如果i是常返態(tài)且有周期di，則存在極限2.判別（3）判別是否有周期三、狀態(tài)間的關(guān)系1.定義狀態(tài)i可達狀態(tài)j2.性質(zhì)簡記為i→j狀態(tài)i與狀態(tài)j互通i→jj→i且傳遞性、對稱性3.利用首達概率刻畫可達和互通關(guān)系4.互通的兩個狀態(tài)的狀態(tài)類型互通的兩個狀態(tài)必有相同的狀態(tài)類型結(jié)論1結(jié)論2定理5四、狀態(tài)空間的分解互通滿足：自反性、對稱性、傳遞性?；ネㄊ且环N等價關(guān)系（常返態(tài)）按互通關(guān)系是等價關(guān)系，可以把狀態(tài)空間I劃分為若干個不相交的集合（或者說等價類），并稱之為狀態(tài)類。若兩個狀態(tài)相通，則這兩個狀態(tài)屬于同一類。任意兩個類或不相交或者相同。說明（1）定義A．閉集設(shè)C為狀態(tài)空間I的一個子集，則C稱為閉集。注1若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達C以外的任何狀態(tài)j。整個狀態(tài)空間構(gòu)成一個閉集。吸收態(tài)指一個閉集中只含一個狀態(tài)注2若狀態(tài)空間含有吸收狀態(tài)，那么這個吸收狀態(tài)構(gòu)成一個最小的閉集。B．不可約的設(shè)C為閉集，如果C中不再含有任何非空真閉子集，則稱C是不可約閉集，或稱不可約的，不可分的，最小的。若整個狀態(tài)空間是不可約的，則稱此鏈為不可約馬氏鏈。A.有關(guān)閉集B.有關(guān)等價類（2）一些重要結(jié)論

結(jié)論2

設(shè)C是閉集，當(dāng)且僅當(dāng)C中的任何兩個狀態(tài)都互通時，C是不可約的。結(jié)論1

等價類若是閉集，則必定是不可約的。

結(jié)論3

齊次馬氏鏈不可約的充要條件是它的任意兩個狀態(tài)均互通。

結(jié)論4

包含常返態(tài)的等價類是不可約閉集。（3）狀態(tài)空間的分解如果已知類中有一個常返態(tài)，則這個類中其它狀態(tài)都是常返的。若類中有一個非常返態(tài)，則類中其它狀態(tài)都是非常返態(tài)。若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是非常返態(tài)。定理6任一馬氏鏈的狀態(tài)空間I必可分解為其中N是非常返態(tài)集，而且如果從某一非常返態(tài)出發(fā)，系統(tǒng)可能一直在非常返集中，也可能進入某個常返閉集，一旦進入某個常返閉集后，將一直停留在這個常返閉集中；如果系統(tǒng)從某一常返狀態(tài)出發(fā)，則系統(tǒng)就一直停留在這個狀態(tài)所在的常返閉集中。說明1定理7（1）非常返態(tài)集N不可能是閉集；（2）至少有一個常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈是不可約的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。說明2（3）狀態(tài)空間的分解定理8(周期鏈分解定理)轉(zhuǎn)移概率矩陣的標準形式狀態(tài)空間的分解周期鏈的分解例3轉(zhuǎn)移矩陣試對其狀態(tài)分類。解按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖21/4111/41/411/4143Eg.從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即4個狀態(tài)都是相通的。考慮狀態(tài)1是否常返，類似地可求得所以于是狀態(tài)1是常返的。又因為所以狀態(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。例4轉(zhuǎn)移矩陣試對其狀態(tài)分類。例5設(shè)馬氏鏈的狀態(tài)空間I={0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖…1/21/21/21/21/21/20121/231/2從圖可知，對任一狀態(tài)都有，故由定理可知，I中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可?！蕪亩?是常返態(tài)。又因為所以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。一般情況目錄馬爾可夫鏈的基本概念馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈中狀態(tài)的分類狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布

非常返狀態(tài)的分析典型的馬爾可夫鏈

狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布

在這一節(jié)中我們研究狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布，通常對一般問題的漸進性和平穩(wěn)分布的研究分為以下幾步：判斷平穩(wěn)分布的存在條件是否成立；建立穩(wěn)態(tài)方程求解；利用平衡方程化簡穩(wěn)態(tài)方程的求解；求返回概率。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布定理：(存在條件)設(shè)有一有限狀態(tài)的馬爾可夫鏈，若存在一個正整數(shù)m，使得對狀態(tài)空間的任何狀態(tài)i、j有，則.

π是一隨機矩陣，且它的各行均相同。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布定理：推論1:

π的行矢量滿足下列關(guān)系：

1.

2.

而且該矩陣是唯一能滿足上述兩關(guān)系的矩陣.狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布定理：推論2:

系統(tǒng)穩(wěn)定后狀態(tài)的概率（漸進狀態(tài)）與初始狀態(tài)無關(guān)，即：

.狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布求解在滿足定理1的條件下求解推論1中的2個方程即可求得轉(zhuǎn)移概率的平穩(wěn)分布.狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例1：設(shè)有一個三狀態(tài){0,1,2}的馬爾可夫鏈，它的一步轉(zhuǎn)移概率矩陣給定，求它的極限分布。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例1：設(shè)極限分布是，它滿足方程，即則極限分布是

狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例2：

設(shè)有一無窮狀態(tài){0,1,2,3…}的齊次馬爾可夫鏈，它的一步轉(zhuǎn)移概率給定，求狀態(tài)0的特性。

狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例2：它的一步轉(zhuǎn)移概率如下：狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例2：其狀態(tài)轉(zhuǎn)移圖為狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例3：無限隨機游動的0狀態(tài)常返行為的分析。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例4：設(shè)有一個具有一個彈性壁的隨機游動，它的狀態(tài)空間是{0,1,2,3,…}，0是彈性壁求其穩(wěn)態(tài)分布。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例5：如果馬爾可夫鏈屬于艾倫菲斯特模型，求其穩(wěn)態(tài)分布。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例6：天體物理中，質(zhì)點進入和離開某一體積的馬爾可夫鏈的狀態(tài)分析。狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布例7：用動態(tài)平衡的觀點解釋艾倫菲斯特模型的平穩(wěn)分布。目錄隨機過程的馬爾可夫性質(zhì)馬爾可夫鏈的數(shù)學(xué)描述馬爾可夫鏈中狀態(tài)的分類狀態(tài)轉(zhuǎn)移概率的漸進性和平穩(wěn)分布非常返狀態(tài)的分析

典型的馬爾可夫鏈

非常返態(tài)的分析問題的提出從任意一個狀態(tài)出發(fā)，進入特定的常返狀態(tài)的概率以及進入這個常返狀態(tài)所需的時間間隔，是我們最感興趣的問題。

非常返態(tài)的分析系統(tǒng)的描述：設(shè)是一個齊次馬爾可夫鏈，它的狀態(tài)空間是I，狀態(tài)空間按照各個狀態(tài)的性質(zhì)分成幾個互不相交的常返態(tài)類

,以及所有的非常返態(tài)所組成的子集。非常返態(tài)的分析系統(tǒng)的描述：

其中是所有常返狀態(tài)的集合。

非常返態(tài)的分析問題1：

從某個狀態(tài)i出發(fā)，進入某個常返狀態(tài)子集的概率。這個概率稱作狀態(tài)的吸收概率。

非常返態(tài)的分析問題1：如果，則；如果，則；如果，則。

非常返態(tài)的分析問題2：從某個狀態(tài)進入常返狀態(tài)所需要的時間的數(shù)學(xué)期望。進入常返狀態(tài)的時間是一個隨機變量，設(shè)i為過程的起始狀態(tài)，從起始狀態(tài)出發(fā)進入常返狀態(tài)的時間T，T稱作吸收時間，它是一個隨機變量。

非常返態(tài)的分析問題2：關(guān)于T的討論設(shè)起始狀態(tài)i位于常返狀態(tài)中，則T等于零，如果有無窮多個非常返狀態(tài)，隨機過程可能永遠停留在非常返狀態(tài)中。

非常返態(tài)的分析問題2：關(guān)于T的概率分布隨機過程從狀態(tài)i出發(fā)，經(jīng)過n步進入常返狀態(tài)的概率

非常返態(tài)的分析問題2：關(guān)于T的概率分布隨機過程從狀態(tài)i出發(fā)，遲早進入常返狀態(tài)的概率非常返態(tài)的分析問題2：關(guān)于T的概率分布隨機過程從狀態(tài)i出發(fā)，永遠停留在非常返狀態(tài)的概率非常返態(tài)的分析問題2：T的遞推概率公式或者非常返態(tài)的分析問題2：T的數(shù)學(xué)期望非常返態(tài)的分析問題2：T的數(shù)學(xué)期望計算T的概率

非常返態(tài)的分析問題2：T的數(shù)學(xué)期望計算T的期望

非常返態(tài)的分析問題2：T的數(shù)學(xué)期望計算T的期望(續(xù))

由此得到一組線性方程，可以求得T的數(shù)學(xué)期望。

馬爾可夫鏈問題的研究馬爾可夫鏈問題的研究(三)建立數(shù)學(xué)模型將物理問題轉(zhuǎn)化為數(shù)學(xué)模型，并確立一步轉(zhuǎn)移概率矩陣。狀態(tài)特性的分析到達和相通常返態(tài)和非常返態(tài)周期和非周期馬爾可夫鏈問題的研究馬爾可夫鏈問題的研究(三)穩(wěn)態(tài)分析分析馬爾可夫鏈的穩(wěn)態(tài)分布。非穩(wěn)態(tài)的分析分析馬爾可夫鏈從非穩(wěn)態(tài)到吸收態(tài)的分布特性及吸收概率。通常利用母函數(shù)來求解。非常返態(tài)的分析通信系統(tǒng)舉例例1：分組數(shù)據(jù)on-off信源例2：一階數(shù)字鎖相環(huán)模型1例3：一階數(shù)字鎖相環(huán)模型2例4：同步檢測系統(tǒng)模型例5：PN碼的捕獲模型非常返態(tài)的分析例1：分組數(shù)據(jù)on-off信源

設(shè)有一個時隙化的on-off信源。信源處于on狀態(tài)時，它將以概率pon發(fā)送分組，以概率1-pon結(jié)束發(fā)送；信源處于off狀態(tài)時，它將以概率poff

開始發(fā)送分組，以概率1-poff

繼續(xù)停止發(fā)送。非常返態(tài)的分析例1：分組數(shù)據(jù)on-off信源求：

1.它的漸進穩(wěn)態(tài)分布；

2.它發(fā)送分組長度的分布和平均長度；

3.它發(fā)送間歇長度的分布和平均長度。非常返態(tài)的分析例2：一階數(shù)字鎖相環(huán)模型-穩(wěn)態(tài)特性分布數(shù)字鎖相環(huán)有等各狀態(tài)。每單位時間完成一次相位檢測，檢測數(shù)字鎖相環(huán)的相位是超前還是滯后。鑒相器的輸出與相位差有關(guān)，且受到系統(tǒng)加性白高斯噪聲的影響。非常返態(tài)的分析例2：一階數(shù)字鎖相環(huán)模型-穩(wěn)態(tài)特性分布如果鑒相器的輸出v是負值，環(huán)路振蕩器的相位超前，則將環(huán)路的數(shù)字振蕩器的相位向后調(diào)整；如果鑒相器的輸出v是正值，環(huán)路振蕩器的相位滯后，則將環(huán)路的數(shù)字振蕩器的相位向前調(diào)整。

求數(shù)字鎖相環(huán)的穩(wěn)態(tài)概率分布。非常返態(tài)的分析例3：一階數(shù)字鎖相環(huán)模型-環(huán)路的壽命

設(shè)有一個正弦信號振蕩器，一個參考的正弦信號源，和它們的鑒相器，鑒相器的輸出是。振蕩器周期地（經(jīng)過周期T）檢測它和參考信號的相位差，即鑒相器的輸出D。非常返態(tài)的分析例3：一階數(shù)字鎖相環(huán)模型-環(huán)路的壽命如果D是正的，則調(diào)整它的相位滯后，如果D是負的，則調(diào)整它的相位超前。但是系統(tǒng)中存在均值為零、方差為的加性白高斯噪聲n，鑒相器的輸出是D+n。

非常返態(tài)的分析例3：一階數(shù)字鎖相環(huán)模型-環(huán)路的壽命(1).如果系統(tǒng)的起始相位差是，系統(tǒng)的狀態(tài)集就是

試給出振蕩器在各個狀態(tài)下的狀態(tài)轉(zhuǎn)移概率。

非常返態(tài)的分析例3：一階數(shù)字鎖相環(huán)模型-環(huán)路的壽命(2).將狀態(tài)改成吸收壁，狀態(tài)改成反射壁。試給出振蕩器從狀態(tài)0出發(fā)，到達吸收態(tài)的概率分布，以及相應(yīng)的平均時間。非常返態(tài)的分析例3：一階數(shù)字鎖相環(huán)模型-環(huán)路的壽命(3).將狀態(tài)改成反射壁。試給出振蕩器在各個狀態(tài)下的穩(wěn)態(tài)概率。非常返態(tài)的分析例4：同步檢測系統(tǒng)模型－同步系統(tǒng)的壽命、非同步系統(tǒng)的滯留時間一個通信系統(tǒng)的同步電路以周期T不斷地檢測它的狀態(tài)，如果處于同步狀態(tài)，則輸出一個正比與信號幅度的電平a，如果處于非同步狀態(tài)，則輸出零電平。但是系統(tǒng)中存在均值為零、方差為的加性白高斯噪聲。非常返態(tài)的分析例4：同步檢測系統(tǒng)模型－同步系統(tǒng)的壽命、非同步系統(tǒng)的滯留時間在同步和非同步時噪聲輸出電平r的分布分別是，，。非常返態(tài)的分析例4：同步檢測系統(tǒng)模型－同步系統(tǒng)的壽命、非同步系統(tǒng)的滯留時間

同步電路設(shè)定一個門限，輸出電平高于門限被判作同步，輸出電平低于門限被判作失步。

非常返態(tài)的分析例4：同步檢測系統(tǒng)模型－同步系統(tǒng)的壽命、非同步系統(tǒng)的滯留時間(1).

考慮通信系統(tǒng)在起始時刻處于狀態(tài)0。如果它的檢測電路輸出電平高于門限，它就將留在狀態(tài)0，維持系統(tǒng)的工作狀態(tài)不變；它的檢測電路輸出電平低于門限，它將進入狀態(tài)