隨機(jī)過程課件：第四章 馬爾科夫連

1、1第四章 馬爾可夫鏈馬爾可夫鏈定義一步轉(zhuǎn)移概率及多步轉(zhuǎn)移概率初始概率及絕對(duì)概率Chapman-Kolmogorov方程馬爾可夫鏈狀態(tài)分類遍歷的馬爾可夫鏈及平穩(wěn)分布2馬爾可夫過程將來的狀態(tài)只與當(dāng)前狀態(tài)有關(guān)，與過去狀態(tài)無關(guān)，即無后效性3由上例知，泊松過程是時(shí)間連續(xù)狀態(tài)離散的馬氏過程， 維納過程是時(shí)間狀態(tài)都連續(xù)的馬氏過程。4馬爾可夫鏈定義定義：設(shè)有隨機(jī)過程Xn,nT，若對(duì)于任意的整數(shù)nT和任意的 i0,i1, ,in+1I，條件概率滿足則稱Xn,nT為馬爾可夫鏈，簡(jiǎn)稱馬氏鏈時(shí)間和狀態(tài)都離散的馬爾可夫過程稱為馬爾可夫鏈5定義稱條件概率為馬爾可夫鏈Xn,nT在時(shí)刻n的一步轉(zhuǎn)移概率，其中i,jI，簡(jiǎn)稱轉(zhuǎn)移

2、概率。定義若對(duì)任意的i,jI，馬爾可夫鏈Xn,nT的轉(zhuǎn)移概率與n無關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次馬爾可夫鏈。我們只討論齊次馬氏鏈。6設(shè)P表示一步轉(zhuǎn)移概率所組成的矩陣，則稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣，它具有如下性質(zhì)： 滿足上述兩個(gè)性質(zhì)的矩陣稱為隨機(jī)矩陣。7例：(0-1傳輸系統(tǒng))如圖所示，只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)中，設(shè)每一級(jí)的傳真率為p，誤碼率為q=1-p。并設(shè)一個(gè)單位時(shí)間傳輸一級(jí)，X0是第一級(jí)的輸入，Xn是第n級(jí)的輸出(n1)，那么Xn,n=0,1,2是一隨機(jī)過程，狀態(tài)空間I=0,1，而且當(dāng)Xn=i為已知時(shí)，Xn+1所處的狀態(tài)的概率分布只與Xn=i有關(guān)，而與時(shí)刻n以前所處的狀態(tài)無關(guān)，所以它是一個(gè)馬

3、氏鏈，而且還是齊次的。n21X0X1X2XnXn-18例：一維隨機(jī)游動(dòng)。設(shè)一醉漢Q(或看作一隨機(jī)游動(dòng)的 質(zhì)點(diǎn))在直線上的點(diǎn)集I=1,2,3,4,5作隨機(jī)游動(dòng)，游動(dòng)的概率規(guī)則是：如果Q現(xiàn)在位于點(diǎn)i(1i=0為齊次馬爾科夫鏈，其轉(zhuǎn)移概率為13定義稱條件概率為馬爾可夫鏈Xn,nT的n步轉(zhuǎn)移概率，并稱為馬爾可夫鏈的n步轉(zhuǎn)移矩陣。規(guī)定例題設(shè)馬爾可夫鏈Xn,nT有狀態(tài)空間I=0,1，其一步轉(zhuǎn)移概率矩陣為求 和兩步轉(zhuǎn)移概率矩陣P(2)14定理設(shè)Xn,nT為馬爾可夫鏈，則對(duì)任意整數(shù)n0，0l0非空，則稱該集合的最大公約數(shù)d=d(i)=G.C.Dn:pii(n)0為狀態(tài)i的周期。引理如i的周期為d，則存在正整數(shù)

4、M，對(duì)一切nM，有pii(nd)0。如d1就稱i為周期的，如d=1就稱i為非周期的。如果i有周期D，則對(duì)一切非零的n0(mod(D)都有pii(n)=0。但這也并不是說對(duì)任意n有pii(nd)0。例如上圖中狀態(tài)1的d=2，但pii(2)=0。26例：狀態(tài)轉(zhuǎn)移概率圖狀態(tài)的常返性27首中概率它表示質(zhì)點(diǎn)由i出發(fā)，經(jīng)n步首次到達(dá)j 的概率 表示質(zhì)點(diǎn)由i出發(fā)，經(jīng)有限步終于到達(dá)j 的概率。定義 稱狀態(tài)i為常返的，如fii=1；稱狀態(tài)i為非常返的，如fii1。對(duì)于常返態(tài)i，由定義知fii(n),n1構(gòu)成一概率分布表示由i出發(fā)再返回i的平均返回時(shí)間。28定義如ui，則稱常返態(tài)i為正常返的；如ui= ，則稱常返

5、態(tài)i為零常返的。非周期的正常返態(tài)稱為遍歷狀態(tài)。常返性的判別含義：當(dāng)i常返時(shí)，返回i的次數(shù)為無限多次；當(dāng)i非常返時(shí)，返回的次數(shù)只能是有限多次。293031狀態(tài)空間的分解定義：狀態(tài)空間I的子集C稱為閉集，如果對(duì)任意 及 都有定義：閉集C稱為不可約的，如果C的狀態(tài)互通。定義：馬爾可夫鏈稱為不可約的，如果其狀態(tài)空間不可約。32333）D由全體非常返狀態(tài)組成，自Cn中的狀態(tài)不能到達(dá)D中的狀態(tài)。狀態(tài)空間的分解定理：任一馬爾可夫鏈的狀態(tài)空間I，可唯一的分解成有限個(gè)或可列個(gè)互不相交的子集D,C1,C2, 之和，使得1） 每一Cn是常返態(tài)組成的不可約閉集；2）Cn中的狀態(tài)同類，或全是正常返，或全是零常返。 它們有相同的周期且fjk=1,j,kCn。3435 的漸進(jìn)性質(zhì)與平穩(wěn)分布363738定義稱概率分布j,jI為馬爾可夫鏈的平穩(wěn)分布，若它滿足定理不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布 。推論1：有限狀態(tài)的不可約非周期馬氏鏈必存在平穩(wěn)分布。推論2： 若所有狀態(tài)是非常返或零常返的，則不存在平穩(wěn)分布。39例題若馬爾可夫