馬爾可夫鏈完整版本

PAGEPAGE1馬爾可夫鏈馬爾可夫過程按其狀態(tài)和時間參數(shù)是連續(xù)的或離散的,可分為三類:時間,狀態(tài)都是離散的馬爾可夫過程,稱為馬爾可夫鏈.時間連續(xù),狀態(tài)離散的馬爾可夫過程,稱為連續(xù)時間的馬爾可夫時間,狀態(tài)都連續(xù)的馬爾可夫過程.4.1馬爾可夫鏈的概念及轉(zhuǎn)移概率一,定義假設(shè)馬爾可夫過程的參數(shù)集T是離散的時間集合,即T={0,1,2,…},其相應(yīng)可能取值的全體組成的狀態(tài)空間是離散的狀態(tài)集定義4.1設(shè)有隨機(jī)過程,若對于任意的整數(shù)和任意的,條件概率滿足}=(4.1)則稱為馬爾可夫鏈,簡稱.馬氏鏈.(4.1)式是馬爾可夫鏈的馬氏性(或無后效性)的數(shù)學(xué)表達(dá)式.由定義知===.=…=…可見,馬爾可夫鏈的統(tǒng)計特性完全由條件概率所決定.二,轉(zhuǎn)移概率條件概率的直觀含義為系統(tǒng)在時刻n處于狀態(tài)i的條件下,在時刻n+1系統(tǒng)處于狀態(tài)j的概率.它相當(dāng)于隨機(jī)游動的質(zhì)點(diǎn)在時刻n處于狀態(tài)i的條件下,下一步轉(zhuǎn)移到狀態(tài)j的概率.記此條件概率為定義4.2稱條件概率=為馬爾可夫鏈在時刻n的一步轉(zhuǎn)移概率,其中i,j,簡稱為轉(zhuǎn)移概率.定義4.3若對任意i,j,馬爾可夫鏈的轉(zhuǎn)移概率與n無關(guān),則稱馬爾可夫鏈?zhǔn)驱R次的,并記為下面我們只討論齊次馬爾可夫鏈,通常將齊次兩字省略.設(shè)p表示一步轉(zhuǎn)移概率所組成的矩陣,且狀態(tài)空間I={1,2,…},則稱為系統(tǒng)的一步轉(zhuǎn)移概率矩陣,它有性質(zhì):(1)通常稱滿足上述(1),(2)性質(zhì)的矩陣為隨機(jī)矩陣.定義4.4稱條件概率=為馬爾可夫鏈的n步轉(zhuǎn)移概率,.并稱為馬爾可夫鏈的n步轉(zhuǎn)移矩陣,其中(1)即也是隨機(jī)矩陣.當(dāng)n=1時,=,此時一步轉(zhuǎn)移矩陣此外我們規(guī)定定理4.1設(shè)為馬爾可夫鏈,則對任意整數(shù)和n步轉(zhuǎn)移概率具有下列性質(zhì):(1);(4.2)(2)(4.3)(3)(4.4)(4)(4.5)證明(1)利用全概率公式及馬爾可夫性,有===.(2)在(1)中令得這是一個遞推公式,可遞推下下去即得(4.3).(3)在(1).令l=1利用矩陣乘法可得.由(3),利用歸納法可證.定理4.1中的(1)式稱為切普曼柯爾哥洛夫方程,簡稱C-K方程.定義4.5設(shè)為馬爾可夫鏈,稱為的初始概率和絕對概率,并分別稱為的初始分布和絕對分布.簡記為稱概率向量為n時刻的絕對概率向量,而稱為初始向量.定理4.2設(shè)為馬爾可夫鏈,則對任意整數(shù),絕對概率具有下列性質(zhì):(1);(4.6)(2)(4.7)(3)(4.8)(4)(4.9)證明(1)==(2)===(3)與(4)是(1)與(2)的矩陣形式.定理4.3設(shè)為馬爾可夫鏈,則對任意有=(4.10)證明由全概率公式及馬氏性有===...=..=.三,馬爾可夫鏈的例子例4.1無限制隨機(jī)游動設(shè)質(zhì)點(diǎn)在數(shù)軸上移動,每次移動一格,向右移動的概率為p,向左移動的概率為q=1-p,這種運(yùn)動稱為無限制隨機(jī)游動.以表示時刻n質(zhì)點(diǎn)所處的位置,則是一個齊次馬爾可夫鏈,試寫出它的一步和k步轉(zhuǎn)移概率.解的狀態(tài)空間其一步轉(zhuǎn)移概率矩陣為設(shè)在第k步轉(zhuǎn)移中向右移了x步向左移動了y步,且經(jīng)過k步轉(zhuǎn)移狀態(tài)從j進(jìn)入j,則由于x,y都只取整數(shù),所以必須是偶數(shù).又在k步中哪x步向右,哪y步向左是任意的,選取的方法有種.于是.例4.2賭徒輸光問題.兩賭徒甲,乙進(jìn)行一系列賭博.賭徒甲有a元,賭注乙有b元,每賭一局輸者給贏者1元,沒有和局,直到兩人中有一個輸光為止.設(shè)在每一局中,甲贏的概率為p,輸?shù)母怕蕿閝=1-p,求甲輸光的概率.這個問題實(shí)質(zhì)上是帶有兩個吸收壁的隨機(jī)游動,其狀態(tài)空間為I={0,1,2,…,c}c=a+b.故現(xiàn)在的問題是求質(zhì)點(diǎn)從a出發(fā)到達(dá)0狀態(tài)先于到達(dá)c=a+b狀態(tài)的概率.解設(shè)表示甲從狀態(tài)i出發(fā)轉(zhuǎn)移到狀態(tài)0的概率,要計算的是..由于0和c是吸收狀態(tài),故由全概公式(4.11)上式的含義是,甲從狀態(tài)i出發(fā)開始賭到輸光的概率等于’他接下去贏了一局(概率為p)處于狀態(tài)i+1后再輸光”;和他接下去輸一局(概率為q),處于狀態(tài)i-1后再輸光”這兩個事件的概率.由于p+q=1,(4.11)實(shí)質(zhì)上是一個差分方程(4.12)其中,其邊界條件為(4.13)先討論r=1,即p=q=1/2的情況,(4.12)成為令得……將代于最后一式,得參數(shù)所以令i=a,求得甲輸光的概率為由于甲,乙的地位是對稱的,故乙輸光的概率為再討論,即的情況.由(4.12)式得到=(4.14)令k=0,由于有即 代入(4.14)式,得令k=a,得到輸光的概率由對稱性,乙輸光的概率為由于因此在時,即時兩個人中也總有一個人要輸光的.例4.3天氣預(yù)報問題設(shè)昨日,今日都下雨,明日有雨的概率為0.7;昨日無雨今日有雨,明日有雨的概率為0.5;昨日有雨,今日無雨明日有雨的概率為0.4;昨日,今日均無雨,明日有雨的概率為0.2.若星期一星期二均下雨,求星期四下雨的概率.解設(shè)昨日,今日連續(xù)兩天有雨稱為狀態(tài)0(RR),昨日無雨今日有雨稱為狀態(tài)1(NR),昨日有雨今日無雨稱為狀態(tài)2(RN),昨日今日無雨稱為狀態(tài)3(NN),于是天氣預(yù)報模型可看作一個四狀態(tài)的馬爾可夫鏈,其中轉(zhuǎn)移概率為,,,其中R代表有雨,N代表無雨.類似地可得到所有狀態(tài)的一步轉(zhuǎn)移概率,于是它的一步轉(zhuǎn)移概率矩陣為=其中兩步轉(zhuǎn)移矩陣為.=由于星期四下雨意味著過程所處的狀態(tài)為0或1,因此星期一星期二連續(xù)下雨,星期四下雨的概率為例4.4設(shè)質(zhì)點(diǎn)在線段[1,4]上作隨機(jī)游動,假設(shè)它只能在時刻發(fā)生移動,且只能停留在1,2,3,4點(diǎn)上.當(dāng)質(zhì)點(diǎn)轉(zhuǎn)移到2,3點(diǎn)時,它以1/3的概率向左或向右移動一格或停留在原處.當(dāng)質(zhì)點(diǎn)稱動到點(diǎn)1時,它以概率1停留在原處.當(dāng)質(zhì)點(diǎn)移動到點(diǎn)4時,它以概率1移動到點(diǎn)3.若以表示質(zhì)點(diǎn)在時刻n所處的位置,則是一個齊次馬爾可夫鏈,其轉(zhuǎn)移概率矩陣為例中的點(diǎn)1稱為吸收壁,即質(zhì)點(diǎn)一旦到達(dá)這種狀態(tài)后就被吸收住了,不再移動;點(diǎn)4稱為反射壁,即質(zhì)點(diǎn)一旦到達(dá)這種狀態(tài)后,必然被反射出去.例4.5生滅鏈.觀察某種生物群體,以表示在時刻n群體的數(shù)目,設(shè)為i個數(shù)量單位,如在時刻n+1增生到i+1個單位的概率為,減滅到i個數(shù)量單位的概率為,保持不變的概率為,則為齊次馬爾可夫鏈,I={0,1,2,…,}.其轉(zhuǎn)移概率為稱此馬爾可夫鏈為生滅鏈.4.2遍歷性設(shè)齊次馬氏鏈的狀態(tài)空間為I,若對于所有轉(zhuǎn)移概率存在極限(不依賴于i)或則稱此鏈具有遍歷性.又若,則同時稱為鏈的極限分布.齊次馬氏鏈在什么條件下才具有遍歷性?如何求出它的極限分布?這問題在理論上已經(jīng)解決,但是要較多的篇幅.下面對有限鏈的遍歷性給出一個充分條件.定理4.4設(shè)齊次馬氏鏈的狀態(tài)空間為是它的一步轉(zhuǎn)移概率矩陣,如果存在正整數(shù)m,使對任意的都有則此鏈具有遍歷性,且有極限