馬爾科夫鏈的轉(zhuǎn)移概率矩陣

1、轉(zhuǎn)移概率(transition probability)什么是轉(zhuǎn)移概率轉(zhuǎn)移概率是馬爾可夫鏈中的重要概念，若馬氏鏈分為m個(gè)狀態(tài)組成，歷史資料轉(zhuǎn)化為由這m個(gè)狀態(tài)所組成的序列。從任意一個(gè)狀態(tài)出發(fā)，經(jīng)過任意一次轉(zhuǎn)移，必然出現(xiàn)狀態(tài)1、2、， m中的一個(gè)，這種狀態(tài)之間的轉(zhuǎn)移稱為轉(zhuǎn)移概率。當(dāng)樣本中狀態(tài)m可能發(fā)生轉(zhuǎn)移的總次數(shù)為i,而由狀態(tài)m到未來任一時(shí)刻轉(zhuǎn)為狀態(tài) ai的次數(shù)時(shí)，則在 m+n時(shí)刻轉(zhuǎn)移到未來任一時(shí)刻狀態(tài)aj的轉(zhuǎn)移概率為：顱 I n) = PXm + n = ajXm =叫這些轉(zhuǎn)移移概率可以排成一個(gè)的轉(zhuǎn)移概率矩陣：P(m,m+n)(Pij(m,m + n)當(dāng)m=1時(shí)為一階轉(zhuǎn)概率矩陣，m > 2

2、時(shí)為高階概率轉(zhuǎn)移矩陣，有了概率轉(zhuǎn)移矩陣，就得到了狀態(tài)之間經(jīng)一步和多步轉(zhuǎn)移的規(guī)律，這些規(guī)律就是貸款狀態(tài)間演變規(guī)律的表，當(dāng)初始狀態(tài)已知時(shí)，可以查表做出不同時(shí)期的預(yù)測(cè)。轉(zhuǎn)移概率與轉(zhuǎn)移概率矩陣1假定某大學(xué)有1萬學(xué)生，每人每月用1支牙膏，并且只使用“中華”牙膏與“黑妹”牙 膏兩者之一。根據(jù)本月(12月)調(diào)查，有3000人使用黑妹牙膏，7000人使用中華牙膏。 又 據(jù)調(diào)查，使用黑妹牙膏的3000人中，有60%的人下月將繼續(xù)使用黑妹牙膏，40%的人將改用中華牙膏； 使用中華牙膏的7000人中， 有70%的人下月將繼續(xù)使用中華牙膏，30%的人將改用黑妹牙膏。據(jù)此，可以得到如表-1所示的統(tǒng)計(jì)表。表一1兩種牙膏之

3、間的轉(zhuǎn)移概率擬用 黑妹牙膏中華牙膏 現(xiàn)用黑妹牙膏60%40%中華牙膏30%70%上表中的4個(gè)概率就稱為狀態(tài)的轉(zhuǎn)移概率，而這四個(gè)轉(zhuǎn)移概率組成的矩陣60% 40%：=30% 70%；稱為轉(zhuǎn)移概率矩陣?？梢钥闯?，轉(zhuǎn)移概率矩陣的一個(gè)特點(diǎn)是其各行元素之和為1。在本例中，其經(jīng)濟(jì)意義是：現(xiàn)在使用某種牙膏的人中，將來使用各種品牌牙膏的人數(shù)百分比之和為1。2. 用轉(zhuǎn)移概率矩陣預(yù)測(cè)市場(chǎng)占有率的變化有了轉(zhuǎn)移概率矩陣，就可以預(yù)測(cè)，到下個(gè)月(1月份)使用黑妹牙膏和中華牙膏的人數(shù)， 計(jì)算過程如下：= (3900,6100)fqnnn 7nnn 60% 40% (3000,7000)板% 70%即：1月份使用黑妹牙膏的人數(shù)

4、將為3900,而使用中華牙膏的人數(shù)將為6100。假定轉(zhuǎn)移概率矩陣不變，還可以繼續(xù)預(yù)測(cè)到2月份的情況為：(3900,610。)60% 40%'30% 70%=(3000,7000)= (3000,700。)60%30%40%'70%to%30%4。70%60% 40%.30% 70%j2=(4170,5830)60% 40%這里30% 70%稱為二步轉(zhuǎn)移矩陣，也即由 12月份的情況通過2步轉(zhuǎn)移到2月 份的情況。二步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的平方。一般地，k步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的 k次方?？梢宰C明，k步轉(zhuǎn)移概率矩陣中，各行元素之和也都 為1。馬爾可夫過程(

5、Markov Process)什么是馬爾可夫過程1、馬爾可夫性(無后效性)過程或(系統(tǒng))在時(shí)刻t0所處的狀態(tài)為已知的條件下，過程在時(shí)刻t > t0所處狀態(tài)的條件分布，與過程在時(shí)刻 t0之前年處的狀態(tài)無關(guān)的特性稱為馬爾可夫性或無后效性。即：過程“將來”的情況與“過去”的情況是無關(guān)的。2、馬爾可夫過程的定義具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程。用分布函數(shù)表述馬爾可夫過程：設(shè)I:隨機(jī)過程(X(t),tin T的狀態(tài)空間，如果對(duì)時(shí)間 t的任意n個(gè)數(shù)值：PX0)境X(t) = gi,X(t2)= H2L X(0T)(注:X(tn)在條件X(ti) = xi下的條件分布函數(shù))=PX(tn <

6、;= Xn-UXn R(注:X(tn)在條件 X(tn - 1) = xn-1下的條件分布函數(shù))或?qū)懗桑捍醮?i (海| '1 t *2 1 ""' 仁)1 1；匕1,七2廣”這時(shí)稱過程X J G，具馬爾可夫性或無后性，并稱此過程為馬爾可夫過程。3、馬爾可夫鏈的定義時(shí)間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈，簡(jiǎn)記為Xn =X(»5 =。馬爾可夫過程的概率分布研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列:Xn = X(箕)e = 0,1,2,，狀態(tài)空間為I = S%, C R1、用分布律描述馬爾可夫性對(duì)任意的正整數(shù) n,r 和0 ti < t2 <

7、; r < tr < m; tf, m, n + m E Ti,有：PXm+川=Qj|X = 6,X詢=Qy 1 Xu. = air,Xm = a；PXm + n = aj | Xm = ai ,其中務(wù)丘】。2、轉(zhuǎn)移概率稱條件概率Pij(m,m + n) = PXm + n = aj | Xm = ai 為馬氏鏈在時(shí)刻 m處于狀態(tài)ai條件下， 在時(shí)刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。說明：轉(zhuǎn)移概率具胡特點(diǎn)：ocP我n, m n) = 1)i = 1T 2, J=1OP(，叫 m+墮 P.(L，+)由轉(zhuǎn)移概率組成的矩陣'” r”稱為馬氏鏈的轉(zhuǎn)移概率矩陣。它是隨機(jī)矩陣。3、平穩(wěn)性

8、當(dāng)轉(zhuǎn)移概率Pij(m,m + n)只與i,j及時(shí)間間距n有關(guān)時(shí)，稱轉(zhuǎn)移概率具有平穩(wěn)性。同時(shí)也 稱些鏈?zhǔn)驱R次的或時(shí)齊的。此時(shí)，記 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai( 注：稱為馬氏鏈的 n 步轉(zhuǎn) 移概率)P(n) = (Pij(n)為n步轉(zhuǎn)移概率矩陣。特別的，當(dāng)k=1時(shí)，一步轉(zhuǎn)移概率： Pij = Pij(1) = PXm + 1 = aj | Xm = ai 。一步轉(zhuǎn)移概率矩陣：P(1)Ag】的狀態(tài)ZiiPn -A/ -的 狀PnPZ2 = P(1)態(tài)PnPilPyJ記為p馬爾可夫過程的應(yīng)用舉例設(shè)任意相繼的兩天中，雨天轉(zhuǎn)晴天的概率為1/3,晴天轉(zhuǎn)雨大的概率為1/2,任一天晴或雨是互為逆事件。以 0表示晴天狀態(tài)，以1表示雨天狀態(tài)，Xn表示第n大狀態(tài)(0或1 )。試定出馬氏鏈 Xrt,n> 1的一步轉(zhuǎn)移概率矩陣。 又已知5月1日為晴天，問5月3日為晴 天，5月5日為雨天的概率各等于多少？解：由于任一天晴或雨是互為逆事件且雨天轉(zhuǎn)晴天的概率為1/3,晴天轉(zhuǎn)雨大的概率為1/2 ,故一步轉(zhuǎn)移概率和一步轉(zhuǎn)