No.12-第5章-馬爾可夫預測的基本原理

主要內(nèi)容：馬爾可夫預測的基本原理馬爾可夫預測的應用預測與決策教程第五章馬爾可夫預測方法西安電子科技大學經(jīng)濟與管理學院管理工程系5.1馬爾科夫預測的基本原理知識點1：馬爾可夫鏈【案例5-1】Centerville小鎮(zhèn)的天氣每天都在變化。如果今天是晴天，則明天出現(xiàn)晴天的可能性就比今天是雨天明天出現(xiàn)晴天的可能性大。如果今天是晴天，則明天也是晴天的概率為0.8。而今天是雨天，則明天是晴天的概率為0.6。即使考慮了今天之前所有各天的氣象情況，這個概率值也不會發(fā)生改變。Centerville小鎮(zhèn)的天氣變化可看作一個隨機過程{Xt}。從某天開始（這一天被記為第0天），連續(xù)記錄隨后每一天（第t天）的氣象狀況，t=0,1,2,…,第t天系統(tǒng)的狀態(tài)可能為1(代表第t天為晴天)，也可能為2(代表第t天為雨天)。因此，對于，t=0,1,2,…，隨機變量Xt可表示為：背景案例

因此，隨機過程{Xt}={X0,X1,X2

,…}是一種描述Centerville小鎮(zhèn)氣象狀況隨時間變化的數(shù)學表達式。

[資料來源：Hillier,FS,Lieberman,GJ.著，胡運權等譯.運籌學導論，清華大學出版社，2007。p714-715]如果第t天是晴天如果第t天是雨天西安電子科技大學經(jīng)濟與管理學院管理工程系

馬爾可夫（A.A.Markov）是俄國數(shù)學家。二十世紀初，他在研究中發(fā)現(xiàn)自然界中有一類事物的變化過程僅與事物的近期狀態(tài)有關，而與事物的過去狀態(tài)無關。具有這種特性的隨機過程稱為馬爾可夫過程。西安電子科技大學經(jīng)濟與管理學院管理工程系類似上述系統(tǒng)狀態(tài)動態(tài)變化問題的表述和預測可以通過馬爾可夫預測方法來完成。設備維修和更新、人才結構變化、資金流向、市場需求變化等許多經(jīng)濟和社會行為都可用這一類過程來描述或近似，其應用范圍非常廣泛。一、馬爾可夫鏈定義1

隨機過程參數(shù)集（隨機變量）——隨機過程

定義2

如若

為離散集（設），同時的取值也是離散的，則稱為離散型隨機過程。知識點1什么是馬爾可夫鏈？西安電子科技大學經(jīng)濟與管理學院管理工程系

設有一離散型隨機過程，它在時刻所有可能處于的狀態(tài)的集合為稱S為狀態(tài)空間。（與時刻無關）

定義3若只與有關，而與等無關，稱

為馬爾可夫鏈，即在荷花池中有

N張荷葉，編號為1，2，……，N

。假設有一只青蛙隨機地從這張荷葉上跳到另一張荷葉上。青蛙的運動可看作一隨機過程。在時刻t，青蛙所在的那張荷葉，稱為青蛙所處的狀態(tài)。那么，青蛙在未來處于什么狀態(tài)，只與它現(xiàn)在所處狀態(tài)有關，與它以前在哪張荷葉上無關。此過程就是一個馬爾可夫鏈。【例】青蛙跳荷葉馬爾科夫鏈：離散的、狀態(tài)有限、狀態(tài)僅與上期有關的隨機過程。當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時，我們稱之為狀態(tài)轉(zhuǎn)移。

定義4

一步狀態(tài)轉(zhuǎn)移概率定義5

狀態(tài)轉(zhuǎn)移概率矩陣與n無關假設：（齊性）知識點2：狀態(tài)轉(zhuǎn)移矩陣Review:馬爾科夫鏈—離散的、狀態(tài)有限、狀態(tài)僅與上期有關的隨機過程。再引入幾個概念：

概率向量：對于任意的行向量（或列向量），如果其每個元素均非負且總和等于1，則稱該向量為概率向量。概率向量（市場占有率）

概率矩陣：由概率向量作為行向量所構成的方陣稱為概率矩陣。概率矩陣（選擇產(chǎn)品時不同品牌間轉(zhuǎn)化）初始狀態(tài)概率向量記為過程的開始時刻，則稱為初始狀態(tài)概率向量。概率矩陣有如下性質(zhì)：如果

、皆是概率矩陣，則也是概率矩陣；如果

是概率矩陣，則

的任意次冪也是概率矩陣。定義6

k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

稱為k步狀態(tài)轉(zhuǎn)移概率，為k步狀態(tài)轉(zhuǎn)移概率矩陣?！景咐?-1】Centerville小鎮(zhèn)的天氣每天都在變化。如果今天是晴天，則明天出現(xiàn)晴天的可能性就比今天是雨天明天出現(xiàn)晴天的可能性大。如果今天是晴天，則明天也是晴天的概率為0.8。而今天是雨天，則明天是晴天的概率為0.6。即使考慮了今天之前所有各天的氣象情況，這個概率值也不會發(fā)生改變。Centerville小鎮(zhèn)的天氣變化可看作一個隨機過程{Xt}。從某天開始（這一天被記為第0天），連續(xù)記錄隨后每一天（第t天）的氣象狀況，t=0,1,2,…,第t天系統(tǒng)的狀態(tài)可能為1(代表第t天為晴天)，也可能為2(代表第t天為雨天)。因此，對于，t=0,1,2,…，隨機變量Xt可表示為：回顧：

因此，隨機過程{Xt}={X0,X1,X2

,…}是一種描述Centerville小鎮(zhèn)氣象狀況隨時間變化的數(shù)學表達式。

如果第t天是晴天如果第t天是雨天西安電子科技大學經(jīng)濟與管理學院管理工程系由題設，

從而，

又，由于第二天的天氣情況不受今天之前天氣情況的影響，因此，該隨機過程具有馬爾可夫?qū)傩?，該過程為馬爾可夫鏈。狀態(tài)轉(zhuǎn)移概率矩陣

狀態(tài)

12狀態(tài)

12以一個月為單位，經(jīng)觀察統(tǒng)計，知其從某個月份到下月份，機床出現(xiàn)故障的概率為0.3。在這一段時間內(nèi)，故障機床經(jīng)維修恢復到正常狀態(tài)的概率為0.9。

例5.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故障兩種狀態(tài)。機床在運行中出現(xiàn)故障：1－>2；處于故障中的機床經(jīng)維修，恢復到正常狀態(tài)：2－>1。12p12=0.3p21=0.9兩步狀態(tài)轉(zhuǎn)移概率：11121212同理，即有一般地，兩步轉(zhuǎn)移概率可以由一步轉(zhuǎn)移概率得到：其含義為：系統(tǒng)從狀態(tài)

出發(fā)，經(jīng)1步轉(zhuǎn)移到

，其中

從1到

，然后再從狀態(tài)

轉(zhuǎn)移到

的概率的總和。（全概率公式）更為一般，

—一步狀態(tài)轉(zhuǎn)移概率矩陣—k

步狀態(tài)轉(zhuǎn)移概率矩陣回到例5.1.如已知初始概率向量

，比如0.90.30.7

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率矩陣都可由1步狀態(tài)轉(zhuǎn)移矩陣求出。西安電子科技大學經(jīng)濟與管理學院管理工程系如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣以及初始狀態(tài)概率向量，則任一時刻的狀態(tài)概率分布也就確定了。馬爾科夫鏈：離散的、狀態(tài)有限、狀態(tài)僅與上期有關的隨機過程。一步狀態(tài)轉(zhuǎn)移概率：狀態(tài)轉(zhuǎn)移概率矩陣小結：k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。西安電子科技大學經(jīng)濟與管理學院管理工程系初始狀態(tài)概率向量記為過程的開始時刻，則稱為初始狀態(tài)概率向量。如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣以及初始狀態(tài)概率向量，則任一時刻的狀態(tài)概率分布也就確定了。西安電子科技大學經(jīng)濟與管理學院管理工程系案例案例5-1的n

步轉(zhuǎn)移矩陣運用上述公式計算案例6-1的一步轉(zhuǎn)移矩陣P的n次方，求解其各n步轉(zhuǎn)移矩陣。該2步轉(zhuǎn)移矩陣說明，如果今天是睛天（1），那么兩天后仍為晴天（1）的概率為0.76，為雨天（2）的概率為0.24；如果今天是雨天（2），那么兩天后為晴天（1）的概率為0.72，為雨天（2）的概率為0.28。2步轉(zhuǎn)移矩陣：3天，4天或5天后的氣象狀態(tài)轉(zhuǎn)移概率可通過計算3步、4步和5步轉(zhuǎn)移矩陣得到。注意：在5步轉(zhuǎn)移矩陣中有一個十分有趣的現(xiàn)象，即該矩陣兩行的值完全一樣，這表明5天之后的氣象狀態(tài)的概率與5天前的氣象狀態(tài)無關。因此，這個5步轉(zhuǎn)移矩陣中每行的概率被稱為該馬爾可夫鏈的平穩(wěn)概率。

西安電子科技大學經(jīng)濟與管理學院管理工程系知識點3：穩(wěn)態(tài)概率矩陣Review:一步狀態(tài)轉(zhuǎn)移概率：狀態(tài)轉(zhuǎn)移概率矩陣：k步狀態(tài)轉(zhuǎn)移概率，k步狀態(tài)轉(zhuǎn)移概率矩陣

馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。

問題：當

不斷增大時，的變化趨勢？三、穩(wěn)態(tài)概率矩陣已知系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣和系統(tǒng)的初始狀態(tài)，可以推斷出系統(tǒng)在任意時刻可能所處的狀態(tài)。西安電子科技大學經(jīng)濟與管理學院管理工程系1.平穩(wěn)分布

若存在非零概率向量，使得則稱

為

的固定概率向量。

如為一狀態(tài)概率向量，

為狀態(tài)轉(zhuǎn)移概率矩陣。若則稱

為馬爾可夫鏈的一個平穩(wěn)分布。

若隨機過程某時刻的狀態(tài)概率向量

為平穩(wěn)分布，則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài)，則過程經(jīng)過一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說，過程一旦處于平衡狀態(tài)后將永遠處于平衡狀態(tài)。2.穩(wěn)態(tài)分布若存在，設其極限為，問題1：對于系統(tǒng)的狀態(tài)

，當

趨于無窮時，是否存在極限？則稱為穩(wěn)態(tài)分布。

定義

對于概率向量如對任意的，均有此時，不管初始狀態(tài)概率向量如何，均有這也是稱為穩(wěn)態(tài)分布的理由。令，得

設存在穩(wěn)態(tài)分布，則由于下式恒成立即，有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。

問題2系統(tǒng)是否存在穩(wěn)態(tài)分布？什么條件？如果有正整數(shù)

,只有當

時,,或者說當

不能被

整除時,

,則稱

狀態(tài)是具有周期性狀態(tài),如果除了

外使

的各

值沒有其公約數(shù),則稱該狀態(tài)

為非周期性的.

設齊次馬爾可夫鏈

的狀態(tài)空間為

，如果存在某個正整數(shù)

，使得

的一步轉(zhuǎn)移概率矩陣

的次冪

中每個元素都大于0，則稱此馬爾科夫鏈是不可約的。

對非周期的馬爾可夫鏈，穩(wěn)態(tài)分布必存在，對不可約非周期的馬爾可夫鏈，穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一。