馬爾科夫預(yù)測

1、第 6 章 馬爾可夫預(yù)測馬爾可夫預(yù)測馬爾可夫預(yù)測方法不需要大量歷史資料，而只需對近期狀況作詳細分析。它可用于產(chǎn)品的市場占有率預(yù)測、期望報酬預(yù)測、人力資源預(yù)測等等，還可用來分析系統(tǒng)的長期平衡條件，為決策提供有意義的參考。6.1馬爾可夫預(yù)測的基本原理馬爾可夫（ A.A.Markov ）是俄國數(shù)學(xué)家。二十世紀初，他在研究中發(fā)現(xiàn)自然界中有一類事物的變化過程僅與事物的近期狀態(tài)有關(guān)，而與事物的過去狀態(tài)無關(guān)。具有這種特性的隨機過程稱為馬爾可夫過程。設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場需求變化等許多經(jīng)濟和社會行為都可用這一類過程來描述或近似，故其應(yīng)用范圍非常廣泛。6.1.1 馬爾可夫鏈為了表征一個系統(tǒng)

2、在變化過程中的特性（狀態(tài)），可以用一組隨時間進程而變化的變量來描述。如果系統(tǒng)在任何時刻上的狀態(tài)是隨機的，則變化過程就是一個隨機過程。設(shè)有參數(shù)集 T( , ) ，如 果 對 任 意 的 t T ， 總 有 一隨 機 變 量 X t 與 之 對 應(yīng) ， 則 稱 Xt ,t T 為一隨機過程。如 若 T 為 離 散 集 （ 不 妨 設(shè) T t0 ,t1 , t2 ,.,tn ,. ） ， 同 時 X t 的 取 值 也 是 離 散 的 ， 則 稱 Xt ,t T 為離散型隨機過程。設(shè)有一離散型隨機過程，它所有可能處于的狀態(tài)的集合為S 1,2, , N ，稱其為狀態(tài)空間。系統(tǒng)只能在時刻 t,t,t,.

3、 改變它的狀態(tài)。為簡便計，以下將Xtn等簡記為 Xn。012一般地說，描述系統(tǒng)狀態(tài)的隨機變量序列不一定滿足相互獨立的條件，也就是說，系統(tǒng)將來的狀態(tài)與過去時刻以及現(xiàn)在時刻的狀態(tài)是有關(guān)系的。在實際情況中，也有具有這樣性質(zhì)的隨機系統(tǒng)：系統(tǒng)在每一時刻（或每一步）上的狀態(tài)，僅僅取決于前一時刻（或前一步）的狀態(tài)。這個性質(zhì)稱為無后效性，即所謂馬爾可夫假設(shè)。具備這個性質(zhì)的離散型隨機過程，稱為馬爾可夫鏈。用數(shù)學(xué)語言來描述就是：馬爾可夫鏈如果對任一n1，任意的 i1 ,i 2 , ,i n 1 , jS 恒有P X njX1 i1, X 2 i2 , , X n 1 in 1P X n j X n 1 in 1(

4、6.1.1)則稱離散型隨機過程 X t ,tT 為馬爾可夫鏈 。例如，在荷花池中有N 張荷葉，編號為1,2,., N 。假設(shè)有一只青蛙隨機地從這張荷葉上跳到另一張荷葉上。青蛙的運動可看作一隨機過程。在時刻t n ，青蛙所在的那張荷葉，稱為青蛙所處的狀態(tài)。那么，青蛙在未來處于什么狀態(tài)，只與它現(xiàn)在所處的狀態(tài)i i1,2, N 有關(guān)，與它以前在哪張荷葉上無關(guān)。此過程就是一個馬爾可夫鏈。由于系統(tǒng)狀態(tài)的變化是隨機的，因此，必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。6.1.2 狀態(tài)轉(zhuǎn)移矩陣馬爾可夫鏈是一種描述動態(tài)隨機現(xiàn)象的數(shù)學(xué)模型，它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉(zhuǎn)移”的概念之上。所謂系統(tǒng)，就是我們所研究的事

5、物對象；所謂狀態(tài)，是表示系統(tǒng)的一組記號。當確定了這組記號的值時，也就確定了系統(tǒng)的行為，并說系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量，故稱之為狀態(tài)向量。例如，已知某月A 、 B 、 C 三種牌號洗衣粉的市場占有率分別是0.3、 0.4、0.3，則可用向量P0.3,0.4,0.3 來描述該月市場洗衣粉銷售的狀況。當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時，我們稱之為狀態(tài)轉(zhuǎn)移 。例如，洗衣粉銷售市場狀態(tài)的129第 6 章 馬爾可夫預(yù)測轉(zhuǎn)移就是各種牌號洗衣粉市場占有率的變化。顯然，這類系統(tǒng)由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)完全是隨機的，因此必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。如果在時刻 tn 系統(tǒng)的狀態(tài)為 Xni

6、的條件下，在下一個時刻tn 1 系統(tǒng)狀態(tài)為X n 1 j 的概率pij n 與 n 無關(guān)，則稱此馬爾可夫鏈是齊次馬爾可夫鏈，并記pij PX n 1j X ni , i, j1,2, N稱 pij 為狀態(tài)轉(zhuǎn)移概率。顯然，我們有pij0, i, j1,2, N ,Npij 1, i1,2, N.j 1轉(zhuǎn)移矩陣設(shè)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程是一齊次馬爾可夫鏈，狀態(tài)空間S 1,2, N 有限，狀態(tài)轉(zhuǎn)移概率為pij ，則稱矩陣p11p12p1Np21p22p2 N(6.1.2)PpN 1pN 2p NN為該系統(tǒng)的 狀態(tài)轉(zhuǎn)移概率矩陣，簡稱 轉(zhuǎn)移矩陣。為了論述和計算的需要，引入下述有關(guān)概念。概率向量 對于任意的行向

7、量（或列向量），如果其每個元素均非負且總和等于 1，則稱該向量為 概率向量。概率矩陣由概率向量作為行向量所構(gòu)成的方陣稱為概率矩陣。對于一個概率矩陣 P ，若存在正整數(shù) m ，使得 Pm 的所有元素均為正數(shù)，則稱矩陣 P 為正規(guī)概率矩陣 。例如，矩陣0.70.3A0.50.5中每個元素均非負，每行元素之和皆為1 ，行數(shù)和列數(shù)相同，為2 2 方陣，故矩陣A 為概率矩陣。概率矩陣有如下性質(zhì)：如果A、 B 皆是概率矩陣，則AB 也是概率矩陣；如果A 是概率矩陣，則 A 的任意次冪 Am (m 0) 也是概率矩陣。對 k 1 ，記pijkP X n kj X n i ,(6.1.3)P kpij k,N

8、NkP k 為 k 步狀態(tài)轉(zhuǎn)移概率矩陣，它們均與n 無關(guān)（從下面的式 (6.1.4)稱 pij 為 k 步狀態(tài)轉(zhuǎn)移概率，也可看出）。特別，當 k1時， pij1pij 為 1 步狀態(tài)轉(zhuǎn)移概率。馬爾可夫鏈中任何k 步狀態(tài)轉(zhuǎn)移概率都可由 1 步狀態(tài)轉(zhuǎn)移概率求出。由全概率公式可知對k1有（其中 P 0 表示單位矩陣）：pijkP X n k j X n iNP X n k 1 l X n i P xn k j X n k 1 ll 1 Npil( k 1) plj , i , j1,2,., Nl1130第 6 章 馬爾可夫預(yù)測其中用到馬爾可夫鏈的“無記憶性”和齊次性。用矩陣表示，即為P( k)P(

9、 k1) P ，從而可得P kP k ,k1(6.1.4)記 t 0 為過程的開始時刻，pi0PX 0X t0i，則稱P0p10, p2 0 ,., pN0為初始狀態(tài)概率向量 。如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣Ppij以及初始狀態(tài)概率向量P 0，則任一時刻的狀態(tài)概率分布也就確定了：對 k 1 ，記 pikPX ki，則由全概率公式有pikNp j 0p jik , i1,2, N, k1j 1(6.1.5)若記向量 P kp1k, p2k , pNk，則上式可寫為P kP 0 P( k )P 0 Pk(6.1.6)由此可得，P kP k1 P(6.1.7)例 6.1 考察一臺機床的運行狀態(tài)。機床

10、的運行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機性，故可將機床的運行看作一個狀態(tài)隨時間變化的隨機系統(tǒng)。可以認為，機床以后的狀態(tài)只與以前的狀態(tài)有關(guān)，而與過去的狀態(tài)無關(guān)，即具有無后效性。因此，機床的運行可看作馬爾可夫鏈。設(shè)正常狀態(tài)為 1，故障狀態(tài)為 2，即機床的狀態(tài)空間由兩個元素組成。機床在運行過程中出現(xiàn)故障，這時從狀態(tài)1 轉(zhuǎn)移到狀態(tài) 2；處于故障狀態(tài)的機床經(jīng)維修，恢復(fù)到正常狀態(tài)，即從狀態(tài)2 轉(zhuǎn)移到狀態(tài) 1?，F(xiàn)以一個月為時間單位。經(jīng)觀察統(tǒng)計，知從某月份到下月份機床出現(xiàn)故障的概率為0.2，即p12 0.2 。其對立事件，保持正常狀態(tài)的概率為p11 0.8。在這一時間，故障機床經(jīng)維修返回到正常狀態(tài)的

11、概率為0.9，即 p21 0.9 ；不能修好的概率為p22 0.1 。機床的狀態(tài)轉(zhuǎn)移情形見圖6.1。0.80.20.1120.9圖 6.1機床的狀態(tài)轉(zhuǎn)移由機床的一步轉(zhuǎn)移概率得狀態(tài)轉(zhuǎn)移概率矩陣Pp11p120.80.2p21p220.90.1若已知本月機床的狀態(tài)向量P(0)(0.850.15) ，現(xiàn)要預(yù)測機床兩個月后的狀態(tài)。先求出兩步轉(zhuǎn)移概率矩陣0.80.220.18P(2)P20.820.90.10.810.19矩陣的第一行表明，本月處于正常狀態(tài)的機床，兩個月后仍處于正常狀態(tài)的有0.82，轉(zhuǎn)移到故障狀態(tài)的有0.18 。第二行說明，本月處于故障狀態(tài)的機床，兩個月后轉(zhuǎn)移到正常狀態(tài)的有131第 6

12、章 馬爾可夫預(yù)測0.81，仍處于故障狀態(tài)的有 0.19。于是，兩個月后機床的狀態(tài)向量P(2) P(0)P(2)(0.85 0.15)0.820.180.810.19(0.81850.1815)6.1.3 穩(wěn)態(tài)概率矩陣在馬爾可夫鏈中，已知系統(tǒng)的初始狀態(tài)和狀態(tài)轉(zhuǎn)移概率矩陣，就可推斷出系統(tǒng)在任意時刻可能所處的狀態(tài)?，F(xiàn)在需要研究當k 不斷增大時， P( k ) 的變化趨勢。1 平穩(wěn)分布若存在非零概率向量Xx1 , x2 ,xN，使得 XP X ，其中 P為一概率矩陣，則稱X 為 P的固定概率向量 。特別，設(shè) Xx1 ,x2 , xN為一狀態(tài)概率向量，P 為狀態(tài)轉(zhuǎn)移概率矩陣。若即XPX(6.1.8)ix

13、i pijx j , j1,2, , N則稱 X 為馬爾可夫鏈的一個平穩(wěn)分布 。若隨機過程某時刻的狀態(tài)概率向量P k 為平穩(wěn)分布，則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài)，則過程經(jīng)過一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說，過程一旦處于平衡狀態(tài)后將永遠處于平衡狀態(tài)。對于我們所討論的狀態(tài)有限（即N 個狀態(tài)）的馬爾可夫鏈，平穩(wěn)分布必定存在1 。特別地，當狀態(tài)轉(zhuǎn)移矩陣為正規(guī)概率矩陣時，平穩(wěn)分布唯一。此時，求解方程(6.1.8) ，即可得到系統(tǒng)的平穩(wěn)分布。2 穩(wěn)態(tài)分布對概率向量1 ,2 ,.,N ，如對任意的 i , jS 均有l(wèi)impij mm則稱為穩(wěn)態(tài)分布 。此時，不管初始狀態(tài)概

14、率向量如何，均有j(6.1.9)NNlimp jmlimpi 0pij ( m)pi 0 jjmmi1i 1或lim P( m)lim（ p1 (m)， p2 ( m)， .,pN (m)）mm這也是稱為穩(wěn)態(tài)分布的理由。設(shè)存在穩(wěn)態(tài)分布1 , 2 ,.,N ，則由于下式恒成立P kP k 1 Pk，就得P(6.1.10)即，有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。對任一狀態(tài)i ，如果 k : piik0 的公約數(shù)為1，則稱 i是非周期狀態(tài)。如果一個馬爾可夫鏈的所有狀態(tài)均是非周期的，則稱此馬爾可夫鏈是非周期的。對非周期的馬爾可夫鏈，穩(wěn)態(tài)分布必存在，對不可約非周期的馬爾可夫鏈，穩(wěn)態(tài)分

15、布和平穩(wěn)分布相同且均唯一 1 。例 6.2設(shè)一馬爾可夫鏈的轉(zhuǎn)移矩陣為132第 6 章 馬爾可夫預(yù)測0. 50 0.25 0.25 P 0.50 0.00 0.50 0.25 0.25 0.50求其平穩(wěn)分布及穩(wěn)態(tài)分布。解：（ 1） P 不可約0.43750.18750.375P2 P20.3750.250.3750.3750.18750.4375pij 0 ，僅當 i2 且 j2 時。又 p222 0 ，由定義可知， P 是不可約的。（2）P 非周期由 p11 10, p11 20 可知 1， 2 的公約為 1，故狀態(tài)1 為非周期狀態(tài)。同理可得 2， 3 均為非周期狀態(tài)。故P 是非周期的。（ 3

16、）由于 P 不可約且是非周期的，求解如下方程組XPXi xi1得 X0.4,0.2,0.4 , 這就是該馬爾可夫鏈的穩(wěn)態(tài)分布，而且也是平穩(wěn)分布。6.2馬爾可夫預(yù)測的應(yīng)用馬爾可夫預(yù)測乃是利用某一系統(tǒng)的現(xiàn)在狀況及其發(fā)展動向去預(yù)測系統(tǒng)未來狀況的一種預(yù)測方法。它在技術(shù)與經(jīng)濟發(fā)展以及現(xiàn)代企業(yè)的經(jīng)營管理中，均可為決策者制定決策提供較科學(xué)的未來信息。馬爾可夫預(yù)測范圍廣泛，如在預(yù)測企業(yè)的發(fā)展規(guī)模和產(chǎn)品銷售份額，分析顧客（消費者）流向，選擇銷售及服務(wù)地點，選擇銷售維修策略，制定設(shè)備更新方案，以及決定最優(yōu)工作分配等方面均有顯著成效。應(yīng)用馬爾可夫分析，對環(huán)境保護、生態(tài)平衡等復(fù)雜大系統(tǒng)未來狀況進行預(yù)測，對各種環(huán)境污染

17、治理策略的選擇等，均可取得良好的效果。6.2.1 市場占有率的預(yù)測我們結(jié)合例題來說明如何預(yù)測市場占有率。例 6.3 伍迪公司、布盧杰 .里維公司、雷恩公司 ( 分別用符號A 、 B、 C 代表 )是美國中西部地區(qū)三家主要滅蟲劑產(chǎn)商。根據(jù)歷史資料得知，公司A 、 B 、 C 產(chǎn)品銷售額的市場占有率分別為50%， 30%， 20%。由于 C 公司實行了改善銷售與服務(wù)方針的經(jīng)營管理決策，使其產(chǎn)品銷售額逐期穩(wěn)定上升，而 A 公司卻下降。通過市場調(diào)查發(fā)現(xiàn)三個公司間的顧客流動情況如表6.1 所示。其中產(chǎn)品銷售周期是季度。現(xiàn)在的問題是按照目前的趨勢發(fā)展下去，A 公司的產(chǎn)品銷售額或客戶轉(zhuǎn)移的影響將嚴重到何種程

18、度？更全面的，三個公司的產(chǎn)品銷售額的占有率將如何變化？表 6.1A、 B、C 三公司的顧客流動情況公司周期 0的周期 1 的供應(yīng)公司顧客數(shù)ABCA500035005001000B30003002400300C20001001001800周期 2的390030003100顧客數(shù)將表 6.1 中的數(shù)據(jù)化為轉(zhuǎn)移概率將對研究分析未來若干周期的顧客流向更為有利。表6.2 列出133第 6 章 馬爾可夫預(yù)測了各公司顧客流動的轉(zhuǎn)移概率。表 6.2 中的數(shù)據(jù)是每家廠商在一個周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個周期到下一個周期將能保住的顧客數(shù)的百分比，以及將要喪失給競爭對手的顧客

19、數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比，以及該公司將要從競爭對手那里獲得顧客數(shù)的百分比。表 6.2顧客流動的轉(zhuǎn)移概率公司ABCA3500/5000=0.7500/5000=0.11000/5000=0.2B300/3000=0.12400/3000=0.8300/3000=0.1C100/2000=0.05100/2000=0.051800/2000=0.95如用矩陣來表示表6.2 中的數(shù)據(jù)，那么就得到了如下的轉(zhuǎn)移矩陣ABCA0.70.10.2P0.10.8(6.2.1)B0.1C0.050.050.9P 中數(shù)據(jù)表示一個隨機挑選的顧客，從一個周期到下一個周期仍購買某

20、一公司產(chǎn)品的可能性或概率。如，隨機挑選一名A 公司的顧客，他在下一周期仍購買A 公司產(chǎn)品的概率為0.7，購買 B公司產(chǎn)品的概率為0.1，購買 C 公司產(chǎn)品的概率為0.2。1. 未來各周期市場占有率的計算以 A 、B、 C 公司作為我們要分析的系統(tǒng)的狀態(tài)，那么狀態(tài)概率向量就分別為三家公司的產(chǎn)品銷售額的市場占有率。初始狀態(tài)概率向量為P0P1 0,P2 0,P3 00.5,0.3,0.2 ,轉(zhuǎn)移矩陣由（ 6.2.1）式給出。于是可用式（ 6.1.6）來計算未來各期的市場占有率。如狀態(tài)轉(zhuǎn)移一次后第一周期的市場占有率向量為：P1P0P0.70.10.20.5,0.3,0.20.10.80.10.050.

21、050.90.39,0.3,0.31由式（ 6.1.6）可以遞推地求得未來各期的市場占有率。2. 穩(wěn)態(tài)市場占有率從轉(zhuǎn)移矩陣P 中可以看出， A 公司的市場占有率將逐期下降，而C 公司的市場占有率則將逐期上升（用式 (6.1.6) 計算出 P k 即可驗證）。從經(jīng)營決策和管理的角度來看，自然希望了解公司的市場占有率最終將達到什么樣的水平，亦即需要知道穩(wěn)態(tài)市場占有率。由于式 (6.2.1) 中的 P 是不可約非周期的，所以穩(wěn)態(tài)市場占有率即為平衡狀態(tài)下的市場占有率，亦即馬氏鏈的平穩(wěn)分布。由前面的討論知道，我們求解如下方程組0.70.10.2x1, x2 , x30.10.80.1x1 , x2 ,

22、x30.050.050.9x1x2 x31解得x10.1765, x20.2353, x30.5882亦即， A 、 B、 C 三家公司的市場占有率最終將分別達到17.65%， 23.53%， 58.82% 。對本例來說，當銷售份額達到平衡時，所有公司都各占總銷售額中的一部分保持不變。但在134第 6 章 馬爾可夫預(yù)測某些情況下，參與競爭的公司或廠商中能有一個或多個被完全逐出市場。例如對于轉(zhuǎn)移矩陣ABCA0.70.10.2P0.10.80.1BC0.050.050.9廠商A 從 B 與 C 雙方得到顧客，而從不失去顧客，容易推知照此趨勢發(fā)展下去廠商A 將獨占100%的市場。這一點從式(6.1.

23、8) 的求解中亦可看出。最后我們指出平衡狀態(tài)存在的條件與初始狀態(tài)概率向量無關(guān)。3.銷售策略對市場占有率的影響從本例的上述分析可以看出， A 公司的市場占有率將從 50%降至最終的 17.65%, 當然這是假定以狀態(tài)轉(zhuǎn)移概率保持不變作為分析的前提的。如果公司的經(jīng)營決策者看到了這種不利趨勢，并制訂某種策略 (如銷售策略 ) 來扭轉(zhuǎn)這種不利趨勢，使公司在市場上保持較有利的地位。以后我們就兩種不同的銷售策略，討論如何利用馬爾可夫分析幫助公司管理人員評價銷售策略對銷售份額的影響?？深愃品治銎渌慕?jīng)營策略。1) 保留策略，指盡力保留公司原有顧客較大百分比的各種經(jīng)營方針與對策。如采用提供優(yōu)質(zhì)服務(wù)或?qū)B續(xù)兩期

24、購貨的顧客實行折價優(yōu)待等方法。設(shè)公司采用這樣的保留策略后，減少了其原有顧客向公司的流失，使保留率從原來的70提高到 85，則轉(zhuǎn)移矩陣成為0.850.100.050.100.800.100.050.050.90新的平衡狀態(tài)下、三公司的市場占有率分別為31.6， 26.3， 42.1，公司的市場占有率從17.65提高到 31.6。2) 爭取策略。指從競爭者擁有的顧客中爭取顧客的各種經(jīng)營方針與對策。如通過廣告等方法。設(shè)公司通過爭取策略，能從上一周期內(nèi)向另外兩家公司購貨的顧客中各爭取15，則轉(zhuǎn)移矩陣成為0.700.100.200.150.750.100.150.050.80在新的平衡狀態(tài)下，、三家公司

25、的市場占有率分別為33.3， 22.2， 44.5。在實際工作中，市場占有率僅僅是經(jīng)營者制訂決策的一個考慮因素。為制訂出正確的決策，還可能要考慮其它的因素，如考慮采取策略的費用等。6.2.2 期望報酬預(yù)測一個與經(jīng)濟有關(guān)的馬氏型隨機系統(tǒng)中，系統(tǒng)獲得的報酬( 或稱收益 ) 也會隨狀態(tài)的不同而不同。設(shè)有一臺機器，它在第n 周期的狀態(tài)用X n 表示：0 第 n 周期正常X n1第 n 周期失效進一步假定，機器正常時，每一個周期可帶來v 元的收益，并且在下一周期失效的概率為p，當機135第 6 章 馬爾可夫預(yù)測器失效時，需對其進行更換，更換的費用為d，修理時間為一個周期，下一個周期初修好開始工作，于是

26、X n 是一個齊次馬氏鏈，其狀態(tài)空間為S=0,1 ，轉(zhuǎn)移矩陣為P1 pp10但這是一個帶報酬 (或稱收益、費用 )的馬氏鏈。一般地 , 設(shè) Xn 是狀態(tài)空間為 S1,2,., N 的齊次馬氏鏈，其轉(zhuǎn)移矩陣為P ( pij ) NN 。設(shè)r( i)表示某周期系統(tǒng)處于狀態(tài)i 時獲得的報酬。我們稱如此的馬爾可夫鏈是具有報酬的。顯然，r (i) 0 時稱為盈利，報酬，收益等； r (i) 0 時稱為虧損，費用等。對于這樣一個帶報酬的馬爾可夫鏈， n 時的報酬是一個隨機變量。我們分三種目標函數(shù)來討論。1 有限時段期望總報酬記 vk ( i) 表示初始狀態(tài)為i 的條件下，到第k 步狀態(tài)轉(zhuǎn)移前所獲得的期望總

27、報酬(k 1， i S) ：vk (i )k 1第 周期的期望報酬nn 0k 1E r ( X n ) X0in 0 k 1n 0jpij( n ) r ( j )若記列向量Vk(vk(1),vk(2),.,vk(N)T, r( r (1),r (2),r ( N )T則上式可寫為,k 1VkPn r (1P P2Pk 1 )r(6.2.2)n 0進而，可證明有如下遞推式：Nvk 1 (i )r (i )pij vk ( j ), k 0,i 1,2, , N(6.2.3)j 1v0 ( i)0, i1,2, ,N于是可用上式遞推求得vk ( i) 。2 無限時段單位時間平均報酬對 i S，定

28、義初始狀態(tài)為i 的無限時段單位時間平均報酬為：v( i)lim vk( i )/ kk136第 6 章 馬爾可夫預(yù)測記西沙洛極限pijlimNP( t)ij / k i, j 1,2, , Nkt1矩陣 P( pij ) ，則由 (6.2.2) 可證得Nv(i )pij r ( j)(6.2.4)j1于是為求 v i ，只須求得 P*即可，但一般地要求出 P*并不是件容易的事情。這里我們只討論如下的特殊情況。我們考慮穩(wěn)態(tài)分布1,2, ,N 存在的這種特殊情況。由上節(jié)可知，轉(zhuǎn)移矩陣P 非周期即可保證 存在。當 存在時，它也是平穩(wěn)分布，于是我們有如下結(jié)論。結(jié)論設(shè)所考慮的馬氏鏈存在穩(wěn)態(tài)分布 ，則 P

29、 t ij ,t 0,1, 的西沙洛極限與其極限相同 ,而 pijj , j 1,2, , N ,進而若 (6.1.10)有唯一解 Xx1 , x2 ,., xN，則有pijjx j j1,2, ,N(6.2.5)實際上，如果 存在，當 (6.1.10)有唯一解 X 時，由于穩(wěn)態(tài)分布必為平穩(wěn)分布,故 jx j .特別，對于不可約非周期的馬氏鏈，(6.2.5) 恒成立。于是可先求解 (6.1.10) 得 X，然而由 (6.2.5)求得 v i。3無限時段期望折扣總報酬在現(xiàn)實生活中，今年的一元錢將大于明年的一元錢，其實將錢存于銀行即可。也就是說明年的一元錢折算到現(xiàn)在計算，就不值一元錢了，如為 (0

30、,1) ，這個 就稱為折扣因子。實際上，在工程問題中，在企業(yè)管理中當考慮貸款、折舊等時都必須考慮到錢的增值問題。如將錢存于銀行，年息為，則 與 有如下關(guān)系： =1/(1+ )如果一個周期為一個月，那么只須將理解為月息即可。這里折扣因子 一般地在區(qū)間 (0,1) 中。對有報酬的馬氏鏈，定義從狀態(tài)出發(fā)的無限時段期望折扣總報酬為v it第 周期的期望報酬，i S(6.2.6)t 0t于是v itj pij( t ) rj(6.2.7)t0若記向量 VTv 1 ,v 2 ,., v N ，則上式的向量 /矩陣形式為 :Vt Pt rI1(6.2.8)P rt 0137第 6 章 馬爾可夫預(yù)測與有限時段

31、中的(6.2.3) 類似，由 (6.2.7) 可得：vir it 1j pij( t ) rjt 1r il piltj plj( t ) r jt0r ilpil vl , iS(6.2.9)顯然，線性方程組(6.2.9)的解即為 (6.2.8)所表示的。我們稱 vk i ,v i ,v i 為具有報酬的馬氏鏈的三種目標函數(shù)。利用其中的任一個目標函數(shù)，我們可以討論不同策略的優(yōu)劣。例 6.4 最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵進行季度維修的過程。該化工企業(yè)對泵進行定期檢查，每次檢查中，把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是：狀態(tài) 1：優(yōu)秀狀態(tài)，無任何故障或缺

32、陷；狀態(tài) 2：良好狀態(tài)，稍有腐蝕；狀態(tài) 3：及格狀態(tài)，輕度腐蝕；狀態(tài) 4：可用狀態(tài)，大面積腐蝕；狀態(tài) 5：不可運行狀態(tài)，腐蝕嚴重。該公司可采用的維修策略有以下幾種。單狀態(tài)策略：泵處于狀態(tài)5 時才進行修理，每次修理費用為500 元。兩狀態(tài)策略：泵處于狀態(tài)4 和 5 時進行修理，處于狀態(tài)4 時的修理費用每次為250 元 , 處于狀態(tài) 5 時的每次修理費用為500 元。三狀態(tài)策略：泵處于狀態(tài)3,4,5 時進行修理，處于狀態(tài)3 時的每次修理費用為200 元 ,處于狀態(tài)4 和 5 時的修理費用同前。目前，該公司采用的維修策略為“單狀態(tài)”策略。假定不管處于何種狀態(tài)，只要進行修理，泵的狀態(tài)都將在本周期內(nèi)恢復(fù)

33、為狀態(tài)1 。已知在不進行任何修理時的狀態(tài)轉(zhuǎn)移概率，如表6.3 中所示。表 6.3不修理時的狀態(tài)轉(zhuǎn)移概率泵在周期泵在周期n+1 的狀態(tài)n 的狀態(tài)1234510.000.600.200.100.1020.000.300.400.200.1030.000.000.400.400.2040.000.000.000.500.5050.000.000.000.001.00現(xiàn)在我們要確定哪個策略的費用最低。目標為長期運行單位時間平均報酬。容易看出，在單狀態(tài)、兩狀態(tài)、三狀態(tài)下的轉(zhuǎn)移概率矩陣分別為138第 6 章 馬爾可夫預(yù)測0.00.60.20.10.10.00.30.40.20.1P10.00.00.40.

34、40.20.00.00.00.00.01.00.00.00.00.00.00.60.20.10.10.00.30.40.20.1P20.00.00.40.40.21.00.00.00.00.01.00.00.00.00.00.00.60.20.10.10.00.30.40.20.1P31.00.00.00.00.01.00.00.00.00.01.00.00.00.00.0下面我們分別來求三種策略下的v i。1) 單狀態(tài)策略。此時 r (1) r(2) r(3) r(4) 0， r(5) 500，將 P1 代入 (6.1.8) 可解得唯一的平穩(wěn)分布為X x1 ,x2 ,., xN0.199,0.170,0.180,0.252,0.199而 P1顯然是不可約非周期的，從而 X 亦為穩(wěn)態(tài)分布，由此及(6.2.4)，(6.2.5)可得v ixj rj=500 0.199 99.50(元 )，與 i 無關(guān)。2) 兩狀態(tài)策略。 r(1) r(2) r(3) 0， r(4) 250，r (5) 500，與 1)中類似，可知X (0.266,0.228,0.241,0.168,0.097)從而由 (6.2.4) ，(6.2.5) 有v ix1r 1x2 r 2x3 r 3x4r 4 0.168 250+0.097 500=90.50( 元 ).3)三狀態(tài)策略。r(1) r(