第6章 馬爾可夫預(yù)

66 馬爾可夫預(yù)馬爾可夫預(yù)測方法不需要大量歷史資料，而只需對近期狀況作詳細(xì)分析。它可用于產(chǎn)品的市場占有率預(yù)測、期望報(bào)酬預(yù)測、人力資源預(yù)測等等，還可用來分析系統(tǒng)的長期平衡條件，為決策提供有意義的參考。馬爾可夫（）是俄國數(shù)學(xué)家。二十世紀(jì)初，他在研究中發(fā)現(xiàn)自然界中有一類事物的變化過程僅與事物的近期狀態(tài)有關(guān)，而與事物的過去狀態(tài)無關(guān)。具有這種特性的隨機(jī)過程稱為馬爾可夫過程。設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場需求變化等許多經(jīng)濟(jì)和社會行為都可用這一類過程來描述或近似，故其應(yīng)用范圍非常廣泛。為了表征一個系統(tǒng)在變化過程中的特性（狀態(tài)），可以用一組隨時(shí)間進(jìn)程而變化的變量來描述。如果系統(tǒng)在任何時(shí)刻上的狀態(tài)是隨機(jī)的，則變化過程就是一個隨機(jī)過程。設(shè)有參數(shù)集T(tTXt與之對應(yīng)，則稱{Xt,tT為一隨機(jī)過程。T為離散集（Tt0,t1,t2,...,tn,...}），Xt的取值也是離散的，則稱{Xt,tT為離散型隨機(jī)過程。

N}，稱nt0,t1,t2,...改變它的狀態(tài)。為簡便計(jì)，以下將nXn一般地說，描述系統(tǒng)狀態(tài)的隨機(jī)變量序列不一定滿足相互獨(dú)立的條件，也就是說，系統(tǒng)將來的狀態(tài)與過去時(shí)刻以及現(xiàn)在時(shí)刻的狀態(tài)是有關(guān)系的。在實(shí)際情況中，也有具有這樣性質(zhì)的隨機(jī)系統(tǒng)：系統(tǒng)在每一時(shí)刻（或每一步）上的狀態(tài)，僅僅取決于前一時(shí)刻（或前一步）的狀態(tài)。這個性質(zhì)稱為無后效性，即所謂馬爾可夫假設(shè)。具備這個性質(zhì)的離散型隨機(jī)過程，稱為馬爾可夫鏈。用數(shù)學(xué)語言來描述就是：馬爾可夫鏈如果對任一n1，任意的i1i2,in1,jSPXnjX1i1,X2i2

,Xn1in1PXnjXn1

則稱離散型隨機(jī)過程{Xt,tT為馬爾可夫鏈N張荷葉，編號為12N。假設(shè)有一只青蛙隨機(jī)地從這張荷葉上跳到另一張荷葉上。青蛙的運(yùn)動可看作一隨機(jī)過程。在時(shí)刻tn，青蛙它現(xiàn)在所處的狀態(tài)ii

,N馬爾可夫鏈?zhǔn)且环N描述動態(tài)隨機(jī)現(xiàn)象的數(shù)學(xué)模型，它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉(zhuǎn)移”的概念之上。所謂系統(tǒng)，就是我們所研究的事物對象；所謂狀態(tài)，是表示系統(tǒng)的一組記號。當(dāng)確定了這組記號的值時(shí)，也就確定了系統(tǒng)的行為，并說系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量，故稱之為狀態(tài)向量。例如，已知、B、C三種牌號洗衣粉的市場占有率分別是0.3、0.4、0.3，則可用向量P0.,0.,0.3來描述該月市場洗衣粉銷售的狀況。當(dāng)系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時(shí)，我們稱之為狀態(tài)轉(zhuǎn)移。例如，洗衣粉銷售市場狀態(tài)的轉(zhuǎn)移就是各種牌號洗衣粉市場占有率的變化。顯然，這類系統(tǒng)由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)完全是隨機(jī)的，因此必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。tnXnitn1系統(tǒng)狀態(tài)為Xn1jpijn與n無關(guān)，則稱此馬爾可夫鏈?zhǔn)驱R次馬爾可夫鏈，并記pijPXn1jXni,i,j1,2,L,pijpij0,i,j1,Npij1,i1,

,N,N轉(zhuǎn)移矩 設(shè)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程是一齊次馬爾可夫鏈，狀態(tài)空S Np

p1NP

p

p2N

N NN概率向量對于任意的行向量（或列向量），1，則稱該向量為概率矩陣由概率向量作為行向量所構(gòu)成的方陣稱為PmPm

A

122方陣，故矩A為概率矩陣。A、BAB也是概率矩陣；如果AAAm(m0)也是概率矩陣。 對 k Pkpk

j,

Npkk步狀態(tài)轉(zhuǎn)移概率，Pkk步狀態(tài)轉(zhuǎn)移概率矩陣，它們均與n無關(guān)（從下面的式(6.1.4)也可看出）k1pij1pij1k步1步狀態(tài)轉(zhuǎn)移概率求出。 k1有（P k N

j

PXnk1lXniPxnkjXnk1lN p(k1)p,i,j1,2,..., l其中用到馬爾可夫鏈的“無記憶性”和齊次性。用矩陣表示，即為P(k)P(k1PPkPk

k

記t0pi0PX0Xt0iP0p10,p20,...,pN為初始狀態(tài)概率向量k1pikPXkipik

k,i1,

,N,k

PkP0P(k)P0

6.1考察一臺機(jī)床的運(yùn)行狀態(tài)。機(jī)床的運(yùn)行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機(jī)性，故可將機(jī)床的運(yùn)行看作一個狀態(tài)隨時(shí)間變化的隨機(jī)系統(tǒng)。可以認(rèn)為，機(jī)床以后的狀態(tài)只與以前的狀態(tài)有關(guān)，而與過去的狀態(tài)無關(guān)，即具有無后效性。因此，機(jī)床的運(yùn)行可看作馬爾可夫鏈。運(yùn)行過程中出現(xiàn)故障，這時(shí)從狀態(tài)1轉(zhuǎn)移到狀態(tài)2；處于故障狀態(tài)的機(jī)床經(jīng)維21?，F(xiàn)以一個月為時(shí)間單位。經(jīng)觀察統(tǒng)計(jì)，知從某月份到下月份機(jī)床出現(xiàn)故障的0.220.210.8。在這一0.910.9；不能修好的概20.16.1。 6.1機(jī)床的狀態(tài)轉(zhuǎn)移P

p12 p 22 P(0)0.850.15，現(xiàn)要預(yù)測機(jī)床兩個月后的狀 P(2)P2

0.81矩陣的第一行表明，本月處于正常狀態(tài)的機(jī)床，兩個月后仍處于正常狀態(tài)的0.820.18。第二行說明，本月處于故障狀態(tài)的機(jī)床，兩0.810.19。0.81P(2)P(0)P(2)(0.850.15)0.81 (0.8185統(tǒng)在任意時(shí)刻可能所處的狀態(tài)?，F(xiàn)在需要研究當(dāng)k不斷增大時(shí)，P(k)的變化趨Xx1x2XP的固定概率向量

xNXPXPXx1x2LxNP即ixi

XPxj

j ,

X為馬爾可夫鏈的一個平穩(wěn)分布Pk為平穩(wěn)分布，則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài)，則過程經(jīng)過一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說，過程一旦處于平衡狀態(tài)后將永遠(yuǎn)處于平衡狀態(tài)。對于我們所討論的狀態(tài)有限（N個狀態(tài)）的馬爾可夫鏈，平穩(wěn)分布必定存在[1]。特別地，當(dāng)狀態(tài)轉(zhuǎn)移矩陣為正規(guī)概率矩陣時(shí)，平穩(wěn)分布唯一。此時(shí)，求解方程(6.1.8)，即可得到系統(tǒng)的平穩(wěn)分布。

pijm

limpjmlimpi0pij(m)pi0πj或

m

k

π

i，如果{k:piik01i是非周期狀態(tài)。如果穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一[1]6.2解：（1）P不可約

P

P2P2

0.3750.375pij0，僅當(dāng)i2j2p2220，由定義可知，P（2）P2，3P是非周期的。（3）PXPx iX0.4,0.2,0.4馬爾可夫預(yù)測乃是利用某一系統(tǒng)的現(xiàn)在狀況及其發(fā)展動向去預(yù)測系統(tǒng)未來狀況的一種預(yù)測方法。它在技術(shù)與經(jīng)濟(jì)發(fā)展以及現(xiàn)代企業(yè)的經(jīng)營管理中，均可為決策者制定決策提供較科學(xué)的未來信息。馬爾可夫預(yù)測范圍廣泛，如在預(yù)測企業(yè)的發(fā)展規(guī)模和產(chǎn)品銷售份額，分析顧客（消費(fèi)者）流向，選擇銷售及服務(wù)地點(diǎn)，選擇銷售維修策略，制定設(shè)備更新方案，以及決定最優(yōu)工作分配等方面均有顯著成效。應(yīng)用馬爾可夫分析，對環(huán)境保護(hù)、生態(tài)平衡等復(fù)雜大系統(tǒng)未來狀況進(jìn)行預(yù)測，對各種環(huán)境污染治理策略的選擇等，均可取得良好的效果。6.3伍迪公司、布盧杰.里維公司、雷恩公司(A、B、C代表)是A、B、C產(chǎn)品銷50%，30%，20%C公司實(shí)行了改善銷售與服務(wù)A公司卻下降。通過市場調(diào)查發(fā)現(xiàn)三個公司間的顧客流動情況如表6.1所示。其中產(chǎn)品銷售周期是季度。現(xiàn)在的問題是按照目前的趨勢發(fā)展下去，A公司的產(chǎn)品銷售額或客戶轉(zhuǎn)移的影響將嚴(yán)重到何種程度？更全面的，三個公司的產(chǎn)品銷售額的占有率將如何變6.1A、B、CA1的供應(yīng)公司 ABC—6.1中的數(shù)據(jù)化為轉(zhuǎn)移概率將對研究分析未來若干周期的顧客流向更為6.26.2中的數(shù)據(jù)是每家廠商在一個周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個周期到下一個周期將能保住的顧客數(shù)的百分比，以及將要喪失給競爭對手的顧客數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比，以及該公司將要從競爭對手那里獲得顧客數(shù)的百分比。6.2顧客流動的轉(zhuǎn)移概率ABCABC6.2ABCABCB

P中數(shù)據(jù)表示一個隨機(jī)挑選的顧客，從一個周期到下一個周期仍購買某一公A公司的顧客，他在下一周期仍購買A0.7B0.1C公司產(chǎn)品的概率0.2。轉(zhuǎn)移矩陣由（6.2.1）式給出。于是可用式（6.1.6）來計(jì)算未來各期的市場占有P1P0 0.5,0.3,0.2 0.050.05由式（6.1.6）P中可以看出，AC公司的市場占有率則將逐期上升（用式(6.1.6)計(jì)算出Pk即可驗(yàn)證）理的角度來看，自然希望了解公司的市場占有率最終將達(dá)到什么樣的水平，亦即需要知道穩(wěn)態(tài)市場占有率。由于式(6.2.1)P是不可約非周期的，所以穩(wěn)態(tài)市場占有率即為平衡狀態(tài) 0.050.05x1x2x3x1

x2

x3亦即，A、B、C三家公司的市場占有率最終將分別達(dá)到17.65%23.53%，對本例來說，當(dāng)銷售份額達(dá)到平衡時(shí)，所有公司都各占總銷售額中的一部分保持不變。但在某些情況下，參與競爭的公司或廠商中能有一個或多個被完全逐出市場。例如對于轉(zhuǎn)移矩陣 C P B 0.050.05 ABC雙方得到顧客，而從不失去顧客，容易推知照此趨勢發(fā)展下去廠A100%的市場。這一點(diǎn)從式(6.1.8)的求解中亦可看出。從本例的上述分析可以看出，A公司的市場占有率將從50%降至最終的17.65%,當(dāng)然這是假定以狀態(tài)轉(zhuǎn)移概率保持不變作為分析的前提的。如果公司的經(jīng)營決策者看到了這種不利趨勢，并制訂某種策略(如銷售策略)來扭轉(zhuǎn)這種不利趨勢，使公司在市場上保持較有利的地位。以后我們就兩種不同的銷售策略，討論如何利用馬爾可夫分析幫助公司管理人員評價(jià)銷售策略對銷售份額的影響。可類似分析其它的經(jīng)營策略。保留策略，指盡力保留公司原有顧客較大百分比的各種經(jīng)營方針與對策。如采用提供優(yōu)質(zhì)服務(wù)或?qū)B續(xù)兩期購貨的顧客實(shí)行折價(jià)優(yōu)待等方法。設(shè)Ａ公司采70850.85 0.05新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.6％，26.3％，42.117.6531.6％。爭取策略。指從競爭者擁有的顧客中爭取顧客的各種經(jīng)營方針與對策。如通過廣告等方法。設(shè)Ａ公司通過爭取策略，能從上一周期內(nèi)向另外兩家公司購貨15％，則轉(zhuǎn)移矩陣成為 0.75 0.05在新的平衡狀態(tài)下，Ａ、Ｂ、Ｃ三家公司的市場占有率分別為％，44.5一個與經(jīng)濟(jì)有關(guān)的馬氏型隨機(jī)系統(tǒng)中，系統(tǒng)獲得的報(bào)酬(或稱收益)也會隨狀nXn表示：Xn

第n周期正常第n進(jìn)一步假定，機(jī)器正常時(shí)，每一個周期可帶來v元的收益，并且在下一周期失效周期，下一個周期初修好開始工作，于是{Xn是一個齊次馬氏鏈，其狀態(tài)空間為P1 p 0 但這是一個帶報(bào)酬(或稱收益、費(fèi)用)一般地,設(shè){XnS12N的齊次馬氏鏈，其轉(zhuǎn)移矩陣為Ppij)NNr(i)i時(shí)獲得的報(bào)酬。我們稱如此的馬爾可夫鏈?zhǔn)蔷哂袌?bào)酬的。顯然，r(i)＞0時(shí)稱為盈利，報(bào)酬，收益等；r(i)＜0時(shí)稱為虧損，費(fèi)用等。對于這樣一個帶報(bào)酬的馬爾可夫鏈，n記vk(iik步狀態(tài)轉(zhuǎn)移前所獲得的期望總報(bào)kvk(i)第nk=E{r(Xn)X0k=j

p(n)r(若記列向量Vv(1v(2v(N))Trr(1

r(N))T,則上式可 kkVPnr(1PP2k

Nvk1(i)r(i)pijvk(j),k0,i1,2,L,

v0(i)0,i1,2,L,于是可用上式遞推求得vk(ii∈Sikv(i)limv(i)/kkNplimP(t)/ki,j1,2,L, kt Pp，則由(6.2.2)Nv(i)pr(

viP*P*并不是件容易的事P非周期即可保證π存在。當(dāng)π存在時(shí)，它也是平穩(wěn)分布，于是我們有 結(jié)論設(shè)所考慮的馬氏鏈存在穩(wěn)態(tài)分布π，則{Pt,t0,1,L 與其極限相同,Xx1x2xN

pπ,j1,

N,進(jìn)而若(6.1.10)有唯一解 pπ j1,2,L

實(shí)際上，如果π存在，當(dāng)(6.1.10)X時(shí)，由于穩(wěn)態(tài)分布必為平穩(wěn)分布特別，對于不可約非周期的馬氏鏈，(6.2.5)恒成立。于是可先求解(6.1.10)X，然而由(6.2.5)求得vi在現(xiàn)實(shí)生活中，今年的一元錢將大于明年的一元錢，其實(shí)將錢存于銀行即可。也就是說明年的一元錢折算到現(xiàn)在計(jì)算，就不值一元錢了，如為β∈(0,1)，這個β就稱為折扣因子。實(shí)際上，在工程問題中，在企業(yè)管理中當(dāng)考慮貸款、折舊等時(shí)都必須考慮到錢的增值問題。t

(t

若記向量

1,

t 2vN Vβ

t

與有限時(shí)段中的(6.2.3)類似，由(6.2.7)jjt

p(t)rj

jjt

p(t)rj

顯然，線性方程組(6.2.9)的解即為(6.2.8)例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵進(jìn)行季度維修的過程。該化工企業(yè)對泵進(jìn)行定期檢查，每次檢查中，把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是：1：優(yōu)秀狀態(tài)，無任何故障或缺陷；2：良好狀態(tài)，稍有腐蝕；3：及格狀態(tài)，輕度腐蝕；4：可用狀態(tài)，大面積腐蝕；55500454時(shí)的修理費(fèi)用每次250元,5500元。3,4,53時(shí)的每次修理費(fèi)用為200元,45時(shí)的修理費(fèi)用同前。16.3中所示。6.3不修理時(shí)的狀態(tài)轉(zhuǎn)移概率nn+11234512345 0.3 0.3 0.3