第6章 馬爾可夫預(yù)

66 馬爾可夫預(yù)馬爾可夫預(yù)測(cè)方法不需要大量歷史資料，而只需對(duì)近期狀況作詳細(xì)分析。它可用于產(chǎn)品的市場(chǎng)占有率預(yù)測(cè)、期望報(bào)酬預(yù)測(cè)、人力資源預(yù)測(cè)等等，還可用來(lái)分析系統(tǒng)的長(zhǎng)期平衡條件，為決策提供有意義的參考。馬爾可夫（）是俄國(guó)數(shù)學(xué)家。二十世紀(jì)初，他在研究中發(fā)現(xiàn)自然界中有一類(lèi)事物的變化過(guò)程僅與事物的近期狀態(tài)有關(guān)，而與事物的過(guò)去狀態(tài)無(wú)關(guān)。具有這種特性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程。設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場(chǎng)需求變化等許多經(jīng)濟(jì)和社會(huì)行為都可用這一類(lèi)過(guò)程來(lái)描述或近似，故其應(yīng)用范圍非常廣泛。為了表征一個(gè)系統(tǒng)在變化過(guò)程中的特性（狀態(tài)），可以用一組隨時(shí)間進(jìn)程而變化的變量來(lái)描述。如果系統(tǒng)在任何時(shí)刻上的狀態(tài)是隨機(jī)的，則變化過(guò)程就是一個(gè)隨機(jī)過(guò)程。設(shè)有參數(shù)集T(tTXt與之對(duì)應(yīng)，則稱(chēng){Xt,tT為一隨機(jī)過(guò)程。T為離散集（Tt0,t1,t2,...,tn,...}），Xt的取值也是離散的，則稱(chēng){Xt,tT為離散型隨機(jī)過(guò)程。

N}，稱(chēng)nt0,t1,t2,...改變它的狀態(tài)。為簡(jiǎn)便計(jì)，以下將nXn一般地說(shuō)，描述系統(tǒng)狀態(tài)的隨機(jī)變量序列不一定滿(mǎn)足相互獨(dú)立的條件，也就是說(shuō)，系統(tǒng)將來(lái)的狀態(tài)與過(guò)去時(shí)刻以及現(xiàn)在時(shí)刻的狀態(tài)是有關(guān)系的。在實(shí)際情況中，也有具有這樣性質(zhì)的隨機(jī)系統(tǒng)：系統(tǒng)在每一時(shí)刻（或每一步）上的狀態(tài)，僅僅取決于前一時(shí)刻（或前一步）的狀態(tài)。這個(gè)性質(zhì)稱(chēng)為無(wú)后效性，即所謂馬爾可夫假設(shè)。具備這個(gè)性質(zhì)的離散型隨機(jī)過(guò)程，稱(chēng)為馬爾可夫鏈。用數(shù)學(xué)語(yǔ)言來(lái)描述就是：馬爾可夫鏈如果對(duì)任一n1，任意的i1i2,in1,jSPXnjX1i1,X2i2

,Xn1in1PXnjXn1

則稱(chēng)離散型隨機(jī)過(guò)程{Xt,tT為馬爾可夫鏈N張荷葉，編號(hào)為12N。假設(shè)有一只青蛙隨機(jī)地從這張荷葉上跳到另一張荷葉上。青蛙的運(yùn)動(dòng)可看作一隨機(jī)過(guò)程。在時(shí)刻tn，青蛙它現(xiàn)在所處的狀態(tài)ii

,N馬爾可夫鏈?zhǔn)且环N描述動(dòng)態(tài)隨機(jī)現(xiàn)象的數(shù)學(xué)模型，它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉(zhuǎn)移”的概念之上。所謂系統(tǒng)，就是我們所研究的事物對(duì)象；所謂狀態(tài)，是表示系統(tǒng)的一組記號(hào)。當(dāng)確定了這組記號(hào)的值時(shí)，也就確定了系統(tǒng)的行為，并說(shuō)系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量，故稱(chēng)之為狀態(tài)向量。例如，已知、B、C三種牌號(hào)洗衣粉的市場(chǎng)占有率分別是0.3、0.4、0.3，則可用向量P0.,0.,0.3來(lái)描述該月市場(chǎng)洗衣粉銷(xiāo)售的狀況。當(dāng)系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時(shí)，我們稱(chēng)之為狀態(tài)轉(zhuǎn)移。例如，洗衣粉銷(xiāo)售市場(chǎng)狀態(tài)的轉(zhuǎn)移就是各種牌號(hào)洗衣粉市場(chǎng)占有率的變化。顯然，這類(lèi)系統(tǒng)由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)完全是隨機(jī)的，因此必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。tnXnitn1系統(tǒng)狀態(tài)為Xn1jpijn與n無(wú)關(guān)，則稱(chēng)此馬爾可夫鏈?zhǔn)驱R次馬爾可夫鏈，并記pijPXn1jXni,i,j1,2,L,pijpij0,i,j1,Npij1,i1,

,N,N轉(zhuǎn)移矩 設(shè)系統(tǒng)的狀態(tài)轉(zhuǎn)移過(guò)程是一齊次馬爾可夫鏈，狀態(tài)空S Np

p1NP

p

p2N

N NN概率向量對(duì)于任意的行向量（或列向量），1，則稱(chēng)該向量為概率矩陣由概率向量作為行向量所構(gòu)成的方陣稱(chēng)為PmPm

A

122方陣，故矩A為概率矩陣。A、BAB也是概率矩陣；如果AAAm(m0)也是概率矩陣。 對(duì) k Pkpk

j,

Npkk步狀態(tài)轉(zhuǎn)移概率，Pkk步狀態(tài)轉(zhuǎn)移概率矩陣，它們均與n無(wú)關(guān)（從下面的式(6.1.4)也可看出）k1pij1pij1k步1步狀態(tài)轉(zhuǎn)移概率求出。 k1有（P k N

j

PXnk1lXniPxnkjXnk1lN p(k1)p,i,j1,2,..., l其中用到馬爾可夫鏈的“無(wú)記憶性”和齊次性。用矩陣表示，即為P(k)P(k1PPkPk

k

記t0pi0PX0Xt0iP0p10,p20,...,pN為初始狀態(tài)概率向量k1pikPXkipik

k,i1,

,N,k

PkP0P(k)P0

6.1考察一臺(tái)機(jī)床的運(yùn)行狀態(tài)。機(jī)床的運(yùn)行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機(jī)性，故可將機(jī)床的運(yùn)行看作一個(gè)狀態(tài)隨時(shí)間變化的隨機(jī)系統(tǒng)?？梢哉J(rèn)為，機(jī)床以后的狀態(tài)只與以前的狀態(tài)有關(guān)，而與過(guò)去的狀態(tài)無(wú)關(guān)，即具有無(wú)后效性。因此，機(jī)床的運(yùn)行可看作馬爾可夫鏈。運(yùn)行過(guò)程中出現(xiàn)故障，這時(shí)從狀態(tài)1轉(zhuǎn)移到狀態(tài)2；處于故障狀態(tài)的機(jī)床經(jīng)維21?，F(xiàn)以一個(gè)月為時(shí)間單位。經(jīng)觀察統(tǒng)計(jì)，知從某月份到下月份機(jī)床出現(xiàn)故障的0.220.210.8。在這一0.910.9；不能修好的概20.16.1。 6.1機(jī)床的狀態(tài)轉(zhuǎn)移P

p12 p 22 P(0)0.850.15，現(xiàn)要預(yù)測(cè)機(jī)床兩個(gè)月后的狀 P(2)P2

0.81矩陣的第一行表明，本月處于正常狀態(tài)的機(jī)床，兩個(gè)月后仍處于正常狀態(tài)的0.820.18。第二行說(shuō)明，本月處于故障狀態(tài)的機(jī)床，兩0.810.19。0.81P(2)P(0)P(2)(0.850.15)0.81 (0.8185統(tǒng)在任意時(shí)刻可能所處的狀態(tài)。現(xiàn)在需要研究當(dāng)k不斷增大時(shí)，P(k)的變化趨Xx1x2XP的固定概率向量

xNXPXPXx1x2LxNP即ixi

XPxj

j ,

X為馬爾可夫鏈的一個(gè)平穩(wěn)分布Pk為平穩(wěn)分布，則稱(chēng)過(guò)程處于平衡狀態(tài)。一旦過(guò)程處于平衡狀態(tài)，則過(guò)程經(jīng)過(guò)一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說(shuō)，過(guò)程一旦處于平衡狀態(tài)后將永遠(yuǎn)處于平衡狀態(tài)。對(duì)于我們所討論的狀態(tài)有限（N個(gè)狀態(tài)）的馬爾可夫鏈，平穩(wěn)分布必定存在[1]。特別地，當(dāng)狀態(tài)轉(zhuǎn)移矩陣為正規(guī)概率矩陣時(shí)，平穩(wěn)分布唯一。此時(shí)，求解方程(6.1.8)，即可得到系統(tǒng)的平穩(wěn)分布。

pijm

limpjmlimpi0pij(m)pi0πj或

m

k

π

i，如果{k:piik01i是非周期狀態(tài)。如果穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一[1]6.2解：（1）P不可約

P

P2P2

0.3750.375pij0，僅當(dāng)i2j2p2220，由定義可知，P（2）P2，3P是非周期的。（3）PXPx iX0.4,0.2,0.4馬爾可夫預(yù)測(cè)乃是利用某一系統(tǒng)的現(xiàn)在狀況及其發(fā)展動(dòng)向去預(yù)測(cè)系統(tǒng)未來(lái)狀況的一種預(yù)測(cè)方法。它在技術(shù)與經(jīng)濟(jì)發(fā)展以及現(xiàn)代企業(yè)的經(jīng)營(yíng)管理中，均可為決策者制定決策提供較科學(xué)的未來(lái)信息。馬爾可夫預(yù)測(cè)范圍廣泛，如在預(yù)測(cè)企業(yè)的發(fā)展規(guī)模和產(chǎn)品銷(xiāo)售份額，分析顧客（消費(fèi)者）流向，選擇銷(xiāo)售及服務(wù)地點(diǎn)，選擇銷(xiāo)售維修策略，制定設(shè)備更新方案，以及決定最優(yōu)工作分配等方面均有顯著成效。應(yīng)用馬爾可夫分析，對(duì)環(huán)境保護(hù)、生態(tài)平衡等復(fù)雜大系統(tǒng)未來(lái)狀況進(jìn)行預(yù)測(cè)，對(duì)各種環(huán)境污染治理策略的選擇等，均可取得良好的效果。6.3伍迪公司、布盧杰.里維公司、雷恩公司(A、B、C代表)是A、B、C產(chǎn)品銷(xiāo)50%，30%，20%C公司實(shí)行了改善銷(xiāo)售與服務(wù)A公司卻下降。通過(guò)市場(chǎng)調(diào)查發(fā)現(xiàn)三個(gè)公司間的顧客流動(dòng)情況如表6.1所示。其中產(chǎn)品銷(xiāo)售周期是季度。現(xiàn)在的問(wèn)題是按照目前的趨勢(shì)發(fā)展下去，A公司的產(chǎn)品銷(xiāo)售額或客戶(hù)轉(zhuǎn)移的影響將嚴(yán)重到何種程度？更全面的，三個(gè)公司的產(chǎn)品銷(xiāo)售額的占有率將如何變6.1A、B、CA1的供應(yīng)公司 ABC—6.1中的數(shù)據(jù)化為轉(zhuǎn)移概率將對(duì)研究分析未來(lái)若干周期的顧客流向更為6.26.2中的數(shù)據(jù)是每家廠商在一個(gè)周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個(gè)周期到下一個(gè)周期將能保住的顧客數(shù)的百分比，以及將要喪失給競(jìng)爭(zhēng)對(duì)手的顧客數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比，以及該公司將要從競(jìng)爭(zhēng)對(duì)手那里獲得顧客數(shù)的百分比。6.2顧客流動(dòng)的轉(zhuǎn)移概率ABCABC6.2ABCABCB

P中數(shù)據(jù)表示一個(gè)隨機(jī)挑選的顧客，從一個(gè)周期到下一個(gè)周期仍購(gòu)買(mǎi)某一公A公司的顧客，他在下一周期仍購(gòu)買(mǎi)A0.7B0.1C公司產(chǎn)品的概率0.2。轉(zhuǎn)移矩陣由（6.2.1）式給出。于是可用式（6.1.6）來(lái)計(jì)算未來(lái)各期的市場(chǎng)占有P1P0 0.5,0.3,0.2 0.050.05由式（6.1.6）P中可以看出，AC公司的市場(chǎng)占有率則將逐期上升（用式(6.1.6)計(jì)算出Pk即可驗(yàn)證）理的角度來(lái)看，自然希望了解公司的市場(chǎng)占有率最終將達(dá)到什么樣的水平，亦即需要知道穩(wěn)態(tài)市場(chǎng)占有率。由于式(6.2.1)P是不可約非周期的，所以穩(wěn)態(tài)市場(chǎng)占有率即為平衡狀態(tài) 0.050.05x1x2x3x1

x2

x3亦即，A、B、C三家公司的市場(chǎng)占有率最終將分別達(dá)到17.65%23.53%，對(duì)本例來(lái)說(shuō)，當(dāng)銷(xiāo)售份額達(dá)到平衡時(shí)，所有公司都各占總銷(xiāo)售額中的一部分保持不變。但在某些情況下，參與競(jìng)爭(zhēng)的公司或廠商中能有一個(gè)或多個(gè)被完全逐出市場(chǎng)。例如對(duì)于轉(zhuǎn)移矩陣 C P B 0.050.05 ABC雙方得到顧客，而從不失去顧客，容易推知照此趨勢(shì)發(fā)展下去廠A100%的市場(chǎng)。這一點(diǎn)從式(6.1.8)的求解中亦可看出。從本例的上述分析可以看出，A公司的市場(chǎng)占有率將從50%降至最終的17.65%,當(dāng)然這是假定以狀態(tài)轉(zhuǎn)移概率保持不變作為分析的前提的。如果公司的經(jīng)營(yíng)決策者看到了這種不利趨勢(shì)，并制訂某種策略(如銷(xiāo)售策略)來(lái)扭轉(zhuǎn)這種不利趨勢(shì)，使公司在市場(chǎng)上保持較有利的地位。以后我們就兩種不同的銷(xiāo)售策略，討論如何利用馬爾可夫分析幫助公司管理人員評(píng)價(jià)銷(xiāo)售策略對(duì)銷(xiāo)售份額的影響?？深?lèi)似分析其它的經(jīng)營(yíng)策略。保留策略，指盡力保留公司原有顧客較大百分比的各種經(jīng)營(yíng)方針與對(duì)策。如采用提供優(yōu)質(zhì)服務(wù)或?qū)B續(xù)兩期購(gòu)貨的顧客實(shí)行折價(jià)優(yōu)待等方法。設(shè)Ａ公司采70850.85 0.05新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場(chǎng)占有率分別為31.6％，26.3％，42.117.6531.6％。爭(zhēng)取策略。指從競(jìng)爭(zhēng)者擁有的顧客中爭(zhēng)取顧客的各種經(jīng)營(yíng)方針與對(duì)策。如通過(guò)廣告等方法。設(shè)Ａ公司通過(guò)爭(zhēng)取策略，能從上一周期內(nèi)向另外兩家公司購(gòu)貨15％，則轉(zhuǎn)移矩陣成為 0.75 0.05在新的平衡狀態(tài)下，Ａ、Ｂ、Ｃ三家公司的市場(chǎng)占有率分別為％，44.5一個(gè)與經(jīng)濟(jì)有關(guān)的馬氏型隨機(jī)系統(tǒng)中，系統(tǒng)獲得的報(bào)酬(或稱(chēng)收益)也會(huì)隨狀nXn表示：Xn

第n周期正常第n進(jìn)一步假定，機(jī)器正常時(shí)，每一個(gè)周期可帶來(lái)v元的收益，并且在下一周期失效周期，下一個(gè)周期初修好開(kāi)始工作，于是{Xn是一個(gè)齊次馬氏鏈，其狀態(tài)空間為P1 p 0 但這是一個(gè)帶報(bào)酬(或稱(chēng)收益、費(fèi)用)一般地,設(shè){XnS12N的齊次馬氏鏈，其轉(zhuǎn)移矩陣為Ppij)NNr(i)i時(shí)獲得的報(bào)酬。我們稱(chēng)如此的馬爾可夫鏈?zhǔn)蔷哂袌?bào)酬的。顯然，r(i)＞0時(shí)稱(chēng)為盈利，報(bào)酬，收益等；r(i)＜0時(shí)稱(chēng)為虧損，費(fèi)用等。對(duì)于這樣一個(gè)帶報(bào)酬的馬爾可夫鏈，n記vk(iik步狀態(tài)轉(zhuǎn)移前所獲得的期望總報(bào)kvk(i)第nk=E{r(Xn)X0k=j

p(n)r(若記列向量Vv(1v(2v(N))Trr(1

r(N))T,則上式可 kkVPnr(1PP2k

Nvk1(i)r(i)pijvk(j),k0,i1,2,L,

v0(i)0,i1,2,L,于是可用上式遞推求得vk(ii∈Sikv(i)limv(i)/kkNplimP(t)/ki,j1,2,L, kt Pp，則由(6.2.2)Nv(i)pr(

viP*P*并不是件容易的事P非周期即可保證π存在。當(dāng)π存在時(shí)，它也是平穩(wěn)分布，于是我們有 結(jié)論設(shè)所考慮的馬氏鏈存在穩(wěn)態(tài)分布π，則{Pt,t0,1,L 與其極限相同,Xx1x2xN

pπ,j1,

N,進(jìn)而若(6.1.10)有唯一解 pπ j1,2,L

實(shí)際上，如果π存在，當(dāng)(6.1.10)X時(shí)，由于穩(wěn)態(tài)分布必為平穩(wěn)分布特別，對(duì)于不可約非周期的馬氏鏈，(6.2.5)恒成立。于是可先求解(6.1.10)X，然而由(6.2.5)求得vi在現(xiàn)實(shí)生活中，今年的一元錢(qián)將大于明年的一元錢(qián)，其實(shí)將錢(qián)存于銀行即可。也就是說(shuō)明年的一元錢(qián)折算到現(xiàn)在計(jì)算，就不值一元錢(qián)了，如為β∈(0,1)，這個(gè)β就稱(chēng)為折扣因子。實(shí)際上，在工程問(wèn)題中，在企業(yè)管理中當(dāng)考慮貸款、折舊等時(shí)都必須考慮到錢(qián)的增值問(wèn)題。t

(t

若記向量

1,

t 2vN Vβ

t

與有限時(shí)段中的(6.2.3)類(lèi)似，由(6.2.7)jjt

p(t)rj

jjt

p(t)rj

顯然，線(xiàn)性方程組(6.2.9)的解即為(6.2.8)例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對(duì)循環(huán)泵進(jìn)行季度維修的過(guò)程。該化工企業(yè)對(duì)泵進(jìn)行定期檢查，每次檢查中，把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是：1：優(yōu)秀狀態(tài)，無(wú)任何故障或缺陷；2：良好狀態(tài)，稍有腐蝕；3：及格狀態(tài)，輕度腐蝕；4：可用狀態(tài)，大面積腐蝕；55500454時(shí)的修理費(fèi)用每次250元,5500元。3,4,53時(shí)的每次修理費(fèi)用為200元,45時(shí)的修理費(fèi)用同前。16.3中所示。6.3不修理時(shí)的狀態(tài)轉(zhuǎn)移概率nn+11234512345 0.3 0.3 0.3