第6章-馬爾可夫預測方法課件

第6章馬爾可夫預測方法6.1馬爾可夫預測的基本原理6.2馬爾可夫預測的應用思考與練習第6章馬爾可夫預測方法6.1馬爾可夫預測的基本原理1

6.1馬爾可夫預測的基本原理 6.1.1馬爾可夫鏈 為了表征一個系統(tǒng)在變化過程中的特性（狀態(tài)）,可以用一組隨時間進程而變化的變量來描述。如果系統(tǒng)在任何時刻上的狀態(tài)是隨機的,則變化過程就是一個隨機過程。 設有參數(shù)集T(-∞,+∞),如果對任意的t∈T,總有一隨機變量Xt與之對應,則稱{Xt,t∈T}為一隨機過程。如若T為離散集（不妨設T={t0,t1,t2,…,tn,…}）,同時Xt的取值也是離散的,則稱{Xt,t∈T}為離散型隨機過程。6.1馬爾可夫預測的基本原理 6.1.1馬爾可夫鏈2 設有一離散型隨機過程,它所有可能處于的狀態(tài)的集合為S={1,2,…,N},稱其為狀態(tài)空間。系統(tǒng)只能在時刻t0,t1,t2,…改變它的狀態(tài)。為簡便計,以下將Xtn等簡記為Xn。 一般地說,描述系統(tǒng)狀態(tài)的隨機變量序列不一定滿足相互獨立的條件,也就是說,系統(tǒng)將來的狀態(tài)與過去時刻以及現(xiàn)在時刻的狀態(tài)是有關系的。在實際情況中,也有具有這樣性質的隨機系統(tǒng)：系統(tǒng)在每一時刻（或每一步）上的狀態(tài),僅僅取決于前一時刻（或前一步）的狀態(tài)。這個性質稱為無后效性,即所謂馬爾可夫假設。具備這個性質的離散型隨機過程,稱為馬爾可夫鏈。用數(shù)學語言來描述就是： 設有一離散型隨機過程,它所有可能處于的狀態(tài)的集合為S={3 如果對任一n>1,任意的i1,i2,…,in-1,j∈S,恒有

P{Xn=j|X1=i1,X2=i2,…,Xn-1=in-1}=P{Xn=j|Xn-1=in-1} (6.1) 則稱離散型隨機過程{Xt,t∈T}為馬爾可夫鏈。 例如,在荷花池中有N張荷葉,編號為1,2,…,N。假設有一只青蛙隨機地從這張荷葉上跳到另一張荷葉上。青蛙的運動可看作一隨機過程。在時刻tn,青蛙所在的那張荷葉,稱為青蛙所處的狀態(tài)。那么,青蛙在未來處于什么狀態(tài),只與它現(xiàn)在所處的狀態(tài)i(i=1,2,…,N)有關,與它以前在哪張荷葉上無關。此過程就是一個馬爾可夫鏈。 由于系統(tǒng)狀態(tài)的變化是隨機的,因此,必須用概率描述狀態(tài)轉移的各種可能性的大小。 如果對任一n>1,任意的i1,i2,…,in-14 6.1.2狀態(tài)轉移矩陣 馬爾可夫鏈是一種描述動態(tài)隨機現(xiàn)象的數(shù)學模型,它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉移”的概念之上。所謂系統(tǒng),就是我們所研究的事物對象；所謂狀態(tài),是表示系統(tǒng)的一組記號。當確定了這組記號的值時,也就確定了系統(tǒng)的行為,并說系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量,故稱之為狀態(tài)向量。例如,已知某月A、B、C三種牌號洗衣粉的市場占有率分別是0.3、0.4、0.3,則可用向量P=(0.3,0.4,0.3)來描述該月市場洗衣粉銷售的狀況。 6.1.2狀態(tài)轉移矩陣5 當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時,我們稱之為狀態(tài)轉移。例如,洗衣粉銷售市場狀態(tài)的轉移就是各種牌號洗衣粉市場占有率的變化。顯然,這類系統(tǒng)由一種狀態(tài)轉移到另一種狀態(tài)完全是隨機的,因此必須用概率描述狀態(tài)轉移的各種可能性的大小。如果在時刻tn系統(tǒng)的狀態(tài)為Xn=i的條件下,在下一個時刻tn+1系統(tǒng)狀態(tài)為Xn+1=j的概率pij(n)與n無關,則稱此馬爾可夫鏈是齊次馬爾可夫鏈,并pij=P{Xn+1=j|Xn=i}i,j=1,2,…,N稱pij為狀態(tài)轉移概率。顯然,我們有 當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時,我們稱之為狀態(tài)轉移。例6 轉移矩陣設系統(tǒng)的狀態(tài)轉移過程是一齊次馬爾可夫鏈,狀態(tài)空間S={1,2,…,N}為有限,狀態(tài)轉移概率為pij,則稱矩陣 為該系統(tǒng)的狀態(tài)轉移概率矩陣,簡稱轉移矩陣。 為了論述和計算的需要,引入下述有關概念。(6.2) 轉移矩陣設系統(tǒng)的狀態(tài)轉移過程是一齊次馬爾可夫鏈,狀態(tài)空間7 概率向量對于任意的行向量（或列向量）,如果其每個元素均非負且總和等于1,則稱該向量為概率向量。 概率矩陣由概率向量作為行向量所構成的方陣稱為概率矩陣。對于一個概率矩陣P,若存在正整數(shù)m,使得Pm的所有元素均為正數(shù),則稱矩陣P為正規(guī)概率矩陣。 例如,矩陣 中每個元素均非負,每行元素之和皆為1,行數(shù)和列數(shù)相同,為2×2方陣,故矩陣A為概率矩陣。 概率向量對于任意的行向量（或列向量）,如果其每個元素均8 概率矩陣有如下性質：如果A、B皆是概率矩陣,則AB也是概率矩陣；如果A是概率矩陣,則A的任意次冪Am(m≥0)也是概率矩陣。對k≥1,記

p(k)ij=P{Xn+k=j|Xn=i}

P(k)=(p(k)ij)N×N

稱p(k)ij為k步狀態(tài)轉移概率,P(k)為k步狀態(tài)轉移概率矩陣,它們均與n無關（從式(6.4)也可看出）。 特別地,當k=1時,p

(1)

ij=pij為1步狀態(tài)轉移概率。馬爾可夫鏈中任何k步狀態(tài)轉移概率都可由1步狀態(tài)轉移概率求出。(6.3) 概率矩陣有如下性質：如果A、B皆是概率矩陣,則AB也是9 由全概率公式可知,對k≥1,有（其中P(0)表示單位矩陣）

p

(k)

ij=P{Xn+k=j|Xn=i} =P{Xn+k-1=l|Xn=i}·P{Xn+k=j|Xn+k-1=l} =p

(k-1)

ilplji,j=1,2,…,N 其中用到馬爾可夫鏈的“無記憶性”和齊次性。用矩陣表示,即為

p

(k)=P

(k-1)

P,從而可得 p

(k)=Pkk≥1 記t0為過程的開始時刻,pi(0)=P{X0=X(t0)=i},則稱

P(0)=(p1(0),p2(0),…,pN(0))(6.4) 由全概率公式可知,對k≥1,有（其中P(0)表示單10 為初始狀態(tài)概率向量。 如已知齊次馬爾可夫鏈的轉移矩陣P=(pij)以及初始狀態(tài)概率向量P(0),則任一時刻的狀態(tài)概率分布也就確定了： 對k≥1,記pi(k)=P{Xk=i},則由全概率公式有

pi(k)=pj(0)·p

(k)

jii=1,2,…,N;k≥1(6.5) 若記向量P(k)=(p1(k),p2(k),…,pN(k)),則上式可寫為 P(k)=P(0)P(k)=P(0)Pk(6.6) 由此可得

P(k)=P(k-1)P(6.7) 為初始狀態(tài)概率向量。11 例6.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機性,故可將機床的運行看作一個狀態(tài)隨時間變化的隨機系統(tǒng)?？梢哉J為,機床以后的狀態(tài)只與其以前的狀態(tài)有關,而與過去的狀態(tài)無關,即具有無后效性。因此,機床的運行可看作馬爾可夫鏈。 設正常狀態(tài)為1,故障狀態(tài)為2,即機床的狀態(tài)空間由兩個元素組成。機床在運行過程中出現(xiàn)故障,這時從狀態(tài)1轉移到狀態(tài)2；處于故障狀態(tài)的機床經維修,恢復到正常狀態(tài),即從狀態(tài)2轉移到狀態(tài)1。 例6.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故12 現(xiàn)以1個月為時間單位。經觀察統(tǒng)計,知從某月份到下月份機床出現(xiàn)故障的概率為0.2,即p12=0.2。其對立事件,保持正常狀態(tài)的概率為p11=0.8。在這一時間,故障機床經維修返回到正常狀態(tài)的概率為0.9,即p21=0.9；不能修好的概率為p22=0.1。機床的狀態(tài)轉移情形見圖6.1。 現(xiàn)以1個月為時間單位。經觀察統(tǒng)計,知從某月份到下月份機床13圖6.1機床的狀態(tài)轉移圖6.1機床的狀態(tài)轉移14 由機床的一步轉移概率得狀態(tài)轉移概率矩陣

若已知本月機床的狀態(tài)向量P(0)=(0.85,0.15),現(xiàn)要預測機床兩個月后的狀態(tài)。先求出兩步轉移概率矩陣 矩陣的第一行表明,本月處于正常狀態(tài)的機床,兩個月后仍處于正常狀態(tài)的概率為0.82，轉移到故障狀態(tài)的概率為0.18。第二行說明,本月處于故障狀態(tài)的機床,兩個月后轉移到正常狀態(tài)的概率為0.81,仍處于故障狀態(tài)的概率為0.19。 由機床的一步轉移概率得狀態(tài)轉移概率矩陣15 于是,兩個月后機床的狀態(tài)向量 6.1.3穩(wěn)態(tài)概率矩陣 1．平穩(wěn)分布 若存在非零概率向量X=(x1,x2,…,xN),使得XP=X,其中P為一概率矩陣,則稱X為P的固定概率向量。 特別地,設X=(x1,x2,…,xN)為一狀態(tài)概率向量,P為狀態(tài)轉移概率矩陣。若

XP=X 于是,兩個月后機床的狀態(tài)向量16

即 則稱X為馬爾可夫鏈的一個平穩(wěn)分布。若隨機過程某時刻的狀態(tài)概率向量P(k)為平穩(wěn)分布,則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài),則過程經過一步或多步狀態(tài)轉移之后,其狀態(tài)概率分布保持不變,也就是說,過程一旦處于平衡狀態(tài)后將永遠處于平衡狀態(tài)。 對于我們所討論的狀態(tài)有限（即N個狀態(tài)）的馬爾可夫鏈,平穩(wěn)分布必定存在。特別地,當狀態(tài)轉移矩陣為正規(guī)概率矩陣時,平穩(wěn)分布惟一。此時,求解方程(6.8),即可得到系統(tǒng)的平穩(wěn)分布。j=1,2,…,N 即j=1,2,…,N17 2．穩(wěn)態(tài)分布 對概率向量π=(π1,π2,…,πN),如對任意的i,j∈S,均有 或

這也是稱π為穩(wěn)態(tài)分布的理由。 設存在穩(wěn)態(tài)分布π=(π1,π2,…,πN),則由于下式恒成立: P(k)=P(k-1)P 2．穩(wěn)態(tài)分布18 令k→+∞,就得

π=πP(6.10) 即有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在,那么它也是平穩(wěn)分布。 對任一狀態(tài)i,如果{k|p

(k)ii>0}的公約數(shù)為1,則稱狀態(tài)i為非周期狀態(tài)。 如果一個馬爾可夫鏈的所有狀態(tài)均是非周期的,則稱此馬爾可夫鏈是非周期的。 對非周期的馬爾可夫鏈,穩(wěn)態(tài)分布必存在,對不可約非周期的馬爾可夫鏈,穩(wěn)態(tài)分布和平穩(wěn)分布相同且均惟一。 令k→+∞,就得19 例6.2設一馬爾可夫鏈的狀態(tài)轉移矩陣為 求其平穩(wěn)分布及穩(wěn)態(tài)分布。 解（1）P不可約。pij>0,僅當i≠2且j≠2時。又p(2)22>0,由定義可知,P是不可約的。 例6.2設一馬爾可夫鏈的狀態(tài)轉移矩陣為20 （2）P非周期。 由p

(1)

11>0,p

(2)11>0,而1、2的公約數(shù)為1,故狀態(tài)1為非周期狀態(tài)。同理可得狀態(tài)2、3均為非周期狀態(tài)。故P是非周期的 （3）由于P不可約且是非周期的,求解如下方程組: 得X=［0.40.20.4］,這就是該馬爾可夫鏈的穩(wěn)態(tài)分布,而且也是平穩(wěn)分布。 （2）P非周期。216.2馬爾可夫預測的應用 6.2.1市場占有率的預測 我們結合例題來說明如何預測市場占有率。 例6.3伍迪公司、布盧杰.里維公司、雷恩公司(分別用符號A、B、C代表)是美國中西部地區(qū)生產滅蟲劑的三家主要廠商。根據(jù)歷史資料得知,公司A、B、C產品銷售額的市場占有率分別為50%、30%、20%。由于C公司實行了改善銷售與服務方針的經營管理決策,使其產品銷售額逐期穩(wěn)定上升,而A公司的產品銷售額卻在下降。通過市場調查發(fā)現(xiàn)三個公司間的顧客流動情況如表6.1所示。6.2馬爾可夫預測的應用 6.2.1市場占有率的預測22 其中產品銷售周期是季度?，F(xiàn)在的問題是,按照目前的趨勢發(fā)展下去,A公司的產品銷售額或客戶轉移的影響將嚴重到何種程度？更全面地,三個公司的產品銷售額的占有率將如何變化？ 其中產品銷售周期是季度?，F(xiàn)在的問題是,按照目前的趨勢發(fā)展23表6.1A、B、C三公司的顧客流動情況表6.1A、B、C三公司的顧客流動情況24 將表6.1中的數(shù)據(jù)化為轉移概率將對研究分析未來若干周期的顧客流向更為有利。表6.2列出了各公司顧客流動的轉移概率。表6.2中的數(shù)據(jù)是每家廠商在一個周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個周期到下一個周期將能保住的顧客數(shù)的百分比,以及將要喪失給競爭對手的顧客數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比,以及該公司將要從競爭對手那里獲得顧客數(shù)的百分比。 將表6.1中的數(shù)據(jù)化為轉移概率將對研究分析未來若干周期的25表6.2顧客流動的轉移概率表6.2顧客流動的轉移概率26 如用矩陣來表示表6.2中的數(shù)據(jù),就得到了如下的狀態(tài)轉移矩陣: P中數(shù)據(jù)表示一個隨機挑選的某公司的顧客,到下一個周期購買該公司或另一公司產品的可能性或概率。如隨機挑選一名A公司的顧客,他在下一周期仍購買A公司產品的概率為0.7,購買B公司產品的概率為0.1,購買C公司產品的概率為0.2。(6.11) 如用矩陣來表示表6.2中的數(shù)據(jù),就得到了如下的狀態(tài)轉移矩27 1.未來各周期市場占有率的計算 以A、B、C公司作為我們要分析的系統(tǒng)的狀態(tài),那么狀態(tài)概率向量就分別為三家公司的產品銷售額的市場占有率。初始狀態(tài)概率向量為 P(0)=(p1(0),p2(0),p3(0))=(0.5,0.3,0.2) 轉移矩陣由式（6.11）給出。于是可用式（6.6）來計算未來各期的市場占有率。如狀態(tài)轉移一次后第1周期的市場占有率向量為 1.未來各周期市場占有率的計算28

2.穩(wěn)態(tài)市場占有率 計算未來各期的市場占有率向量P(k)可以看出,A公司的市場占有率將逐期下降,而C公司的市場占有率則將逐期上升。從經營決策和管理的角度來看,自然希望了解各公司的市場占有率最終將達到什么樣的水平,亦即需要知道穩(wěn)態(tài)市場占有率。

29 由于式(6.11)中的P是不可約非周期的,因此穩(wěn)態(tài)市場占有率即為平衡狀態(tài)下的市場占有率,亦即馬爾可夫鏈的平穩(wěn)分布。 由前面的討論知道,我們求解如下方程組： 由于式(6.11)中的P是不可約非周期的,因此穩(wěn)態(tài)市場占30 解得

x1=0.1765,x2=0.2353,x3=0.5882 亦即,A、B、C三家公司的市場占有率最終將分別達到17.65%、23.53%、58.82%。 對本例來說,當銷售份額達到平衡時,各公司分別占總銷售額中的那一部分均保持不變。 但在某些情況下,參與競爭的公司或廠商中可能會有一個或多個被完全逐出市場。例如對于轉移矩陣 解得31 3.銷售策略對市場占有率的影響 (1)保留策略：指盡力保留公司原有顧客的各種經營方針與對策。如采用提供優(yōu)質服務或對連續(xù)兩期購貨的顧客實行折價優(yōu)惠等方法。設Ａ公司采用這樣的保留策略后,減少了其原有顧客向Ｃ公司的流失,使保留率從原來的70％提高到85％,則轉移矩陣成為 3.銷售策略對市場占有率的影響32 新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.6％、26.3％、42.1％,Ａ公司的市場占有率從17.65％提高到31.6％。 (2)爭取策略：指從競爭者擁有的顧客中爭取顧客的各種經營方針與對策。如通過廣告等方法。設Ａ公司通過爭取策略,能從上一周期內向另外兩家公司購貨的顧客中各爭取15％,則轉移矩陣成為 新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.33 6.2.2期望報酬預測 在一個與經濟有關的馬爾可夫型隨機系統(tǒng)中,系統(tǒng)獲得的報酬(或稱收益)也會隨狀態(tài)的不同而不同。設有一臺機器,它在第n周期的狀態(tài)用Xn表示： 0第n周期正常 1第n周期失效 進一步假定,機器正常時,每一個周期可帶來v元的收益,并且在下一周期失效的概率為p； Xn= 6.2.2期望報酬預測Xn=34 當機器失效時,需對其進行更換,更換的費用為d,修理時間為一個周期,下一個周期初修好并開始正常工作,于是{Xn}是一個齊次馬爾可夫鏈,其狀態(tài)空間為S={0,1},轉移矩陣為 但這是一個帶報酬(或稱收益、費用)的馬爾可夫鏈。 當機器失效時,需對其進行更換,更換的費用為d,修理時間為35 一般地,設{Xn}是狀態(tài)空間為S={1,2,…,N}的齊次馬爾可夫鏈,其轉移矩陣為P=(pij)N×N。設r(i)表示某周期系統(tǒng)處于狀態(tài)i時獲得的報酬。我們稱如此的馬爾可夫鏈是具有報酬的。顯然,r(i)＞0時,稱為盈利、報酬、收益等；r(i)＜0時,稱為虧損、費用等。對于這樣一個帶報酬的馬爾可夫鏈,n時的報酬是一個隨機變量。 1．有限時段期望總報酬 記vk(i)表示初始狀態(tài)為i的條件下,到第k步狀態(tài)轉移前所獲得的期望總報酬(k≥1,i∈S)： 一般地,設{Xn}是狀態(tài)空間為S={1,2,…,36

若記列向量Vk=［vk(1)vk(2)…vk(N)］T,r=［r(1)r(2)…r(N)］T,則上式可寫為 (6.12) (6.12)37 這里,I表示單位矩陣。進而,可證明有如下遞推式：

v0(i)=0i=1,2,…,N 于是可用上式遞推求得vk(i)。 2．無限時段單位時間平均報酬 對i∈S,定義初始狀態(tài)為i的無限時段單位時間平均報酬為k≥0;i=1,2,…,N

(6.13) 這里,I表示單位矩陣。進而,可證明有如下遞推式：k38 記 矩陣P*=(p*ij),則由式(6.12)可證得 于是為求v(i),只須求得P*即可,但一般地要求出P*并不是件容易的事。這里我們只討論如下的特殊情況。 我們考慮穩(wěn)態(tài)分布π=［π1

π2…πN］存在的這種特殊情況。i,j=1,2,…,N

(6.14) 記i,j=1,2,…,N(6.14)39 由上節(jié)可知,轉移矩陣P非周期即可保證π存在。當π存在時,它也是平穩(wěn)分布。注意到數(shù)學分析中的一個結論：設數(shù)列an有極限a,則 于是,我們有如下結論。 結論設所考慮的馬爾可夫鏈存在穩(wěn)態(tài)分布π,則

p*ij=πj,j=1,2,…,N。進而若式(6.10)有惟一解X=［x1

x2…xN］,則有 p*ij=πj=xjj=1,2,…,N(6.15) 由上節(jié)可知,轉移矩陣P非周期即可保證π存在。當π存在時,40 實際上,如果π存在,當式(6.10)有惟一解X時,由于穩(wěn)態(tài)分布必為平穩(wěn)分布,故πj=xj。 特別地,對于不可約非周期的馬爾可夫鏈,式(6.15)恒成立。于是可先求解式(6.10)得X,進而由式(6.15)求得v(i)。 3．無限時段期望折扣總報酬 在現(xiàn)實生活中,今年的一元錢將大于明年的一元錢,其實將錢存于銀行即可。也就是說明年的一元錢折算到現(xiàn)在計算,就不值一元錢了,如為β∈(0,1),這個β就稱為折扣因子。 實際上,在企業(yè)管理中當考慮貸款、折舊等時都必須考慮到錢的增值問題。 實際上,如果π存在,當式(6.10)有惟一解X時,由于穩(wěn)41 如將錢存于銀行,年息為ρ,則ρ與β有如下關系： 如果一個周期為一個月,那么只須將ρ理解為月息即可。這里折扣因子β一般在區(qū)間(0,1)中。 對有報酬的馬爾可夫鏈,定義從狀態(tài)i出發(fā)的無限時段期望折扣總報酬為(6.16)(6.17) 如將錢存于銀行,年息為ρ,則ρ與β有如下關系：42 若記向量Vβ=［vβ(1)vβ(2)…vβ(N)］T,則上式的向量或矩陣形式為 與有限時段中的式(6.13)類似,由式(6.17)可得(6.18)(6.19) 若記向量Vβ=［vβ(1)vβ(2)…vβ(N)］43 例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵進行季度維修的過程。該化工企業(yè)對泵進行定期檢查,每次檢查中,把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是： 狀態(tài)1：優(yōu)秀狀態(tài),無任何故障或缺陷； 狀態(tài)2：良好狀態(tài),稍有腐蝕； 狀態(tài)3：及格狀態(tài),輕度腐蝕； 狀態(tài)4：可用狀態(tài),大面積腐蝕； 狀態(tài)5：不可運行狀態(tài),腐蝕嚴重。 該公司可采用的維修策略有以下幾種。 例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵44 單狀態(tài)策略：泵處于狀態(tài)5時才進行修理,每次修理費用為500元。 兩狀態(tài)策略：泵處于狀態(tài)4和5時進行修理,處于狀態(tài)4時的修理費用每次為250元,處于狀態(tài)5時的每次修理費用為500元。 三狀態(tài)策略：泵處于狀態(tài)3、4、5時進行修理,處于狀態(tài)3時的每次修理費用為200元,處于狀態(tài)4和5時的修理費用同前。 目前,該公司采用的維修策略為“單狀態(tài)”策略。 假定不管處于何種狀態(tài),只要進行修理,泵的狀態(tài)都將在本周期內恢復為狀態(tài)1。已知在不進行任何修理時的狀態(tài)轉移概率,如表6.3中所示。 單狀態(tài)策略：泵處于狀態(tài)5時才進行修理,每次修理費用為545表6.3不修理時的狀態(tài)轉移概率表6.3不修理時的狀態(tài)轉移概率46 現(xiàn)在我們要確定哪個策略的費用最低。目標為長期運行單位時間平均報酬。容易看出,在單狀態(tài)、兩狀態(tài)、三狀態(tài)下的轉移概率矩陣分別為 現(xiàn)在我們要確定哪個策略的費用最低。目標為長期運行單位時間47第6章-馬爾可夫預測方法課件48 下面我們分別來求三種策略下的v(i)。 (1)單狀態(tài)策略。此時r(1)＝r(2)＝r(3)＝r(4)＝0,r(5)＝500,將P1代入式(6.8)可解得惟一的平穩(wěn)分布為

X=(x1,x2,…,x5)=(0.199,0.170,0.180,0.252,0.199) 而P1顯然是不可約非周期的,從而X亦為穩(wěn)態(tài)分布,由此及式(6.14)、(6.15)可得 下面我們分別來求三種策略下的v(i)。49 (2)兩狀態(tài)策略。r(1)＝r(2)＝r(3)＝0,r(4)＝250,r(5)＝500,與(1)中類似,可知

X=π=(0.266,0.228,0.241,0.168,0.097) 從而由式(6.14)、(6.15)有

(3)三狀態(tài)策略。r(1)＝r(2)＝0,r(3)＝200,r(4)＝250,r(5)＝500,于是 X=π=(0.35,0.30,0.19,0.095,0.065)

v(i)=xjr(j)=0.19×200+0.095×250+0.065×500=94.25(元) (2)兩狀態(tài)策略。r(1)＝r(2)＝r(3)＝0,r50

因此,兩狀態(tài)策略為最優(yōu)策略,平均每周期的費用為90.50元。從上面的計算發(fā)現(xiàn),v(i)均與i無關。其實,若式(6.15)成立,則由式(6.14)知v(i)總與i無關,亦即單位時間平均報酬(或費用)與起始狀態(tài)無關。 因此,兩狀態(tài)策略為最優(yōu)策略,平均每周期的費用為90.5051思考與練習 １．馬爾可夫鏈應具備哪些性質？如何描述系統(tǒng)狀態(tài)的轉移情況？ ２*．試用無限時間期望折扣總報酬準則討論例6.4中的三個策略的優(yōu)劣。假定ρ=0.07。 ３*．在具有報酬的馬爾可夫鏈中,如果對有限階段也考慮折扣,試給出有限時間段期望折扣總報酬的定義及其遞推公式。 ４．你認為馬爾可夫預測方法的應用受到哪些條件的限制？為什么？思考與練習 １．馬爾可夫鏈應具備哪些性質？如何描述系統(tǒng)狀52 ５．某市場銷售甲、乙、丙三種牌號的同類型產品,購買該產品的顧客變動情況如下： 過去購買甲牌產品的顧客,在下一季度中有15%的轉而購買乙牌產品,10%的轉而購買丙牌產品。 原購買乙牌產品的顧客,有30%的轉而購買甲牌產品,同時有10%的轉而購買丙牌產品。 原購買丙牌產品的顧客中有5%的轉而購買甲牌產品,同時有15%的轉而購買乙牌產品。問經營甲種產品的工廠在當前的市場條件下是否有利于擴大產品的銷售？

５．某市場銷售甲、乙、丙三種牌號的同類型產品,購買該產53 ６．某產品每月的市場狀態(tài)有暢銷和滯銷兩種,三年來有如下表所示的記錄。“1”代表暢銷,“2”代表滯銷,試求市場狀態(tài)轉移的一步和二步轉移概率矩陣。 ６．某產品每月的市場狀態(tài)有暢銷和滯銷兩種,三年來有如下表54 ７．某市三種主要品牌彩電甲、乙、丙的市場占有率分別為23%、18%、29%,其余市場為其它各種品牌的彩電所占有。根據(jù)抽樣調查,顧客對各類彩電的愛好變化為 其中矩陣元素aij表示上月購買i品牌彩電而下月購買j品牌彩電的概率；i=1,2,3,4分別表示甲、乙、丙和其它品牌彩電。 ７．某市三種主要品牌彩電甲、乙、丙的市場占有率分別為255 (1)試建立該市各品牌彩電市場占有率的預測模型,并預測未來3個月各種品牌彩電市場占有率變化的情況； (2)假定該市場彩電銷售總量為4.7萬臺,預測未來三個月各品牌彩電的銷售量； (3)分析各品牌彩電市場占有率變化的平衡狀態(tài)； (4)假定生產甲品牌彩電的企業(yè)采取某種經營策略（例如廣告宣傳等）,竭力保持了原有顧客愛好不向其它品牌轉移,其余不變。分析彩電市場占有率的平衡狀態(tài)。 (1)試建立該市各品牌彩電市場占有率的預測模型,并預測56 ８．某高校教師隊伍可分為助教,講師,副教授,教授,流失及退休五個狀態(tài)。2004年有助教150人,講師280人,副教授130人,教授80人。根據(jù)歷史資料分析,可得各類職稱教師的轉移概率矩陣如下： 要求分析三年后的教師結構及三年內為保持編制不變應進多少研究生充實教師隊伍。 ８．某高校教師隊伍可分為助教,講師,副教授,教授,流失及57第6章馬爾可夫預測方法6.1馬爾可夫預測的基本原理6.2馬爾可夫預測的應用思考與練習第6章馬爾可夫預測方法6.1馬爾可夫預測的基本原理58

6.1馬爾可夫預測的基本原理 6.1.1馬爾可夫鏈 為了表征一個系統(tǒng)在變化過程中的特性（狀態(tài)）,可以用一組隨時間進程而變化的變量來描述。如果系統(tǒng)在任何時刻上的狀態(tài)是隨機的,則變化過程就是一個隨機過程。 設有參數(shù)集T(-∞,+∞),如果對任意的t∈T,總有一隨機變量Xt與之對應,則稱{Xt,t∈T}為一隨機過程。如若T為離散集（不妨設T={t0,t1,t2,…,tn,…}）,同時Xt的取值也是離散的,則稱{Xt,t∈T}為離散型隨機過程。6.1馬爾可夫預測的基本原理 6.1.1馬爾可夫鏈59 設有一離散型隨機過程,它所有可能處于的狀態(tài)的集合為S={1,2,…,N},稱其為狀態(tài)空間。系統(tǒng)只能在時刻t0,t1,t2,…改變它的狀態(tài)。為簡便計,以下將Xtn等簡記為Xn。 一般地說,描述系統(tǒng)狀態(tài)的隨機變量序列不一定滿足相互獨立的條件,也就是說,系統(tǒng)將來的狀態(tài)與過去時刻以及現(xiàn)在時刻的狀態(tài)是有關系的。在實際情況中,也有具有這樣性質的隨機系統(tǒng)：系統(tǒng)在每一時刻（或每一步）上的狀態(tài),僅僅取決于前一時刻（或前一步）的狀態(tài)。這個性質稱為無后效性,即所謂馬爾可夫假設。具備這個性質的離散型隨機過程,稱為馬爾可夫鏈。用數(shù)學語言來描述就是： 設有一離散型隨機過程,它所有可能處于的狀態(tài)的集合為S={60 如果對任一n>1,任意的i1,i2,…,in-1,j∈S,恒有

P{Xn=j|X1=i1,X2=i2,…,Xn-1=in-1}=P{Xn=j|Xn-1=in-1} (6.1) 則稱離散型隨機過程{Xt,t∈T}為馬爾可夫鏈。 例如,在荷花池中有N張荷葉,編號為1,2,…,N。假設有一只青蛙隨機地從這張荷葉上跳到另一張荷葉上。青蛙的運動可看作一隨機過程。在時刻tn,青蛙所在的那張荷葉,稱為青蛙所處的狀態(tài)。那么,青蛙在未來處于什么狀態(tài),只與它現(xiàn)在所處的狀態(tài)i(i=1,2,…,N)有關,與它以前在哪張荷葉上無關。此過程就是一個馬爾可夫鏈。 由于系統(tǒng)狀態(tài)的變化是隨機的,因此,必須用概率描述狀態(tài)轉移的各種可能性的大小。 如果對任一n>1,任意的i1,i2,…,in-161 6.1.2狀態(tài)轉移矩陣 馬爾可夫鏈是一種描述動態(tài)隨機現(xiàn)象的數(shù)學模型,它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉移”的概念之上。所謂系統(tǒng),就是我們所研究的事物對象；所謂狀態(tài),是表示系統(tǒng)的一組記號。當確定了這組記號的值時,也就確定了系統(tǒng)的行為,并說系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量,故稱之為狀態(tài)向量。例如,已知某月A、B、C三種牌號洗衣粉的市場占有率分別是0.3、0.4、0.3,則可用向量P=(0.3,0.4,0.3)來描述該月市場洗衣粉銷售的狀況。 6.1.2狀態(tài)轉移矩陣62 當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時,我們稱之為狀態(tài)轉移。例如,洗衣粉銷售市場狀態(tài)的轉移就是各種牌號洗衣粉市場占有率的變化。顯然,這類系統(tǒng)由一種狀態(tài)轉移到另一種狀態(tài)完全是隨機的,因此必須用概率描述狀態(tài)轉移的各種可能性的大小。如果在時刻tn系統(tǒng)的狀態(tài)為Xn=i的條件下,在下一個時刻tn+1系統(tǒng)狀態(tài)為Xn+1=j的概率pij(n)與n無關,則稱此馬爾可夫鏈是齊次馬爾可夫鏈,并pij=P{Xn+1=j|Xn=i}i,j=1,2,…,N稱pij為狀態(tài)轉移概率。顯然,我們有 當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時,我們稱之為狀態(tài)轉移。例63 轉移矩陣設系統(tǒng)的狀態(tài)轉移過程是一齊次馬爾可夫鏈,狀態(tài)空間S={1,2,…,N}為有限,狀態(tài)轉移概率為pij,則稱矩陣 為該系統(tǒng)的狀態(tài)轉移概率矩陣,簡稱轉移矩陣。 為了論述和計算的需要,引入下述有關概念。(6.2) 轉移矩陣設系統(tǒng)的狀態(tài)轉移過程是一齊次馬爾可夫鏈,狀態(tài)空間64 概率向量對于任意的行向量（或列向量）,如果其每個元素均非負且總和等于1,則稱該向量為概率向量。 概率矩陣由概率向量作為行向量所構成的方陣稱為概率矩陣。對于一個概率矩陣P,若存在正整數(shù)m,使得Pm的所有元素均為正數(shù),則稱矩陣P為正規(guī)概率矩陣。 例如,矩陣 中每個元素均非負,每行元素之和皆為1,行數(shù)和列數(shù)相同,為2×2方陣,故矩陣A為概率矩陣。 概率向量對于任意的行向量（或列向量）,如果其每個元素均65 概率矩陣有如下性質：如果A、B皆是概率矩陣,則AB也是概率矩陣；如果A是概率矩陣,則A的任意次冪Am(m≥0)也是概率矩陣。對k≥1,記

p(k)ij=P{Xn+k=j|Xn=i}

P(k)=(p(k)ij)N×N

稱p(k)ij為k步狀態(tài)轉移概率,P(k)為k步狀態(tài)轉移概率矩陣,它們均與n無關（從式(6.4)也可看出）。 特別地,當k=1時,p

(1)

ij=pij為1步狀態(tài)轉移概率。馬爾可夫鏈中任何k步狀態(tài)轉移概率都可由1步狀態(tài)轉移概率求出。(6.3) 概率矩陣有如下性質：如果A、B皆是概率矩陣,則AB也是66 由全概率公式可知,對k≥1,有（其中P(0)表示單位矩陣）

p

(k)

ij=P{Xn+k=j|Xn=i} =P{Xn+k-1=l|Xn=i}·P{Xn+k=j|Xn+k-1=l} =p

(k-1)

ilplji,j=1,2,…,N 其中用到馬爾可夫鏈的“無記憶性”和齊次性。用矩陣表示,即為

p

(k)=P

(k-1)

P,從而可得 p

(k)=Pkk≥1 記t0為過程的開始時刻,pi(0)=P{X0=X(t0)=i},則稱

P(0)=(p1(0),p2(0),…,pN(0))(6.4) 由全概率公式可知,對k≥1,有（其中P(0)表示單67 為初始狀態(tài)概率向量。 如已知齊次馬爾可夫鏈的轉移矩陣P=(pij)以及初始狀態(tài)概率向量P(0),則任一時刻的狀態(tài)概率分布也就確定了： 對k≥1,記pi(k)=P{Xk=i},則由全概率公式有

pi(k)=pj(0)·p

(k)

jii=1,2,…,N;k≥1(6.5) 若記向量P(k)=(p1(k),p2(k),…,pN(k)),則上式可寫為 P(k)=P(0)P(k)=P(0)Pk(6.6) 由此可得

P(k)=P(k-1)P(6.7) 為初始狀態(tài)概率向量。68 例6.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機性,故可將機床的運行看作一個狀態(tài)隨時間變化的隨機系統(tǒng)。可以認為,機床以后的狀態(tài)只與其以前的狀態(tài)有關,而與過去的狀態(tài)無關,即具有無后效性。因此,機床的運行可看作馬爾可夫鏈。 設正常狀態(tài)為1,故障狀態(tài)為2,即機床的狀態(tài)空間由兩個元素組成。機床在運行過程中出現(xiàn)故障,這時從狀態(tài)1轉移到狀態(tài)2；處于故障狀態(tài)的機床經維修,恢復到正常狀態(tài),即從狀態(tài)2轉移到狀態(tài)1。 例6.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故69 現(xiàn)以1個月為時間單位。經觀察統(tǒng)計,知從某月份到下月份機床出現(xiàn)故障的概率為0.2,即p12=0.2。其對立事件,保持正常狀態(tài)的概率為p11=0.8。在這一時間,故障機床經維修返回到正常狀態(tài)的概率為0.9,即p21=0.9；不能修好的概率為p22=0.1。機床的狀態(tài)轉移情形見圖6.1。 現(xiàn)以1個月為時間單位。經觀察統(tǒng)計,知從某月份到下月份機床70圖6.1機床的狀態(tài)轉移圖6.1機床的狀態(tài)轉移71 由機床的一步轉移概率得狀態(tài)轉移概率矩陣

若已知本月機床的狀態(tài)向量P(0)=(0.85,0.15),現(xiàn)要預測機床兩個月后的狀態(tài)。先求出兩步轉移概率矩陣 矩陣的第一行表明,本月處于正常狀態(tài)的機床,兩個月后仍處于正常狀態(tài)的概率為0.82，轉移到故障狀態(tài)的概率為0.18。第二行說明,本月處于故障狀態(tài)的機床,兩個月后轉移到正常狀態(tài)的概率為0.81,仍處于故障狀態(tài)的概率為0.19。 由機床的一步轉移概率得狀態(tài)轉移概率矩陣72 于是,兩個月后機床的狀態(tài)向量 6.1.3穩(wěn)態(tài)概率矩陣 1．平穩(wěn)分布 若存在非零概率向量X=(x1,x2,…,xN),使得XP=X,其中P為一概率矩陣,則稱X為P的固定概率向量。 特別地,設X=(x1,x2,…,xN)為一狀態(tài)概率向量,P為狀態(tài)轉移概率矩陣。若

XP=X 于是,兩個月后機床的狀態(tài)向量73

即 則稱X為馬爾可夫鏈的一個平穩(wěn)分布。若隨機過程某時刻的狀態(tài)概率向量P(k)為平穩(wěn)分布,則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài),則過程經過一步或多步狀態(tài)轉移之后,其狀態(tài)概率分布保持不變,也就是說,過程一旦處于平衡狀態(tài)后將永遠處于平衡狀態(tài)。 對于我們所討論的狀態(tài)有限（即N個狀態(tài)）的馬爾可夫鏈,平穩(wěn)分布必定存在。特別地,當狀態(tài)轉移矩陣為正規(guī)概率矩陣時,平穩(wěn)分布惟一。此時,求解方程(6.8),即可得到系統(tǒng)的平穩(wěn)分布。j=1,2,…,N 即j=1,2,…,N74 2．穩(wěn)態(tài)分布 對概率向量π=(π1,π2,…,πN),如對任意的i,j∈S,均有 或

這也是稱π為穩(wěn)態(tài)分布的理由。 設存在穩(wěn)態(tài)分布π=(π1,π2,…,πN),則由于下式恒成立: P(k)=P(k-1)P 2．穩(wěn)態(tài)分布75 令k→+∞,就得

π=πP(6.10) 即有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在,那么它也是平穩(wěn)分布。 對任一狀態(tài)i,如果{k|p

(k)ii>0}的公約數(shù)為1,則稱狀態(tài)i為非周期狀態(tài)。 如果一個馬爾可夫鏈的所有狀態(tài)均是非周期的,則稱此馬爾可夫鏈是非周期的。 對非周期的馬爾可夫鏈,穩(wěn)態(tài)分布必存在,對不可約非周期的馬爾可夫鏈,穩(wěn)態(tài)分布和平穩(wěn)分布相同且均惟一。 令k→+∞,就得76 例6.2設一馬爾可夫鏈的狀態(tài)轉移矩陣為 求其平穩(wěn)分布及穩(wěn)態(tài)分布。 解（1）P不可約。pij>0,僅當i≠2且j≠2時。又p(2)22>0,由定義可知,P是不可約的。 例6.2設一馬爾可夫鏈的狀態(tài)轉移矩陣為77 （2）P非周期。 由p

(1)

11>0,p

(2)11>0,而1、2的公約數(shù)為1,故狀態(tài)1為非周期狀態(tài)。同理可得狀態(tài)2、3均為非周期狀態(tài)。故P是非周期的 （3）由于P不可約且是非周期的,求解如下方程組: 得X=［0.40.20.4］,這就是該馬爾可夫鏈的穩(wěn)態(tài)分布,而且也是平穩(wěn)分布。 （2）P非周期。786.2馬爾可夫預測的應用 6.2.1市場占有率的預測 我們結合例題來說明如何預測市場占有率。 例6.3伍迪公司、布盧杰.里維公司、雷恩公司(分別用符號A、B、C代表)是美國中西部地區(qū)生產滅蟲劑的三家主要廠商。根據(jù)歷史資料得知,公司A、B、C產品銷售額的市場占有率分別為50%、30%、20%。由于C公司實行了改善銷售與服務方針的經營管理決策,使其產品銷售額逐期穩(wěn)定上升,而A公司的產品銷售額卻在下降。通過市場調查發(fā)現(xiàn)三個公司間的顧客流動情況如表6.1所示。6.2馬爾可夫預測的應用 6.2.1市場占有率的預測79 其中產品銷售周期是季度。現(xiàn)在的問題是,按照目前的趨勢發(fā)展下去,A公司的產品銷售額或客戶轉移的影響將嚴重到何種程度？更全面地,三個公司的產品銷售額的占有率將如何變化？ 其中產品銷售周期是季度?，F(xiàn)在的問題是,按照目前的趨勢發(fā)展80表6.1A、B、C三公司的顧客流動情況表6.1A、B、C三公司的顧客流動情況81 將表6.1中的數(shù)據(jù)化為轉移概率將對研究分析未來若干周期的顧客流向更為有利。表6.2列出了各公司顧客流動的轉移概率。表6.2中的數(shù)據(jù)是每家廠商在一個周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個周期到下一個周期將能保住的顧客數(shù)的百分比,以及將要喪失給競爭對手的顧客數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比,以及該公司將要從競爭對手那里獲得顧客數(shù)的百分比。 將表6.1中的數(shù)據(jù)化為轉移概率將對研究分析未來若干周期的82表6.2顧客流動的轉移概率表6.2顧客流動的轉移概率83 如用矩陣來表示表6.2中的數(shù)據(jù),就得到了如下的狀態(tài)轉移矩陣: P中數(shù)據(jù)表示一個隨機挑選的某公司的顧客,到下一個周期購買該公司或另一公司產品的可能性或概率。如隨機挑選一名A公司的顧客,他在下一周期仍購買A公司產品的概率為0.7,購買B公司產品的概率為0.1,購買C公司產品的概率為0.2。(6.11) 如用矩陣來表示表6.2中的數(shù)據(jù),就得到了如下的狀態(tài)轉移矩84 1.未來各周期市場占有率的計算 以A、B、C公司作為我們要分析的系統(tǒng)的狀態(tài),那么狀態(tài)概率向量就分別為三家公司的產品銷售額的市場占有率。初始狀態(tài)概率向量為 P(0)=(p1(0),p2(0),p3(0))=(0.5,0.3,0.2) 轉移矩陣由式（6.11）給出。于是可用式（6.6）來計算未來各期的市場占有率。如狀態(tài)轉移一次后第1周期的市場占有率向量為 1.未來各周期市場占有率的計算85

2.穩(wěn)態(tài)市場占有率 計算未來各期的市場占有率向量P(k)可以看出,A公司的市場占有率將逐期下降,而C公司的市場占有率則將逐期上升。從經營決策和管理的角度來看,自然希望了解各公司的市場占有率最終將達到什么樣的水平,亦即需要知道穩(wěn)態(tài)市場占有率。

86 由于式(6.11)中的P是不可約非周期的,因此穩(wěn)態(tài)市場占有率即為平衡狀態(tài)下的市場占有率,亦即馬爾可夫鏈的平穩(wěn)分布。 由前面的討論知道,我們求解如下方程組： 由于式(6.11)中的P是不可約非周期的,因此穩(wěn)態(tài)市場占87 解得

x1=0.1765,x2=0.2353,x3=0.5882 亦即,A、B、C三家公司的市場占有率最終將分別達到17.65%、23.53%、58.82%。 對本例來說,當銷售份額達到平衡時,各公司分別占總銷售額中的那一部分均保持不變。 但在某些情況下,參與競爭的公司或廠商中可能會有一個或多個被完全逐出市場。例如對于轉移矩陣 解得88 3.銷售策略對市場占有率的影響 (1)保留策略：指盡力保留公司原有顧客的各種經營方針與對策。如采用提供優(yōu)質服務或對連續(xù)兩期購貨的顧客實行折價優(yōu)惠等方法。設Ａ公司采用這樣的保留策略后,減少了其原有顧客向Ｃ公司的流失,使保留率從原來的70％提高到85％,則轉移矩陣成為 3.銷售策略對市場占有率的影響89 新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.6％、26.3％、42.1％,Ａ公司的市場占有率從17.65％提高到31.6％。 (2)爭取策略：指從競爭者擁有的顧客中爭取顧客的各種經營方針與對策。如通過廣告等方法。設Ａ公司通過爭取策略,能從上一周期內向另外兩家公司購貨的顧客中各爭取15％,則轉移矩陣成為 新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.90 6.2.2期望報酬預測 在一個與經濟有關的馬爾可夫型隨機系統(tǒng)中,系統(tǒng)獲得的報酬(或稱收益)也會隨狀態(tài)的不同而不同。設有一臺機器,它在第n周期的狀態(tài)用Xn表示： 0第n周期正常 1第n周期失效 進一步假定,機器正常時,每一個周期可帶來v元的收益,并且在下一周期失效的概率為p； Xn= 6.2.2期望報酬預測Xn=91 當機器失效時,需對其進行更換,更換的費用為d,修理時間為一個周期,下一個周期初修好并開始正常工作,于是{Xn}是一個齊次馬爾可夫鏈,其狀態(tài)空間為S={0,1},轉移矩陣為 但這是一個帶報酬(或稱收益、費用)的馬爾可夫鏈。 當機器失效時,需對其進行更換,更換的費用為d,修理時間為92 一般地,設{Xn}是狀態(tài)空間為S={1,2,…,N}的齊次馬爾可夫鏈,其轉移矩陣為P=(pij)N×N。設r(i)表示某周期系統(tǒng)處于狀態(tài)i時獲得的報酬。我們稱如此的馬爾可夫鏈是具有報酬的。顯然,r(i)＞0時,稱為盈利、報酬、收益等；r(i)＜0時,稱為虧損、費用等。對于這樣一個帶報酬的馬爾可夫鏈,n時的報酬是一個隨機變量。 1．有限時段期望總報酬 記vk(i)表示初始狀態(tài)為i的條件下,到第k步狀態(tài)轉移前所獲得的期望總報酬(k≥1,i∈S)： 一般地,設{Xn}是狀態(tài)空間為S={1,2,…,93

若記列向量Vk=［vk(1)vk(2)…vk(N)］T,r=［r(1)r(2)…r(N)］T,則上式可寫為 (6.12) (6.12)94 這里,I表示單位矩陣。進而,可證明有如下遞推式：

v0(i)=0i=1,2,…,N 于是可用上式遞推求得vk(i)。 2．無限時段單位時間平均報酬 對i∈S,定義初始狀態(tài)為i的無限時段單位時間平均報酬為k≥0;i=1,2,…,N

(6.13) 這里,I表示單位矩陣。進而,可證明有如下遞推式：k95 記 矩陣P*=(p*ij),則由式(6.12)可證得 于是為求v(i),只須求得P*即可,但一般地要求出P*并不是件容易的事。這里我們只討論如下的特殊情況。 我們考慮穩(wěn)態(tài)分布π=［π1

π2…πN］存在的這種特殊情況。i,j=1,2,…,N

(6.14) 記i,j=1,2,…,N(6.14)96 由上節(jié)可知,轉移矩陣P非周期即可保證π存在。當π存在時,它也是平穩(wěn)分布。注意到數(shù)學分析中的一個結論：設數(shù)列an有極限a,則 于是,我們有如下結論。 結論設所考慮的馬爾可夫鏈存在穩(wěn)態(tài)分布π,則

p*ij=πj,j=1,2,…,N。進而若式(6.10)有惟一解X=［x1

x2…xN］,則有 p*ij=πj=xjj=1,2,…,N(6.15) 由上節(jié)可知,轉移矩陣P非周期即可保證π存在。當π存在時,97 實際上,如果π存在,當式(6.10)有惟一解X時,由于穩(wěn)態(tài)分布必為平穩(wěn)分布,故πj=xj。 特別地,對于不可約非周期的馬爾可夫鏈,式(6.15)恒成立。于是可先求解式(6.10)得X,進而由式(6.15)求得v(i)。 3．無限時段期望折扣總報酬 在現(xiàn)實生活中,今年的一元錢將大于明年的一元錢,其實將錢存于銀行即可。也就是說明年的一元錢折算到現(xiàn)在計算,就不值一元錢了,如為β∈(0,1),這個β就稱為折扣因子。 實際上,在企業(yè)管理中當考慮貸款、折舊等時都必須考慮到錢的增值問題。 實際上,如果π存在,當式(6.10)有惟一解X時,由于穩(wěn)98 如將錢存于銀行,年息為ρ,則ρ與β有如下關系： 如果一個周期為一個月,那么只須將ρ理解為月息即可。這里折扣因子β一般在區(qū)間(0,1)中。 對有報酬的馬爾可夫鏈,定義從狀態(tài)i出發(fā)的無限時段期望折扣總報酬為(6.16)(6.17) 如將錢存于銀行,年息為ρ,則ρ與β有如下關系：99 若記向量Vβ=［vβ(1)vβ(2)…vβ(N)］T,則上式的向量或矩陣形式為 與有限時段中的式(6.13)類似,由式(6.17)可得(6.18)(6.19) 若記向量Vβ=［vβ(1)vβ(2)…vβ(N)］100 例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵進行季度維修的過程。該化工企業(yè)對泵進行定期檢查,每次檢查中,把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是： 狀態(tài)1：優(yōu)秀狀態(tài),無任何故障或缺陷； 狀態(tài)2：良好狀態(tài),稍有腐蝕； 狀態(tài)3：及格狀態(tài),輕度腐蝕； 狀態(tài)4：可用狀態(tài),大面積腐蝕； 狀態(tài)5：不可運行狀態(tài),腐蝕嚴重。 該公司可采用的維修策略有以下