建模課件-馬爾科夫鏈

馬氏鏈模型若表示質(zhì)點(diǎn)在時(shí)刻n所處的位置，求一步轉(zhuǎn)移概率。

直線上帶吸收壁的隨機(jī)游動(dòng)（醉漢游動(dòng)）設(shè)一質(zhì)點(diǎn)在線段[1，5]上隨機(jī)游動(dòng)，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在2，3，4處，則均以概率向左或向右移動(dòng)一單位；（2）若移動(dòng)前在1，5處，則以概率1停留在原處。質(zhì)點(diǎn)在1，5兩點(diǎn)被“吸收”12345首頁(yè)有兩個(gè)吸收壁的隨機(jī)游動(dòng)其一步轉(zhuǎn)移矩陣為狀態(tài)空間I={1，2，3，4，5}，參數(shù)集T={1，2，3，………}，分析賭徒輸光問(wèn)題賭徒甲有資本a元，賭徒乙有資本b元，兩人進(jìn)行賭博，每賭一局輸者給贏者1元，沒有和局，直賭至兩人中有一人輸光為止。設(shè)在每一局中，甲獲勝的概率為p，乙獲勝的概率為，求甲輸光的概率。這個(gè)問(wèn)題實(shí)質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)。從甲的角度看，他初始時(shí)刻處于a，每次移動(dòng)一格，向右移（即贏1元）的概率為p，向左移（即輸1元）的概率為q。如果一旦到達(dá)0（即甲輸光）或a+b（即乙輸光）這個(gè)游動(dòng)就停止。這時(shí)的狀態(tài)空間為{0，1，2，…，c}，c=a+b，?，F(xiàn)在的問(wèn)題是求質(zhì)點(diǎn)從a出發(fā)到達(dá)0狀態(tài)先于到達(dá)c狀態(tài)的概率。首頁(yè)考慮質(zhì)點(diǎn)從j出發(fā)移動(dòng)一步后的情況解同理根據(jù)全概率公式有這一方程實(shí)質(zhì)上是一差分方程，它的邊界條件是首頁(yè)于是設(shè)則可得到兩個(gè)相鄰差分間的遞推關(guān)系于是欲求先求需討論r首頁(yè)當(dāng)而兩式相比首頁(yè)故當(dāng)而因此故首頁(yè)用同樣的方法可以求得乙先輸光的概率由以上計(jì)算結(jié)果可知首頁(yè)馬氏鏈模型

系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的.

從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移.

下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率.已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)（無(wú)后效性）描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)(過(guò)程)的模型.馬氏鏈(MarkovChain)——時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過(guò)程通過(guò)有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì).例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7.

健康與疾病

人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變.保險(xiǎn)公司要對(duì)投保人未來(lái)的健康狀態(tài)作出估計(jì),以制訂保險(xiǎn)金和理賠金的數(shù)額

.若某人投保時(shí)健康,問(wèn)10年后他仍處于健康狀態(tài)的概率.Xn+1只取決于Xn和pij,與Xn-1,

…無(wú)關(guān)狀態(tài)與狀態(tài)轉(zhuǎn)移狀態(tài)轉(zhuǎn)移具有無(wú)后效性

0.80.20.30.712n0a2(n)0a1(n)1設(shè)投保時(shí)健康給定a(0),預(yù)測(cè)a(n),n=1,2,…設(shè)投保時(shí)疾病a2(n)1a1(n)0n時(shí)狀態(tài)概率趨于穩(wěn)定值,穩(wěn)定值與初始狀態(tài)無(wú)關(guān).3…

0.778…

0.222…

∞

7/9

2/9

0.70.770.777…0.30.230.223…

7/9

2/9

狀態(tài)與狀態(tài)轉(zhuǎn)移10.80.220.780.220.80.20.30.7121230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3健康與疾病

p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1n0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測(cè)a(n),n=1,2,…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對(duì)于n>k,a1(n)=0，

a2(n)=0,a3(n)=1,即從狀態(tài)3不會(huì)轉(zhuǎn)移到其他狀態(tài).狀態(tài)與狀態(tài)轉(zhuǎn)移00150

0.12930.0326

0.8381

馬氏鏈的基本方程基本方程馬氏鏈的兩個(gè)重要類型1.正則鏈

~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)(如例1).w~穩(wěn)態(tài)概率馬氏鏈的兩個(gè)重要類型2.吸收鏈

~存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)(如例2).有r個(gè)吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標(biāo)準(zhǔn)形式R有非零元素yi~從第i個(gè)非吸收狀態(tài)出發(fā)，被某個(gè)吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù).

鋼琴銷售的存貯策略

鋼琴銷售量很小，商店的庫(kù)存量不大以免積壓資金.

一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架.存貯策略：每周末檢查庫(kù)存量，僅當(dāng)庫(kù)存量為零時(shí)，才訂購(gòu)3架供下周銷售；否則，不訂購(gòu).

估計(jì)在這種策略下失去銷售機(jī)會(huì)的可能性有多大?

以及每周的平均銷售量是多少?背景與問(wèn)題問(wèn)題分析

顧客的到來(lái)相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周1架確定，由此計(jì)算需求概率.存貯策略是周末庫(kù)存量為零時(shí)訂購(gòu)3架周末的庫(kù)存量可能是0,1,2,3，周初的庫(kù)存量可能是1,2,3.用馬氏鏈描述不同需求導(dǎo)致的周初庫(kù)存狀態(tài)的變化.動(dòng)態(tài)過(guò)程中每周銷售量不同，失去銷售機(jī)會(huì)（需求超過(guò)庫(kù)存）的概率不同.

可按穩(wěn)態(tài)情況（時(shí)間充分長(zhǎng)以后）計(jì)算失去銷售機(jī)會(huì)的概率和每周的平均銷售量.

模型假設(shè)鋼琴每周需求量服從泊松分布，平均每周1架.存貯策略：當(dāng)周末庫(kù)存量為零時(shí)，訂購(gòu)3架，周初到貨；否則，不訂購(gòu).以每周初的庫(kù)存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無(wú)后效性.在穩(wěn)態(tài)情況下計(jì)算失去銷售機(jī)會(huì)的概率和每周的平均銷售量,作為該存貯策略的評(píng)價(jià)指標(biāo).模型建立

Dn~第n周需求量，均值為1的泊松分布

Sn~第n周初庫(kù)存量(狀態(tài)變量)狀態(tài)轉(zhuǎn)移規(guī)律

Dn0123>3P0.3680.3680.1840.0610.019狀態(tài)轉(zhuǎn)移陣

……模型建立

狀態(tài)概率

馬氏鏈的基本方程正則鏈

穩(wěn)態(tài)概率分布w滿足wP=w已知初始狀態(tài)，可預(yù)測(cè)第n周初庫(kù)存量Sn=i的概率n,狀態(tài)概率

第n周失去銷售機(jī)會(huì)的概率

n充分大時(shí)

模型求解

從長(zhǎng)期看，失去銷售機(jī)會(huì)的可能性大約10%。1.估計(jì)失去銷售機(jī)會(huì)的可能性D

0123>3P0.3680.3680.1840.0610.019存貯策略的評(píng)價(jià)指標(biāo)0.105模型求解

第n周平均售量從長(zhǎng)期看，每周的平均銷售量為

0.857(架)

n充分大時(shí)

需求不超過(guò)存量,需求被售需求超過(guò)存量,存量被售思考：為什么每周的平均銷售量略小于平均需求量?2.估計(jì)每周的平均銷售量存貯策略的評(píng)價(jià)指標(biāo)每周平均需求量1架0.857敏感性分析

當(dāng)平均需求在每周1(架)附近波動(dòng)時(shí)，最終結(jié)果有多大變化。

設(shè)Dn服從均值的泊松分布

狀態(tài)轉(zhuǎn)移陣

0.80.91.01.11.2P0.0730.0890.1050.1220.139第n周(n充分大)失去銷售機(jī)會(huì)的概率

當(dāng)平均需求(=1.0)增長(zhǎng)(或減少)10%時(shí)，失去銷售機(jī)會(huì)的概率P將增長(zhǎng)(或減少)約15%

。鋼琴銷售的存貯策略

存貯策略(周末庫(kù)存為0則訂購(gòu)3架,否則不訂購(gòu))已定,計(jì)算兩個(gè)指標(biāo)(失去銷售的概率和每周平均銷售量).給出其他存貯策略(如周末庫(kù)存為0或1則訂購(gòu)使下周初庫(kù)存為3架,否則不訂購(gòu)),討論這兩個(gè)指標(biāo)(習(xí)題1).動(dòng)態(tài)隨機(jī)存貯策略是馬氏鏈的典型應(yīng)用.關(guān)鍵是在無(wú)后效性的前提下恰當(dāng)?shù)囟x系統(tǒng)的狀態(tài)變量(本例是每周初的庫(kù)存量).市場(chǎng)占有率預(yù)測(cè)設(shè)某地有1600戶居民，某產(chǎn)品只有甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠，試求（1）轉(zhuǎn)移概率矩陣；（