《概率論》第10章-馬爾可夫鏈課件

第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉移概率第二節(jié)多步轉移概率的確定第三節(jié)馬氏鏈的有限維分布第四節(jié)遍歷性第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉移概率1第一節(jié)

馬爾可夫鏈的概念及轉移概率第一節(jié)

馬爾可夫鏈的概念及轉移概率2《概率論》第10章---馬爾可夫鏈課件3下面我們只討論齊次馬氏鏈，并習慣上常將“齊次”兩字省略。下面我們只討論齊次馬氏鏈，并習慣上常將“齊次”兩字省略。4《概率論》第10章---馬爾可夫鏈課件5《概率論》第10章---馬爾可夫鏈課件6而且當時，等以后的行為只與有關，而與質點以前是如何到是完全無關的，所以，它是一個馬氏鏈，且為齊次馬氏鏈。其狀態(tài)空間為：而且當時，7稱其為具有兩個反射壁的隨機游動稱其為具有兩個反射壁的隨機游動801若令表示質點在時刻的位置，那末，是一個隨機過程，而且當時，等以后的行為只與有關，而與質點以前是如何到是完全無關的，所以，它是一個馬氏鏈。其狀態(tài)空間為：例：一維隨機游動。考慮在直線上作隨機游動的質點，且只在非負整數(shù)上作隨機游動。當質點在時刻時處在位置，在時刻轉移到的概率為，轉移到的概率為，不動的概率為，而處在別的位置的概率為0。01若令表示質點在時刻的位置，那末，9它的一步轉移矩陣為：0123這里并且由于它的轉移概率與起點無關，所以它還是齊次馬氏鏈。它的一步轉移矩陣為：0123這里并且由于它的轉移概率與10如果稱為帶一個吸收壁的隨機游動，質點一旦到達狀態(tài)0后就永遠停留在0這個狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)。如果稱為帶一個反射壁的隨機游動，質點一旦到達狀態(tài)0后下一步它以概率向右移一格。0101如果狀態(tài)空間是有限的，且狀態(tài)0與狀態(tài)N都為吸收狀態(tài)，即稱為具有兩個吸收壁的隨機游動.01N如果11第二節(jié)

多步轉移概率的確定第二節(jié)

多步轉移概率的確定12定理:設為齊次馬氏鏈，則對任意的有或證明：利用全概率公式及馬爾可夫性，有定理:設為齊次馬氏鏈，則對13這就是有名的切普曼－柯爾莫哥洛夫方程，簡稱為方程?；蜻@就是有名的切普曼－柯爾莫哥洛夫方程，簡稱為方程。14有由可見齊次馬氏鏈，它的多步轉移概率完全由它的一步轉移概率所決定。因此，在馬氏鏈中，一步轉移概率是最基本的。有由15第三節(jié)

馬氏鏈的有限維分布第三節(jié)

馬氏鏈的有限維分布16定義：設 為馬氏鏈，稱它為馬氏鏈的初始分布。0n定義：設 為馬氏鏈，稱它為馬17一維分布可用向量形式表示為：初始分布與一維分布的關系可表示為：表明一維分布可由初始分布和n步轉移概率矩陣確定。一維分布可用向量形式表示為：初始分布與一維分布的關系可表示為18定理說明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉移概率決定。定理說明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉移19《概率論》第10章---馬爾可夫鏈課件20《概率論》第10章---馬爾可夫鏈課件21《概率論》第10章---馬爾可夫鏈課件22例：某計算機房的一臺計算機經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀察一次計算機的運行狀態(tài)，收集了24小時的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111設為第n個時段的計算機狀態(tài)，可以認為它是一個齊次馬氏鏈，狀態(tài)空間為由于96次狀態(tài)轉移的情況是：次次次次因此，一步轉移概率可用頻率近似地表示為：例：某計算機房的一臺計算機經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀23《概率論》第10章---馬爾可夫鏈課件24續(xù)例：若計算機在某一時段（15分鐘）的狀態(tài)為0，問從此時段起此計算機能連續(xù)正常工作一小時（4個時段）的概率為多少？解：由題意，續(xù)例：若計算機在某一時段（15分鐘）的狀態(tài)為0，問從此時段25《概率論》第10章---馬爾可夫鏈課件26《概率論》第10章---馬爾可夫鏈課件27續(xù)例：（3）設初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為1，問原發(fā)數(shù)字也是1的概率為多少？先求出n步轉移概率矩陣由于由特征方程可得到兩個相異的特征值:續(xù)例：（3）設初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為128由線性代數(shù)知識可將P表示成對角陣的相似矩陣。具體做法是:求出對應的特征向量令：則由線性代數(shù)知識可將P表示成對角陣的相似矩陣。具體做法是:29于是根據(jù)貝葉斯公式，當已知系統(tǒng)經(jīng)n級傳輸后輸出為1，原數(shù)字也是1的概率為于是根據(jù)貝葉斯公式，當已知系統(tǒng)經(jīng)n級傳輸后輸出為30第四節(jié)

遍歷性第四節(jié)

遍歷性31《概率論》第10章---馬爾可夫鏈課件32《概率論》第10章---馬爾可夫鏈課件33則稱為平穩(wěn)分布，稱具有平穩(wěn)性。定義：對于齊次馬氏鏈 如果存在概率分布

滿足：即定義中平穩(wěn)性的直觀含義是過程在任何時刻處于狀態(tài)的概率都相等。在定理的條件下，馬氏鏈的極限分布就是平穩(wěn)分布，且是唯一的。即，若用作為鏈的初始分布，即，則鏈在任一時刻的絕對分布永遠與一致。事實上由和有則稱為平穩(wěn)分布，稱具有平穩(wěn)性。定義：34例：考慮直線上帶反射壁的隨機游動,如果質點只能取1、2、3三個點,一步轉移概率矩陣為:其中試說明此鏈是遍歷的，并求出極限分布。解：計算二步轉移概率矩陣可見當 ,對任意的 有由定理可知,此鏈具有遍歷性,例：考慮直線上帶反射壁的隨機游動,如果質點只能取1、2、3三35下面求極限分布列出方程式：由此解得：下面求極限分布列出方程式：由此解得：36例：設一馬氏鏈的一步轉移概率矩陣為討論它的遍歷性。解：先計算二步轉移矩陣進一步可驗證：這表明對任一固定的

j，極限都不存在，當n為奇數(shù)時，；而當n為偶數(shù)時，按定義，此鏈不具有遍歷性。例：設一馬氏鏈的一步轉移概率矩陣為討論它的遍歷性。解：先計算37第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉移概率第二節(jié)多步轉移概率的確定第三節(jié)馬氏鏈的有限維分布第四節(jié)遍歷性第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉移概率38第一節(jié)

馬爾可夫鏈的概念及轉移概率第一節(jié)

馬爾可夫鏈的概念及轉移概率39《概率論》第10章---馬爾可夫鏈課件40下面我們只討論齊次馬氏鏈，并習慣上常將“齊次”兩字省略。下面我們只討論齊次馬氏鏈，并習慣上常將“齊次”兩字省略。41《概率論》第10章---馬爾可夫鏈課件42《概率論》第10章---馬爾可夫鏈課件43而且當時，等以后的行為只與有關，而與質點以前是如何到是完全無關的，所以，它是一個馬氏鏈，且為齊次馬氏鏈。其狀態(tài)空間為：而且當時，44稱其為具有兩個反射壁的隨機游動稱其為具有兩個反射壁的隨機游動4501若令表示質點在時刻的位置，那末，是一個隨機過程，而且當時，等以后的行為只與有關，而與質點以前是如何到是完全無關的，所以，它是一個馬氏鏈。其狀態(tài)空間為：例：一維隨機游動。考慮在直線上作隨機游動的質點，且只在非負整數(shù)上作隨機游動。當質點在時刻時處在位置，在時刻轉移到的概率為，轉移到的概率為，不動的概率為，而處在別的位置的概率為0。01若令表示質點在時刻的位置，那末，46它的一步轉移矩陣為：0123這里并且由于它的轉移概率與起點無關，所以它還是齊次馬氏鏈。它的一步轉移矩陣為：0123這里并且由于它的轉移概率與47如果稱為帶一個吸收壁的隨機游動，質點一旦到達狀態(tài)0后就永遠停留在0這個狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)。如果稱為帶一個反射壁的隨機游動，質點一旦到達狀態(tài)0后下一步它以概率向右移一格。0101如果狀態(tài)空間是有限的，且狀態(tài)0與狀態(tài)N都為吸收狀態(tài)，即稱為具有兩個吸收壁的隨機游動.01N如果48第二節(jié)

多步轉移概率的確定第二節(jié)

多步轉移概率的確定49定理:設為齊次馬氏鏈，則對任意的有或證明：利用全概率公式及馬爾可夫性，有定理:設為齊次馬氏鏈，則對50這就是有名的切普曼－柯爾莫哥洛夫方程，簡稱為方程?；蜻@就是有名的切普曼－柯爾莫哥洛夫方程，簡稱為方程。51有由可見齊次馬氏鏈，它的多步轉移概率完全由它的一步轉移概率所決定。因此，在馬氏鏈中，一步轉移概率是最基本的。有由52第三節(jié)

馬氏鏈的有限維分布第三節(jié)

馬氏鏈的有限維分布53定義：設 為馬氏鏈，稱它為馬氏鏈的初始分布。0n定義：設 為馬氏鏈，稱它為馬54一維分布可用向量形式表示為：初始分布與一維分布的關系可表示為：表明一維分布可由初始分布和n步轉移概率矩陣確定。一維分布可用向量形式表示為：初始分布與一維分布的關系可表示為55定理說明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉移概率決定。定理說明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉移56《概率論》第10章---馬爾可夫鏈課件57《概率論》第10章---馬爾可夫鏈課件58《概率論》第10章---馬爾可夫鏈課件59例：某計算機房的一臺計算機經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀察一次計算機的運行狀態(tài)，收集了24小時的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111設為第n個時段的計算機狀態(tài)，可以認為它是一個齊次馬氏鏈，狀態(tài)空間為由于96次狀態(tài)轉移的情況是：次次次次因此，一步轉移概率可用頻率近似地表示為：例：某計算機房的一臺計算機經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀60《概率論》第10章---馬爾可夫鏈課件61續(xù)例：若計算機在某一時段（15分鐘）的狀態(tài)為0，問從此時段起此計算機能連續(xù)正常工作一小時（4個時段）的概率為多少？解：由題意，續(xù)例：若計算機在某一時段（15分鐘）的狀態(tài)為0，問從此時段62《概率論》第10章---馬爾可夫鏈課件63《概率論》第10章---馬爾可夫鏈課件64續(xù)例：（3）設初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為1，問原發(fā)數(shù)字也是1的概率為多少？先求出n步轉移概率矩陣由于由特征方程可得到兩個相異的特征值:續(xù)例：（3）設初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為165由線性代數(shù)知識可將P表示成對角陣的相似矩陣。具體做法是:求出對應的特征向量令：則由線性代數(shù)知識可將P表示成對角陣的相似矩陣。具體做法是:66于是根據(jù)貝葉斯公式，當已知系統(tǒng)經(jīng)n級傳輸后輸出為1，原數(shù)字也是1的概率為于是根據(jù)貝葉斯公式，當已知系統(tǒng)經(jīng)n級傳