markov模型基礎(chǔ)知識

markov模型基礎(chǔ)知識本PPT的主要內(nèi)容一、Markov數(shù)學模型建立的背景二、Markov數(shù)學模型建模的過程三、Markov數(shù)學模型應用介紹一、Markov數(shù)學模型建立的背景1.Markov數(shù)學模型的建立者——馬爾可夫

安德烈·馬爾可夫，1856年6月14日生于梁贊，1922年7月20日卒于圣彼得堡。1874年入圣彼得堡大學，受P.L.切比雪夫思想影響很深。1878年畢業(yè)，并以《用連分數(shù)求微分方程的積分》一文獲金質(zhì)獎章。兩年后，取得碩士學位，并任圣彼得堡大學副教授。1884年取得物理-數(shù)學博士學位，1886年任該校教授。1896被選為圣彼得堡科學院院士。1905年被授予功勛教授號。一、Markov數(shù)學模型建立的背景1.Markov數(shù)學模型的建立者——馬爾可夫

馬爾可夫是彼得堡數(shù)學學派的代表人物。以數(shù)論和概率論方面的工作著稱。他的主要著作有《概率演算》等。在數(shù)論方面，他研究了連分數(shù)和二次不定式理論，解決了許多難題。在概率論中，他發(fā)展了矩法，擴大了大數(shù)律和中心極限定理的應用范圍。馬爾可夫最重要的工作是在1906～1912年間，提出并研究了一種能用數(shù)學分析方法研究自然過程的一般圖式——馬爾可夫鏈。同時開創(chuàng)了對一種無后效性的隨機過程——馬爾可夫過程的研究。馬爾可夫經(jīng)多次觀察試驗發(fā)現(xiàn)，一個系統(tǒng)的狀態(tài)轉(zhuǎn)換過程中第n次轉(zhuǎn)換獲得的狀態(tài)常決定于前一次（第（n-1）次）試驗的結(jié)果。馬爾可夫進行深入研究后指出：對于一個系統(tǒng)，由一個狀態(tài)轉(zhuǎn)至另一個狀態(tài)的轉(zhuǎn)換過程中，存在著轉(zhuǎn)移概率，并且這種轉(zhuǎn)移概率可以依據(jù)其緊接的前一種狀態(tài)推算出來，與該系統(tǒng)的原始狀態(tài)和此次轉(zhuǎn)移前的馬爾可夫過程無關(guān)。目前，馬爾可夫鏈理論與方法已經(jīng)被廣泛應用于自然科學、工程技術(shù)和公用事業(yè)中。

一、Markov數(shù)學模型建立的背景2.Markov鏈的原理簡介

馬爾可夫鏈是具有馬爾科夫性質(zhì)的隨機變量X_1,X_2,X_3...的一個數(shù)列。這些變量的范圍，即它們所有可能取值的集合，被稱為“狀態(tài)空間”，而X_n的值則是在時間n的狀態(tài)。如果X_{n+1}對于過去狀態(tài)的條件概率分布僅是X_n的一個函數(shù)，則P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_{n+1}=x|X_n=x_n).這里x為過程中的某個狀態(tài)。上面這個恒等式可以被看作是馬爾可夫性質(zhì)。一、Markov數(shù)學模型建立的背景3.Markov鏈的理論發(fā)展

馬爾可夫在1906年首先做出了這類過程。而將此一般化到可數(shù)無限狀態(tài)空間是由柯爾莫果洛夫在1936年給出的。馬爾可夫鏈與布朗運動以及遍歷假說這兩個二十世紀初期物理學重要課題是相聯(lián)系的，但馬爾可夫?qū)で蟮乃坪醪粌H于數(shù)學動機，名義上是對于縱屬事件大數(shù)法則的擴張。物理馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學中的建模，還可作為信號模型用于熵編碼技術(shù)，如算術(shù)編碼（著名的LZMA數(shù)據(jù)壓縮算法就使用了馬爾可夫鏈與類似于算術(shù)編碼的區(qū)間編碼）。馬爾可夫鏈也有眾多的生物學應用，特別是人口過程，可以幫助模擬生物人口過程的建模。隱蔽馬爾可夫模型還被用于生物信息學，用以編碼區(qū)域或基因預測。一、Markov數(shù)學模型建立的背景

4.Markov數(shù)學模型可行性

世界上的一切事物都在隨時間而變化，譬如某一地區(qū)氣候指標氣溫和濕度的變化；體血液循環(huán)，心臟搏動每次的血壓與排血量；神經(jīng)細胞興奮或抑制的傳遞；生物世代交替過程中遺傳性狀的表現(xiàn)……所有變化著的事物表現(xiàn)狀態(tài)可能是數(shù)值的、非數(shù)值的、連續(xù)的、離散的。在這種情況下，我們需建立一種研究的是一類重要的隨機過程，研究對象的狀態(tài)s(t)是不確定的，它可能取K種狀態(tài)si(i=1,…,k)之一，有時甚至可取無窮多種狀態(tài)的模型，而這種模型就是Markov數(shù)學模型。在建模時，時間變量也被離散化，我們希望通過建立兩個相鄰時刻研究對象取各種狀態(tài)的概率之間的聯(lián)系來研究其變化規(guī)律，故馬氏鏈研究的也是一類狀態(tài)轉(zhuǎn)移問題。

過程(或系統(tǒng))在時刻t0所處的狀態(tài)為已知的條件下，過程在時刻t>t0所處狀態(tài)的條件分布與過程在時刻t0之前所處的狀態(tài)無關(guān)。通俗地說，就是在已經(jīng)知道過程“現(xiàn)在”的條件下，其“將來”不依賴于“過去”。二、Markov數(shù)學模型建模的過程馬爾可夫性(無后效性)用分布函數(shù)表述馬爾可夫性：1、Markov鏈的定義定義設(shè)隨機過程的狀態(tài)空間為：若對任意的，及有馬氏性…………則稱為離散時間、離散狀態(tài)的馬爾可夫過程，或簡稱為馬爾可夫鏈?！纠考毎至褜嶒?/p>

設(shè)是馬爾可夫鏈，對任意的，計算的聯(lián)合分布律2、轉(zhuǎn)移概率

乘法公式

馬氏性

即馬爾可夫鏈的有限維分布完全由初始分布和條件概率確定.

馬氏性注

當固定時，一步轉(zhuǎn)移概率實質(zhì)上就是在的條件下，隨機變量的條件分布律，所以條件分布律滿足：

定義1設(shè)是馬爾可夫鏈，記稱為馬爾可夫鏈在時刻時的一步轉(zhuǎn)移概率。

定義2設(shè)是馬爾可夫鏈，若其一步轉(zhuǎn)移概率與時間無關(guān)，即則稱為齊次馬爾可夫鏈，稱為從狀態(tài)轉(zhuǎn)移到狀態(tài)的一步轉(zhuǎn)移概率.

若馬爾科夫鏈的狀態(tài)空間是有限集，則稱為有限狀態(tài)的馬爾科夫鏈；

若馬爾科夫鏈的狀態(tài)空間是可列集，則稱為可列狀態(tài)的馬爾科夫鏈.矩陣的每一行都是一條件分布律

記.稱為齊次馬爾可夫鏈的初始分布.

齊次馬爾科夫鏈的有限維分布族完全由其一步轉(zhuǎn)移概率矩陣和初始分布確定.則稱矩陣為齊次馬爾科夫鏈的一步轉(zhuǎn)移概率矩陣.

定義3設(shè)是齊次馬爾可夫鏈，其一步轉(zhuǎn)移概率為，記例1(一個簡單的疾病死亡模型)3、馬氏鏈的例子馬氏鏈的基本方程基本方程馬氏鏈的兩個重要類型1.正則鏈~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達另外任一狀態(tài)。w~穩(wěn)態(tài)概率馬氏鏈的兩個重要類型2.吸收鏈~存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達吸收狀態(tài)。有r個吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標準形式R有非零元素yi~從第i個非吸收狀態(tài)出發(fā)，被某個吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù)。正則鏈與吸收鏈相關(guān)定義定義2對于馬氏鏈，若存在一正整數(shù)K，使其轉(zhuǎn)移矩陣的K次冪MK>0（每一分量均大于0），則稱此馬爾鏈為一正則（regular）鏈。定理2若A為正則鏈的轉(zhuǎn)移矩陣，則必有：（1）當時，，其中W為一分量均大于零的隨機矩陣。（2）W的所有行向量均相同。定理3記定理2中的隨機矩陣W的行向量為V=(v1,…,vn),則：（1）對任意隨機向量x，有（2）V是A的不動點向量,即VA=V,A的不動點向量是唯一的。定義3狀態(tài)Si稱為馬氏鏈的吸收狀態(tài)，若轉(zhuǎn)移矩陣的第i行滿足：Pii=1，Pij=0（j≠i）定義4馬氏鏈被稱為吸收鏈，若其滿足以下兩個條件：（1）至少存在一個吸收狀態(tài)。（2）從任一狀態(tài)出發(fā),經(jīng)有限步轉(zhuǎn)移總可到達某一吸收狀態(tài)“隨機”具有r個吸收狀態(tài)，n－r個非吸收狀態(tài)的吸收鏈，它的n×n轉(zhuǎn)移矩陣的標準形式為

（注：非標準形式可經(jīng)對狀態(tài)重新編號）其中Ir為r階單位陣，O為r×s零陣，R為s×r矩陣，S為s×s矩陣。令上式中的子陣Sn表達了以任何非吸收狀態(tài)作為初始狀態(tài)，經(jīng)過n步轉(zhuǎn)移后，處于s個非吸收狀態(tài)的概率。在吸收鏈中，令F=(I－S)-1，稱F為基矩陣。定理4吸收鏈的基矩陣F中的每個元素，表示從一個非吸收狀態(tài)出發(fā)，過程到達每個非吸收狀態(tài)的平均轉(zhuǎn)移次數(shù)。定理5設(shè)N=FC，F(xiàn)為吸收鏈的基矩陣，C=(1,1,…,1)T，則N

的每個元素表示從非吸收狀態(tài)出發(fā)，到達某個吸收狀態(tài)被吸收之前的平均轉(zhuǎn)移次數(shù)。定理6設(shè)B=FR=（bij），其中F為吸收鏈的基矩陣，R為T中的子陣，則bij表示從非吸收狀態(tài)i出發(fā)，被吸收狀態(tài)j

吸收的概率。例4.8農(nóng)場的植物園中某種植物的基因型為AA,Aa和aa。農(nóng)場計劃采用AA型的植物與每種基因型植物相結(jié)合的方案培育植物后代。那么經(jīng)過若干年后，這種植物的任一代的三種基因型分布情況如何？（a）假設(shè)：令n=0,1,2,…。（i）設(shè)an,bn和cn分別表示第n代植物中，基因型為AA,Aa和aa的植物占植物總數(shù)的百分比。令x(n)為第n代植物的基因型分布：當n=0時表示植物基因型的初始分布（即培育開始時的分布）例2農(nóng)場的植物園中某種植物的基因型為AA,Aa和aa。農(nóng)場計劃采用AA型的植物與每種基因型植物相結(jié)合的方案培育植物后代。那么經(jīng)過若干年后，這種植物的任一代的三種基因型分布情況如何？三、Markov數(shù)學模型應用介紹（b）建模根據(jù)假設(shè)(ii)，先考慮第n代中的AA型。由于第n－1代的AA型與AA型結(jié)合。后代全部是AA型；第n－1代的Aa型與AA型結(jié)合，后代是AA型的可能性為1/2，而第n－1代的aa型與AA型結(jié)合，后代不可能是AA型。因此當n=1,2…時即類似可推出cn=0顯然有（ii）第n代的分布與第n－1代的分布之間的關(guān)系是確定的。(2.2)(2.3)(2.4)將（2.2）、（2.3）、（2.4）式相加，得根據(jù)假設(shè)(I)，可遞推得出：對于(2.2)式(2.3)式和(2.4)式，我們采用矩陣形式簡記為其中（注：這里M為轉(zhuǎn)移矩陣的位置）

(2.5)由（2.5）式遞推，得(2.6)（2.6）式給出第n代基因型的分布與初始分布的關(guān)系。為了計算出Mn，我們將M對角化，即求出可逆矩陣P和對角庫D，使

M=PDP-1因而有

Mn=PDnP-1,n=1,2,…其中這里，，是矩陣M的三個特征值。對于(2.5)式中的M，易求得它的特征值和特征向量：

=1，=1/2，=0因此所以

通過計算，P-1=P，因此有即所以有當時，，所以從（4.7）式得到即在極限的情況下，培育的植物都是AA型。若在上述問題中，不選用基因AA型的植物與每一植物結(jié)合，而是將具有相同基因型植物相結(jié)合，那么后代具有三種基因型的概率如表所示。11/40aa01/20Aa01/41AA后代基因型aa－aaAa－AaAA－AA父體——母體的基因型并且，其中M的特征值為通過計算，可以解出與、相對應的兩個線性無關(guān)的特征向量e1和e2，及與相對應的特征內(nèi)量e3：因此解得：當

時，，所以因此，如果用基因型相同的植物培育后代，在極限情況下，后代僅具有基因AA和aa。例3常染體隱性疾病模型現(xiàn)在世界上已經(jīng)發(fā)現(xiàn)的遺傳病有將近4000種。在一般情況下，遺傳疾病和特殊的種族、部落及群體有關(guān)。例如，遺傳病庫利氏貧血癥的患者以居住在地中海沿岸為多，鐮狀網(wǎng)性貧血癥一般流行在黑人中，家族黑蒙性白癡癥則流行在東歐猶太人中間?；颊呓?jīng)常未到成年就痛苦地死去，而他們的父母則是疾病的病源。假若我們能識別這些疾病的隱性患者，并且規(guī)定兩個隱性患者不能結(jié)合（因為兩個隱性病患者結(jié)合，他們的后代就可能成為顯性患者），那么未來的兒童，雖然有可能是隱性患者，但絕不會出現(xiàn)顯性特征，不會受到疾病的折磨。

現(xiàn)在，我們考慮在控制結(jié)合的情況下，如何確定后代中隱性患者的概率。

（a）假設(shè)（i）常染色體遺傳的正?；蛴洖锳，不正?；蛴洖閍，并以AA，Aa，aa

分別表示正常人，隱性患者，顯性患者的基因型（ii）設(shè)an,bn分別表示第n代中基因型為

AA，Aa的人占總?cè)藬?shù)的百分比，記，n=1,2,…（這里不考慮aa型是因為這些人不可能成年并結(jié)婚）（iii）為使每個兒童至少有一個正常的父親或母親，因此隱性患者必須與正常人結(jié)合，其后代的基因型概率由下表給出：1/20Aa1/21AA后代基因型AA－AaAA－AA父母的基因型（b）建模由假設(shè)（iii），從第n－1代到第n代基因型分布的變化取決于方程所以，其中如果初始分布x(0)已知，那么第n代基因型分布為解將M對角化，即求出特征值及其所對應的特征向量，得計算=(3.8)因為，所以當

時，，隱性患者逐漸消失。從(3.8)式中可知每代隱性患者的概率是前一代隱性患者概率的1/2。

(3.9)（c）模型討論研究在隨機結(jié)合的情況下，隱性患者的變化是很有意思的，但隨機結(jié)合導致了非線性化問題，超出了本章范圍，然而用其它技巧，在隨機結(jié)合的情況下可以把（3.9）式改寫為(3.10)下面給會出數(shù)值例子：某地區(qū)有10%的黑人是鐮狀網(wǎng)性盆血癥隱性患者，如果控制結(jié)合，根據(jù)（3.9）式可知下一代（大約27年）的隱性患者將減少到5%；如果隨機結(jié)合，根據(jù)（3.10）式，可以預言下一代人中有9.5%是隱性患者，并且可計算出大約每出生400個黑人孩子，其中有一個是顯性患者。（近親繁殖）近親繁殖是指父母雙方有一個或兩個共同的祖先，一般追蹤到四代，即至少有相同的曾祖父（母）或外曾祖父（母）。為簡單起見，我們來考察一對表兄妹（或堂兄妹）結(jié)婚的情況，其中□代表男性，○代表女性。設(shè)曾祖父有某基因?qū)1A2，曾祖母有某基因?qū)3A4，容易求得：祖父母取得A1的概率為1/2，故祖父母同有A1基因的概率為1/4；父母同有A1基因的概率為1/16，而子女從父母那里獲得基因?qū)1A1的概率為1/64，而獲得相同基因?qū)ΓǚQ為基因純合子）A1A1，A2A2，A3A3或A4A4之一的概率為1/16,此概率被稱為表兄妹(或堂兄妹)結(jié)婚(表親)的近交系數(shù)。類似可求得半堂親（只有一個共同祖先）的近交系數(shù)為1/32，從表親（父母為表親）的近交系數(shù)為1/64；非近親結(jié)婚不可能發(fā)生重復取某祖先的一對基因?qū)χ械哪骋换蜃鳛樽约旱幕驅(qū)Φ那闆r，故近交系數(shù)為0。（群體的近交系數(shù)）設(shè)某群體中存在近親婚配現(xiàn)象，稱各種近交系數(shù)的數(shù)學期望為該群體的近交系數(shù)。例如，某村鎮(zhèn)共有2000對婚配關(guān)系，其中有59對表親，22對半堂親和28對從表親，則該村鎮(zhèn)的近親系數(shù)為現(xiàn)在，我們來研究近親結(jié)婚會產(chǎn)生什么結(jié)果。設(shè)某基因?qū)τ葾、a兩種基因組成，出現(xiàn)A的概率為p，出現(xiàn)a的概率為q=1-p。在隨機交配群體中，其子女為AA、Aa及aa型的概率分別為p2、2pq及q2。對近交系數(shù)為F的群體，根據(jù)條件概率公式，后代出現(xiàn)aa型基因?qū)Φ母怕蕿楸容^存在近親交配的群體與不允許近親交配(F=0)的群體，令

若a為某種隱性疾病的基因，易見，在近交群體中，后代產(chǎn)生遺傳?。╝a型）的概率增大了，且F越大，后代患遺傳病的概率也越大。同樣，后代出現(xiàn)AA型基因?qū)Φ母怕蕿閜2+Fpq。Aa型不可能是共同祖先同一基因的重復，故其出現(xiàn)的概率為2pq(1-F)。例如，苯丙酮尿癥是一種隱性基因純合子aa型疾?。╝為隱性疾病基因），隱性基因出現(xiàn)的頻率，求表兄妹結(jié)婚及非近親結(jié)婚的子女中患有苯丙酮尿癥的概率。由前，表兄妹結(jié)婚的近交系數(shù)為1/16,故其子女發(fā)生該疾病的概率為而對禁止近親結(jié)婚的群體，子女發(fā)生該疾病的概率為q2=10-4。表兄妹（或堂兄妹）結(jié)婚使子女發(fā)生該疾病的概率增大了大約7.19倍，由此可見，為了提高全民族的身體素質(zhì)，近親結(jié)婚是應當禁止的。例4X—鏈遺傳模型的一個實例X—鏈遺傳是指另一種遺傳方式：雄性具有一個基因A或a，雌性具有兩個基因AA，或Aa，或aa。其遺傳規(guī)律是雄性后代以相等概率得到母體兩個基因中的一個，雌性后代從父體中得到一個基因，并從母體的兩個基因中等可能地得到一個。下面，研究與X—鏈遺傳有關(guān)的近親繁殖過程。（a）假設(shè)（i）從一對雌雄結(jié)合開始,在它們的后代中,任選雌雄各一個成配偶,然后在它們產(chǎn)生的后代中任選兩個結(jié)成配偶,如此繼續(xù)下去,(在家畜、家禽飼養(yǎng)中常見這種現(xiàn)象)（ii）父體與母體的基因型組成同胞對，同胞對的形式有

(A,AA),(A,Aa),(A,aa),(a,AA),(a,Aa),(a,aa)6種。初始一對雌雄的同胞對，是這六種類型中的任一種，其后代的