信息論與隨機過程ppt課件

1、1課程主要安排課程主要安排n隨機過程的概念與根本類型隨機過程的概念與根本類型n馬爾可夫鏈馬爾可夫鏈n隱馬爾可夫模型隱馬爾可夫模型n隨機過程在生物信息科學(xué)中的運用隨機過程在生物信息科學(xué)中的運用2 第二章第二章 隨機過程的概念和根本類型隨機過程的概念和根本類型 第一節(jié)第一節(jié) 隨機過程的定義及其分類隨機過程的定義及其分類 第二節(jié)第二節(jié) 隨機過程的分布及其數(shù)字特征隨機過程的分布及其數(shù)字特征第三節(jié)第三節(jié) 幾種重要的隨機過程簡介幾種重要的隨機過程簡介3 第一節(jié)第一節(jié) 隨機過程的定義及其分類隨機過程的定義及其分類一、直觀背景及例子一、直觀背景及例子站在時辰站在時辰t時以前接到的呼叫次數(shù)時以前接到的呼叫次數(shù)例

2、例1普通情況下它是一個隨機變數(shù)普通情況下它是一個隨機變數(shù)X ，并且依賴時間，并且依賴時間t，即隨機變數(shù)，即隨機變數(shù)Xt，t0，24。例例2研討某一商品的銷售量研討某一商品的銷售量普通情況下它是一個隨機變數(shù)普通情況下它是一個隨機變數(shù)X ，并且依賴時間，并且依賴時間t，即隨機變數(shù)，即隨機變數(shù)Xt，t=1，2，4例例3國民收入問題國民收入問題表示依賴于一個變動參量的一族隨機變量。它雖然不能用一個確定的函表示依賴于一個變動參量的一族隨機變量。它雖然不能用一個確定的函數(shù)來描畫，但也是有規(guī)律的。數(shù)來描畫，但也是有規(guī)律的。隨著各種隨機要素的影響而隨機變化，隨著各種隨機要素的影響而隨機變化，普通地有普通地有

3、其中其中Ct、It分別表示分別表示t年的消費和積累年的消費和積累隨機過程隨機過程 )()()(tItCtY5二、隨機過程的定義二、隨機過程的定義1隨機隨機 過程過程設(shè)設(shè)E是隨機實驗，是隨機實驗， 是它的樣本空間，是它的樣本空間，T是一個參數(shù)集，是一個參數(shù)集，假設(shè)對于每一個假設(shè)對于每一個都有隨機變量都有隨機變量 ，與之對應(yīng)，與之對應(yīng)，那么稱依賴于那么稱依賴于t的隨機變量的隨機變量 為隨機過程，或稱為隨機函為隨機過程，或稱為隨機函數(shù)。數(shù)。 通常記作通常記作Tt),(tX),(tX闡明闡明1參數(shù)集參數(shù)集T在實踐問題中，經(jīng)常指的是時間參數(shù)，但有時也用其它在實踐問題中，經(jīng)常指的是時間參數(shù)，但有時也用其它

4、物理量作為參數(shù)集。物理量作為參數(shù)集。6闡明2由于 隨機過程)(tX，Tt是一個二元函數(shù)對于每一個固定的時刻Tt 0，)(0tX是一個隨機變量，并稱作隨機過程)(tX在0tt 時的一個狀態(tài)，)(tX是一個確定的樣本函數(shù)，它反映了)(tX的變化“過程” 。72貝努利過程 設(shè)每隔單位時間擲一次硬幣，察看它出現(xiàn)的結(jié)果。假設(shè)出現(xiàn)正面，記其結(jié)果為1；假設(shè)出現(xiàn)反面，記其結(jié)果為0。不斷拋擲下去，便可得到一無窮序列 由于每次拋擲的結(jié)果是一個隨機變量1或0，所以無窮次拋擲的結(jié)果是一隨機變量的無窮序列，稱為隨機序列，也可稱為隨機過程。 每次拋擲的結(jié)果與先后各次拋擲的結(jié)果是相互獨立的，并且出現(xiàn)1或0的概率與拋擲的時間

5、n無關(guān)。 0121或；，；nnxnx8設(shè) P1nx= p （第n次拋擲出現(xiàn)正面的概率） P0nx= q = 1p （第n次拋擲出現(xiàn)反面的概率）其 中P 1nx = p 與n 無 關(guān) ，且ix、kx(ki 時)是相互獨立的隨機變量。稱具有這種特性的隨機過程為貝努利型隨機過程。稱具有這種特性的隨機過程為貝努利型隨機過程。注假設(shè)固定觀測時辰假設(shè)固定觀測時辰t，那么它的實驗結(jié)果是屬于兩個樣本點，那么它的實驗結(jié)果是屬于兩個樣本點0，1所組成所組成的樣本空間的樣本空間如果在二個不同時刻1t，2t觀測試驗結(jié)果那么樣本空間出現(xiàn)的值為那么樣本空間出現(xiàn)的值為0,0,0,1,1,0,1,1則21,xx是一個二維隨機

6、變量9三、隨機過程的分類三、隨機過程的分類1、按參數(shù)集和形狀分類、按參數(shù)集和形狀分類 參數(shù)集T的是一個可列集T=0，1，2，離散參數(shù)延續(xù)參數(shù)參數(shù)分類參數(shù)集T的是一個不可列集0|ttT形狀分類離散形狀延續(xù)形狀)(tX取值是離散的取值是延續(xù)的10T離散、離散、I離散離散T離散、離散、I非離散延續(xù)非離散延續(xù)參數(shù)參數(shù)T形形狀狀I(lǐng)分類分類概率構(gòu)概率構(gòu)造分類造分類2按過程的概率構(gòu)造分類按過程的概率構(gòu)造分類T非離散延續(xù)非離散延續(xù) 、I離散離散T非離散延續(xù)非離散延續(xù) 、I非離散延續(xù)非離散延續(xù) 獨立隨機過程獨立隨機過程獨立增量隨機過程獨立增量隨機過程馬爾可夫過程馬爾可夫過程平穩(wěn)隨機過程平穩(wěn)隨機過程11第二節(jié)第二

7、節(jié) 隨機過程的分布及其數(shù)字特征隨機過程的分布及其數(shù)字特征一、隨機過程的分布函數(shù)一、隨機過程的分布函數(shù)一維分布函數(shù)其分布函數(shù)為設(shè))(tX，Tt 是一個隨機過程，對于固定的Tt 1，)(1tX是一個隨機變量， )()(1111xtXPxtF；，Tt 1稱)(11xtF；為隨機過程)(tX的一維分布函數(shù)。一維概率密度 若 存 在 二 元 非 負(fù) 函 數(shù))(11xtf；， 使11111)()(1dyytfxtFx；則稱)(11xtf；為隨機過程)(tX的一維概率密度12二維分布函數(shù)結(jié)合分布函數(shù)二維概率密度二維隨機向量（)(1tX，)(2tX） Ttt),(21)(,)(),(22112121xtXxt

8、XPxxttF；，稱為隨機過程)(tX的二維分布函數(shù)若存在非負(fù)函數(shù)),(2121xxttf；),(2121xxttF；=212121),(12dydyyyttfxx； 則稱),(2121xxttf；為)(tX的二維概率密度13例例1 袋中放有一個白球，兩個紅球，每隔單位時間從袋中任取一球，取后袋中放有一個白球，兩個紅球，每隔單位時間從袋中任取一球，取后放回，對每一個確定的放回，對每一個確定的t對應(yīng)隨機變量對應(yīng)隨機變量試求這個隨機過程的一維分布函數(shù)族。試求這個隨機過程的一維分布函數(shù)族。分析分析先求概率密度先求概率密度14所以解解對每一個確定的時刻t，)(tX的概率密度為3tte)(tX3231P

9、)(11xtF；)(11xtXP 15二、隨機過程的數(shù)字特征二、隨機過程的數(shù)字特征 1均值函數(shù)或稱為數(shù)學(xué)期望闡明闡明設(shè)隨機過程)(tX，Tt ，則 )()(tXEtm，Tt ，稱為隨機過程)(tX的均值函數(shù))(tm是)(tX的所有樣本函數(shù)在時刻 t 的函數(shù)值的平均它表示隨機過程)(tX在時刻 t 的擺動中心16 2方差函數(shù)闡明闡明隨機過程)(tX，Tt 的二階中心矩)()()()(2tmtXEtXDtD稱為隨機過程)(tX的方差函數(shù))(tD的平方根)(t)(tD均方差函數(shù)它表示)(tX在各個時刻 t 對于)(tm的偏離程度17 3協(xié)方差函數(shù)二階中心混合矩簡稱協(xié)方差函數(shù)稱為隨機過程)(tX的自協(xié)

10、方差函數(shù) 當(dāng)Tttt21，有注18 4互協(xié)方差函數(shù)其中對任意Ttt21,，則稱為隨機過程)(tX與)(tY的互協(xié)方差函數(shù))()(11tXEtmX)()(22tYEtmY19 5相關(guān)函數(shù)簡稱相關(guān)函數(shù)簡稱相關(guān)函數(shù)注對任意Ttt21,)(1tX和)(2tX的二階原點混合矩 ),(21ttR)()(21tXtXE當(dāng)0)( tm時，有20 6相互關(guān)函數(shù)注對任意Ttt21,設(shè))(tX和)(tY是 兩 個 隨 機 過 程 ),(21ttRXY)()(21tYtXE稱為隨機過 程)(tX與)(tY的互相關(guān)函數(shù)那么21 7互不相關(guān)注對任意Ttt21,設(shè))(tX和)(tY是 兩 個 隨 機 過 程則稱隨機過程)(

11、tX與)(tY互不相關(guān)有若隨機過程)(tX與)(tY互不相關(guān)那么 ),(21ttRXY)()(21tmtmYX即)()()()(2121tYEtXEtYtXE假設(shè)22例例2.5 設(shè)隨機過程設(shè)隨機過程 其中其中 是相互獨立的隨機變量，且是相互獨立的隨機變量，且 ， ，求，求 的均值函數(shù)的均值函數(shù) 和協(xié)方差函數(shù)和協(xié)方差函數(shù) 。( )cos()sin()0X tYtZtt,Y Z0EYEZ2DYDZ (),0X t t( )Xmt( , )XBs t( , )XBs t( , )XBs t解：由數(shù)學(xué)期望的性質(zhì)，有解：由數(shù)學(xué)期望的性質(zhì)，有由于由于 相互獨立，故相互獨立，故( ) cos()sin()c

12、os()sin()0EX tE YtZtt EYt EZ,Y Z222( , )( , )( )( ) cos()sin() cos()sin()cos()cos() ()sin()sin() ()cos() XXBs tRs tE X s X tE YsZsYtZtst E Yst E Zts23例例2.8 設(shè)設(shè) 為信號過程，為信號過程， 為噪聲過程，令為噪聲過程，令 ，那么，那么 的均值函數(shù)為的均值函數(shù)為其自相關(guān)函數(shù)為其自相關(guān)函數(shù)為( )X t( )Y t( )( )( )W tX tY t( )W t( )( )( )WXYmtmtm t( , )( )( )( )( )( )( )(

13、) ( ) ( )( ) ( ) ( )( , )( , )( , )( , )WXXYYXYRs tE X sY sX tY tE X s X tE X s Y tE Y s X tE Y s Y tRs tRs tRs tRs t特別，當(dāng)兩個隨機變量的均值函數(shù)恒為零且互不相關(guān)時，有特別，當(dāng)兩個隨機變量的均值函數(shù)恒為零且互不相關(guān)時，有( , )( , )( , )WXYRs tRs tRs t24補例補例2解解求：1均值函數(shù)；2協(xié)方差函數(shù)；3方差函數(shù)。設(shè)隨機過程tUtX2cos)(，其中 U 是隨機變量且5)(UE，6)(UD1)(tm2cos)(tUEtXE2cosUtEt2cos5212

14、( ,)B t t)()()()(2211tmtXtmtXE2cos)5(2cos)5(21tUtUE)5(2cos2cos221UEtt2cos2cos21UDtt212cos2cos6tt3令ttt21得ttXD2cos6)(2)()()()(2211tmtXtmtXE)()()()(2211tmtXtmtXE25第三節(jié)第三節(jié) 幾種重要的隨機過程簡介幾種重要的隨機過程簡介一、正交增量過程一、正交增量過程1定義26補充：獨立隨機過程簡稱獨立隨機過程。 設(shè))(tX，Tt 對任意 n 個不同的1t，2t，Ttn )(1tX，)(2tX，)(ntX是相互獨立的則稱)(tX為具有獨立隨機變量的隨機過

15、程，27二、獨立增量過程二、獨立增量過程1定義隨機變量的增量是相互獨立的設(shè))(tX,Tt 是一隨機過程，nntttt121282.平穩(wěn)獨立增量過程平穩(wěn)獨立增量過程29例例1證證設(shè))(nX，, 2 , 1 , 0n是相互獨立的隨機變量序列，令)()(0nXiYin那么)(iY，, 2 , 1 , 0i是 一 個 獨 立 增 量 過 程 。) 1()(iYiY)(iX （, 2 , 1i）而)(iX（, 2 , 1i）是相互獨立的所以)(iY，, 2 , 1 , 0i是一個獨立增量過程。30三、馬爾可夫過程簡稱馬氏過程。且nntttt121|)(nnxtXP11)(nnxtX，)(11xtX=|)

16、(nnxtXP11)(nnxtX） ，則稱)(tX為馬爾可夫過程31馬氏過程的特點馬氏性本質(zhì)上是無后效性，所以也稱馬氏過程為無后效過程。稱這個特性為馬爾可夫性，簡稱馬氏性。 當(dāng)隨機過程在時刻1nt的狀態(tài)已知的條件下，它在時刻nt（1nntt）所處的狀態(tài)僅與時刻1nt的狀態(tài)有關(guān) ，而與過程在時刻1nt以前的狀態(tài)無關(guān)32四、正態(tài)過程四、正態(tài)過程1定義為n維正態(tài)分布，其密度函數(shù)為也稱高斯過程那么稱設(shè))(tX,Rt 是一隨機過程，對 任 意 正 整 數(shù) n 及Rtttn,21，隨機變量)(1tX,)(2tX,)(ntX的聯(lián)合分布函數(shù)),(2121nnxxxtttf；)()(21exp|)2(112/

17、12/mxBmxBn)(tX為正態(tài)過程33其中nxxxx21)()()(21ntmtmtmm),(),(),(),(),(),(),(),(),(212221212111nnnnnnttBttBttBttBttBttBttBttBttBB且)()(iitXEtm)()()()(),(jjiijitmtXtmtXEttB),(ijttBB為協(xié)方差矩陣)(mx表示)(mx的轉(zhuǎn)置矩陣34例例5證可得設(shè))(tX,Rt 是一個獨立的正態(tài)過程，若21tt ，)(1tX與)(2tX相互獨立，)()()()(),(212121tmtmtXtXEttB0)()()()(2121tmtmtEXtEX注注逆命題也成

18、立35五、維納過程五、維納過程1定義那么稱或布朗運動過程當(dāng)1時，稱為規(guī)范維納過程特別維納過程是一類非常重要的隨機過程，它是基于對例子布朗運動的數(shù)學(xué)描寫。維納過程經(jīng)常維納過程是一類非常重要的隨機過程，它是基于對例子布朗運動的數(shù)學(xué)描寫。維納過程經(jīng)常被廣泛地運用到經(jīng)濟學(xué)、管理學(xué)等其他運用學(xué)科之中。被廣泛地運用到經(jīng)濟學(xué)、管理學(xué)等其他運用學(xué)科之中。36 維納過程是布朗運動的數(shù)學(xué)模型. 英國植物學(xué)家布朗在顯微鏡下，察看漂浮在安靜的液面上的微小粒子，發(fā)現(xiàn)它們不斷地進(jìn)展著雜亂無章的運動，這種景象后來稱為布朗運動. 以W(t表示運動中一微粒從時辰t=0到時辰t0的位移的橫坐標(biāo)同樣也可以討論縱坐標(biāo)，且設(shè)W(0)=

19、0，根據(jù)愛因斯坦1905年提出的實際，微粒的這種運動是由于遭到大量隨機的相互獨立的分子的碰撞的結(jié)果. 于是，粒子在時段s,t上的位移可以看作是許多微小位移的代數(shù)和. 那么W(t)-W(s服從正態(tài)分布. 372均值、方差、協(xié)方差及相關(guān)函數(shù)均值協(xié)方差及相關(guān)函數(shù)證0)(tXE方差ttXD2)(由定義可得均值、方差公式38下證當(dāng)21tt 時)()(),(2121tXtXEttR)(1tXE)()(12tXtX+)(12tX)(12tXE)0()(1XtXE)()(12tXtX)(1tXD12t同理當(dāng)12tt 時),(21ttR22t 故 ),min(),(21221ttttR顯然393維納過程是正態(tài)過

20、程由維納過程定義知設(shè) )(tX,0t是 一 維 納 過 程 ，0)0(X對任意nttt21，)(1tX（,)(2tX)(1tX, ）)()(1nntXtX服從n維正態(tài)分布40故知)(1tX（,)(2tX, ）)(ntX)(1tX（,)(2tX)(1tX, ）)()(1nntXtX100110111)(1tX（,)(2tX, ）)(ntX服從n 維正態(tài)分布，所以)(tX為正態(tài)過程又因414具有馬氏性證因此所以因)(tX是維納過程增量)()(sXstX與時刻s 以前的狀態(tài))(X (s0)獨立，xsXastXP)(|)(，)(X，s0 xsXxasXstXP)(|)()(，)(X，s0 xsXxas

21、XstXP)(|)()(xsXastXP)(|)(所以維納過程是馬氏過程。4243六、平穩(wěn)隨機過程 平穩(wěn)過程的統(tǒng)計特性與馬氏過程不同，它不隨時間的推移而變化，過程的“過去可以對“未來有不可忽視的影響。定義定義2.12 4445例例2.13 設(shè)隨機過程設(shè)隨機過程其中其中Y，Z是相互獨立的隨機變量，且是相互獨立的隨機變量，且 ，那么隨機過程，那么隨機過程 為廣義平為廣義平穩(wěn)過程。穩(wěn)過程。( )cos()sin(),0X tYtZtt0EYEZ2DYDZ( ),0X t t 46七泊松過程滿足設(shè) 隨 機 過 程 )(tX，0t是 一 個 計 數(shù) 過 程 ，（1）0)0(X（2）)(tX是獨立增量過程

22、那么稱（ 3 ） 對 任 一 長 度 為 t 的 區(qū) 間 中 事 件 的 個 數(shù)即對一切0, ts，有)()(ksXstXPtkekt!)(, 2 , 1 , 0k47留意從條件3可知泊松過程有平穩(wěn)增量，且ttXE)(并稱為此過程的生起率或強度單位時間內(nèi)發(fā)生的事件的平均個數(shù)。48闡明闡明 要確定計數(shù)過程是泊松過程，必需證明它滿足三個條件：為此給出一個與泊松過程等價的定義然而全然不清楚如何去確定條件（3）是否滿足49那么稱其中)(h表示當(dāng)0h時對h 的高階無窮小，（1）0)0(X設(shè) 隨 機 過 程 )(tX，0t是 一 個 計 數(shù) 過 程 ，參數(shù)為（0） ，滿足定義定義250泊松過程的根本性質(zhì)泊

23、松過程的根本性質(zhì)一數(shù)字特征一數(shù)字特征( )( )( )( )()E X tX sD X tX sts2(0)0,( )( )( )(0)( )( )( )(0)XXXmtE X tE X tXttD X tD X tXt由于故5122( , )( )( )( )( )( )( )( )(0)( )( )( )()()(1)XRs tE X s X tE X s X tX sX sE X sXX tX sE X sstsssst ( , )min( , )XBs ts t522到達(dá)時間間隔和等待時間的分布定義那么稱設(shè) )(tX，0t為 泊 松 過 程 ，iW（, 2 , 1i）表示事件第 i 次發(fā)生的等待時間nW，1n為等待時間序列以nT（1n）表示第1n次發(fā)生到第n次發(fā)生之