狀態(tài)空間的分解

關(guān)于狀態(tài)空間的分解第1頁，共32頁，2023年，2月20日，星期五定義第2頁，共32頁，2023年，2月20日，星期五引理7(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學歸納法第3頁，共32頁，2023年，2月20日，星期五第4頁，共32頁，2023年，2月20日，星期五引理8證明第5頁，共32頁，2023年，2月20日，星期五引理9設(shè)C是閉集,則當且僅當其中任何兩個狀態(tài)互通時,C為不可約的.證明第6頁，共32頁，2023年，2月20日，星期五推論齊次馬爾可夫鏈是不可約的充要條件是它的任何兩個狀態(tài)互通特別關(guān)于有限狀態(tài)的馬爾可夫鏈有下面結(jié)論第7頁，共32頁，2023年，2月20日，星期五定理7(1)

有限齊次馬爾可夫鏈所有非常返狀態(tài)集D不可能是閉集.(2)有限齊次馬爾可夫鏈不可能存在零常返狀態(tài).(3)不可約的有限齊次馬爾可夫鏈的所有狀態(tài)都是

正常返狀態(tài).證明第8頁，共32頁，2023年，2月20日，星期五第9頁，共32頁，2023年，2月20日，星期五定理8證明由以上的分析,可以得到狀態(tài)空間的分解定理第10頁，共32頁，2023年，2月20日，星期五定理9齊次馬爾可夫鏈的狀態(tài)空間S可唯一地分解成有限個或可列無限多個互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.所有常返狀態(tài)構(gòu)成的不可約閉集.每個狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類型:(即或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同.)第11頁，共32頁，2023年，2月20日，星期五引理10證明第12頁，共32頁，2023年，2月20日，星期五定理10(周期鏈分解定理)證明思路:從三個方面證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的合理性(正確性)(3)分解式的唯一性第13頁，共32頁，2023年，2月20日，星期五證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性第14頁，共32頁，2023年，2月20日，星期五(3)分解式的唯一性第15頁，共32頁，2023年，2月20日，星期五第16頁，共32頁，2023年，2月20日，星期五定理11證明(1)第17頁，共32頁，2023年，2月20日，星期五第18頁，共32頁，2023年，2月20日，星期五第19頁，共32頁，2023年，2月20日，星期五第20頁，共32頁，2023年，2月20日，星期五例1

設(shè)狀態(tài)空間S={0,1,2}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為研究其狀態(tài)間的關(guān)系以及狀態(tài)類型120第21頁，共32頁，2023年，2月20日，星期五例2

設(shè)狀態(tài)空間S={1,2,3,4}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型第22頁，共32頁，2023年，2月20日，星期五1234第23頁，共32頁，2023年，2月20日，星期五例3

設(shè){Xn,n=0,1,2,…}是一齊次馬爾可夫鏈,狀態(tài)空間

S={1,2,3,4,5},其一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型第24頁，共32頁，2023年，2月20日，星期五12354第25頁，共32頁，2023年，2月20日，星期五例4

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,},其一步轉(zhuǎn)移概率矩陣為試分析過程的周期性第26頁，共32頁，2023年，2月20日，星期五1203第27頁，共32頁，2023年，2月20日，星期五例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,7,8},

其一步轉(zhuǎn)移概率矩陣為第28頁，共32頁，2023年，2月20日，星期五12534678第29頁，共32頁，2023年，2月20日，星期五例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,},

其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫出各狀態(tài)類型及周期.