狀態(tài)空間的分解

關(guān)于狀態(tài)空間的分解第一頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定義第二頁(yè)，共三十二頁(yè)，編輯于2023年，星期二引理7(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學(xué)歸納法第三頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第四頁(yè)，共三十二頁(yè)，編輯于2023年，星期二引理8證明第五頁(yè)，共三十二頁(yè)，編輯于2023年，星期二引理9設(shè)C是閉集,則當(dāng)且僅當(dāng)其中任何兩個(gè)狀態(tài)互通時(shí),C為不可約的.證明第六頁(yè)，共三十二頁(yè)，編輯于2023年，星期二推論齊次馬爾可夫鏈?zhǔn)遣豢杉s的充要條件是它的任何兩個(gè)狀態(tài)互通特別關(guān)于有限狀態(tài)的馬爾可夫鏈有下面結(jié)論第七頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定理7(1)

有限齊次馬爾可夫鏈所有非常返狀態(tài)集D不可能是閉集.(2)有限齊次馬爾可夫鏈不可能存在零常返狀態(tài).(3)不可約的有限齊次馬爾可夫鏈的所有狀態(tài)都是

正常返狀態(tài).證明第八頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第九頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定理8證明由以上的分析,可以得到狀態(tài)空間的分解定理第十頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定理9齊次馬爾可夫鏈的狀態(tài)空間S可唯一地分解成有限個(gè)或可列無(wú)限多個(gè)互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.所有常返狀態(tài)構(gòu)成的不可約閉集.每個(gè)狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類型:(即或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同.)第十一頁(yè)，共三十二頁(yè)，編輯于2023年，星期二引理10證明第十二頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定理10(周期鏈分解定理)證明思路:從三個(gè)方面證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的合理性(正確性)(3)分解式的唯一性第十三頁(yè)，共三十二頁(yè)，編輯于2023年，星期二證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性第十四頁(yè)，共三十二頁(yè)，編輯于2023年，星期二(3)分解式的唯一性第十五頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第十六頁(yè)，共三十二頁(yè)，編輯于2023年，星期二定理11證明(1)第十七頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第十八頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第十九頁(yè)，共三十二頁(yè)，編輯于2023年，星期二第二十頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例1

設(shè)狀態(tài)空間S={0,1,2}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為研究其狀態(tài)間的關(guān)系以及狀態(tài)類型120第二十一頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例2

設(shè)狀態(tài)空間S={1,2,3,4}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型第二十二頁(yè)，共三十二頁(yè)，編輯于2023年，星期二1234第二十三頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例3

設(shè){Xn,n=0,1,2,…}是一齊次馬爾可夫鏈,狀態(tài)空間

S={1,2,3,4,5},其一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型第二十四頁(yè)，共三十二頁(yè)，編輯于2023年，星期二12354第二十五頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例4

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,},其一步轉(zhuǎn)移概率矩陣為試分析過(guò)程的周期性第二十六頁(yè)，共三十二頁(yè)，編輯于2023年，星期二1203第二十七頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,7,8},

其一步轉(zhuǎn)移概率矩陣為第二十八頁(yè)，共三十二頁(yè)，編輯于2023年，星期二12534678第二十九頁(yè)，共三十二頁(yè)，編輯于2023年，星期二例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,},

其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫出各狀態(tài)類型及周期.