【ch03】離散時間可數(shù)狀態(tài)馬氏過程-馬氏鏈

第三章離散時間可數(shù)狀態(tài)馬氏過程——馬氏鏈1.2.3.略4.5.求本章例3和例4中的非常返狀態(tài)類與各互通常返類。略6.略7.略8.9.略10.11.12.略13.略14.某工廠實行質(zhì)量控制的檢查制度如下：一開工認為生產(chǎn)處于不穩(wěn)定生產(chǎn)狀態(tài)，則每5分鐘抽樣一次；若連續(xù)抽樣5次全部合格，則改為初步穩(wěn)定生產(chǎn)狀態(tài)，每半小時抽樣一次；若連續(xù)3次合格，則改為正常生產(chǎn)狀態(tài)，每8小時抽樣一次；如果在初步穩(wěn)定生產(chǎn)狀態(tài)又連續(xù)3次抽樣不合格，則改為不穩(wěn)定生產(chǎn)狀態(tài)；如果正常生產(chǎn)抽樣發(fā)現(xiàn)不合格，則退為初步穩(wěn)定生產(chǎn)狀態(tài)。把不穩(wěn)定生產(chǎn)、初步穩(wěn)定生產(chǎn)、正常生產(chǎn)視為工廠處于三個不同狀態(tài)，請構(gòu)造一個時齊馬氏鏈來描述工廠生產(chǎn)所處狀態(tài)并利用遍歷性定理給出由一個月的生產(chǎn)檢查報告來求出此馬氏鏈轉(zhuǎn)移概率陣的方法，再設(shè)法估計工廠在開工足夠長時間后它處于正常生產(chǎn)狀態(tài)與不穩(wěn)定生產(chǎn)狀態(tài)的概率。略15.略16.17.略18.19.20.略21.22.略23.略24.略25.略26.27.略28.略29.略30.略31.略32.略33.34.略35.36.37.略38.略39.略41.略42.43.略44.略45.46.這個結(jié)論是正確的。如果一個馬氏鏈是不可約的且所有轉(zhuǎn)移陣的列和都不超過1，那么這個馬氏鏈必然是非正常返的。首先，讓我們先定義一下什么是非正常返回狀態(tài)。在馬氏鏈中，一個狀態(tài)j被稱為正常返的，如果從該狀態(tài)出發(fā)，存在正常有限時間t，使得在t步之后回到狀態(tài)j的概率大于0。換句話說，正常返狀態(tài)是那些可以回到自身的狀態(tài)。相反，如果一個狀態(tài)j無法回到自身，或者回到自身的概率為0，那么該狀態(tài)被稱為非正常返的?，F(xiàn)在，我們來證明給定條件下的無窮態(tài)不可約馬氏鏈是非正常返的。設(shè)馬氏鏈的狀態(tài)空間為S，對于每個狀態(tài)j∈S，令qj表示從狀態(tài)j出發(fā)進入所有狀態(tài)的過渡概率之和：qj=ΣiPij其中，Pij表示從狀態(tài)j過渡到狀態(tài)i的概率。根據(jù)條件，所有轉(zhuǎn)移陣的列和都不超過1，即對于每個狀態(tài)j∈S，有：qj≤1假設(shè)這個馬氏鏈是正常返的，即存在正常有限時間t，使得從狀態(tài)j出發(fā)，在t步之后回到狀態(tài)j的概率大于0?？紤]從狀態(tài)j出發(fā)，在t步之后達到狀態(tài)i的概率，記作Pt(j,i)。根據(jù)馬氏性質(zhì)，這個概率可以通過乘積的方式計算：Pt(j,i)=Pij*Pt-1(i,i)其中Pt-1(i,i)表示從狀態(tài)i出發(fā)，在t-1步之后回到狀態(tài)i的概率。由于馬氏鏈是不可約的，所有狀態(tài)之間存在一條路徑，因此對于任意的狀態(tài)i，有Pt-1(i,i)>0。由以上定義可知，對于任意的狀態(tài)i，Pt(j,i)>0成立。換句話說，無論從狀態(tài)j出發(fā)經(jīng)過多少步，都能夠到達狀態(tài)i?？紤]狀態(tài)j的過渡概率和qj：qj=ΣiPij由于所有轉(zhuǎn)移陣的列和都不超過1，因此qj≤1。然而，根據(jù)以上分析，對于任意的狀態(tài)i，Pt(j,i)>0。這意味著無論從狀態(tài)j出發(fā)經(jīng)過多少步，都有一定的概率到達狀態(tài)i。由于馬氏鏈是不可約的，所有狀態(tài)之間存在一條路徑，因此對于任意的狀態(tài)i，存在一條路徑可以從狀態(tài)j到達狀態(tài)i。綜上所述，由于無窮態(tài)不可約馬氏鏈滿足所有轉(zhuǎn)移陣的列和不超過1的條件，且不可能回到自身，因此無窮態(tài)不可約馬氏鏈必然是非正常返的。47.48.49.略50.略51.略52.53.54.略55.略56.略57.58.59.略60.一個轉(zhuǎn)移矩陣的列和全為1，我們稱之為雙隨機轉(zhuǎn)移矩陣。首先，我們證明有限雙隨機矩陣只有正常返態(tài)。假設(shè)有限轉(zhuǎn)移矩陣的大小為nxn。由于轉(zhuǎn)移矩陣的列和全為1，我們知道每個狀態(tài)都有一個正常有限時間t，使得從該狀態(tài)出發(fā)，在t步之后回到該狀態(tài)的概率大于0。換句話說，每個狀態(tài)都是正常返態(tài)?，F(xiàn)在，我們來求解有限不可約雙隨機矩陣的平穩(wěn)分布。一個轉(zhuǎn)移矩陣的平穩(wěn)分布是指在長時間內(nèi)，隨機過程的狀態(tài)分布不再發(fā)生變化。設(shè)有限不可約雙隨機矩陣的大小為nxn，記為P。我們要找到一個概率分布向量π=(π1,π2,…,πn)，其中每個元素表示狀態(tài)i的平穩(wěn)分布概率。根據(jù)馬氏鏈的平穩(wěn)分布性質(zhì)，我們需要解下面的方程組：π=π*P其中，π是一個概率分布向量，表示平穩(wěn)分布概率，*表示向量的矩陣乘法。為了解上述方程組，我們可以轉(zhuǎn)化為如下形式：(π1,π2,…,πn)*P=(π1,π2,…,πn)展開上面的等式，我們可以得到：(π1,π2,…,πn)*P-(π1,π2,…,πn)=(0,0,…,0)即(π1,π2,…,πn)*(P-I)=(0,0,…,0)其中，I是單位矩陣。上述方程表示平穩(wěn)分布向量與轉(zhuǎn)移矩陣減去單位矩陣的乘積為零向量。由于轉(zhuǎn)移矩陣是不可約的，因此從任何狀態(tài)i出發(fā)，經(jīng)過有限步驟都可以到達任何其他狀態(tài)j。因此，矩陣(P-I)是一個主對角線元素全為0，其余元素全部大于等于0的矩陣。由于(P-I)的每列元素之和等于0，因此(P-I)是一個奇異矩陣。根據(jù)線性代數(shù)的結(jié)論，奇異矩陣存在一個非零的解向量x，使得(P-I)*x=0。因此，我們可以得到一個非零向量x，使得x*(P-I)=0。結(jié)合前面的等式(π1,π2,…,πn)*(P-I)=(0,0,…,0)，我們可以得到：(π1,π2,…,πn)*x=0這意味著平穩(wěn)分布