第二章基本信息論馬爾可夫信源

第二章基本信息論馬爾可夫信源第1頁，課件共16頁，創(chuàng)作于2023年2月一、馬爾可夫鏈信源每一狀態(tài)下可能輸出的符號：設(shè)信源所處的狀態(tài)為：每一時刻信源發(fā)出一個符號后，所處的狀態(tài)發(fā)生轉(zhuǎn)移信源輸出的隨機符號序列為：信源所處的狀態(tài)序列為：設(shè)在第t時刻信源處于狀態(tài)ei時，輸出符號xk的概率給定，為：第2頁，課件共16頁，創(chuàng)作于2023年2月設(shè)信源在t的前一時刻(t-1)時刻處于ei狀態(tài)，而在時刻t轉(zhuǎn)移到ej狀態(tài)，轉(zhuǎn)移概率為：上式的條件概率稱為馬爾可夫鏈在時刻t的狀態(tài)一步轉(zhuǎn)移概率第3頁，課件共16頁，創(chuàng)作于2023年2月若信源輸出的符號和所處的狀態(tài)滿足以下兩個條件，則稱為馬爾可夫信源。二、馬爾可夫信源的定義1）某時刻信源輸出哪個符號只與此時刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)以及以前的輸出符號均無關(guān)。第4頁，課件共16頁，創(chuàng)作于2023年2月2）信源某時刻t所處的狀態(tài)，由當(dāng)前的輸出符號和前一時刻(t-1)

信源所處的狀態(tài)唯一確定。第5頁，課件共16頁，創(chuàng)作于2023年2月馬爾可夫信源特征的描述方法：狀態(tài)轉(zhuǎn)移圖條件概率狀態(tài)的一步轉(zhuǎn)移概率第6頁，課件共16頁，創(chuàng)作于2023年2月三、馬爾可夫信源熵若馬爾可夫信源的狀態(tài)數(shù)為m，則稱為m階馬爾可夫信源m階馬爾可夫信源的熵：第7頁，課件共16頁，創(chuàng)作于2023年2月eiej第8頁，課件共16頁，創(chuàng)作于2023年2月有限齊次馬爾可夫鏈的各態(tài)歷經(jīng)定理第9頁，課件共16頁，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第10頁，課件共16頁，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第11頁，課件共16頁，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8根據(jù)狀態(tài)轉(zhuǎn)移圖、條件概率矩陣或狀態(tài)一步轉(zhuǎn)移概率矩陣，可寫出：解：第12頁，課件共16頁，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第13頁，課件共16頁，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第14頁，課件共16頁，創(chuàng)作于2023年2月第15頁，課件共16頁，創(chuàng)作于2023年2月表示馬爾可夫信源穩(wěn)定后，其極限熵=各狀態(tài)的極限概率各狀態(tài)發(fā)出的符號形成的無記憶信源熵離散無記憶信源熵：取決于信源符號的概率分布離散有記憶信源熵：取決于信源符號的概率分布和信源符號間的條件概率穩(wěn)定后的馬爾可夫信源熵：取決于狀態(tài)概率分