信息與編碼講

第三講信息處理定理熵的性質(zhì)離散序列信源的熵2024/1/24離散信源熵2/322.2離散信源熵與互信息8信息處理定理第一級(jí)處理器第二級(jí)處理器XYZ假設(shè)在Y的條件下，X與Z獨(dú)立，則：于是：數(shù)據(jù)處理過程中只會(huì)損失一些信息，不會(huì)創(chuàng)造出新信息!2024/1/24離散信源熵3/322.2離散信源熵與互信息例：已知信源：對(duì)其兩次試驗(yàn)觀察的結(jié)果：1021/21/2201110101001010P(y2|x)10P(y1|x)2024/1/24離散信源熵4/322.2離散信源熵與互信息可以計(jì)算兩次實(shí)驗(yàn)結(jié)果的概率分布：1/21/2P(y2)1/21/2P(y1)10y210y1計(jì)算兩個(gè)互信息：因此第二個(gè)實(shí)驗(yàn)比第一個(gè)好2024/1/24離散信源熵5/322.2離散信源熵與互信息1/41/41/41/4P(y1,y2)1,11,00,10,0y1,y22024/1/24離散信源熵6/322.2離散信源熵與互信息對(duì)稱性非負(fù)性確定性香農(nóng)輔助定理最大熵定理?xiàng)l件熵小于無條件熵9熵的性質(zhì)2024/1/24離散信源熵7/322.2離散信源熵與互信息對(duì)稱性：2024/1/24離散信源熵8/322.2離散信源熵與互信息非負(fù)性：確定性：2024/1/24離散信源熵9/322.2離散信源熵與互信息最大熵定理：條件熵小于無條件熵：香農(nóng)輔助定理：2024/1/24離散信源熵10/322.2離散信源熵與互信息非負(fù)性互易性與熵和條件熵及聯(lián)合熵關(guān)系極值性凸性函數(shù)性質(zhì)信息不增性原理10互信息的性質(zhì)2024/1/24離散信源熵11/322.2離散信源熵與互信息非負(fù)性：2024/1/24離散信源熵12/322.2離散信源熵與互信息互易性：極值性：2024/1/24離散信源熵13/322.2離散信源熵與互信息平均互信息與熵的關(guān)系：2024/1/24離散信源熵14/322.2離散信源熵與互信息互信息量與熵的關(guān)系：2024/1/24離散信源熵15/32信源分類連續(xù)信源隨機(jī)變量信源離散信源單符號(hào)多符號(hào)隨機(jī)矢量隨機(jī)過程離散無記憶信源離散有記憶信源平穩(wěn)序列信源馬爾可夫信源2024/1/24離散信源熵16/321離散無記憶信源的序列熵設(shè)序列為：信源的序列熵為：2.3離散序列信源熵2024/1/24離散信源熵17/32信源無記憶時(shí)：2.3離散序列信源熵于是：序列熵等于各個(gè)時(shí)刻符號(hào)熵之和！H(X)2024/1/24離散信源熵18/32信源若平穩(wěn)：2.3離散序列信源熵于是：離散無記憶平穩(wěn)信源序列熵等于信源單符號(hào)熵的L倍！平均每個(gè)符號(hào)的熵：平均符號(hào)熵2024/1/24離散信源熵19/32二維信源12離散有記憶信源的序列熵2.3離散序列信源熵2024/1/24離散信源熵20/32二維信源的信源熵2024/1/24離散信源熵21/32一般地信源熵的說明結(jié)論：離散無記憶信源的二次擴(kuò)展信源可以看作二維離散平穩(wěn)信源的特例2024/1/24離散信源熵例2.2.3原始信源：條件概率：例題a1a2a3a1a2a39/111/802/113/42/901/87/922/322024/1/24離散信源熵2.3離散序列信源熵二重符號(hào)序列的熵：平均符號(hào)熵：?jiǎn)畏?hào)信源熵：23/322024/1/24離散信源熵N維信源224/322024/1/24離散信源熵?N維信源的信源熵25/322024/1/24離散信源熵平均符號(hào)熵：極限熵：平均符號(hào)熵與極限熵26/322024/1/24離散序列信源熵；連續(xù)信源熵；冗余度2.3離散序列信源的熵結(jié)論1是L的單調(diào)非增函數(shù)結(jié)論2結(jié)論3是L的單調(diào)非增函數(shù)結(jié)論4極限熵對(duì)于離散平穩(wěn)信源27/322024/1/24離散序列信源熵；連續(xù)信源熵；冗余度2.3離散序列信源的熵由此得到推論：對(duì)于平穩(wěn)的馬爾可夫信源：只需求出條件熵，便可得到極限熵！28/322024/1/24離散序列信源熵；連續(xù)信源熵；冗余度2.3離散序列信源的熵對(duì)于齊次遍歷馬爾可夫鏈馬爾可夫信源的極限熵29/322024/1/24離散序列信源熵；連續(xù)信源熵；冗余度2.3離散序列信源的熵馬爾可夫信源的熵：30/322024/1/24離散序列信源熵；連續(xù)信源熵；冗余度2.3離散序列信源的熵例：求馬氏鏈平均符號(hào)熵（三個(gè)狀態(tài)）解：列方程組求解穩(wěn)態(tài)分布：W1=5/59；