4_第四章_多符號離散信源與信道

CompletesignalsetZero memoryinformationsourceInformationwithmemoryChannelwithoutmemoryChannelwithmemory I ai 代數(shù)性質(zhì) 非負(fù)性 確定性 連續(xù)性 擴(kuò)展性 強(qiáng)可加性 可加性 遞推性 解析性質(zhì) 極值性 上凸性 最大離散熵定理 對稱性 復(fù)習(xí) I ai bj 非負(fù)性 交互性 極值性 上凸性 不增性 I X Y 有極大值 信道容量 無噪信道 對稱信道 Chapter4多符號離散信源與信道 概率復(fù)習(xí) 4 1多符號離散平穩(wěn)信源的數(shù)學(xué)模型 信源每次輸出的不是一個單個的符號 而是一個符號序列 通常一個消息序列的每一位出現(xiàn)哪個符號都是隨機(jī)的 而且一般前后符號之間的出現(xiàn)是有統(tǒng)計(jì)依賴關(guān)系的這種信源稱之為多符號離散信源 信源所發(fā)符號序列的概率分布與時(shí)間的起點(diǎn)無關(guān) 這種信源我們稱之為多符號離散平穩(wěn)信源 對于隨機(jī)變量序列 若任意兩個不同時(shí)刻i和j 信源發(fā)出消息的概率分布完全相同 則稱這種信源為一維平穩(wěn)信源 除上述條件外 如果聯(lián)合概率分布也與時(shí)間起點(diǎn)無關(guān) 則稱信源為二維平穩(wěn)信源 這種信源在任何時(shí)刻發(fā)出兩個符號的概率完全相同 各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源 k 1 2 k 1 2 平穩(wěn) 各種概率分布不隨時(shí)間變化而變化 k 1 2 N 4 離散平穩(wěn)無記憶信源的信息熵 離散無記憶信源 離散信源在不同時(shí)刻發(fā)出的符號之間是無依賴的 彼此統(tǒng)計(jì)獨(dú)立的 離散無記憶信源X的N次擴(kuò)展信源 由離散無記憶信源輸出N長的隨機(jī)序列構(gòu)成的信源 如果有一個離散無記憶信源X 取值于集合 其輸出消息序列可用一組組長度為N的序列來表示 即等效于一個新的信源 新信源每次輸出的是長度為N的消息序列 用N維離散隨機(jī)矢量來描述X 其中每個分量都是隨機(jī)變量 它們都取值于同一集合 且分量之間統(tǒng)計(jì)獨(dú)立 則由隨機(jī)矢量X組成的新信源稱為離散無記憶信源X的N次擴(kuò)展信源 數(shù)學(xué)模型 X信源空間的N重空間 信息熵 離散無記憶信源X的N次擴(kuò)展信源 或稱序列信源 的熵就是離散信源X的熵的N倍 信源X2 X1X2的概率分布為 信源X2的信源空間 信源X2的信息熵為 比特 2信符 消息 StationarystochasticprocessN thextensioninformationsourceN thextensionchannelDiscretesource channel Sourcecoding channelcoding 多符號離散平穩(wěn)信源的數(shù)學(xué)模型 離散無記憶信源X的N次擴(kuò)展信源 或稱序列信源 的熵就是離散信源X的熵的N倍 離散平穩(wěn)無記憶信源的信息熵 比特 2信符 消息 4 離散平穩(wěn)有記憶信源的信息熵 有記憶信源 輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系 但記憶長度有限 有記憶信源 一 二 平均符號熵 平均符號熵 極限熵 4 多符號離散平穩(wěn)有記憶信源的極限熵 N維離散平穩(wěn)有記憶信源的熵離散平穩(wěn)信源有記憶信源的聯(lián)合熵表示平均發(fā)一個消息 由N個符號組成 所提供的信息量 從數(shù)學(xué)角度出發(fā) 信源平均發(fā)一個符號所提供的信息量應(yīng)為我們稱為平均符號熵 當(dāng)時(shí) 平均符號熵取極限值 稱為極限熵或極限信息量 即 極限熵是否存在 如何計(jì)算 一 二 三 2 設(shè)計(jì) N K 變量的聯(lián)合熵 0 1 對于離散平穩(wěn)信源 當(dāng)時(shí) 具有以下性質(zhì) 條件熵隨N的增加是非遞增的 N給定時(shí) 平均符號熵條件熵 平均符號熵隨N增加是非遞增的 說明 條件較多的熵必小于或等于條件較少的熵 而條件熵必小于等于無條件熵 對于離散平穩(wěn)信源 當(dāng)考慮依賴關(guān)系為無限長時(shí) 平均符號熵和條件熵都非遞增地一致趨于平穩(wěn)信源的信息熵 極限熵 可用條件熵或平均符號熵來作為平穩(wěn)信源極限熵的近似值 MarkovprocessMarkovsourceentropyErgodicityErgodictheoremErgodicprocess 馬爾科夫信源的概念m階馬爾科夫信源的數(shù)學(xué)模型m階馬爾科夫信源的極限熵等于m階條件熵 4 馬爾可夫信源的極限熵 一 M 鏈 1 什么叫M 鏈 馬爾可夫過程 設(shè) X t t T 為隨機(jī)過程 若對任意正整數(shù)n及t10 且其條件分布滿足 p X tn xn X t1 x1 X t2 x2 X tn 1 xn 1 p X tn xn X tn 1 xn 1 則稱 X t t T 為馬爾可夫過程 2 M 鏈的統(tǒng)計(jì)特性 m階馬爾可夫信源 信源每次發(fā)出的符號只與前m個符號有關(guān) 與更前面的符號無關(guān) 時(shí)齊馬爾可夫信源 上述條件概率與時(shí)間起點(diǎn)i無關(guān) a1a2 ar a1a2 ar a1a2 ar 3 各態(tài)歷經(jīng) 遍歷 定理 例1 反射壁 例2 吸收壁 不具有各態(tài)歷經(jīng)性 4 狀態(tài)轉(zhuǎn)移圖 Shannon線圖 1 不可約性 2 非周期性 每一種狀態(tài)回到自己狀態(tài)的步數(shù)不存在大于1的公因子 a 不可約閉集 b 周期為2 二 M 信源的極限熵 m階M 信源 m M信源 rm r rm 1 例 2 M信源 作業(yè) P2023 63 9 EffectivenessReliabilityRedundancyVariationofinformationN thextensionChannelmatrix 信源冗余度及信息變差 由數(shù)據(jù)處理定理及離散熵的性質(zhì)有表明信源的記憶長度越長 熵就越小 即信源符號的相關(guān)性越強(qiáng) 所提供的平均信息量就越小 定義 信源熵的相對率為信源實(shí)際的信息熵與同樣符號數(shù)的最大熵的比值 信源的冗余度為1減去信源熵的相對率 冗余度也稱為多余度 剩余度或富余度 4 信源的剩余度與結(jié)構(gòu)信息 相對熵率 剩余度 信息變差冗余度的公式表明 信源的符號數(shù)一定 符號間的記憶長度越長 極限熵就越小 差值就越大 稱為信息變差 總結(jié) 通信的效率和可靠性問題往往是一對矛盾 信源編碼就是通過減少或消除冗余度來提高通信的效率 而信道編碼是通過增加冗余度來提高通信的抗干擾能力 4 多符號離散信道的數(shù)學(xué)模型 第二時(shí)刻 第N時(shí)刻 一 輸入符號集 二 輸出符號集 三 傳遞特性 無記憶信道 4 離散無記憶信道的 次擴(kuò)展 1 無記憶性 1 無預(yù)感性 反之 例1 BSC 二進(jìn)制對稱信道 1 輸入 2 輸出 3 傳遞概率 信道容量 4 次擴(kuò)展無記憶信道的容量 例1 作業(yè) P2033 12 小結(jié) 多符號離散信源的數(shù)學(xué)模型 離散平穩(wěn)無記憶信源的信息熵離散平穩(wěn)有記憶信源的信息熵平均符號熵 條件熵有下列關(guān)系平均符號熵與N 1維條件熵 馬爾科夫信源的概念m階馬爾科夫信源的數(shù)學(xué)模型m階馬爾科夫信源的極限熵等于m階條件熵 4 馬爾可夫信源的極限熵 2 M 鏈的統(tǒng)