《信息論與編碼》課件第3章 信道與信道容量

目錄3.1信道分類(lèi)3.2單符號(hào)離散信道及其容量

3.2.1數(shù)學(xué)模型

3.2.2信道容量

3.2.3離散信道容量的迭代算法3.3離散序列信道及其容量3.4信源與信道的匹配3.5連續(xù)信道及其容量

3.5.1連續(xù)單符號(hào)加性信道

3.5.2多維無(wú)記憶加性連續(xù)信道

3.5.3加性高斯白噪聲波形信道信道就是信息傳輸?shù)耐ǖ?，是通信系統(tǒng)的重要組成部分，是傳輸信息的載體，其主要任務(wù)是傳輸或者存儲(chǔ)信息。通信的本質(zhì)就是通過(guò)信道傳輸信息，實(shí)現(xiàn)不同地點(diǎn)之間或者不同時(shí)間的信息交流。信道是信息論的主要研究對(duì)象之一，其主要研究?jī)?nèi)容是在理論上能夠傳輸或者存儲(chǔ)的最大信息量，即信道容量。3.1信道分類(lèi)

信道特點(diǎn)輸入、輸出信號(hào)之間不再具有明確的函數(shù)關(guān)系，而是具有統(tǒng)計(jì)依賴(lài)關(guān)系通過(guò)研究信道輸入輸出信號(hào)以及相互之間的依賴(lài)關(guān)系來(lái)研究信道信道是指信息傳輸?shù)耐ǖ缹?shí)際通信系統(tǒng)中使用各種各樣的物理通道，各種存儲(chǔ)媒質(zhì)有線的各種線路，無(wú)線的電波傳輸空間根據(jù)研究需要，可以選擇通信系統(tǒng)中不同的信道輸入輸出點(diǎn)，甚至可以將其中部分子系統(tǒng)進(jìn)行簡(jiǎn)化處理。物理信道的不同，信號(hào)傳輸過(guò)程中引入的噪聲或者干擾類(lèi)型也不盡相同，所以統(tǒng)計(jì)特性的研究是通信理論的主要內(nèi)容之一統(tǒng)計(jì)特性不是信息論的研究?jī)?nèi)容，一般認(rèn)為已經(jīng)知道信道的傳輸特性，在此基礎(chǔ)上研究信息傳輸問(wèn)題不研究信號(hào)在信道中的具體傳輸過(guò)程假設(shè)信道的傳輸特性是已知的研究方法根據(jù)不同的研究需要，將噪聲或者干擾對(duì)信號(hào)傳輸?shù)挠绊懹成錇閷?duì)應(yīng)形式的統(tǒng)計(jì)特性信道分類(lèi)統(tǒng)計(jì)特性恒參信道隨參信道信道的統(tǒng)計(jì)特性不隨時(shí)間而變化。如衛(wèi)星信道一般視為恒參信道信道的統(tǒng)計(jì)特性隨時(shí)間而變化大多數(shù)的信道都是隨參信道，統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度等參數(shù)而變化。如短波信道、微波信道等。用戶量單用戶信道多用戶信道也稱(chēng)兩端信道，該信道只有一個(gè)輸入端和一個(gè)輸出端，而且只能進(jìn)行單方向的通信也稱(chēng)多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信輸入、輸出的取值特性離散信道連續(xù)信道半離散半連續(xù)信道也稱(chēng)為數(shù)字信道，該類(lèi)信道中輸入空間、輸出空間均為離散事件集合，集合中事件數(shù)量是有限的，或者有限可數(shù)的，隨機(jī)變量取值都是離散的也稱(chēng)為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無(wú)限的、不可數(shù)的輸入空間、輸出空間一個(gè)為離散事件集合，而另一個(gè)則為連續(xù)事件集合，即輸入、輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的波形信道也稱(chēng)為時(shí)間連續(xù)信道，信道輸入、輸出都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù)集合，且在時(shí)間上的取值是連續(xù)的噪聲的統(tǒng)計(jì)特性隨機(jī)差錯(cuò)信道突發(fā)差錯(cuò)信道信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不關(guān)聯(lián)，碼元錯(cuò)誤不會(huì)成串出現(xiàn)信道中噪聲或者干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，從而使得碼元錯(cuò)誤往往成串出現(xiàn)，常有的如衰落信道、碼間干擾信道。在實(shí)際中這種信道經(jīng)常出現(xiàn)，如移動(dòng)通信的信道、光盤(pán)存儲(chǔ)器等最具有代表性的是高斯白噪聲信道3.2單符號(hào)離散信道及其容量

3.2.1數(shù)學(xué)模型單符號(hào)信道單維信道信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，即無(wú)記憶的，信道的分析可以簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析如果信道的輸入、輸出隨機(jī)變量都是離散的，則該信道為單符號(hào)離散無(wú)記憶信道。輸入符號(hào)、輸出符號(hào)不存在關(guān)聯(lián)性，并不表示輸出符號(hào)與輸入符號(hào)之間不存在關(guān)聯(lián)性信道的特性可以使用條件轉(zhuǎn)移概率進(jìn)行描述;表示在輸入為ai時(shí)，通過(guò)信道后接收為bj的概率，描述了信道噪聲的特性。矩陣形式條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣r*sp(bj|ai)通常稱(chēng)為前向概率p(bj|ai):后向概率表示當(dāng)接收符號(hào)為bj時(shí)，信道輸入為ai的概率，所以也稱(chēng)為后驗(yàn)概率貝葉斯公式后驗(yàn)概率都是十分重要的，可以通過(guò)前向概率和先驗(yàn)概率計(jì)算出3.2.2信道容量

單符號(hào)離散信道平均每個(gè)符號(hào)傳送的信息量定義為信道的信息傳輸率R由于信道中存在干擾，輸入符號(hào)經(jīng)過(guò)信道可能會(huì)出現(xiàn)錯(cuò)誤，信道輸出端接收的符號(hào)與輸入符號(hào)之間并不是一一對(duì)應(yīng)信道輸入平均信息量H(X)并不等于信道輸出端信息量H(Y)信道的信息傳輸率R含義：能夠正確傳輸?shù)男畔⒘?/p>

對(duì)于給定信道，前向概率p(y|x)是一定的，所以信道容量就是在信道前向概率一定的情況下，尋找某種先驗(yàn)概率分布，從而使得平均互信息量最大，這種先驗(yàn)分布概率稱(chēng)為最佳分布。定義3.1

設(shè)某信道的平均互信息量為I(X;Y)，信道輸入符號(hào)的先驗(yàn)概率為p(x)，該信道的信道容量C定義為條件極值問(wèn)題約束條件先驗(yàn)概率分布已知條件前向概率p(y|x)變化輸入分布p(x)極值I(X;Y)最大值使得I(X;Y)最大，這種先驗(yàn)分布概率稱(chēng)為最佳分布幾點(diǎn)結(jié)論：1對(duì)于給定信道最佳分布總是存在的如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量C2信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量3信息量R必須小于信道容量C，否則傳輸過(guò)程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤；如果R<C成立，可以通過(guò)信道編碼方法保證信息能夠幾乎無(wú)失真地傳送到接收端噪聲問(wèn)題X：信道輸入Y：信道輸出n：信道噪聲映射(輸入到輸出)無(wú)噪一對(duì)一條件轉(zhuǎn)移矩陣每行元素中只有一為個(gè)1，其余值都為0H(Y|X)=0有噪一對(duì)多條件轉(zhuǎn)移矩陣映射至少一行有兩個(gè)或者以上非0元素H(Y|X)！=0討論輸入與輸出之間問(wèn)題H(Y|X)=0為什么成立？非0即1，所以有損無(wú)損問(wèn)題屬于信號(hào)檢測(cè)或者估值方面問(wèn)題與有噪無(wú)噪相對(duì)應(yīng)討論輸出與輸入之間問(wèn)題映射(輸出到輸入)無(wú)損一對(duì)一條件轉(zhuǎn)移矩陣PY|X：每列元素中只有一為非0H(X|Y)=0可以反推出PX|Y：每行元素中只有一為1否則就是有損理想信道1．無(wú)干擾離散信道輸入、輸出符號(hào)之間是確定性關(guān)系或者簡(jiǎn)單的統(tǒng)計(jì)依賴(lài)關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合實(shí)際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類(lèi)模型進(jìn)行研究分類(lèi)根據(jù)信道輸入符號(hào)X與信道輸出符號(hào)Y之間的關(guān)系，可以分為下列幾種無(wú)噪無(wú)損無(wú)噪有損有噪無(wú)損有噪有損是最一般（除了上述三種之外，都是這類(lèi)信道），后面討論（1）無(wú)噪無(wú)損信道輸入、輸出集合符號(hào)數(shù)量相等輸入X與輸出Y之間一一對(duì)應(yīng)I(X;Y)=H(X)=H(Y)H(Y|X)=H(X|Y)=0由最大熵定理可知C=lb(r)比特/符號(hào)最佳分布：輸入等概率分布條件轉(zhuǎn)移概率矩陣：每行每列1個(gè)元素為1（2）無(wú)噪有損信道

比特/符號(hào)輸出Y集合的符號(hào)數(shù)量小于輸入X集合的符號(hào)數(shù)量輸入向輸出映射：多對(duì)一由于無(wú)損，條件轉(zhuǎn)移概率矩陣：每行有1個(gè)元素為1接收到符號(hào)Y后，并不能唯一確定信道輸入X，即不能夠完全消除X的不確定性最佳分布：輸出為等概率分布即改變輸入X分布是的Y為等概率分布（3）有噪無(wú)損信道

輸出Y集合的符號(hào)數(shù)量小于輸入X集合的符號(hào)數(shù)量輸入向輸出映射：一對(duì)多輸出向輸入映射：一對(duì)一由輸出X可以唯一確定信道輸入X無(wú)損H(X|Y)=0容量最佳分布信道輸入等概率分布每列一個(gè)非0為什么？2．對(duì)稱(chēng)離散信道的信道容量

有噪有損信道的一種特殊信道定義3.2

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱(chēng)信道關(guān)于輸入是對(duì)稱(chēng)的，這種信道稱(chēng)為輸入對(duì)稱(chēng)離散信道。即每行矢量具有相同的元素，每種元素的數(shù)量相同例如第二行的元素與第一行的元素完全相同所以該信道為輸入對(duì)稱(chēng)的

假設(shè)轉(zhuǎn)移矩陣首行元素為(p1,p2,…pr)，則有

特點(diǎn)輸入行矢量元素相同即條件熵H(Y|X)與信道輸入符號(hào)的分布無(wú)關(guān)。信道容量最佳分布找到一種分布，使得信道輸出的熵H(Y)最大不一定能夠找到一種輸入分布使得Y為等概率分布求該信道的容量C解：設(shè)信道輸入的概率空間為信道輸出的概率分布為例3.1

信道的轉(zhuǎn)移矩陣為取得極值的條件為與p無(wú)關(guān)P(bj)不可能等概率分布解上述方程，可以得到取得極值的條件為p=0.5，即當(dāng)信道輸入為等概率分布時(shí)，取得最大值，所以比特/符號(hào)比特/符號(hào)比特/符號(hào)顯然,，所以，當(dāng)信道只是輸入對(duì)稱(chēng)時(shí),應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問(wèn)題。信道容量不能夠簡(jiǎn)單認(rèn)為是結(jié)論：定義3.3如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱(chēng)信道關(guān)于輸出是對(duì)稱(chēng)的，這種信道稱(chēng)為輸出對(duì)稱(chēng)離散信道。如果信道是輸出對(duì)稱(chēng)的，那么當(dāng)信道輸入符號(hào)為等概率分布時(shí)，信道輸出也是等概率分布的。當(dāng)信道輸出對(duì)稱(chēng)時(shí)為常數(shù)輸入等概率分布時(shí)由于信道轉(zhuǎn)移矩陣是已知的，可以使用下列公式只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量。定義3.4

如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的子集，每個(gè)子矩陣滿足下列性質(zhì)：(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換；則稱(chēng)該信道為準(zhǔn)對(duì)稱(chēng)信道。顯然，準(zhǔn)對(duì)稱(chēng)信道是輸入對(duì)稱(chēng)的。特別地，當(dāng)這種劃分只有一個(gè)，該信道稱(chēng)為對(duì)稱(chēng)信道，此時(shí)信道既是輸入對(duì)稱(chēng)的，也是輸出對(duì)稱(chēng)的。輸入對(duì)稱(chēng)且滿足H(X|Y)與信道輸入的分布無(wú)關(guān)，只與條件概率分布有關(guān)對(duì)稱(chēng)信道的信道容量對(duì)稱(chēng)信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號(hào)集合的數(shù)量有關(guān)。如果希望信息傳輸率達(dá)到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。例3.3

設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個(gè)準(zhǔn)對(duì)稱(chēng)信道，可以將之分解為兩個(gè)互不相交的子集，而每個(gè)子集都是對(duì)稱(chēng)信道形式，對(duì)應(yīng)參數(shù)分別為

行元素之和列元素之和根據(jù)準(zhǔn)對(duì)稱(chēng)離散信道的信道容量計(jì)算公式求解

特別地，如果p＝0，則信道轉(zhuǎn)移矩陣為該信道即二元純對(duì)稱(chēng)刪除信道，其信道容量為比特/符號(hào)對(duì)應(yīng)的參數(shù)分別為例3.4信道轉(zhuǎn)移矩陣為求信道容量C。解：通過(guò)觀測(cè)可知，該信道是準(zhǔn)對(duì)稱(chēng)信道，可以分解為三個(gè)互不相交的子集，分別為，，，，，

，

，所以信道容量為

比特/符號(hào)3．一般離散信道的容量當(dāng)信道不具有對(duì)稱(chēng)性時(shí)，信道容量不容易求出，從信道容量的定義知道，信道容量就是在信道給定條件下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入輸出之間的平均互信息量最大，換句話說(shuō)，使得信道的輸入概率分布與信道匹配。對(duì)于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值問(wèn)題即可得到最佳分布；然后根據(jù)最佳分布計(jì)算信道輸入、輸出之間的平均互信息量，從而得到信道容量如果信道輸入、輸出符號(hào)數(shù)量較少，這種方法是可行的。例3.5

信道轉(zhuǎn)移矩陣為求信道輸入最佳分布和信道容量。

解：觀察信道轉(zhuǎn)移矩陣可知，該信道不是對(duì)稱(chēng)，信道的輸入輸出符號(hào)數(shù)量都為2，假設(shè)信道輸入符號(hào)的概率分別為p,1-p,可以得到平均互信息量。對(duì)H(X;Y)求導(dǎo)，得到最佳分布比特/符號(hào)從該例可以看出，即使是簡(jiǎn)單的非對(duì)稱(chēng)二元信道，其最佳分布的求解也十分復(fù)雜，不借用計(jì)算機(jī)很難求解出最佳分布，所以一般離散信道的信道容量的求解通過(guò)計(jì)算機(jī)求解。下面討論一般離散信道的解法在此之前，首先回憶一下高等數(shù)學(xué)方面的知識(shí)一般套路已知一些條件改變參數(shù)，要求一個(gè)極值存在一些約束想起什么？拉格朗日乘子法的典型套路信道轉(zhuǎn)移概率信道輸入概率之和為1可變化輸入分布，求互信息量最大值平均互信息量H(X;Y)是輸入概率分布p(x)的凸函數(shù)，所以極大值是一定存在的;H(X;Y)應(yīng)當(dāng)是個(gè)隨機(jī)變量(p1,p2,…,pr)的函數(shù)約束條件該多元函數(shù)的條件極值可以利用拉格朗日乘法求解1）構(gòu)造函數(shù)拉格朗日乘子2）對(duì)信道輸入概率p(ai)求導(dǎo)數(shù)，并令為0解方程組可以求出最佳概率分布3）將最佳分布代入I(X;Y)，即可求出信道容量。具體算法推導(dǎo)其中

所以考慮到和代入得到下列方程組

將方程組的兩邊同時(shí)乘以各自的概率p(ai)，并且兩邊同時(shí)對(duì)i求和，從而得到信道容量為由于定理3.2

設(shè)有一般離散信道，它有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，其平均互信息I(X;Y)達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足：常數(shù)C就是所求的信道容量。對(duì)所有的i上述定理只是給出了達(dá)到信道容量時(shí)，信道輸入符號(hào)分布的充要條件；不能夠給出信道輸入的最佳概率分布，也沒(méi)有給出信道容量的計(jì)算公式；達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得達(dá)到最大值即可。一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。但是對(duì)于某些特殊信道，可以使用上述定理求解信道容量。例3.7

設(shè)某信道轉(zhuǎn)移矩陣為求該信道的容量和信道輸入的最佳概率分布。解：該信道不是對(duì)稱(chēng)信道，所以不能直接使用對(duì)稱(chēng)信道計(jì)算其信道容量。但是通過(guò)觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的概率p(a2)=0，該信道就是一個(gè)二元純對(duì)稱(chēng)刪除信道。這樣就可以假設(shè)然后檢查是否滿足上述定理的條件，如果滿足就可以計(jì)算出信道容量。首先根據(jù)假設(shè)求出相應(yīng)的p(bj)，

然后計(jì)算互信息量顯然滿足定理3.2的條件，所以信道容量為對(duì)應(yīng)的信道輸入最佳概率分布為。3.2.3離散信道容量的迭代算法

對(duì)于一般的離散信道，可以使用計(jì)算機(jī)求信道容量。計(jì)算量問(wèn)題信道輸入符號(hào)數(shù)量r是已知的假設(shè)對(duì)應(yīng)概率分別為p1,p2,…,pr,不是，比這復(fù)雜累計(jì)概率允許概率精度為共r-1重循環(huán)第i重循環(huán)的次數(shù)為當(dāng)r較大，而且精度較小時(shí)，計(jì)算量十分大減少計(jì)算量采用迭代算法基本思想平均互信息量就可以表示為信道轉(zhuǎn)移矩陣和反向轉(zhuǎn)移矩陣的函數(shù)，通過(guò)反向矩陣修正信道輸入概率的分布，迭代計(jì)算I(X;Y)直到其趨向平穩(wěn)為止設(shè)后驗(yàn)概率p(ai|bj)為自變量，并且假設(shè)存在一個(gè)反向試驗(yàn)信道，反向信道的轉(zhuǎn)移矩陣就是由p(ai|bj)構(gòu)成的；正向信道

引入反向試驗(yàn)信道后1.以反向轉(zhuǎn)移概率分布為自變量構(gòu)造函數(shù)求偏導(dǎo)數(shù)假設(shè)信道p(ai)固定得到條件概率完備性代入得到含義：在輸入概率分布給定條件下，達(dá)到極大值的最佳反向轉(zhuǎn)移概率分布由所確定

2.以輸入概率分布p(ai)為自變量假設(shè)信道反向條件概率p(ai|bj)固定同理可以構(gòu)造函數(shù)求偏導(dǎo)數(shù)考慮到約束條件代入上式并且令信道輸入概率表示為3.離散無(wú)記憶信道容量的逐步迭代算法(1)任意選擇初始輸入概率分布往往選擇初始分布為等概率分布(2)計(jì)算(3)利用計(jì)算(4)利用計(jì)算(5)計(jì)算(6)判斷如果成立轉(zhuǎn)向（7），否則n=n+1轉(zhuǎn)(2)(7)輸出計(jì)算出的信道轉(zhuǎn)移概率和信道容量,迭代結(jié)束3.3離散序列信道及其容量對(duì)于無(wú)記憶離散序列信道而言，假設(shè)序列長(zhǎng)度為N，則信道轉(zhuǎn)移概率可以簡(jiǎn)化為信道轉(zhuǎn)移矩陣為N次擴(kuò)展信道的轉(zhuǎn)移矩陣為對(duì)于無(wú)記憶信道而言，上述的轉(zhuǎn)移概率可以簡(jiǎn)化為長(zhǎng)度為N的離散序列平均互信息量為定理3.3設(shè)離散信道的輸入序列為信道輸出序列為信道的轉(zhuǎn)移概率為(1)如果信道是無(wú)記憶的，則(2)如果信道輸入序列是無(wú)記憶的，即各個(gè)分量相互獨(dú)立(3)如果信道輸入序列和信道都是無(wú)記憶的對(duì)于一般的離散無(wú)記憶信道的N次擴(kuò)展信道，如果信道輸入隨機(jī)矢量是無(wú)記憶的，但是信道是非平穩(wěn)的串聯(lián)信道擴(kuò)展到一般形式并聯(lián)信道3.4信源與信道的匹配信源的分布并不總是滿足信道輸入最佳概率分布，所以信息傳輸速率總是小于信道容量的，當(dāng)信息傳輸速率達(dá)到信道容量時(shí)，稱(chēng)為信源與信道達(dá)到匹配，否則信道有冗余。定義3.5設(shè)信道的信息傳輸速率為I(X