信道和信道容量

信道和信道容量第一頁，共三十四頁，2022年，8月28日3.1概述

信道：用來傳輸信號(hào)的通道，它承擔(dān)了信息傳輸和信息存儲(chǔ)任務(wù)。對(duì)稱電纜性能穩(wěn)定有線信道：同軸電纜受大氣干擾影響小光纜傳輸質(zhì)量好

無線信道：長波、中波、短波微波中繼通信超短波、微波衛(wèi)星通信等第二頁，共三十四頁，2022年，8月28日信道還可以分為：按信道用戶分為：單用戶信道，多用戶信道按輸入、輸出關(guān)聯(lián)分為：無反饋信道，反饋信道按信道參數(shù)分為：固定參數(shù)信道，時(shí)變參數(shù)信道按傳輸信號(hào)的特點(diǎn)分為：離散信道，連續(xù)信道，半離散（半連續(xù)）信道，波形信道信道容量概念：信道中能傳送或存儲(chǔ)的最大信息，是信道傳輸信息能力的量度，是信道對(duì)信源的一切可能的概率分布而言能夠傳送的最大熵速率。第三頁，共三十四頁，2022年，8月28日通信系統(tǒng)一般模型：各種物理信道中存在的干擾限制了通信的距離與速率，為反映信道干擾對(duì)傳輸性能的影響，可用刻劃各種干擾的模型來表示信道。如：發(fā)送為xi（信道輸入），接收為yj（信道輸出），則信道特性為：

Pji＝P（yj/xi），用（條件）轉(zhuǎn)移概率描述信源信宿調(diào)制信道解調(diào)廣義信道第四頁，共三十四頁，2022年，8月28日信道中無干擾時(shí)：

Pji＝1j＝i0j≠i信道中干擾最嚴(yán)重時(shí)：P（yj/xi）＝P（yj）一、二元對(duì)稱信道二元信道中，0錯(cuò)成1和1錯(cuò)成0的概率相等時(shí)，為二元對(duì)稱信道；且：p＝0時(shí)，信道無干擾；P＝1/2時(shí)，信道干擾最為嚴(yán)重。第五頁，共三十四頁，2022年，8月28日

二、二元?jiǎng)h除信道難以區(qū)分原發(fā)送信號(hào)時(shí)，不硬性判斷0或1，而作刪除處理。刪除信道中，p＝q時(shí)，則為對(duì)稱刪除信道。三、Z信道信道特性：0錯(cuò)成1的概率為0，1錯(cuò)成0有一定可能。

1p1－p0101第六頁，共三十四頁，2022年，8月28日有記憶信道：有突發(fā)干擾或碼間干擾的信道。用聯(lián)合轉(zhuǎn)移概率表示：若信道的記憶很弱成為無記憶時(shí)，可表示成：無記憶信道：只有獨(dú)立干擾的信道。第七頁，共三十四頁，2022年，8月28日

小結(jié)：信道是傳輸信號(hào)的通道，信號(hào)則載荷有一定的信息，通信的目的是將信息送至信宿，而波形有無失真常常無關(guān)緊要。為了研究輸入信號(hào)和輸出信號(hào)之間的關(guān)系（這是信道特性的主要標(biāo)志），并統(tǒng)一描述各種信道，往往采用條件概率來描述，以此表明信道特性。第八頁，共三十四頁，2022年，8月28日3.2信道容量的表示互信息：I（X；Y）＝H（X）－H（X/Y）＝H（Y）－H（Y/X）H（X）：接收Y前，關(guān)于X的不確定性；H（X/Y）：接收Y后，關(guān)于X的不確定性；也稱信道疑義度，或稱損失熵H（Y/X）：在已知X的條件下，對(duì)Y尚存在的不確定性；也稱噪聲熵。第九頁，共三十四頁，2022年，8月28日I（X；Y）：接收到Y(jié)前、后關(guān)于的平均不確定性的消除；或發(fā)送X前、后關(guān)于Y的平均不確定性的消除?？梢姡红刂皇瞧骄淮_定性的描述，而不確定性的消除（兩熵之差）才等于接收端所獲得的信息量。獲得的信息量不能和不確定性混為一談。第十頁，共三十四頁，2022年，8月28日關(guān)于信道容量：研究：信道中平均每個(gè)符號(hào)所能傳送的信息量，即信息傳輸率R，也是平均互信息。R＝I（X；Y）＝H（X）－H（X/Y）比特/符號(hào)若平均傳輸一個(gè)符號(hào)需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛椋篟t＝（1/t）I（X；Y）bit/秒定義：最大的信息傳輸率為信道容量C，即：C＝max｛I（X；Y）｝bit/符號(hào)P(x)第十一頁，共三十四頁，2022年，8月28日達(dá)到信道容量時(shí)，相應(yīng)的輸入概率分布稱為最佳輸入分布，若平均傳輸一個(gè)符號(hào)需要t秒，則：信道單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛椋篊t＝（1/t）max｛I（X；Y）｝bit/秒注意：信道容量C與輸入信源的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。信道容量是完全描述信道特性的參數(shù)，是信道能夠傳輸?shù)淖畲笮畔⒘俊(x)第十二頁，共三十四頁，2022年，8月28日3.3信道容量計(jì)算一、離散無干擾信道的信道容量1、Y是X的一一對(duì)應(yīng)函數(shù)P(y/x)=1y=f(x)即：H(X/Y)=H(Y/X)=00y≠f(x)I(X;Y)=H(X)=H(Y)X的不確定性在接收端被完全解除，是無損無噪信道，其信道容量是求最大熵問題：C＝maxH(X)＝maxH(Y)＝lognbit/符號(hào)P(X)P(X)第十三頁，共三十四頁，2022年，8月28日2、一個(gè)輸入對(duì)應(yīng)多個(gè)輸出Y值，且Y值不重合接收到符號(hào)Y后，對(duì)發(fā)送X符號(hào)是完全確定的，是有噪無損信道，即：損失熵：H(X/Y)＝0，噪聲熵：H(Y/X)≠0I(X;Y)＝H(X)＝H(Y)－H(Y/X)＜H(Y)信道容量仍是最大熵問題（最大H(X)）：C＝maxH(X)＝logrbit/符號(hào)（設(shè)X有r個(gè)符號(hào)）結(jié)論：信道的轉(zhuǎn)移矩陣中，每列有一個(gè)也僅有一個(gè)非零元素時(shí)，此信道一定是有噪無損信道。P(X)第十四頁，共三十四頁，2022年，8月28日如圖信道示意，信道矩陣：第十五頁，共三十四頁，2022年，8月28日3、Y是X的確定函數(shù)，且是多一對(duì)應(yīng)收到Y(jié)后不能完全消除對(duì)X的不確定性，信息有損失，是無噪有損信道，也稱確定信道，即：損失熵：H(X/Y)≠0；噪聲熵：H(Y/X)＝0，I(X;Y)＝H(Y)＝H(X)－H(X/Y)＜H(X)第十六頁，共三十四頁，2022年，8月28日信道容量仍是最大熵問題（最大H(Y)）：C＝maxH(Y)＝logsbit/符號(hào)（設(shè)Y有s個(gè)符號(hào)）

此種情況中，一定能找到一種輸入概率分布P(X)使輸出Y達(dá)到等概分布。P(X)第十七頁，共三十四頁，2022年，8月28日二、對(duì)稱離散信道的信道容量

對(duì)稱離散信道：信道矩陣中每一行是另一行的置換，每一列是另一列的置換，具有對(duì)稱的信道矩陣。設(shè)X與Y符號(hào)個(gè)數(shù)相同（強(qiáng)對(duì)稱或均勻信道），均為n，則：條件概率：第十八頁，共三十四頁，2022年，8月28日可得：顯然，對(duì)于離散對(duì)稱信道，當(dāng)輸入符號(hào)是等概時(shí)，傳輸信息最大，每符號(hào)信道容量：若輸入、輸出符號(hào)個(gè)數(shù)不相同，但只要符合對(duì)稱信道特性，即每行和每列的取值集分別相同，只是排列不同，則信道容量和輸出符號(hào)集的個(gè)數(shù)s有關(guān)，為：s第十九頁，共三十四頁，2022年，8月28日

三、準(zhǔn)對(duì)稱信道的信道容量若信道矩陣[P]的s個(gè)列（Y集的元素是s個(gè)）可分為n個(gè)不相交的子集mk，由mk組成的矩陣[P]k是對(duì)稱矩陣（具有可排列的性質(zhì)），則稱此信道為準(zhǔn)對(duì)稱信道，其信道容量：

r為輸入符號(hào)集個(gè)數(shù)即信道矩陣行數(shù)準(zhǔn)對(duì)稱信道中的行元素第k個(gè)子矩陣中行元素之和第k個(gè)子矩陣中列元素之和第二十頁，共三十四頁，2022年，8月28日例3－1：二元對(duì)稱刪除信道如圖，計(jì)算信道容量。例3－2：準(zhǔn)對(duì)稱信道的信道矩陣為：P(y/x)＝0.50.30.20.30.50.2當(dāng)輸入概率分布為p(x1)＝ɑ，p(x2)＝1－ɑ求信息傳輸率R及信道容量。第二十一頁，共三十四頁，2022年，8月28日四、一般離散信道的信道容量對(duì)于非特殊性質(zhì)的固定信道，根據(jù)定義，其信道容量是對(duì)所有可能的輸入概率分布P(X)求平均互信息的極大值。由于I(X;Y)是P(X)的上凸函數(shù)，其極大值一定存在。注意：達(dá)到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足定理中的條件，并使I最大，即成為信道的最佳輸入分布。第二十二頁，共三十四頁，2022年，8月28日3.4串聯(lián)信道和并聯(lián)信道一、串聯(lián)信道其中：I(X;Z)≤I(X;Y)，I(X;Z)≤I(Y;Z)信道矩陣[P(z/x)]＝[P(y/x)][P(z/y)]顯然，通過串聯(lián)信道的傳輸只會(huì)丟失更多的信息I(X;Y)I(Y;Z)I(X;Z)且P(z/xy)=p(z/y)第二十三頁，共三十四頁，2022年，8月28日二、獨(dú)立并聯(lián)信道的容量聯(lián)合互信息：

I(X1X2;Y1Y2)≤I(X1;Y1)＋I(xiàn)(X2;Y2)信道容量：C12≤C1＋C2X1，X2、Y1，Y2相互獨(dú)立時(shí)：C12＝C1＋C2有N個(gè)信道時(shí)：C≤∑CiN個(gè)信道相同時(shí)：C≤NCii=1N信道1信道2X1X2Y1Y2C1C2第二十四頁，共三十四頁，2022年，8月28日結(jié)論：若N個(gè)符號(hào)以序列形式由一個(gè)信道傳送，當(dāng)輸入符號(hào)之間相互獨(dú)立，則信道中N個(gè)符號(hào)的容量能達(dá)到N倍單符號(hào)信道容量。第二十五頁，共三十四頁，2022年，8月28日3.5連續(xù)信道容量一、單符號(hào)高斯加性信道討論條件：信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是加性高斯噪聲。則噪聲熵：信道輸出：Y＝X＋n第二十六頁，共三十四頁，2022年，8月28日因此，當(dāng)輸入X為已知值時(shí)，Y也為正態(tài)變量，即：所以:信道容量:這是限平均功率的高斯信道的信道容量公式。第二十七頁，共三十四頁，2022年，8月28日注意：實(shí)際信道不一定符合高斯干擾的條件，求C往往很困難，一般沒有確切的方法，但在疊加性干擾條件下，可求出信道容量的上、下界。而高斯信道的容量是一般信道的下界。結(jié)論：實(shí)際信道的容量總是大于高斯信道的容量，用高斯信道條件計(jì)算出的容量來代表實(shí)際信道容量傳輸信息時(shí)，不會(huì)失真。第二十八頁，共三十四頁，2022年，8月28日二、限頻限功率高斯信道的容量條件：信道容許輸入信號(hào)是隨機(jī)過程，引入的干擾是高斯白噪聲，輸入信號(hào)平均功率受限為Ps，頻帶受限W。單位時(shí)間信道容量（香農(nóng)公式）：顯然，帶寬W↑→Ct↑，W→∞時(shí)，則：

Ct≈Ps/N0第二十九頁，共三十四頁，2022年，8月28日結(jié)論：當(dāng)頻帶很寬時(shí)，或信噪比很低時(shí)，信道容量等于信號(hào)功率與噪聲功率密度比，此比值是加性高斯噪聲信道信息傳輸率的極限值。在上述寬頻帶條件下，信號(hào)淹沒在噪聲中仍可傳送信息。由香農(nóng)公式得到的值是非高斯信道（實(shí)際信道）的信道容量的下限值。第三十頁，共三十四頁，2022年，8月28日三、多維無記憶高斯加性連續(xù)信道討論條件：輸入、輸出為隨機(jī)序列，且Y＝X＋n其中n＝（n1,n2,…,nN）是均值為零的高斯噪聲信道容量C‥‥‥①限制條件：‥‥‥②問題：輸入信號(hào)的總平均功率受限時(shí)，各時(shí)刻（各獨(dú)立信道）的信號(hào)平均功率Psi應(yīng)如何分配，才能使C最大？最終C應(yīng)等于多少？第三十一頁，共三十四頁，2022年，8