第四章離散信道及其容量

第四章離散信道及其容量第1頁，課件共48頁，創(chuàng)作于2023年2月3〉研究信道的目的 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。信道輸入量X(隨機過程)輸出量Y(隨機過程)p(Y|X)第2頁，課件共48頁，創(chuàng)作于2023年2月按輸入/輸出信號在幅度和時間上的取值:離散信道：輸入和輸出的隨機序列取值都是離散的信道連續(xù)信道：輸入和輸出的隨機序列取值都是連續(xù)的信道半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)輸入變量取值連續(xù)而輸出變量取值離散第3頁，課件共48頁，創(chuàng)作于2023年2月時間離散的連續(xù)信道：信道輸入和輸出是連續(xù)的時間序列波形信道：輸入和輸出都是時間的實函數(shù)x(t),y(t)兩端信道多端信道恒參信道：參數(shù)不隨時間變化隨參信道：參數(shù)隨時間變化無記憶信道和有記憶信道對稱信道和非對稱信道第4頁，課件共48頁，創(chuàng)作于2023年2月多元接入信道廣播信道無損信道確定信道無噪信道第5頁，課件共48頁，創(chuàng)作于2023年2月4.2離散無記憶信道4.2.1離散信道數(shù)學(xué)模型信道描述信道可以引用三組變量來描述：信道輸入：X=(X1,X2…Xi,…),Xi∈{a1…an}信道輸出：Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道概率轉(zhuǎn)移矩陣：p{y/x}=p(y1y2..yn|x1x2…xn)即：{Xp(y|x)Y}第6頁，課件共48頁，創(chuàng)作于2023年2月定義4.2.1若離散信道對任意N長的輸入、輸出序列有則稱它為離散無記憶信道DMC。其信源模型為{Xp(yn|xn)Y}任何時刻信道的輸出至于此時刻信道的輸入有關(guān),而與以前的輸入無關(guān)。定義4.2.2對任意n和m,i∈A,j∈B,若離散無記憶信道還滿足則稱此信道為平穩(wěn)的或恒參的。第7頁，課件共48頁，創(chuàng)作于2023年2月1、無擾(無噪)信道信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:第8頁，課件共48頁，創(chuàng)作于2023年2月2、有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:3、有干擾有記憶信道4.2.2單符號離散信道X={a1,a2,……ar}P(Y/X)={p(bj/ai)}(i=1,2,……r;j=1,2,……s)Y={b1,b2,……bs}0≤p(bj/ai)≤1第9頁，課件共48頁，創(chuàng)作于2023年2月信道的傳遞概率又稱為轉(zhuǎn)移概率矩陣[P]稱為轉(zhuǎn)移矩陣或信道矩陣；表示為：[P]=b1b2…bsa1p(b1/a1)p(b2/a1)…p(bs/a1)a2p(b1/a2)p(b2/a2)…p(bs/a2)……………arp(b1/ar)p(b2/ar)…p(bs/ar)[P]矩陣為一個r×s矩陣，其每行元素之和等于1第10頁，課件共48頁，創(chuàng)作于2023年2月3、圖示法描述第11頁，課件共48頁，創(chuàng)作于2023年2月例4.2.1：二元對稱信道二元對稱信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1}很重要的一種特殊信道信道轉(zhuǎn)移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p第12頁，課件共48頁，創(chuàng)作于2023年2月4.2.2二元刪除信道BEC二元刪除信道BEC輸入符號X取值{0,1}；輸出符號Y取值{0,1,2}轉(zhuǎn)移矩陣02101p1-pq1-q第13頁，課件共48頁，創(chuàng)作于2023年2月4.2.3二元對稱消失信道二元刪除信道BEC輸入符號X取值{0,1}；輸出符號Y取值{0,1,2}轉(zhuǎn)移矩陣0x1011-p-qq1-p-qqpp第14頁，課件共48頁，創(chuàng)作于2023年2月先驗概率:信源發(fā)出消息ai的概率p(ai)=P(X=ai)(i=1,2,…,r)后驗概率:信宿收到bj后推測信源發(fā)出ai的概率p(ai|bj)=P(X=ai|Y=bj)聯(lián)合概率:p(ai|bj)=P(X=ai,Y=bj)=p(ai)p(bj|ai)=p(bj)p(ai|bj)前向概率:（及信道傳遞概率）輸出符號概率:p(bj|ai)=P(Y=bj|X=ai)p(bj)=P(Y=bj)第15頁，課件共48頁，創(chuàng)作于2023年2月4.2.3信道疑義度定義4.2.3稱輸入空間X對輸入空間Y的條件熵可疑度，它表示接收者收到Y(jié)后，對信源X仍然存在的平均不確定度。對于接收者來說，條件熵H(X/Y)稱為疑義度，對X尚存在的平均不確定度是由于干擾(噪聲)引起的

第16頁，課件共48頁，創(chuàng)作于2023年2月4.2.4平均互信息定義4.2.4原始信源熵與信道疑義度之差稱為平均互信息。信息=先驗不確定性－后驗不確定性=不確定性減少的量Y未知,X的不確定度為H(X)Y已知,X的不確定度變?yōu)镠(X|Y)第17頁，課件共48頁，創(chuàng)作于2023年2月平均互信息有擾信道干擾源信源X信宿Y通信系統(tǒng)中,若發(fā)端的符號為X,收端的符號為Y如果是一一對應(yīng)信道,接收到Y(jié)后,對X的不確定性將完全消除：H(X|Y)=0一般情況：H(X|Y)＜H(X),即了解Y后對X的不確定度的將減少通過信道傳輸消除了一些不確定性,獲得了一定的信息。第18頁，課件共48頁，創(chuàng)作于2023年2月平均互信息的另一種定義方法：第19頁，課件共48頁，創(chuàng)作于2023年2月定理4.2.1對于固定的信道（給定轉(zhuǎn)移概率矩陣P后）,平均互信息I(X;Y)是輸入信源的概率分布p(x)的上凸函數(shù)。定理4.2.2對于固定的信源分布,平均互信息I(X;Y)是信道傳遞概率p(y|x)的下凸函數(shù)。第20頁，課件共48頁，創(chuàng)作于2023年2月4.2.5平均互信息與各類熵的關(guān)系熵只是平均不確定性的描述;不確定性的消除(兩熵之差)才等于接收端所獲得的信息量。獲得的信息量不應(yīng)該和不確定性混為一談第21頁，課件共48頁，創(chuàng)作于2023年2月維拉圖

H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)第22頁，課件共48頁，創(chuàng)作于2023年2月4.3離散無記憶擴展信道4.3.1N次擴展信道1、簡單的離散無記憶信道第23頁，課件共48頁，創(chuàng)作于2023年2月第24頁，課件共48頁，創(chuàng)作于2023年2月2、N次擴展信道第25頁，課件共48頁，創(chuàng)作于2023年2月第26頁，課件共48頁，創(chuàng)作于2023年2月定理：設(shè)離散信道的輸入序列X＝(X1X2…XN)通過信道傳輸，接收到的隨機序列為Y=(Y1Y2…YN)，而信道的轉(zhuǎn)移概率為p(y∣x)。若信道是無記憶的，則有：若信源是無記憶的，則有：若信源與信道都是無記憶的，則有：第27頁，課件共48頁，創(chuàng)作于2023年2月4.4信道的組合在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。信道2信道1XYZ定理4.4.1級聯(lián)信道中的平均互信息滿足以下關(guān)系第28頁，課件共48頁，創(chuàng)作于2023年2月定理4.4.2若隨機變量X,Y,Z構(gòu)成一個馬爾可夫鏈，則有：例設(shè)有兩個離散BSC信道,串接如圖,兩個BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp第29頁，課件共48頁，創(chuàng)作于2023年2月4.5信道容量4.5.1信道容量的定義定義4.5.1信道容量定義為平均互信息的最大值：信道容量表征信道傳送信息的最大能力。實際信道傳送信息量必須小于信道容量，否則會出現(xiàn)錯誤。第30頁，課件共48頁，創(chuàng)作于2023年2月平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R第31頁，課件共48頁，創(chuàng)作于2023年2月信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?，稱為信息傳輸速率Rt。單位：bit/s若平均傳輸一個符號需要t秒鐘，則信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘緾t，為單位：bit/s第32頁，課件共48頁，創(chuàng)作于2023年2月4.5.2離散無噪信道1、無損信道設(shè)信道的輸入X∈A={a1…

an},輸出Y∈B={b1…

bm}無損信道的一個輸入對應(yīng)多個互不相交的輸出X

b1Ya1b2b3a2b4b51/31/31/31/43/4第33頁，課件共48頁，創(chuàng)作于2023年2月由于其矩陣的每一列元素只有一個非零元素，所以后驗概率不等于1，就等于0可知疑義度H(X/Y)=0，平均交互信息量達(dá)到最大值I(X,Y)=H(X)，C=logr。從平均意義上講，這種信道可以把信源的信息全部傳遞道信宿。說明：I(X;Y)=H(X)<H(Y),提示H(Y/X)>02、確定信道確定信道的輸出對應(yīng)多個互不相交的輸入。第34頁，課件共48頁，創(chuàng)作于2023年2月這類信道的轉(zhuǎn)移概率等于1或者等于0，每一列的元素可有一個或多個1，可知其噪聲熵H(Y/X)=0，此時的平均交互信息量達(dá)到最大值。I(X;Y)=H(Y)-H(Y/X)=H(Y)<H(X)C=max{I(X;Y))=maxH(Y)=logsXa1Ya2

b1a3a4b2a511111第35頁，課件共48頁，創(chuàng)作于2023年2月3、無損確定信道無損確定信道：輸入和輸出是一一對應(yīng)關(guān)系Xa1b1Ya2

b2a3

b3111第36頁，課件共48頁，創(chuàng)作于2023年2月4.5.3離散對稱信道定義4.5.2若一個離散信道的信道矩陣中，每一行都是由同一組元素的不同排列，則稱為輸入對稱信道。定義4.5.3若一個離散信道的信道矩陣中，每一列都是其他列同一組元素組成的不同排列，則稱為離散輸出對稱信道。如果一個離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為對稱信道。第37頁，課件共48頁，創(chuàng)作于2023年2月定義4.5.4若一個離散無記憶信道的信道矩陣中，按照信道的輸出集Y（即信道矩陣的行）可以將信道矩陣劃分成n個子集（子矩陣），每個子矩陣中的每一行（列）都是其他行（列）的同一組元素的不同排列，則稱這類信道為離散準(zhǔn)對稱信道。子集中元素滿足對稱性第38頁，課件共48頁，創(chuàng)作于2023年2月例：（對稱信道識別）

第39頁，課件共48頁，創(chuàng)作于2023年2月定理4.5.1實現(xiàn)離散準(zhǔn)對稱無記憶信道信道容量的輸入符號集的分布為等概分布。定理4.5.2若一個離散對稱信道具有r個輸入符號，s個輸出符號，則當(dāng)輸入為等概分布是，達(dá)到信道容量C，且C=logs-H(p1’p2’…ps’),式中p1’p2’…ps’為信道矩陣中的任一行。引理：對于對稱信道，只有當(dāng)信道輸入分布為等概分布時，輸出分布才能為等概分布。第40頁，課件共48頁，創(chuàng)作于2023年2月定義4.5.5信道輸入符號和輸出符號個數(shù)相同，且信道矩陣為，則稱此信道為強對稱信道或均勻信道。信道矩陣中各列之和也等于1。推論：均勻信道的信道容量為C=logr-plog(r-1)-H(p)第41頁，課件共48頁，創(chuàng)作于2023年2月4.5.4一般信道容量的計算方法定理4.5.3：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對于所有ai其p(ai)＞0I(ai;Y)≤C對于所有ai其p(ai)=0時，I(X;Y)達(dá)到極大值。此時，常數(shù)C記為所求的信道容量。上式說明：當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。第42頁，課件共48頁，創(chuàng)作于2023年2月4.5.5離散無記憶N次擴展信道設(shè)信道的輸入X=(X1,X2

…

Xi,…),Xi∈{a1…

an}

輸出Y=(Y1,Y2

…

Yj,…),Yj∈{b1…

bm}信道XYp(Y|X)對于無記憶離散N次擴展信道,其信道轉(zhuǎn)移概率為僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的第43頁，課件共48頁，創(chuàng)作于20