信息安全 第3章信道及其容量

1、第3章 信道及其容量作者：譚炳健 學(xué)號：1100360121 專業(yè)：信息安全 學(xué)院：計算機科學(xué)與工程學(xué)院 學(xué)校：桂林電子科技大學(xué)簡介：u信道（channel）顧名思義是通信的通道，具體而言，它是信號傳輸?shù)拿浇?，是傳送信息的載體信號所通過的通道，它是通信系統(tǒng)的重要部分。其任務(wù)是以信號作為載體來傳輸信息、存儲信息。在物理信道一定的情況下，人們總是希望傳輸?shù)男畔⒃蕉嘣胶?。這不僅與物理信道本身的特性有關(guān)，還與載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關(guān)，因此，研究信道的目的就是研究僅僅限定信道特征（考慮干擾源特征）的情況下，信道上傳輸或存儲的信息量的最大值，這個傳輸能力的極限我們稱為信道容量（cha

2、nnel capacity）。u這些研究依賴于對信道的問題建立一定的數(shù)學(xué)模型，選擇合理的、簡化的數(shù)學(xué)模型，從而，需要首先對信道通信問題建立簡化的數(shù)學(xué)模型，選擇必要的參數(shù)來描述信道的通信過程，以此為基礎(chǔ)，度量和分析各種類型的信道，計算在不同約束條件下的信道容量，并且分析相應(yīng)的特征。我們一般指的信道是物理信道，物理信道一般是指依托物理媒介傳輸信息的通道，比如：電話線，光纖，同軸，微波等。u與之相對的還有邏輯信道，當作信道。邏輯信道一般是指人為定義的信息傳輸信道，實際上許多時候提到的信道是廣義的，非物理的，比如我們可以將信道編碼、譯碼和信道看成一個廣義的信道，也可以將加密、加密和信源編碼、解碼當作信

3、道。3.1 信道的數(shù)學(xué)模型與分類v（1）根據(jù)輸入輸出隨機信號的特點分類v 離散信道：輸入、輸出隨機變量都取離散值。電報信道和數(shù)據(jù)信道就屬于這一類。v 連續(xù)信道：輸入、輸出隨機變量都取連續(xù)值。電視和電話信道屬于這一類。v 半離散/半連續(xù)信道：輸入變量取離散值而輸出變量取連續(xù)值，或反之。連續(xù)信道加上數(shù)字調(diào)制器或數(shù)字解調(diào)器后就是這類信道。v v 在連續(xù)信道中，如果輸入和輸出的信號在時間和幅度上均連續(xù)，稱為波形信道，可以用隨機過程來描述，一般將它分解為離散信道，時間或幅度之一上離散的連續(xù)信道，半離散半連續(xù)信道來研究。v （2）據(jù)輸入輸出隨機變量個數(shù)的多少分類v 單符號信道：輸入和輸出端都只用一個隨機變

4、量來表示。v 多符號信道：輸入和輸出端用隨機變量序列/隨機矢量來表示v（3）根據(jù)信道用戶的多少（輸入輸出個數(shù)）分類 v單用戶信道：只有一個輸入端和一個輸出端，注意信息只能向一個方向傳遞。比如點對點的單向通信，v多用戶信道：至少有一端有兩個以上的用戶合用一個信道，雙向通信，比如一般的通信網(wǎng)。v（4）根據(jù)輸入端和輸出端的關(guān)聯(lián)分類v無反饋信道：無反饋就是輸出端的信號不反饋到輸入端，即輸出信號對輸入信號沒有影響。v有反饋信道：輸出信號通過一定途徑反饋到輸入端，致使輸入端的信號發(fā)生變化的信道。v （5）根據(jù)信道參數(shù)與時間的關(guān)系分類vv固定參數(shù)（恒參、平穩(wěn)）信道：信道的統(tǒng)計特征不隨時間而變化，比如衛(wèi)星通信

5、信道可以近似的認為是固定參數(shù)信道。v 時變參數(shù)（隨參、非平穩(wěn)，time-varying）信道：信道的統(tǒng)計特征隨時間而變化，例如短波通信。v （6）根據(jù)信道上有無干擾分類v 有干擾信道（noisy discrete channel， discrete channel with noise）：存在噪聲或干擾的信道，或者同時存在兩者的信道。v 無干擾信道：不存在噪聲和干擾，或者可以忽略的信道。v v （7）根據(jù)信道有無記憶特性分類v 有記憶信道（channel with memory）：某個時間的輸出y不僅僅與相應(yīng)時間的輸入x有關(guān)，而與前后的輸入、輸出相關(guān)。類似于馬爾可夫信源，輸出只與前面有限個輸入

6、有關(guān)時，可稱為有限記憶信道。當與前面無限個輸入有關(guān)，但關(guān)聯(lián)性隨間隔加大而趨于零時，可稱為漸近有記憶信道。條件概率是相同的函數(shù)時，稱為平穩(wěn)信道，即變量的下標順序推移時，條件概率的函數(shù)形式不變。v v 無記憶信道（memoryless channel）：某個時間的輸出y只與相應(yīng)時間的輸入x有關(guān)，而與前后的輸入、輸出無關(guān)。v 還可以根據(jù)載荷消息的介質(zhì)和信號的形式不同進行分類。v 實際上，有時候信道劃分是人為的，比如下圖3-1中進行不同的劃分，由于信號在不同的位置進行不同的處理和轉(zhuǎn)換，所以對應(yīng)的信源、信宿可以認為是不一樣的，所以可以得出不同的信道類型：v圖3-1 不同的信道劃分信源編碼媒介譯碼信宿干擾

7、C1C2C3C4ABv其中：c1段，信號一般是連續(xù)的，所以該段為連續(xù)信道，調(diào)制信道；v c2為離散信道，編碼信道；v c3為半離散、半連續(xù)信道；v c4為半連續(xù)、半離散信道。v 狹義的信道僅僅包括傳輸介質(zhì)，但是廣義的信道可以包括傳輸介質(zhì)、各種信號變換、編碼和耦合裝置等。在通信系統(tǒng)中的廣義信道通常也可分成兩種：調(diào)制信道和編碼信道。v v （1）調(diào)制信道v 調(diào)制信道是從研究調(diào)制與解調(diào)的基本問題出發(fā)而構(gòu)成的，它的范圍是從調(diào)制器輸出端到解調(diào)器輸入端，從調(diào)制和解調(diào)的角度來看，我們只關(guān)心解調(diào)器輸出的信號形式和解調(diào)器輸入v 信號與噪聲的最終特性，并不關(guān)心信號的中間變化過程。因此，定義調(diào)制信道對于研究調(diào)制與解

8、調(diào)問題是方便和恰當?shù)?。v v補充相關(guān)概念：調(diào)制，就是把數(shù)字信號轉(zhuǎn)換成電話線上傳輸?shù)哪M信號；解調(diào)，即把模擬信號轉(zhuǎn)換成數(shù)字信號。將兩種功能合并在一起的設(shè)備合稱調(diào)制解調(diào)器，就是我們通常所稱的貓（Modem）。它能把計算機的數(shù)字信號翻譯成可沿普通電話線傳送的脈沖信號，而這些脈沖信號又可被線路另一端的另一個調(diào)制解調(diào)器接收，并譯成計算機可懂的語言。v v （2）編碼信道v 在數(shù)字通信系統(tǒng)中，如果僅著眼于編碼和譯碼問題，則可得到另一種廣義信道編碼信道。這是因為，從編碼和譯碼的角度看，編碼器的輸出仍是某一數(shù)字序列，而譯碼器輸入同樣也是一數(shù)字序列，它們在一般情況下是相同的數(shù)字序列。因此，從編碼器輸出端到譯碼器

9、輸入端的所有轉(zhuǎn)換器及傳輸媒質(zhì)可用一個完成數(shù)字序列變換的方框加以概括，此方框稱為編碼信道。v v v 當然廣義信道是一個非常廣泛、可以人為設(shè)定的概念，根據(jù)研究對象和關(guān)心問題的不同，還可以定義其它形式的廣義信道。v 3.1.2 信道的數(shù)學(xué)模型與參數(shù)u實際中的信道一般存在噪聲和干擾使輸出信號與輸入信號之間沒有固定的函數(shù)關(guān)系，只有統(tǒng)計依賴的關(guān)系。因此可以通過研究分析輸入輸出信號的統(tǒng)計特性來研究信道。u 首先來看下一般信道的數(shù)學(xué)模型，這里我們采用了一種“黑箱”法來操作。通信系統(tǒng)模型，在信道編碼器和信道解碼器之間相隔著許多其他部件，如調(diào)制解調(diào)、放大、濾波、均衡等器件，以及各種物理信道。信道遭受各類噪聲的干

10、擾，使有用信息遭受損傷。u 從信道編碼的角度，我們對信號在信道中具體如何傳輸?shù)奈锢磉^程并不感興趣，而僅對傳輸?shù)慕Y(jié)果感興趣：送人什么信號，得到什么信號，如何從得到的信號中恢復(fù)出送入的信號，差錯概率是多少。故將中間部分全部用信道來抽象，可以認為輸入信源X經(jīng)過信道變成Y。實際信道的帶寬總是有限的，所以輸入X和輸出Y總可以分解成隨機序列來研究。為了簡化問題，以下我們只研究無反饋，固定參數(shù)的單用戶離散信道。u如果要建立信道的模型，應(yīng)該有哪些參數(shù)，哪些參數(shù)是信道的固有參數(shù)，哪些是一些需要牽涉的參數(shù)？u 信道的基本特征包括輸入、輸出以及輸入和輸出之間的關(guān)系，我們可以假設(shè)輸入矢量為=(x1， x2， ， xN

11、)，輸入的矢量分量選擇于符號集 A=a1， a2， ， ar，輸出矢量 =(y1， y2， ， yN)，輸出的矢量分量選擇于符號集 B=b1， b2， ， bs，它們之間的統(tǒng)計關(guān)系用條件概率p(Y|X) （有時候用小寫x和y，或者用xi和yj，我們可以等同看待這些不同寫法，均為對X和Y所有可能情況的相應(yīng)條件概率的一種整體表征）來表示，在信息論中稱為轉(zhuǎn)移概率或者傳遞概率（Transition Probability）。u 1. 無干擾（無噪）信道的參數(shù)u我們首先討論作為簡單的情形，即沒有干擾（噪聲）的信道。由于沒有噪聲，所以輸入可以決定輸出，即存在確定的函數(shù)f，Y=f(X)。up ( y | x

12、) 的取值只有0和1，當y f ( x)時，條件概率p ( y | x)為0，當y = f ( x)時，條件概率p ( y | x)為1。u對于離散信道，如果信道轉(zhuǎn)移概率矩陣（Transition Probability Matrix，簡稱轉(zhuǎn)移矩陣，transition matrix， 偶有稱為概率轉(zhuǎn)移矩陣，Probabilistic Transfer Matrix，PTM）的每一行中只包含一個“1”，其余元素均為“0”，說明信道無干擾，叫無擾離散信道。u 2. 單符號離散信道的參數(shù)u多個符號序列存在有記憶和無記憶之分，我們先從簡單的單符號信道入手，由于是單符號，無需考慮信道是否有記憶，可以認

13、為是無記憶的，我們假設(shè)給定以下參數(shù)：u輸入單符號變量X，取自符號集 A=a1， a2， ， ar；u輸出單符號變量Y，取自符號集 B=b1， b2， ， bs；u由于信道的干擾使輸入符號x在傳輸中發(fā)生錯誤，這種錯誤是隨機發(fā)生的，所以可以用條件概率（轉(zhuǎn)移概率）來表示噪聲的干擾：p(y|x)= P(y=bj|x=ai)=p(bj|ai)；u 這一組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率，可以用來描述信道干擾影響的大小。顯然對于任一給定的ai，條件概率累加滿足歸一性，即p(bj| ai ) = 1。u 因此，一般簡單的單符號離散信道可以用X， P(y|x) ，Y 三者加以描述，當然對于輸入和輸出，不僅

14、僅需要知道其取值范圍，還希望有更加確切的了解，而輸入和輸出本身是不確定的，所以，只能用它們的概率空間描述，所以信道的數(shù)學(xué)模型可以用概率空間X， P(y|x) ，Y描述，也可以用下圖3-2表示u aaaXr21Ybbbs21)|(ijabP圖圖3-3-2 單符號離散信道單符號離散信道u單個符號的離散信道的轉(zhuǎn)移概率通常用信道轉(zhuǎn)移概率矩陣表示：u )a|b(p)a|b(p)a|b(p)a|b(pPrsr11s11u一般為了簡化，記pij= p(bj|ai)，則信道轉(zhuǎn)移概率矩陣可以表示為rsr11s11Pppppu注意：偶見在少數(shù)資料中，記pji= p(bj|ai)。u這個轉(zhuǎn)移概率矩陣完全描述了信道的

15、統(tǒng)計特征，又稱為信道矩陣，其中有些概率是信道干擾引起的錯誤概率，有些概率是信道正確傳輸?shù)母怕省？梢钥吹剑诺谰仃嚰缺磉_了輸入符號集A=a1, ar，又表達了輸出符號集B=b1, bs，同時還表達了輸入與輸出之間的傳遞概率關(guān)系，信道的輸入和輸出的所取的符號集（取值范圍）與信道的性質(zhì)有關(guān)系，但是輸入X和輸出Y的概率空間只是一種伴隨的參數(shù)，與信道的性質(zhì)無關(guān)，信道矩陣本身已經(jīng)隱含了信道的輸入輸出的取值數(shù)（對應(yīng)于矩陣的行數(shù)和列數(shù)），因此，信道矩陣也可以作為離散單符號信道的另一種數(shù)學(xué)模型的最簡形式。u例3-1 二進制信道是最簡單，也是最常用的信道，r=s=2時即為二進制信道，如果信道還滿足對稱性，則稱為二

16、元對稱信道（BSC，Binary Symmetrical Channel），如下圖3-3所示：uu u 圖3-3二元對稱信道u BSC信道的輸入符號X取值于0,1，輸出符號Y取值于0,1，r=s=2， a1=b1=0，a2=b2=1，傳遞概率為u 其中，表示信道輸入符號為0而接收到的符號為1的概率，表示信道輸入符號為1而接受到的符號為0的概率，它們都是單個符號傳輸發(fā)生錯誤的概率，通常用p表示。而和是無錯誤傳輸?shù)母怕?，通常用表示。u顯然，這些傳遞概率滿足歸一性，即滿足下式：u用矩陣來表示，即得二元對稱信道的傳遞矩陣為1)|()|(212211jjjjabPabP pppp111100u3. 有干

17、擾無記憶離散信道的參數(shù)u信道無記憶指的是輸出只與當前輸入有關(guān)，而與非該時刻的輸入信號、輸出信號都無關(guān)，與信源的無記憶具有相似性，但是不同于信源的記憶性。這種情況使得問題得以簡化，無需采用矢量形式，只要分析單個符號的轉(zhuǎn)移概率即可。有干擾無記憶信道有以下性質(zhì)：u|，（i =1，.，N） （3-3）u假設(shè)信道編碼器的輸入是n元符號，即輸入符號集由n個元素X=x1，x2，xn構(gòu)成，而檢測器的輸出是m元符號即信道輸出符號集由m個元素Yy1,y2，ym構(gòu)成，且信道和調(diào)制過程是無記憶的，那么信道模型黑箱的輸入一輸出特性可以用一組共nm個條件概率來描述。(/)( / )jijipY y X xpy xu 式中

18、，i=1，2，n；j=1，2，m；這樣的信道稱為離散無記憶信道 ( DMC，Discrete Memoryless Channel)。構(gòu)成的矩陣為P矩陣（信道矩陣）。1122111(, ,/, ,)(/)nnnnnkkkkkpYy YyYy XxXxpYy Xx(/)jip yxu在信道輸入為xi的條件下，由于干擾的存在，信道輸出不是一個固定值而是概率各異的一組值，這種信道就叫有擾離散信道。u4. 有干擾有記憶離散信道的參數(shù)u這種信道是更一般的情況，實際上大多數(shù)的信道嚴格意義上說屬于有干擾有記憶信道。例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。u在這一類信道中某一瞬間

19、的輸出符號不但與對應(yīng)時刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)，這樣的信道稱為有記憶信道。u由于有記憶信道的轉(zhuǎn)移概率計算涉及到太多的參數(shù)，因此對它的分析和計算更加復(fù)雜。提倡采用兩種方法進行簡化處理：1）將記憶性較強的N個符號當作一個N維矢量進行整體的處理，而各個矢量之間當作無記憶的。2）把信源序列的轉(zhuǎn)移概率當作馬爾可夫鏈的形式，即假設(shè)信道為有限記憶的。以上方法都是進行了簡化和近似處理，會帶來一定誤差。u5. 離散輸入連續(xù)輸出信道補充知識：加性噪聲一般指熱噪聲、散彈噪聲等，它們與信號的關(guān)系是相加，不管有沒有信號，噪聲都存在。而乘性噪聲一般由信道不理想引起，它們與信號的

20、關(guān)系是相乘，信號在它在，信號不在他也就不在。一般通信中把加性隨機性看成是系統(tǒng)的背景噪聲；而乘性隨機性看成系統(tǒng)的時變性（如衰落或者多普勒）或者非線性所造成的。前者相對容易分析，而后者則比較困難。與此相對應(yīng)，就有加性信道等概念。u加性高斯白噪聲在通信領(lǐng)域中指的是一種各頻譜分量服從均勻分布（即白噪聲），且幅度服從高斯分布的加性噪聲信號。因其可加性、幅度服從高斯分布且為白噪聲的一種而得名。u由于該噪聲在一定的條件下造成的影響最為顯著，所以該噪聲信號為一種便于分析的理想噪聲信號，實際的噪聲信號往往只在某一頻段內(nèi)可以用高斯白噪聲的特性來進行近似處理。由于AWGN信號易于分析、近似，因此在信號處理領(lǐng)域，對信

21、號處理系統(tǒng)（如濾波器、低噪音高頻放大器、無線信號傳輸?shù)龋┑脑肼曅阅艿暮唵畏治鰑(如：信噪比分析)中，一般可假設(shè)系統(tǒng)所產(chǎn)生的噪音或受到的噪音信號干擾在某頻段或限制條件之下是高斯白噪聲。u假設(shè)信道輸入符號選自一個有限的、離散的輸入字符集X=x1，x2， xn，而信道輸出未經(jīng)量化（m），這時的譯碼器輸出可以是實軸上的任意值，即y=，。這樣的信道模型為離散時間無記憶信道。u這類信道中最重要的一種是加性高斯白噪聲（AWGN）信道，對它而言Y=XG ，式中G是一個零均值、方差為的高斯隨機變量，X=xi，i=1，2，n。當 X給定后，Y是一個均值為xi、方差為的高斯隨機變量。u6.波形信道的參數(shù)u 信道的輸

22、入和輸出都是隨機過程x(t)和y(t)，我們稱為波形信道，通俗地說其輸入是模擬波形，其輸出也是模擬波形，可以用隨機過程來表述。在實際的模擬通信系統(tǒng)中，信道都是波形信道。為了便于分析，我們將來自各部分的噪聲和干擾都集中在一起，且認為都是信道加入的。同時可以假設(shè)隨機過程是平穩(wěn)的。22() /21()2iy xip y xe 因為實際波形信道的頻寬總是受限的，在有限觀察時間T內(nèi)能滿足限時限頻條件。因此可以根據(jù)取樣定理把波形信道的輸入x (t)和相應(yīng)的輸出是y(t)的平穩(wěn)隨機過程信號離散化成N=2FT個時間離散、取值連續(xù)的平穩(wěn)隨機序列和。從而波形信道問題轉(zhuǎn)化為多維連續(xù)信道問題研究。信道轉(zhuǎn)移概率密度函數(shù)

23、為， 顯然以上轉(zhuǎn)移概率密度函數(shù)也滿足歸一化條件。如果多維連續(xù)信道的轉(zhuǎn)移概率密度函數(shù)滿足獨立性條件u 則稱此信道為連續(xù)無記憶信道，即在任一時刻輸出變量只與對應(yīng)時刻的輸入變量有關(guān)系，而與此前的輸入輸出無關(guān)，也與以后的輸入變量無關(guān)。 反之，如果連續(xù)信道任何時刻的輸出變量與其他時刻的輸入輸出變量有關(guān)，則此信道稱為連續(xù)有記憶信道。1()()NYYlllpy xpy x u根據(jù)噪聲對信道中信號的作用不同，可以將噪聲分為加性噪聲和乘性噪聲，即噪聲與輸入信號是相加或相乘得到輸出信號。一般分析較多的，而且也容易從理論上進行分析的是加性噪聲信道。單個符號的加性噪聲信道可以表示為y(t)=x (t)n(t) 式中，

24、n(t) 是加性噪聲過程的一個樣本函數(shù)。一般在這種信道中，噪聲和信號通常相互獨立，所以， （3-4）,( , )( , )( ) ( )XYXnXnnpxypxn pxp n則 （3-5）即對于加性信道的傳遞概率密度函數(shù)就等于噪聲的概率密度函數(shù)。這也進一步說明了信道的傳遞概率是由于噪聲所引起的。以后還可以證明，因此在加性信道中條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的熵，所以稱為噪聲熵。以后主要討論的是加性信道，噪聲源主要是高斯白噪聲。,( , )( , )()( )( )( )X YX nYnXXpx ypx npy xp npxpx 以上只討論了一些常見信道模型的參數(shù)，并沒有完全討

25、論所有類型的信道。在不同的研究中，會用到不同的信道模型：a.設(shè)計和分析離散信道編、解碼器的性能，從工程角度出發(fā)，最常用的是DMC信道模型或其簡化形式BSC信道模型；b.若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；c.如果我們是想要設(shè)計和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用連續(xù)的波形信道模型。本書的主題是信道編、解碼，因此主要使用DMC信道模型。 3.2 信道疑義度與平均互信息 在上一章中，我們提到平均互信息量和疑義度的概念，信道通信的目的就是要給接收者提供信息，然而信道的干擾使得在實際的通信中完全可靠的傳輸是不可能的。接收者能夠得到的是信宿Y，而他所希望知道的卻是信源X，鑒于X

26、和Y之間的統(tǒng)計相關(guān)性，他可以試圖通過Y獲得關(guān)于X的信息，因此這涉及到已知Y的時候X的不確定度，即信道的疑義度，以及Y和X之間的平均互信息量。 疑義度和平均互信息量是研究信道的重要參數(shù)，相關(guān)的分析和性質(zhì)參見第二章，在此不贅述。3.3 信息傳輸率與信道容量 信道的容量實際上是由香農(nóng)信道編碼定理所證明，本書的后面會有相關(guān)的證明，在這里我們經(jīng)過簡單的分析直接給出定義。 信道的輸入X x1,x2,xi,xn，輸出Y y1,y2,yj,ym。 如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。輸出端Y往往只能獲得關(guān)于輸入X的部分信息，這是由于平均互

27、信息性質(zhì)決定的：I(X;Y)H(X)。 將信道中平均每個符號所能傳送的信息量定義為信道的信息傳輸率R，它的值就是平均互信息量，即R=I(X;Y)= H(X)-H(X|Y) bit/符號，后面的單位是以2為底的對數(shù)計算所對應(yīng)的結(jié)果，如果是其他底，應(yīng)該換成相應(yīng)的det（以10為底），nat（以e為底）等等，每符號是因為這是單個符號的互信息量，有時候也有symbol或channel use代替。 I(X;Y)是信源無條件概率p(xi)和信道轉(zhuǎn)移概率p(yj |xi)的二元函數(shù)，當信道特性p(yj | xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同

28、的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的型上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。 信道容量C（Channel capacity）：在信道中最大的信息傳輸速率，單位是比特/信道符號 （3-6） 單位時間的信道容量Ct：若信道平均傳輸一個符號需要t秒鐘，則單位時間的信道容量為： （bit/second） （3-7） Ct實際是信道的最大信息傳輸速率，單位比特/秒（bit/second）。有時候Ct仍稱為信道容量。 ()1max (; )itp xCI X Yt( )( )maxmax ( ; )(/)iip xp xCRI

29、X Y比特 信道符號 單位時間的信息傳輸速率：若信道平均傳輸一個符號需要t秒鐘，則信息傳輸速率為Rt=I(X;Y)/t bit/second，單位常常簡寫為bps。有時候其單位可以用每秒千比特數(shù)(Kbps)或每秒兆比特數(shù)(Mbps)來表示(此處K和M分別為1000和1000000，而不是涉及計算機存儲器容量時的1024和1048576)。 信道容量是信道的固有屬性，但是，傳輸?shù)男畔⒘磕芊褡尰バ畔⒘窟_到最大值，是由信源決定的，因此，信源對信道的匹配也是一個影響因素。平均互信息量達到最大值的時候信源的概率分布稱為最佳輸入分布。在討論信息傳輸率的時候，也會常常涉及到波特率和比特率的概念，區(qū)別如下：比

30、特率是指二進制數(shù)碼流的信息傳輸速率，單位是：bit/s簡寫b/s或bps，它表示每秒傳輸多少個二進制元素（每一個二進制的元素稱為比特）。波特又稱調(diào)制速率，是針對模擬數(shù)據(jù)信號傳輸過程中，從調(diào)制解調(diào)器輸出的調(diào)制信號每秒鐘載波調(diào)制狀態(tài)改變的數(shù)值，即單位時間內(nèi)載波參數(shù)變化的次數(shù)，稱為波特率（Baud rate）。它是對信號調(diào)制環(huán)節(jié)傳輸速率的一種度量，是對符號（而不是信息）傳輸速率的一種度量，1波特即指每秒傳輸1個符號。單位“波特”本身就已經(jīng)是代表每秒的調(diào)制數(shù)，以“波特每秒”（Baud per second）為單位是一種常見的錯誤。 比特率是對信息傳輸速率（傳信率）的度量。波特率可以被理解為單位時間內(nèi)傳

31、輸碼元符號的個數(shù)（傳符號率），通過不同的調(diào)制方法可以在一個碼元上負載多個比特信息。波特率與比特率的關(guān)系為：比特率=波特率單個調(diào)制狀態(tài)對應(yīng)的二進制位數(shù)。3.4 離散單個符號信道的信道容量 前面討論多各種信道，我們這里從最為簡單的單個符號的離散信道開始來分析信道容量。通過單個符號信道的信道容量的計算，可以為序列信道的信道容量計算提供一定的簡化方法。3.4.1 特殊離散信道下面介紹介紹三種最為簡單的理想信道：1具有一一對應(yīng)關(guān)系的無噪信道 圖3-4 一一對應(yīng)的無噪信道對應(yīng)的信道矩陣是：10000001010000100010010000011000vv 因為信道矩陣中所有元素均是“1”或“0”，X和Y

32、有確定的對應(yīng)關(guān)系：v 已知X后Y沒有不確定性，噪聲熵 H(Y|X)=0；v 反之，收到Y(jié)后，X也不存在不確定性，信道疑義度（損失熵） H(X|Y)=0;v 這是一種無噪無損信道。v 故有 I(X;Y)=H(X)=H(Y)。v 當信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達到信道容量：v v 2具有擴展性能的離散有噪聲信道1121314252627383( / )(/ )( / )00000000(/ )( / )(/ )00000000(/ )( / )p y xp y xp y xp y xp y xp y xp y xp y x雖然信道矩陣中的元素不全是“1”或“0”，但由于每列中

33、只有一個非零元素：已知Y后，X不再有任何不確定度，信道疑義度 H(X|Y)=0，I(X;Y)= H(X) -H(X|Y)= H(X)。例如，輸出端收到y(tǒng)2后可以確定輸入端發(fā)送的是x1，收到y(tǒng)7后可以確定輸入端發(fā)送的是x3，等等。圖3-5 具有擴展性能的無噪信道信道容量為：與一一對應(yīng)信道不同的是，此時輸入端符號熵小于輸出端符號熵，H(X) C時，任何編碼都不可能讓譯碼錯誤率趨向于任意小。 與無失真信源編碼定理(香農(nóng)第一定理)類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值（極限），只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。即在保證信息傳

34、輸率低于(直至無限接近)信道容量的前提下，錯誤概率趨于0的編碼是存在的。 雖然定理設(shè)有具體說明如何構(gòu)造這種碼，但它對信道編碼技術(shù)與實踐仍然具有根本性的指導(dǎo)意義，它不僅給定了極限值，而且告訴我們通過增加序列長度的方法進行整體的編碼， 可以減少錯誤率，他的極限指標也有助于評估各種編碼方法的優(yōu)劣。編碼技術(shù)研究人員在該理論指導(dǎo)下致力于研究實際信道中各種易于實現(xiàn)的具體編碼方法。二十世紀六十年代以來，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼，循環(huán)碼，卷積碼，級聯(lián)碼，格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I，目前已有趨向于香農(nóng)極限的優(yōu)秀編碼方法。 通過一個有噪信道可以實現(xiàn)幾乎無失真?zhèn)鬏?，這似乎是違背人

35、的直觀的，在香農(nóng)之前，人們多持有這種觀點，香農(nóng)的結(jié)論引起了很大的反響，甚至于有一些質(zhì)疑。香農(nóng)對該定理的 證明也是非常巧妙的，他先不去構(gòu)造理想的好碼，而是用隨機編碼的方法得到所有可能生成的碼的集合，然后在碼集合中隨機選擇一個碼作為輸入碼序列，最后計算這樣隨機選擇的一個碼在碼集合上的平均性能。在譯碼時，利用了聯(lián)合典型序列的概念，即將接收序列譯成與其聯(lián)合典型的碼字，這種譯碼方法不是最優(yōu)譯碼，但便于理論分析。 類似的利用長序列來構(gòu)造合適編碼的證明方法還被用來證明香農(nóng)第一定理（無失真壓縮的極限為信源熵）和香農(nóng)第三定理（限失真壓縮的極限為信息率失真函數(shù)）。 思考題與習(xí)題設(shè)信源通過一干擾信道，接收符號為Y=

36、y1,y2,信道傳遞的概率如圖3-17。求：（1）信源中x1和x2分別含有的自信息量。（2）接收消息yj（j=1，2）后，獲得的關(guān)于xi的信息量。（3）信源X和Y的信息熵。（4）信道的疑似度H(X|Y)和噪聲H(Y |X)。（5）接收消息Y后獲得的平均互信息。4 . 06 . 0)(21xxxPX 2 通 過一個干擾信道，接受符號集為 ，信道轉(zhuǎn)移矩陣為，試求（1） H(X),H(Y),H(XY)。（2） H(Y|X),H(X|Y);（3） I(Y;X)。12()0.50.5XxxP X12Yyy13443144 （4） 該信道的容量C。（5）當平均互信息量達到信道容量時，接收端Y的熵H（Y）。計算結(jié)果保留小數(shù)點后2位，單位為比特/符號。 3，設(shè)信源 通過某信道，接受符號集為，信道轉(zhuǎn)移矩陣（ ）為 （要求：計算結(jié)果保留三位小數(shù)，單位是：比特/符號。(/)ijjiap yx1213()44xxXP X1001 試求：（1）H(X),H(Y)；（2）求聯(lián)合熵H(XY)、信道疑義度H(X|Y)和噪聲熵H(Y|X)；（3）接收到Y(jié)后所獲得的平均互信息量是多少；（4）若改變信源的概率分布，則收到Y(jié)后能