第三信道與信道容量

第三信道與信道容量第一頁，共四十五頁，編輯于2023年，星期一第三章信道與信道容量

§3-1引言1〉什么是信道？信道是傳送信息的載體——信號所通過的通道。如：二人對話:二人間的空氣就是信道；打電話:電話線就是信道；看電視、聽收音機:收、發(fā)間的空間就是信道。

第二頁，共四十五頁，編輯于2023年，星期一2〉信道的作用

信道主要用于傳輸與存儲信息。3〉研究信道的目的1)描述、度量、分析不同類型信道；2)計算其容量，即極限傳輸能力，并分析其特性。4>信道傳輸能力取決于：1)本身特性2)信號形式3)信源特性第三頁，共四十五頁，編輯于2023年，星期一§3-2信道的分類與描述一〉信道分類:信道可從不同角度加以分類,歸納起來可分為：從工程物理背景——傳輸媒介類型；從數(shù)學(xué)描述方式——信號與干擾描述方式；從信道本身的參數(shù)類型——恒參與變參；從用戶類型——單用戶與多用戶；第四頁，共四十五頁，編輯于2023年，星期一二〉離散信道描述其中：

第五頁，共四十五頁，編輯于2023年，星期一信道可以引用三組變量來描述：信道輸入概率空間：信道概率轉(zhuǎn)移矩陣：信道輸出概率空間：即：它可簡化為：

第六頁，共四十五頁，編輯于2023年，星期一1）無擾信道:2）有擾無記憶信道:3）有擾有記憶信道:按信道的統(tǒng)計特性p(y/x)可將信道分為第七頁，共四十五頁，編輯于2023年，星期一§3-3有擾單符號離散信道XYa1a2anb1b2bmP

(Y/X)一>數(shù)學(xué)模型p(bj/ai)傳遞概率（i=1,2,…,n；j=1,2,…,m)輸入輸出對應(yīng)關(guān)系：第八頁，共四十五頁，編輯于2023年，星期一{X:{a1,a2,…,an}P(Y/X):{p(bj/ai)}Y:{b1,b2,…,bm}(i=1,2,…,n；j=1,2,…,m)特點：（1）0≤p(bj/ai)≤1(i=1,2,…,n；j=1,2,…,m)（2）第九頁，共四十五頁，編輯于2023年，星期一[P]→信道矩陣=1第十頁，共四十五頁，編輯于2023年，星期一圖3.3傳遞圖第十一頁，共四十五頁，編輯于2023年，星期一二〉信道容量下面，我們首先將互信息表達成概率的函數(shù)：

噪聲熵疑義度1、定義：第十二頁，共四十五頁，編輯于2023年，星期一一般當信道給定以后，（已知）

即，這時互信息僅決定于信源的先驗分布，我們可以進一步調(diào)整值使達到最大值，由互信息的性質(zhì),是的上凸函數(shù)，這時最大值一定存在，我們定義它為信道中傳送的最大信息率，即信道容量C，則即通過改變信道輸入的概率分布求得互信息的極值，稱它為給定信道的信道容量值。

第十三頁，共四十五頁，編輯于2023年，星期一2、信道容量及其一般算法信息傳輸率：(比特/信道符號）(比特/秒）若信道平均每傳一個符號需要t秒，則信息傳輸速率：第十四頁，共四十五頁，編輯于2023年，星期一信道容量：(比特/信道符號)(比特/秒)p(X)——匹配信源拉格朗日乘子法第十五頁，共四十五頁，編輯于2023年，星期一§3-3-1離散無擾信道及信道的容量1.無損確定信道：每列只有一個非零元素：第十六頁，共四十五頁，編輯于2023年，星期一信道輸入符號集符號數(shù)2.無損信道（具有擴展性質(zhì)的信道）a1b1b2b3p11p12p13a2b4b4b4p24p25p26第十七頁，共四十五頁，編輯于2023年，星期一每列只有一個非零元素：信道輸入符號集符號數(shù)第十八頁，共四十五頁，編輯于2023年，星期一3.確定信道（歸并信道）b1a3a2a1111b2a6a5a4111第十九頁，共四十五頁，編輯于2023年，星期一每行只有一個非零元素：信道輸出符號集符號數(shù)第二十頁，共四十五頁，編輯于2023年，星期一一〉幾種對稱信道的信道容量一、強對稱信道的容量（均勻信道）1>輸入r與輸出s相等2>傳遞概率：r=s§3-3-2有擾信道及其容量

第二十一頁，共四十五頁，編輯于2023年，星期一第二十二頁，共四十五頁，編輯于2023年，星期一H(Y/X)H(Y/ai)常數(shù)第二十三頁，共四十五頁，編輯于2023年，星期一第二十四頁，共四十五頁，編輯于2023年，星期一特點：當輸入信源X達到最大熵值時，輸出隨機變量

Y同時達到最大熵值，即：

H(X)=logr(2)當輸入X等概分布時：第二十五頁，共四十五頁，編輯于2023年，星期一(3)當輸入信源等概時：信道容量第二十六頁，共四十五頁，編輯于2023年，星期一1、數(shù)學(xué)模型：

矩陣中的每一行都是第一行的重排列或矩陣中的每一列都是第一列的重排列。二.一般性對稱信道第二十七頁，共四十五頁，編輯于2023年，星期一定義3.1

如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關(guān)于行（輸入）對稱。定義3.2

如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱該信道關(guān)于列（輸出）對稱。

第二十八頁，共四十五頁，編輯于2023年，星期一行：同一集合列：同一集合與強對稱信道的區(qū)別：1.強：r=s

對：r=s?2.強：行元素集合與列元素集合相等對：？3.強：行∑=1，列∑=1對：行∑=1，列：？4.強：對稱對：？第二十九頁，共四十五頁，編輯于2023年，星期一例：

第三十頁，共四十五頁，編輯于2023年，星期一定理：對于單個消息離散對稱信道，當且僅當信道輸入輸出均為等概率分布時，信道達到容量值。即2、對稱信道的容量行：同一集合列：同一集合第三十一頁，共四十五頁，編輯于2023年，星期一證：

第三十二頁，共四十五頁，編輯于2023年，星期一等概信源第三十三頁，共四十五頁，編輯于2023年，星期一§3-3-4離散單消息（或無記憶）信道容量C的計算：基本思路：

求C即求互信息極值，可以采用拉氏乘子求條件極值方法求解；第三十四頁，共四十五頁，編輯于2023年，星期一§3-4-3信源與信道匹配信道剩余度=C-I(X,Y)相對剩余度=C-I(X,Y)/C=1-I(X,Y)/C無損信道相對剩余度=1-H(X)/logr無損信道C=logrI(X,Y)=H(X)第三十五頁，共四十五頁，編輯于2023年，星期一§3-6連續(xù)信道及其容量連續(xù)信道：輸入輸出均為連續(xù)的,從時間關(guān)系上看：時間離散信道：時間連續(xù)信道：§3-6-1連續(xù)單消息信道及其容量一、單維連續(xù)通信系統(tǒng)數(shù)學(xué)模型：XYp(Y/X)第三十六頁，共四十五頁，編輯于2023年，星期一兩類情況

高斯加性信道非高斯加性信道加性信道的重要性質(zhì)：信道的傳遞概率密度函數(shù)就等于噪聲的概率密度函數(shù)加性信道第三十七頁，共四十五頁，編輯于2023年，星期一

連續(xù)信道容量可以證明式中S

－信號平均功率（W）；

N

－噪聲功率（W）；

B

－帶寬（Hz）。設(shè)噪聲單邊功率譜密度為n0，則N=n0B； 故上式可以改寫成：由上式可見，連續(xù)信道的容量Ct和信道帶寬B、信號功率S及噪聲功率譜密度n0三個因素有關(guān)。第三十八頁，共四十五頁，編輯于2023年，星期一

當S

，或n0

0時，Ct

。 但是，當B

時，Ct將趨向何值？令：x=S/n0B，上式可以改寫為：利用關(guān)系式上式變?yōu)榈谌彭?，共四十五頁，編輯?023年，星期一

上式表明，當給定S/n0時，若帶寬B趨于無窮大，信道容量不會趨于無限大，而只是S/n0的1.44倍。這是因為當帶寬B增大時，噪聲功率也隨之增大。

Ct和帶寬B的關(guān)系曲線：圖4-24信道容量和帶寬關(guān)系S/n0S/n0BCt1.44(S/n0)第四十頁，共四十五頁，編輯于2023年，星期一上式還可以改寫成如下形式：式中 Eb

－每比特能量；

Tb=1/B

－每比特持續(xù)時間。 上式表明，為了得到給定的信道容量Ct，可以增大帶寬B以換取Eb的減??；另一方面，在接收功率受限的情況下，由于Eb=STb，可以增大Tb以減小S來保持Eb和Ct不變。第四十一頁，共四十五頁，編輯于2023年，星期一香農(nóng)公式的主要結(jié)論：（1）信道容量C隨S/N增大而增大；（2）N－>0,C－>∞，無擾信道的容量為無窮大；（3），n0為噪聲功率譜密度；（4）C一定時，W與S/N之間可以彼此互換。第四十二頁，共四十五頁，編輯于2023年，星期一【例】已知黑白電視圖像信號每幀有30萬個像素；每個像素有8個亮度電平；各電平獨立地以等概率出現(xiàn)；圖像每秒發(fā)送25幀。若要求接收圖像信噪比達到30dB，試求所需傳輸帶寬?！窘狻恳驗槊總€像素獨立地以等概率取8個亮度電平，故每個像素的信息量為

Ip=-log2(1/8)=3 (b/pix) 并且每幀圖像的信息量為

IF=300,0003=900,000(b/F) 因為每秒傳輸25幀圖像，所以要求傳輸速率為

Rb=900,00025=22,500,000=22.5106(b/s) 信道的容量Ct必須不小于此Rb值。將上述數(shù)值代入式：得到 22.5106=Blog2(1+1000)9.97B最后得出所需帶寬

B=(22.5106)/9.972.26(MHz)第四十三頁，共四十五頁，編輯于2023年，星期一

有噪信道編碼定理(香農(nóng)第二定理)----信息論的基本定理1.定理:設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R<C，則存在一種編碼，當輸入序列長度n足夠大，使譯碼錯誤概率任意小。2.定理的含義該信道有r個輸入符號和s個輸出符號，其信道容量為C。由于輸入符號序列長度為n，因此可構(gòu)成rn個可供選擇的輸入消息符號。從rn個符號集中找到M≤2n（c－ε）個碼字（長度為n）組成的一組碼和它相應(yīng)的譯碼規(guī)則，使信道輸出的錯誤概率任意小。這樣編碼后，信道的信息傳輸率為只要R<C，就可以在有噪信道中以任意小的錯誤概率（pE<ε）傳輸信息，而且當n足夠大時，可以以任意接近信道容量C的信息傳輸率R傳遞信息。第四十四頁，共四十五頁，編輯于2023年，星期一3、有噪信道編碼定理的逆定理: