第三章 信道及其容量課件

第三章信道及其容量第三章信道及其容量信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。第三章信道及其容量3.1信道的數(shù)學(xué)模型和分類(lèi)圖3.1.1數(shù)字通信系統(tǒng)的一般模型第三章信道及其容量3.1信道的數(shù)學(xué)模型和分類(lèi)一、信道的分類(lèi)

根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞洁]遞信道電信道光信道聲信道輸入和輸出信號(hào)的形式信道的統(tǒng)計(jì)特性信道的用戶(hù)多少第三章信道及其容量根據(jù)信息傳輸?shù)姆绞椒诸?lèi)中根據(jù)信道的用戶(hù)多少：兩端(單用戶(hù))信道多端(多用戶(hù))信道根據(jù)信道輸入端和輸出端的關(guān)聯(lián)：無(wú)反饋信道反饋信道根據(jù)信道的參數(shù)與時(shí)間的關(guān)系：固定參數(shù)信道時(shí)變參數(shù)信道根據(jù)輸入和輸出信號(hào)的特點(diǎn)：離散信道連續(xù)信道半離散或半連續(xù)信道波形信道第三章信道及其容量二、離散信道的數(shù)學(xué)模型條件概率P(y/x)描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)依賴(lài)關(guān)系。反映了信道的統(tǒng)計(jì)特性。第三章信道及其容量根據(jù)信道的統(tǒng)計(jì)特性即條件概率P(y/x)的不同，離散信道又可分成三種情況：

無(wú)干擾信道有干擾無(wú)記憶信道有干擾有記憶信道第三章信道及其容量(1)無(wú)干擾(噪聲)信道信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)y與輸入信號(hào)x之間有確定的、一一對(duì)應(yīng)的關(guān)系。即：y＝f(x)第三章信道及其容量(2)有干擾無(wú)記憶信道信道輸入和輸出之間的條件概率是一般的概率分布。如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴(lài)于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱(chēng)為無(wú)記憶信道。第三章信道及其容量(3)有干擾(噪聲)有記憶信道實(shí)際信道往往是既有干擾(噪聲)又有記憶的這種類(lèi)型。例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。在這一類(lèi)信道中某一瞬間的輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)，這樣的信道稱(chēng)為有記憶信道。第三章信道及其容量三、單符號(hào)離散信道單符號(hào)離散信道：輸入符號(hào)為X，取值于{a1,a2,…,ar}。輸出符號(hào)為Y，取值于{b1,b2,…,bs}。條件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai)這一組條件概率稱(chēng)為信道的傳遞概率或轉(zhuǎn)移概率，可以用來(lái)描述信道干擾影響的大小。第三章信道及其容量信道中有干擾(噪聲)存在，可以用傳遞概率P(bj/ai)來(lái)描述干擾影響的大小。一般簡(jiǎn)單的單符號(hào)離散信道可以用[X,P(y/x),Y]三者加以描述。其數(shù)學(xué)模型可以用概率空間[X,P(y/x),Y]描述。當(dāng)然，也可用下圖來(lái)描述：a1b1

a2b2X .

.Y..arbsP(bj/ai)第三章信道及其容量[例1]

二元對(duì)稱(chēng)信道，[BSC，BinarySymmetricalChannel]解：此時(shí)，X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。傳遞概率:p是單個(gè)符號(hào)傳輸發(fā)生錯(cuò)誤的概率。（1-p）表示是無(wú)錯(cuò)誤傳輸?shù)母怕省＾D(zhuǎn)移矩陣:01011－p

a1=00=b11－p

a2=11=b2pp第三章信道及其容量符號(hào)“2”表示接收到了“0”、“1”以外的特殊符號(hào)02101p001－p11q1－q2[例2]二元?jiǎng)h除信道。[BEC，BinaryEliminatedChannel]解：X:{0，1}Y:{0，1，2}此時(shí)，r＝2，s＝3，傳遞矩陣為：第三章信道及其容量一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即

矩陣P完全描述了信道的特性，可用它作為離散單符號(hào)信道的另一種數(shù)學(xué)模型的形式。

P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱(chēng)為信道矩陣（轉(zhuǎn)移矩陣）

。

b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)第三章信道及其容量3.2信道疑義度與平均互信息

本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問(wèn)題。第三章信道及其容量一、信道疑義度信道輸入信源X的熵H(X)是在接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性，稱(chēng)為先驗(yàn)熵。第三章信道及其容量接受到bj后，關(guān)于X的不確定性為

后驗(yàn)熵在輸出符號(hào)集Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集Y中求數(shù)學(xué)期望，得條件熵----信道疑義度：這是接收到輸出符號(hào)bj后關(guān)于X的后驗(yàn)熵。

后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào)bj后，關(guān)于輸入符號(hào)的信息測(cè)度。第三章信道及其容量互信息量

I(xi;yj)：收到消息yj

后獲得關(guān)于xi的信息量即：互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量對(duì)于無(wú)干擾信道，I(xi;yj)=I(xi)；對(duì)于全損信道，I(xi;yj)=0；二、平均互信息第三章信道及其容量平均互信息I(X;Y)：

I(xi;yj)的統(tǒng)計(jì)平均。它代表接收到符號(hào)集Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。第三章信道及其容量關(guān)于平均互信息I(X;Y)

互信息I(x;y)代表收到某消息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負(fù)值。若互信息I(x

;

y)<0，說(shuō)明在未收到信息量y以前對(duì)消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息y后，反而對(duì)x是否出現(xiàn)的不確定程度增加了。

I(X;Y)是I(x;y)的統(tǒng)計(jì)平均，所以I(X;Y)>=0。若I(X;Y)=0，表示在信道輸出端接收到輸出符號(hào)Y后不獲得任何關(guān)于輸入符號(hào)X的信息量----全損信道。第三章信道及其容量I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息與各類(lèi)熵的關(guān)系第三章信道及其容量平均互信息與各類(lèi)熵之間關(guān)系的集合圖（維拉圖）表示：

H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)

H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)圖中，左邊的圓代表隨機(jī)變量X的熵，右邊的圓代表隨機(jī)變量Y的熵，兩個(gè)圓重疊部分是平均互信息I(X;Y)。每個(gè)圓減去I(X;Y)后剩余的部分代表兩個(gè)疑義度。第三章信道及其容量

兩種特殊信道（1）、離散無(wú)干擾信道(無(wú)損信道)

信道的輸入和輸出一一對(duì)應(yīng)，信息無(wú)損失地傳輸，稱(chēng)為無(wú)損信道。

H(X|Y)=H(Y|X)=0[損失熵和噪聲熵都為“0”]

由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息:I(X;Y)=H(X)=H(Y)

第三章信道及其容量（2）、輸入輸出獨(dú)立信道(全損信道)

信道輸入端X與輸出端Y完全統(tǒng)計(jì)獨(dú)立

H(X|Y)=H(X),H(Y|X)=H(Y)

所以I(X;Y)=0[I(X;Y)=H(X)-H(X|Y)]

信道的輸入和輸出沒(méi)有依賴(lài)關(guān)系，信息無(wú)法傳輸，稱(chēng)為全損信道。

接收到Y(jié)后不可能消除有關(guān)輸入端X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從X中獲得任何關(guān)于Y的信息量。平均互信息I(X;Y)等于零，表明了信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零。第三章信道及其容量二種極限信道各類(lèi)熵與平均互信息之間的關(guān)系H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)無(wú)損信道：完全重迭全損信道：完全獨(dú)立無(wú)損信道：全損信道：第三章信道及其容量3.2平均互信息的性質(zhì)平均互信息

I(X;Y)具有以下特性：（1）非負(fù)性即I(X;Y)>=0

當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。（2）極值性即I(X;Y)<=H(X)

當(dāng)H(X/Y)=0時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式成立。第三章信道及其容量（3）交互性（對(duì)稱(chēng)性）即I(X;Y)=I(Y;X)

當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)

I(X;Y)=I(Y;X)=0

當(dāng)信道無(wú)干擾時(shí)(一一對(duì)應(yīng))

I(X;Y)=I(Y;X)=H(X)=H(Y)第三章信道及其容量（4）凸?fàn)钚?/p>

所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數(shù)，即：

I(X;Y)=f[P(x),P(y|x)]第三章信道及其容量

平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數(shù)。（1）對(duì)固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。（2）對(duì)于每一個(gè)固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。第三章信道及其容量

平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數(shù)。當(dāng)信源固定后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。對(duì)每一種信源都存在一種最差的信道，此時(shí)干擾(噪聲)最大，而輸出端獲得的信息量最小。第三章信道及其容量3.3

離散無(wú)記憶信道的擴(kuò)展信道

離散無(wú)記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿(mǎn)足：仍可用[X，P(y/x)，Y]概率空間來(lái)描述。設(shè)離散無(wú)記憶信道的輸入符號(hào)集A＝{a1，…，ar}，輸出符號(hào)集B＝{b1

，…，bs}，信道矩陣為:第三章信道及其容量則此無(wú)記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如圖所示:而信道矩陣：其中：

第三章信道及其容量[例3]求二元無(wú)記憶對(duì)稱(chēng)信道（BSC）的二次擴(kuò)展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴(kuò)展信道的輸入符號(hào)集為A＝{00，01，10，11}，共有22＝4個(gè)符號(hào)，輸出符號(hào)集為B＝{00，01，10，11}。由于是無(wú)記憶信道，可求得二次擴(kuò)展信道的傳遞概率：信道矩陣：第三章信道及其容量

根據(jù)平均互信息的定義，可得無(wú)記憶信道的N次擴(kuò)展信道的平均互信息：第三章信道及其容量若信道的輸入隨機(jī)序列為X=(X1X2…XN)，通過(guò)信道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假若信道是無(wú)記憶的，即信道傳遞概率滿(mǎn)足：則有：式中XiYi是對(duì)應(yīng)第i位的隨機(jī)變量。若信源是無(wú)記憶的，則等式成立。

直觀(guān)分析：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少第三章信道及其容量若信道的輸入隨機(jī)序列為X=(X1X2…XN)，通過(guò)信道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假若信源是無(wú)記憶的，則有：其中Xi和Yi是隨機(jī)序列X和Y中的第i位隨機(jī)變量。直觀(guān)分析：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。若信道和信源都是無(wú)記憶的，則：第三章信道及其容量研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量-----信息傳輸率R平均互信息I(X;Y)就是接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。所以：

R=I(X;Y)=H(X)–H(X|Y)(比特/符號(hào))3.4離散信道的信道容量信道中每秒平均傳輸?shù)男畔⒘?---信息傳輸速率RtRt＝R/t=I(X;Y)/t=H(X)/t–H(X|Y)/t（比特/秒）第三章信道及其容量一、

信道容量的定義

由于平均互信息I(X;Y)是輸入隨機(jī)變量的∩型凸函數(shù)，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。即存在一個(gè)最大的信息傳輸率------定義為信道容量C（比特/符號(hào)）(Bit/s)Ct仍稱(chēng)為信道容量

若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛镃t：第三章信道及其容量即：[例4]

信道容量的計(jì)算因此，二元對(duì)稱(chēng)信道的信道容量為：二元對(duì)稱(chēng)信道，I(X;Y)時(shí)，I(X;Y)最大。當(dāng)(比特／符號(hào))由此可見(jiàn)，二元對(duì)稱(chēng)信道的信道容量只是信道傳輸概率p的函數(shù)，與輸入符號(hào)X的概率分布ω?zé)o關(guān)。第三章信道及其容量離散無(wú)噪信道二、簡(jiǎn)單離散信道的信道容量例如：其信道矩陣是單位矩陣：滿(mǎn)足：I(X;Y)=H(X)=H(Y)第三章信道及其容量有噪無(wú)損信道：

接收到符號(hào)Y后，對(duì)X符號(hào)是完全確定的。損失熵H(X/Y)=0，但噪聲熵H(Y/X)≠0其信道矩陣：所以：I(X;Y)=H(X)<H(Y)第三章信道及其容量無(wú)噪有損信道滿(mǎn)足：I(X;Y)=H(Y)<H(X)信道的疑義度（損失熵）

H(X/Y)≠0而噪聲熵H(Y/X)=0。即接收到符號(hào)Y后不能完全消除對(duì)X的不確定性第三章信道及其容量

所謂對(duì)稱(chēng)信道，是指信道矩陣P中每一行都是由同一集合{p1’，p2’，…，ps’}中的諸元素不同排列組成，且每一列也都是由{q1’，q2’，…，qr’}中的諸元素不同排列組成。具有這種對(duì)稱(chēng)信道矩陣的信道稱(chēng)為對(duì)稱(chēng)離散信道。一般s≠r。三、對(duì)稱(chēng)離散信道的信道容量例如：都是對(duì)稱(chēng)離散信道第三章信道及其容量都不是對(duì)稱(chēng)離散信道第三章信道及其容量若輸入/輸出符號(hào)個(gè)數(shù)相同，都等于r，且信道矩陣為：

則此信道稱(chēng)為強(qiáng)對(duì)稱(chēng)信道或均勻信道。這類(lèi)信道中總的錯(cuò)誤概率為p，對(duì)稱(chēng)地平均分配給r-1個(gè)輸出符號(hào)。它是對(duì)稱(chēng)離散信道的特例。第三章信道及其容量

這一項(xiàng)是固定X＝x

時(shí)對(duì)Y求和，即對(duì)信道矩陣的行求和。由于信道的對(duì)稱(chēng)性，所以H(Y/X=x

)與x

無(wú)關(guān)，為一常數(shù)，即

因此對(duì)稱(chēng)離散信道的信道容量：對(duì)稱(chēng)離散信道的平均互信息為：I(X;Y)=H(Y)-H(Y/X)第三章信道及其容量

在這個(gè)信道中，每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔?.0817比特。只有當(dāng)信道的輸入符號(hào)是等概率分布時(shí)才能達(dá)到這個(gè)最大值。[例5]

某對(duì)稱(chēng)離散信道的信道矩陣如下，求其信道容量。解：s=4,r=2第三章信道及其容量四、離散無(wú)記憶N次擴(kuò)展信道的信道容量一般離散無(wú)記憶信道的N次擴(kuò)展信道第三章信道及其容量

一般情況下，消息序列在離散無(wú)記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘浚?/p>

I（X;Y）

NC即：CN=NC

所以，對(duì)于一般的離散無(wú)記憶信道的N次擴(kuò)展信道，其信道容量是：第三章信道及其容量3．5連續(xù)信道的信道容量在連續(xù)信源的情況下，如果取兩個(gè)相對(duì)熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個(gè)熵的差值，類(lèi)似于離散信道，可定義互信息的最大值為信道容量。因此，連續(xù)信道具有與離散信道類(lèi)似的信息傳輸率和信道容量的表達(dá)式。

第三章信道及其容量一、連續(xù)單符號(hào)加性高斯噪聲信道的信道容量設(shè)信道迭加的噪聲n是均值為零，方差為

2的一維高斯噪聲，則噪聲信源的熵為：如果信道輸出信號(hào)Y的平均功率限制在Po以下，由前知，當(dāng)Y是均值為零的高斯變量時(shí)，其熵h(Y)為最大。因此，得平均功率受限高斯加性信道的信道容量(每個(gè)自由度)為：第三章信道及其容量二、多維無(wú)記憶高斯加性連續(xù)信道(比特／N個(gè)自由度)加性信道輸入信號(hào)序列{X1X2…XN}輸出信號(hào)序列{Y1Y2…YN}高斯噪聲{n1n2…nN}X1Y1=X1+n1n1XNYN=XN+nNnN第三章信道及其容量上式同樣也是N個(gè)獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。此時(shí)分兩種情況：(1)若各單元時(shí)刻(i＝1,…,N)上的噪聲都是均值為零、方差為Pn的高斯噪聲，得：(2)若各單元時(shí)刻(i＝1,…,N)上的噪聲是均值為零，方差為不同Pni的高斯噪聲，但輸入信號(hào)的總平均功率受限，其約束為：則：?jiǎn)挝唬?比特／N個(gè)自由度)(常數(shù)),i=1,2…,N第三章信道及其容量

這結(jié)論說(shuō)明，N個(gè)獨(dú)立并聯(lián)的組合高斯加性信道，當(dāng)各分信道(或各時(shí)刻)的噪聲平均功率不相等時(shí)，為達(dá)到最大的信息傳輸率，要對(duì)輸入信號(hào)的總能量適當(dāng)?shù)剡M(jìn)行分配。

當(dāng)常數(shù)

＜Pni時(shí)，此信道(或此時(shí)刻信號(hào)分量)不分配能量，使不傳送任何信息，當(dāng)

＞Pni，在這些信道分配能量，并使?jié)M足Psi+Pni=

，這樣得到的信道容量為最大。這與實(shí)際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。第三章信道及其容量[例6]

設(shè)在各單元時(shí)刻上，噪聲是均值為零，方差為Pni

的高斯加性噪聲。輸入信號(hào)X是10個(gè)相互統(tǒng)計(jì)獨(dú)立、均值為零、方差為Psi的高斯變量，且：由常數(shù)

的約束條件，得：解：比較得：Ps7=-0.05，Ps8=-0.15，Ps9=-0.25，Ps10=-0.35，可見(jiàn)，最后四個(gè)信道應(yīng)排除，即令：

Ps7=0，Ps8=0，Ps9=0，Ps10=0Pn1=0.1，Pn2=0.2，Pn3=0.3，Pn4=0.4，Pn5=0.5，Pn6=0.6，Pn7=0.7，Pn8=0.8，Pn9=0.9，Pn10=1.0（單位為W）第三章信道及其容量再計(jì)算常數(shù)（此時(shí)N=6），得：比較得：Ps6=-0.083，可見(jiàn)，第六個(gè)信道也應(yīng)排除，令：

Ps6=0再計(jì)算常數(shù)（此時(shí)N=5），得：可見(jiàn)，第五個(gè)信道也應(yīng)排除，令：

Ps5=0所以，功率分配為：Ps1=0.4，Ps2=0.3，Ps3=0.2，Ps4=0.1Pn1=0.1，Pn2=0.2，Pn3=0.3，Pn4=0.4，Pn5=0.5，Pn6=0.6，Pn7=0.7，Pn8=0.8，Pn9=0.9，Pn10=1.0（單位為W）第三章信道及其容量(比特／10個(gè)自由度)

本例結(jié)果表明，噪聲分量平均功率小的信道分配得到的相應(yīng)信號(hào)分量的平均功率要大一些，那些太壞的信道就不去用它，可使總的信道容量最大。

若提高信號(hào)的總平均功率，可使有些信道相應(yīng)的輸入信號(hào)也分配到一些能量。功率分配為：Ps1=0.4，Ps2=0.3，Ps3=0.2，Ps4=0.1信道容量：第三章信道及其容量(比特／10個(gè)自由度)若提高信號(hào)的總平均功率，使：功率分配為：Ps1=0.725，Ps2=0.625，Ps3=0.525，Ps4=0.425，Ps5=0.325，Ps6=0.225，Ps7=0.125，Ps8=0.025信道容量：比較得最后兩個(gè)信道應(yīng)排除，令：Ps9=0，Ps10=0第三章信道及其容量三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為W，在這樣的波形信道中，滿(mǎn)足限頻、限時(shí)、限功率的條件約束，所以可通過(guò)取樣將輸入和輸出信號(hào)轉(zhuǎn)化為L(zhǎng)維的隨機(jī)序列：

和，而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有按照采樣定理，在[0，T]范圍內(nèi)要求。這是多維無(wú)記憶高斯加性信道，其信道容量為：

---------這是重要的香農(nóng)公式。當(dāng)信道輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。第三章信道及其容量香農(nóng)公式的物理意義為：當(dāng)信道容量一定時(shí)，增大信道的帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過(guò)提高信噪功率比來(lái)補(bǔ)償。香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。

第三章信道及其容量[例6．4]

在電話(huà)信道中常允許多路復(fù)用。一般電話(huà)信號(hào)的帶寬為3300Hz。若信噪功率比為20dB(即Ps/(NoW)=100)，代入香農(nóng)公式計(jì)算可得電話(huà)信通的信道容量為22000比特／秒。而實(shí)際信道能達(dá)到的最大信道傳輸率約為19200比特／秒。因?yàn)樵趯?shí)際電話(huà)通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。說(shuō)明：實(shí)際信道通常是非高斯波形信道。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。比特／秒第三章信道及其容量3.6信源與信道的匹配在一般情況下，當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量