信道及信道容量

信道及信道容量2023/1/181第一頁，共五十六頁，2022年，8月28日信道是信息傳輸?shù)耐ǖ?。由于干擾而丟失的信息為

H(X|Y);在接收端獲取的關(guān)于發(fā)送端信源X的信息量是：

I(X;Y)＝H(X)-H(X|Y)即：信道中平均每個符號傳送的信息量。對于信道,所關(guān)心的問題是平均每個符號傳送的最大信息量。這就是信道容量C=maxI(X;Y)bit/符號信源在一定的時間T內(nèi)輸出符號。信源輸出的信息速率為Rt=H(X)/Tbit/s

符號在信道中傳送時，傳送一個符號所用的時間為t,則最大信息傳輸速率為Ct=C/tbit/s.

若Rt≤Ct，那么就可以實現(xiàn)無失真?zhèn)魉?否則;不能無失真?zhèn)魉退裕瑢τ谛诺乐饕茄芯啃诺廊萘?。不同的信道，其容量不?研究信道容量的意義?2023/1/182第二頁，共五十六頁，2022年，8月28日第一節(jié)信道分類及表示參數(shù)一、信道的分類1、根據(jù)信道的用戶數(shù)量，可以分為兩端（單用戶）信道和多端信道（多用戶信道）。只有一個輸入端和一個輸出端；單向至少有一端存在兩個用戶；雙向2、根據(jù)信道輸入端和輸出端的關(guān)系,分為無反饋信道和反饋信道無反饋信道:輸出信號對輸入無影響。3、根據(jù)信道的參數(shù)可以分為固定參數(shù)信道和時變參數(shù)信道（參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的轉(zhuǎn)移概率.后面詳述）固定參數(shù)信道：如光纖、電纜時變參數(shù)信道：如無線信道.會因天氣或周圍環(huán)境的變化而變化4、根據(jù)信道中所受的噪聲種類不同，分為隨機差錯信道和突發(fā)差錯信道。2023/1/183第三頁，共五十六頁，2022年，8月28日隨機差錯信道：噪聲獨立地、隨機地影響每個傳輸?shù)拇a元。如加性高斯白噪聲(AGWN)信道。突發(fā)差錯信道：大的脈沖干擾或閃電對碼元的影響是前后相關(guān)的。錯誤成串出現(xiàn)，且是突發(fā)性的。如移動信道。5、根據(jù)輸入/輸出信號的特點，分為離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道。離散信道：輸入/輸出信號在時間和幅度上都是離散的。連續(xù)信道：輸入/輸出信號都是在時間上離散而幅度上連續(xù)。半離散半連續(xù)信道：輸入/輸出信號有一個在幅度上離散（時間上都連續(xù)）。波形信道：輸入/輸出信號在時間和幅度上都是連續(xù)的。此時，輸入和輸出信號一般用隨機過程來描述。據(jù)隨機過程的理論，經(jīng)過限時和限頻后，經(jīng)抽樣變成連續(xù)型隨機變量。相應(yīng)地，波形信道被分解成連續(xù)信道。2023/1/184第四頁，共五十六頁，2022年，8月28日二、信道的參數(shù)參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的轉(zhuǎn)移概率。對于單符號信道，即,對于符號序列信道，即。由于信道引入的干擾,使得輸入和輸出之間沒有確定的對應(yīng)關(guān)系，而只有統(tǒng)計上的依賴關(guān)系(用轉(zhuǎn)移概率來描述)。知道了這種關(guān)系，信道的全部特性就確定了.所以,它是信道的參數(shù)。根據(jù)信道的參數(shù)，將信道分為三大類：1、無干擾信道理想信道，信道中沒有隨機干擾或干擾很小。輸出與輸入之間有完全確定的對應(yīng)關(guān)系。2023/1/185第五頁，共五十六頁，2022年，8月28日2、有干擾無記憶信道無記憶：任意時刻的輸出符號，只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，而與其它時刻的輸入符號、輸出符號無關(guān).這種信道根據(jù)輸入信號與輸出信號的符號數(shù)目進一步劃分為以下四種信道：指符號集中符號的個數(shù)(1)二進制離散信道(又叫二進制對稱信道BSC，轉(zhuǎn)移概率對稱)2023/1/186第六頁，共五十六頁，2022年，8月28日傳遞矩陣也完全確定了輸入與輸出間的統(tǒng)計依賴關(guān)系，也是信道的數(shù)學(xué)模型。(2)離散無記憶信道(DMC-DiscreteMemorylessChannel)

仍是單符號離散信道，符號集中的符號數(shù)目大于2。2023/1/187第七頁，共五十六頁，2022年，8月28日2023/1/188第八頁，共五十六頁，2022年，8月28日復(fù)習(xí)與作業(yè)講評1、符號的使用：自信息量I熵-----HH2不能隨便使用7、向孔祥品學(xué)習(xí)2、應(yīng)畫出信源（模型）3、2.4題，求H(X)，而非I(x)4、2.5題，求自信息量或條件信息量。個別同學(xué)H(y|x)5、2.11(2)有些同學(xué)計算H(X,Y)太復(fù)雜。

xi---顏色，構(gòu)成信源X,yi----數(shù)字，構(gòu)成信源Y.每個數(shù)字對應(yīng)一種顏色（反之未必），數(shù)字已知，則顏色確定，H(X|Y)=0。H(X,Y)=H(Y)=…..6、2.21（3）信號放大問題。課上已經(jīng)強調(diào)過，仍出錯。2023/1/189第九頁，共五十六頁，2022年，8月28日復(fù)習(xí)：第四節(jié)連續(xù)信源的熵和互信息一、單符號連續(xù)信源的熵相對熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)2023/1/1810第十頁，共五十六頁，2022年，8月28日二、波形信源的熵理解討論方法即可三、連續(xù)信源最大熵定理

1、峰值功率受限的最大熵定理對于定義域為有限的隨機變量X，當它是均勻分布時，其熵最大。2、限平均功率最大熵定理服從正態(tài)分布時具有最大相熵。2023/1/1811第十一頁，共五十六頁，2022年，8月28日第五節(jié)冗余度一、冗余度的概念表示給定信源在實際發(fā)出消息時所包含的多余信息。二、冗余度產(chǎn)生的原因理解一是信源符號間的相關(guān)性，二是信源符號分布的不均勻性三、冗余的定義四、冗余的壓縮第三章信道及信道容量第一節(jié)信道分類及表示參數(shù)參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的轉(zhuǎn)移概率。對于單符號信道，即,對于符號序列信道，即。2023/1/1812第十二頁，共五十六頁，2022年，8月28日根據(jù)信道的參數(shù)，將信道分為三大類：1、無干擾信道2、有干擾無記憶信道根據(jù)輸入信號與輸出信號的符號數(shù)目進一步劃分為以下四種信道：(1)二進制離散信道(又叫二進制對稱信道BSC，轉(zhuǎn)移概率對稱)(2)離散無記憶信道(DMC-DiscreteMemorylessChannel)

仍是單符號離散信道，符號集中的符號數(shù)目大于2。GOON2023/1/1813第十三頁，共五十六頁，2022年，8月28日(3)離散輸入連續(xù)輸出信道仍是單符號信道，屬于半連續(xù)半離散信道。舉例：加性高斯白噪聲(AWGN)信道(AddableWhiteGossNoise)2023/1/1814第十四頁，共五十六頁，2022年，8月28日(4)波形信道輸入信號和輸出信號用隨機過程表示，所以信道模型為:經(jīng)過限時(tB)和限頻(fm)后，經(jīng)過抽樣輸入和輸出信號分別變換成連續(xù)型隨機序列：和抽樣點數(shù)為L=2fmtB，相應(yīng)地,波形信道被分解成L維連續(xù)信道,其轉(zhuǎn)移特性為：2023/1/1815第十五頁，共五十六頁，2022年，8月28日結(jié)論：信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)。條件熵H(Y|X)又叫做噪聲熵的進一步理解：

確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區(qū)分X中的每個符號所需要的平均信息量就是信源的熵H(X).因而又叫噪聲熵?？梢钥醋魇俏ㄒ坏卮_定信道中的噪聲所需要的平均信息量。正是噪聲熵2023/1/1816第十六頁，共五十六頁，2022年，8月28日3、有干擾有記憶信道有兩種簡化處理的方法：(1)將記憶很強的L個符號用一個矢量符號表示(看作一個符號)，各個矢量符號之間認為是無記憶的.L越大,引入誤差與小。(2)將序列轉(zhuǎn)移概率看作是馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率，用馬爾科夫鏈的分析方法去處理。4、本課程主要討論編碼和解碼，一般使用DMC信道模型到底選用哪種信道模型，取決于分析問題的目的。若設(shè)計和分析離散信道的編碼和解碼，當然選擇DMC信道模型。如果分析性能的理論極限，則使用離散輸入連續(xù)輸出模型則較合適。如果分析和設(shè)計調(diào)制/解調(diào)器，則選擇波形信道模型。2023/1/1817第十七頁，共五十六頁，2022年，8月28日第二節(jié)離散單符號信道及其容量一、幾個概念：1、信息傳輸率R信道中平均每個符號所傳輸?shù)男畔⒘?。R=I(X;Y)=H(X)-H(X|Y)bit/符號2、信息傳輸速率Rt

信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?。設(shè)信道傳送一個符號用時為T，則：Rt=I(X;Y)/Tbit/s3、信道容量C

定義最大的信息傳輸速率為信道容量,2023/1/1818第十八頁，共五十六頁，2022年，8月28日4、信道容量的另一種定義：定義信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛樾诺廊萘?5、對于某個特定的信道，其信道容量是一定的。在信息傳輸時，能否達到這個最大傳輸能力，取決于輸入端的信源。從這個意義上也可以理解信源與信道匹配的含義。二、無干擾離散信道的容量：

輸出與輸入之間有確定的對應(yīng)關(guān)系；有三種不同的關(guān)系：(1)無噪無損信道（一一對應(yīng)的關(guān)系）H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=logn∴C=logn2023/1/1819第十九頁，共五十六頁，2022年，8月28日(2)無噪有損信道（多對一的對應(yīng)關(guān)系）噪聲熵H(Y|X)=0損失熵H(X|Y)>0故名之。I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm(3)有噪無損信道（一對多的對應(yīng)關(guān)系）噪聲熵H(Y|X)>0,損失熵H(X|Y)=0,故名之。I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn三、對稱DMC信道的容量：1、對稱性：如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對稱的；如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對稱的。2023/1/1820第二十頁，共五十六頁，2022年，8月28日如果輸入、輸出都對稱，則稱該DMC為對稱的DMC信道。2、對稱DMC的信道容量C：2023/1/1821第二十一頁，共五十六頁，2022年，8月28日怎樣使bj服從等概分布？2023/1/1822第二十二頁，共五十六頁，2022年，8月28日結(jié)論：M是輸出符號集中的符號數(shù)對轉(zhuǎn)移矩陣的行向量作求熵運算2023/1/1823第二十三頁，共五十六頁，2022年，8月28日3、串聯(lián)信道的信道容量：(1)串聯(lián)信道舉例：微波中繼通信2023/1/1824第二十四頁，共五十六頁，2022年，8月28日信道1容量為：C(1)=maxI(X;Y)信道1,2,3…串聯(lián)后等價為容量為：C(1,2,…)=maxI(X;W)信道1,2串聯(lián)后等價為容量為：C(1,2)=maxI(X;Z)(2)串聯(lián)信道的信道容量可能會減少。串聯(lián)級數(shù)越大，信道容量會越小。由2.2節(jié)數(shù)據(jù)處理定理（信息不增定理）知道：H(X)≥I(X;Y)≥I(X;Z)≥…I(X;W)所以：C(1,2)≥C(1,2,3)≥……≥C(1,2,3…)。2023/1/1825第二十五頁，共五十六頁，2022年，8月28日2023/1/1826第二十六頁，共五十六頁，2022年，8月28日四、準對稱DMC信道的容量準對稱信道：只滿足輸入對稱的信道信道容量的計算，有兩種方法：1、引入拉格朗日算子求極值。舉例說明：2023/1/1827第二十七頁，共五十六頁，2022年，8月28日2、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。2023/1/1828第二十八頁，共五十六頁，2022年，8月28日2023/1/1829第二十九頁，共五十六頁，2022年，8月28日五、一般DMC信道的容量平均互信息I(X;Y)是關(guān)于P(a1),P(a2),…P(an)的多元函數(shù)，求其最大值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大都比較復(fù)雜，下面只給出相關(guān)定理。定理：一般離散無記憶信道的平均互信息I(X;Y)達到極大值的充要條件是，輸入分布滿足：I(ai;Y)=C對于所有的滿足p(ai)>0的i。I(ai;Y)≤C對于所有的滿足p(ai)=0的i。解釋：當平均互信息I(X;Y)達到信道容量時，除了概率為零的符號外，輸入符號集中的每一個符號對輸出端提供相同的信息量。2023/1/1830第三十頁，共五十六頁，2022年，8月28日而其它符號所提供的信息量增大。所以經(jīng)過不斷調(diào)整后，輸入符號的概率分布使得每個概率不為零的輸入符號對于輸出Y提供的平均互信息是相同的。理解：在某種給定的輸入分布下，對輸出Y所提供的互信息I(X;Y)，若其中有一個符號ai比其它輸入符號大，那么就可以更多地使用該符號，即增大該符號ai出現(xiàn)的概率P(ai)，使得加權(quán)平均后的I(X;Y)=ΣP(ai)I(ai;Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息I(ai;Y)減?。ǎ浚?，2023/1/1831第三十一頁，共五十六頁，2022年，8月28日第三節(jié)離散序列信道及其容量一、回顧離散單符號擴展信道。分為無記憶和有記憶兩種。只討論無記憶離散序列信道的容量。二、無記憶離散序列信道的平均互信息2023/1/1832第三十二頁，共五十六頁，2022年，8月28日三、無記憶離散序列信道的容量1、定理2、結(jié)論2023/1/1833第三十三頁，共五十六頁，2022年，8月28日3、信道容量2023/1/1834第三十四頁，共五十六頁，2022年，8月28日4、獨立并聯(lián)信道的信道容量（例如：時分復(fù)用）

將L個相互獨立的信道并聯(lián)后，每個信道的輸出Yl只與本信道的輸入Xl有關(guān)。那么序列轉(zhuǎn)移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是無記憶序列信道。其容量C1,2,…L=ΣCl2023/1/1835第三十五頁，共五十六頁，2022年，8月28日第四節(jié)連續(xù)信道及信道容量一、連續(xù)單符號加性信道及其容量：1、回顧2、平均互信息(信息傳輸率)3、信道容量2023/1/1836第三十六頁，共五十六頁，2022年，8月28日怎樣才能保證輸出Y服從正態(tài)分布？2023/1/1837第三十七頁，共五十六頁，2022年，8月28日結(jié)論：連續(xù)單符號信道的信道容量取決于輸入信噪比4、加性噪聲不是高斯噪聲時的信道容量高斯白噪聲是最惡劣的噪聲，相應(yīng)的信道容量最小。2023/1/1838第三十八頁，共五十六頁，2022年，8月28日二、多維無記憶高斯加性連續(xù)信道及其容量1、回顧2、等價于L個獨立并聯(lián)加性信道2023/1/1839第三十九頁，共五十六頁，2022年，8月28日3、信道容量據(jù)3.3節(jié)定理，無記憶信道有下式成立：而每個單符號高斯信道有：所以：(1)每個時刻的噪聲相同(均值為零,方差為δ2)當輸入矢量的各個分量Xl相互獨立，且各分量均值為0方差都為Pl=

S時，2023/1/1840第四十頁，共五十六頁，2022年，8月28日復(fù)習(xí)與測驗第二節(jié)離散單符號信道及其容量1、信道容量的定義最大的信息傳輸速率為信道容量,或：信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛樾诺廊萘?2、無干擾離散信道的容量：(1)無噪無損信道（一一對應(yīng)）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn

(2)無噪有損信道（多對一）：H(Y|X)=0；H(X|Y)>0I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm2023/1/1841第四十一頁，共五十六頁，2022年，8月28日(3)有噪無損信道（一對多）：H(X|Y)=0;H(Y|X)>0I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn3、對稱DMC的信道容量C：4、串聯(lián)信道的信道容量：（數(shù)據(jù)處理定理)串聯(lián)級數(shù)越大，信道容量會越小。5、準對稱DMC信道的容量：

有兩種方法：1）、引入拉格朗日算子求極值。2）、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。6、一般離散無記憶信道的信道容量：定理：平均互信息I(X;Y)達到極大值的充要條件是，輸入分布滿足：I(ai;Y)=C對于所有的滿足p(ai)>0的i。I(ai;Y)≤C對于所有的滿足p(ai)=0的i。2023/1/1842第四十二頁，共五十六頁，2022年，8月28日第三節(jié)離散序列信道及其容量1、無記憶離散序列信道的信道容量2、獨立并聯(lián)信道的信道容量（例如：時分復(fù)用）

將L個相互獨立的信道并聯(lián)后，每個信道的輸出Yl只與本信道的輸入Xl有關(guān)。那么序列轉(zhuǎn)移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是無記憶序列信道。其容量C1,2,…L=ΣCl第四節(jié)連續(xù)信道及信道容量一、連續(xù)單符號加性信道及其容量（取決于輸入信噪比）2023/1/1843第四十三頁，共五十六頁，2022年，8月28日二、多維無記憶高斯加性連續(xù)信道及其容量

goon(1)每個時刻的噪聲相同(均值為零,方差為δ2)當輸入矢量的各個分量Xl

相互獨立，且各分量均值為0方差都為Pl=

S時，2023/1/1844第四十四頁，共五十六頁，2022年，8月28日(2)如果每個時刻的噪聲不相同(均值都為零,方差分別為將隨不同時刻信噪比的變化而變化。2023/1/1845第四十五頁，共五十六頁，2022年，8月28日2023/1/1846第四十六頁，共五十六頁，2022年，8月28日2023/1/1847第四十七頁，共五十六頁，2022年，8月28日2023/1/1848第四十八頁，共五十六頁，2022年，8月28日結(jié)論：噪聲小的子信道分配到的輸入功率大，信噪比大，抵抗噪聲的能力強，可以傳輸?shù)谋忍財?shù)多，需要采用更高進制的符號調(diào)制方法，以提高信道的頻帶利用率。反之，噪聲大的子信道分配到的輸入功率小，信噪比小，抵抗噪聲的能力差，可以傳輸?shù)谋忍財?shù)少，最終，每個子信道的誤碼率都相同。2023/1/1849第四十九頁，共五十六頁，2022年，8月28日三、高斯白噪聲加性波形信道及其容量回顧：1、平均互信息：2、信道容量：2023/1/1850第五十頁，共五十六頁，2022年，8月28日3、信道容量：上式重新整理即為香農(nóng)公式2023/1/1851第五十一頁，共五十六頁，2022年，8月28日2023/1/1852第五十二頁，共五十六頁，2022年，8月28日討論：（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的帶寬并不能無限制地提高信道容量。總結(jié)：當信道