信息論與編碼第四課

信息論與編碼-信道與信道容量由于一般信道中總是存在噪聲和干擾，在這樣的信道中進(jìn)行信息傳輸會造成損失。那么在有噪信道中怎么能夠使消息通過傳輸后發(fā)生的錯誤最少？在有噪信道中無錯誤傳輸可以達(dá)到的最大信息率是多少？這就是本章研究的內(nèi)容。第一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道分類和表示參數(shù)通信系統(tǒng)中，信道是非常重要的部分。信道的任務(wù)是以信號方式傳輸信息。在信道中會引入噪聲，這些都會使信號通過信道后產(chǎn)生錯誤和失真，故信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計依賴關(guān)系。只要知到了信道的輸入信號和輸出信號以及它們之間的統(tǒng)計依賴關(guān)系，則信道的全部特性就確定了。所以可以用信道的轉(zhuǎn)移概率矩陣P(Y/X)來描述信道、信道的數(shù)學(xué)模型及分類研究信道，就要研究信道中能夠傳送的最大信息量，即信道容量問題。第二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道的分類：從不同的角度，有不同的分類方法。根據(jù)信道的參數(shù)是否隨時間變化，可以分為：（1）固定參數(shù)信道：信道的參數(shù)不隨時間變化；（2）時變參數(shù)信道：信道的參數(shù)隨時間變化。根據(jù)輸入和輸出信號的特點，可以分為：（1）離散信道：信道的輸入和輸出的隨機(jī)序列取值都是離散的；（2）連續(xù)信道：信道的輸入和輸出的隨機(jī)序列的取值都是連續(xù)的；第三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（3）半離散或半連續(xù)信道：輸入序列是離散的但相應(yīng)的輸出序列是連續(xù)的，或者反過來；（4）波形信道：信道的輸入輸出不但取值是連續(xù)的，而且還隨時間連續(xù)變化。一般可用隨機(jī)過程來描述其輸入輸出。由于實際信道的帶寬總是有限的，所以輸入信號和輸出信號總可以分解成時間離散的隨機(jī)序列。序列的取值可以是連續(xù)的，也可以是離散的，因此，波形信道可以分解成連續(xù)信道或離散信道或半離散半連續(xù)信道。第四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道參數(shù)設(shè)信道的輸入矢量和輸出矢量分別是通常采用條件概率來描述信道輸入輸出信號之間統(tǒng)計的依賴關(guān)系。該條件概率通常稱為轉(zhuǎn)移概率第五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量根據(jù)信道是否存在干擾以及有無記憶，可將信道分為下面三類無干擾信道：信道的輸出符號Y與輸入符號X之間又確定的關(guān)系Y=f(X),已知X后就確知Y。有干擾無記憶信道：信道的輸出符號Y與輸入符號X之間沒有確定的關(guān)系，但轉(zhuǎn)移概率滿足即每個輸出符號只與當(dāng)前輸入符號之間有概率轉(zhuǎn)移關(guān)系。在這種情況下，只需分析單個符號的轉(zhuǎn)移概率即可第六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量有干擾有記憶信道：一般情況都是如此，常用的方法有兩種將記憶很強(qiáng)的L個符號當(dāng)矢量符號，各矢量符號之間是無記憶的，但此事會引入誤差，L越大，誤差越小將轉(zhuǎn)移概率看成馬爾科夫鏈的形式，記憶有限，信道的統(tǒng)計特性可用在已知現(xiàn)在時刻輸入符號和前信道所處的狀態(tài)的條件概率來描述，這種處理方法比較復(fù)雜，通常取一階時稍簡單第七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量下面我們討論幾種常用信道。（1）二進(jìn)制離散信道二進(jìn)制離散信道的輸入值集合是{0，1}，輸出值集合也是{0，1}，再加上一組描述信道統(tǒng)計特性的轉(zhuǎn)移概率，就可以完全確定信道。二進(jìn)制離散信道的一個特例：二進(jìn)制對稱信道（BSC-BinarySymmetricChannel）。如果描述二進(jìn)制離散信道的轉(zhuǎn)移概率對稱，即則稱這種二進(jìn)制輸入、二進(jìn)制輸出的信道為二進(jìn)制對稱信道。第八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量如圖所示。BSC信道是無記憶信道。BSC信道是研究二元編解碼最簡單也是最常用的信道模型。輸入011-p1-ppp輸出01第九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（2）離散無記憶信道設(shè)信道的輸入符號集合是，輸出符號集合是再加上一組（mn個）轉(zhuǎn)移概率

這樣的一種信道稱為離散無記憶信道（DMC:DiscreteMemorylessChannel）。第十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以把轉(zhuǎn)移概率寫成矩陣的形式，即第十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量圖示a0an-1a1b0b1bm-1第十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（3）離散輸入、連續(xù)輸出信道信道輸入符號選自一個有限離散的符號集合信道輸出時未經(jīng)量化的任意值，即m->∞信道特性由轉(zhuǎn)移概率密度函數(shù)決定典型信道是加性高斯白噪聲信道（AWGN）第十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（4）波形信道輸入和輸出都是隨機(jī)過程{x(t)}和{y(t)}，模擬系統(tǒng)。對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設(shè)帶寬為W，則在T時間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個點，分別記為輸入和輸出這樣波形信道就轉(zhuǎn)化為多維連續(xù)信道第十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道轉(zhuǎn)移概率密度函數(shù)為第十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道轉(zhuǎn)移概率密度函數(shù)為且滿足完備性。第十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道轉(zhuǎn)移概率密度函數(shù)為且滿足完備性。連續(xù)無記憶信道，滿足第十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道轉(zhuǎn)移概率密度函數(shù)為且滿足完備性。連續(xù)無記憶信道，滿足一般情況下，是有記憶信道第十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于加性噪聲，單符號信道可以表示為y(t)=x(t)+n(t)

第十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于加性噪聲，單符號信道可以表示為y(t)=x(t)+n(t)n(t)為噪聲過程的一個樣本函數(shù)第二十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于加性噪聲，單符號信道可以表示為y(t)=x(t)+n(t)n(t)為噪聲過程的一個樣本函數(shù)由于噪聲和信號相互獨立，所以有第二十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于加性噪聲，單符號信道可以表示為y(t)=x(t)+n(t)n(t)為噪聲過程的一個樣本函數(shù)由于噪聲和信號相互獨立，所以有轉(zhuǎn)移概率為第二十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于加性噪聲，單符號信道可以表示為y(t)=x(t)+n(t)n(t)為噪聲過程的一個樣本函數(shù)由于噪聲和信號相互獨立，所以有轉(zhuǎn)移概率為即信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)第二十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量條件熵第二十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量上式說明條件熵是由噪聲引起的，它等于噪聲信源的熵。故條件熵也稱噪聲熵。第二十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量上式說明條件熵是由噪聲引起的，它等于噪聲信源的熵。故條件熵也稱噪聲熵。在加性多維連續(xù)信道中，輸入矢量X、輸出矢量Y和噪聲矢量n之間的關(guān)系是Y=X+n第二十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量上式說明條件熵是由噪聲引起的，它等于噪聲信源的熵。故條件熵也稱噪聲熵。在加性多維連續(xù)信道中，輸入矢量X、輸出矢量Y和噪聲矢量n之間的關(guān)系是Y=X+n可得第二十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.2離散單個符號信道及其容量我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量，即信息傳輸率R。而信道的信息傳輸率就是平均互信息，即

bit/符號若已知平均傳輸一個符號所需的時間為t(s)，則將信道在單位時間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率：bit/符號÷s/符號=bit/s即 單位為bit/s第二十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量前面我們已經(jīng)討論過，I(X;Y)是輸入隨機(jī)變量X的概率分布p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的函數(shù)。對于一特定信道，若轉(zhuǎn)移概率已確定，則互信息就是就是關(guān)于輸入符號概率分布的∩函數(shù)。因此對于一個固定的信道，總存在一種信源符號的概率分布，使傳輸每個符號平均獲得的信息量最大。這個最大的信息傳輸率就稱為信道容量C。即此時相應(yīng)的輸入概率分布稱為最佳輸入分布。第二十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量有時候也把單位時間內(nèi)信道平均傳輸?shù)淖畲笮畔⒘拷凶鲂诺廊萘?，即信道容量C已與輸入信源的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。所以，信道容量是完全描述信道特性的參量，是信道每符號能夠傳輸?shù)淖畲笮畔⒘?。對于特定的信道，信道容量是個定值，但在傳輸信息時信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。第三十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量無干擾離散信道設(shè)信道的輸入符號集合是輸出符號集合是按照X與Y的對應(yīng)關(guān)系，可以分為如下幾類無噪無損信道無噪有損信道有噪無損信道這些信道是部分理想化的，使用中比較少第三十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量DMC信道的信道容量

第三十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量DMC信道的信道容量設(shè)DMC信道的輸入符號集合是

第三十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量DMC信道的信道容量設(shè)DMC信道的輸入符號集合是

輸出符號集合是

第三十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量DMC信道的信道容量設(shè)DMC信道的輸入符號集合是

輸出符號集合是

轉(zhuǎn)移概率由信道特性決定。第三十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量給定信道，就是給定信道的轉(zhuǎn)移概率。第三十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量給定信道，就是給定信道的轉(zhuǎn)移概率。此時有第三十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量給定信道，就是給定信道的轉(zhuǎn)移概率。此時有所以信道容量為第三十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量給定信道，就是給定信道的轉(zhuǎn)移概率。此時有所以信道容量為由上式可以看出，信道容量C只是轉(zhuǎn)移概率的函數(shù)，也就是說，信道容量由信道唯一決定。第三十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量因為是最佳輸入分布，是信道特性，一旦這兩個參數(shù)確定，就被確定了：第四十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量因為是最佳輸入分布，是信道特性，一旦這兩個參數(shù)確定，就被確定了：第四十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量因為是最佳輸入分布，是信道特性，一旦這兩個參數(shù)確定，就被確定了：對于信道容量，一個是其存在性問題，一個是它的計算。第四十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量因為是最佳輸入分布，是信道特性，一旦這兩個參數(shù)確定，就被確定了：對于信道容量，一個是其存在性問題，一個是它的計算。關(guān)于存在性問題，在這里我們不做討論，主要看它的計算問題。第四十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道的容量對稱DMC信道的定義：如果一個DMC信道的轉(zhuǎn)移概率矩陣P中的每一行都是第一行的置換（包含同樣的元素，但位置可以不同），則稱該矩陣是輸入對稱的，如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換，則稱該矩陣是輸出對稱的，如果一個DMC信道的輸入、輸出都對稱，則稱該DMC信道為對稱DMC信道。第四十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道:第四十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道的性質(zhì)：

第四十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道的性質(zhì)：i）對稱DMC信道的條件熵H(Y/X)與信道輸入符號的概率分布無關(guān)，且有第四十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道的性質(zhì)：i）對稱DMC信道的條件熵H(Y/X)與信道輸入符號的概率分布無關(guān)，且有第四十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對稱DMC信道的性質(zhì)：i）對稱DMC信道的條件熵H(Y/X)與信道輸入符號的概率分布無關(guān)，且有這是因為與無關(guān)。第四十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量ii）當(dāng)信道輸入符號等概分布時，信道輸出符號也等概分布；反之亦然。這個可由來證明。第五十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量ii）當(dāng)信道輸入符號等概分布時，信道輸出符號也等概分布；反之亦然。這個可由來證明。iii）當(dāng)信道輸入符號等概分布時，對稱DMC信道達(dá)到其信道容量，為第五十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量證明：第五十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例題3-1：某對稱DMC信道，信道轉(zhuǎn)移矩陣為求信道容量。第五十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例題3-1：某對稱DMC信道，信道轉(zhuǎn)移矩陣為求信道容量。解：第五十四頁，共一百八十四頁，編輯于2023年，星期五例題3-2：強(qiáng)對稱信道（均勻信道），信道轉(zhuǎn)移概率矩陣信息論與編碼-信道與信道容量第五十五頁，共一百八十四頁，編輯于2023年，星期五例題3-2：強(qiáng)對稱信道（均勻信道），信道轉(zhuǎn)移概率矩陣輸入符號和輸出符號的個數(shù)相同，都為n，正確的傳輸概率為1-ε，錯誤概率ε，均勻的分配給n-1各輸出符號。信息論與編碼-信道與信道容量第五十六頁，共一百八十四頁，編輯于2023年，星期五例題3-2：強(qiáng)對稱信道（均勻信道），信道轉(zhuǎn)移概率矩陣輸入符號和輸出符號的個數(shù)相同，都為n，正確的傳輸概率為1-ε，錯誤概率ε，均勻的分配給n-1各輸出符號。信道容量為信息論與編碼-信道與信道容量第五十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（2）BSC信道的信道容量BSC信道是均勻DMC信道在輸入輸出在n=m=2時的特例，所以對于轉(zhuǎn)移概率為p(0/1)=p(1/0)=p，p(0/0)=p(1/1)=1-p的信道，當(dāng)時，其平均互信息量最大，即其信道容量為：第五十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量第五十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量C與信道轉(zhuǎn)移概率的關(guān)系如下圖所示。當(dāng)p=0時，即信道無誤碼時，C=H(X)=1bit/符號，達(dá)到了信道容量的最大值，相當(dāng)于沒有噪聲損失。CpC-p曲線0.20.40.60.81.00.20.40.60.81.00當(dāng)p=0.5時，信道容量C=0，這時候由于輸入輸出完全獨立，從輸出端得不到任何關(guān)于輸入的信息第六十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-3設(shè)有兩個離散BSC信道，其轉(zhuǎn)移概率矩陣都為01YXZεεεε1-ε1-ε1-ε1-ε01第六十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以求得

I(X;Y)=1-H(ε),H(X;Z)=1-H(2ε(1-ε))第六十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（3）準(zhǔn)對稱DMC信道的信道容量第六十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（3）準(zhǔn)對稱DMC信道的信道容量如果信道轉(zhuǎn)移矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣的每一行都包含同樣的元素，但每一列包含的元素可以不同，則稱這樣的信道為準(zhǔn)對稱DMC信道。第六十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量（3）準(zhǔn)對稱DMC信道的信道容量如果信道轉(zhuǎn)移矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣的每一行都包含同樣的元素，但每一列包含的元素可以不同，則稱這樣的信道為準(zhǔn)對稱DMC信道。例如：就是準(zhǔn)對稱DMC信道。第六十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由于每列元素不相同，所以新道的輸入和輸出概率可能不等，此時H(Y)的最大值可能小于Y等概率時的熵，因而準(zhǔn)對稱DMC信道的容量第六十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由于每列元素不相同，所以新道的輸入和輸出概率可能不等，此時H(Y)的最大值可能小于Y等概率時的熵，因而準(zhǔn)對稱DMC信道的容量可以證明，對于準(zhǔn)對稱DMC信道，當(dāng)輸入概率分布為等概分布時，達(dá)到其信道容量，為第六十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量n是輸出符號集中符號個數(shù)，是轉(zhuǎn)移概率矩陣中一行的元素，即

第六十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量n是輸出符號集中符號個數(shù)，是轉(zhuǎn)移概率矩陣中一行的元素，即

是信道轉(zhuǎn)移矩陣的第k個子矩陣中行元素之和，

第六十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量n是輸出符號集中符號個數(shù)，是轉(zhuǎn)移概率矩陣中一行的元素，即

是信道轉(zhuǎn)移矩陣的第k個子矩陣中行元素之和，是信道轉(zhuǎn)移矩陣的第k個子矩陣中列元素之和。第七十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量n是輸出符號集中符號個數(shù)，是轉(zhuǎn)移概率矩陣中一行的元素，即

是信道轉(zhuǎn)移矩陣的第k個子矩陣中行元素之和，是信道轉(zhuǎn)移矩陣的第k個子矩陣中列元素之和。R是互不相交的子集個數(shù)第七十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量轉(zhuǎn)移矩陣的子矩陣是這樣得到的：由于轉(zhuǎn)移矩陣中每一行都包含同樣的元素，而每一列則可以包含不同的元素，第七十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量轉(zhuǎn)移矩陣的子矩陣是這樣得到的：由于轉(zhuǎn)移矩陣中每一行都包含同樣的元素，而每一列則可以包含不同的元素，因此，我們可以把轉(zhuǎn)移矩陣分成n個互不相交的子集，每一個子集構(gòu)成的子矩陣都是對稱的。第七十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為第七十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個子集，第七十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個子集，每個子集組成的子矩陣為第七十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個子集，每個子集組成的子矩陣為第七十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個子集，每個子集組成的子矩陣為第七十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個子集，每個子集組成的子矩陣為第七十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量又例如：設(shè)轉(zhuǎn)移矩陣為第八十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量又例如：設(shè)轉(zhuǎn)移矩陣為則可以分成二個子集，每個子集組成的子矩陣為第八十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量又例如：設(shè)轉(zhuǎn)移矩陣為則可以分成二個子集，每個子集組成的子矩陣為因此第八十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例題3-5：已知一個信道的信道轉(zhuǎn)移概率矩陣為求該信道的信道容量。

第八十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例題3-5：已知一個信道的信道轉(zhuǎn)移概率矩陣為求該信道的信道容量。解：將P劃分成兩個子矩陣：

第八十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例題3-5：已知一個信道的信道轉(zhuǎn)移概率矩陣為求該信道的信道容量。解：將P劃分成兩個子矩陣：則第八十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量最佳輸入分布為等概分布，即第八十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量最佳輸入分布為等概分布，即故第八十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解法2：求I(X;Y)的極大值第八十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解法2：求I(X;Y)的極大值第八十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解法2：求I(X;Y)的極大值設(shè)第九十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解法2：求I(X;Y)的極大值設(shè)則第九十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由得第九十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由得所以第九十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由得第九十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由得解之得：第九十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量由得解之得：此時第九十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.2.4一般DMC信道的信道容量第九十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.2.4一般DMC信道的信道容量以輸入符號概率矢量Px為自變量求函數(shù)I(Px)極大值，即信道容量的問題，已經(jīng)得到解決，稱Blahut-Arimoto算法。第九十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.2.4一般DMC信道的信道容量以輸入符號概率矢量Px為自變量求函數(shù)I(Px)極大值，即信道容量的問題，已經(jīng)得到解決，稱Blahut-Arimoto算法。定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值（等于信道容量）的充要條件是輸入概率分布滿足其中的C為信道容量。第九十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量從定理中可以得出這樣的結(jié)論：當(dāng)信道平均互信息達(dá)到信道容量時，輸入信源符號集中每一個信源符號對輸出端Y提供相同的信息量，只是概率為零的符號除外。定理只是給出了達(dá)到信道容量時，最佳輸入概率分布應(yīng)滿足的條件，但是并沒有給出輸入符號的最佳概率分布值，也沒有給出信道容量的數(shù)值。另外，定理也隱含著，達(dá)到信道容量的最佳分布不一定是唯一的。第一百頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量在一些特殊的情況下，我們可以利用這個定理找出所求的最佳輸入概率分布和信道容量。例題：設(shè)信道的轉(zhuǎn)移概率矩陣為該信道為非對稱DMC信道，求其信道容量。XY01201111/21/2第一百零一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解：仔細(xì)觀察此信道，設(shè)想輸入端輸入符號1的概率為0，則該信道就成了一一對應(yīng)信道。第一百零二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解：仔細(xì)觀察此信道，設(shè)想輸入端輸入符號1的概率為0，則該信道就成了一一對應(yīng)信道。如果符號1的概率不等于0，就會增加不確定性，而確定性信道的互信息量最大，第一百零三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解：仔細(xì)觀察此信道，設(shè)想輸入端輸入符號1的概率為0，則該信道就成了一一對應(yīng)信道。如果符號1的概率不等于0，就會增加不確定性，而確定性信道的互信息量最大，因此，我們可以設(shè)想，p(0)=p(2)=1/2，p(1)=0，第一百零四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量解：仔細(xì)觀察此信道，設(shè)想輸入端輸入符號1的概率為0，則該信道就成了一一對應(yīng)信道。如果符號1的概率不等于0，就會增加不確定性，而確定性信道的互信息量最大，因此，我們可以設(shè)想，p(0)=p(2)=1/2，p(1)=0，此時有第一百零五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量它們滿足定理中的充要條件，因此，這就是我們要尋找的最佳輸入分布，該信道的信道容量為

C=log2=1第一百零六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量它們滿足定理中的充要條件，因此，這就是我們要尋找的最佳輸入分布，該信道的信道容量為

C=log2=1對于一般的DMC信道，很難用上述定理來求其信道容量和對應(yīng)的最佳輸入概率分布，此時只能用求極大值的方法來求解。第一百零七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.3離散序列信道及其容量第一百零八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.3離散序列信道及其容量信道模型信道第一百零九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于無記憶離散序列信道，其信道轉(zhuǎn)移概率為第一百一十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于無記憶離散序列信道，其信道轉(zhuǎn)移概率為若信道是平穩(wěn)的，則有第一百一十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于無記憶離散序列信道，其信道轉(zhuǎn)移概率為若信道是平穩(wěn)的，則有根據(jù)平均互信息的定義，第一百一十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于無記憶離散序列信道，其信道轉(zhuǎn)移概率為若信道是平穩(wěn)的，則有根據(jù)平均互信息的定義，第一百一十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以證明，該互信息有兩個性質(zhì)：第一百一十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以證明，該互信息有兩個性質(zhì)：如果信道無記憶，則第一百一十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以證明，該互信息有兩個性質(zhì)：如果信道無記憶，則如果輸入矢量X中的各個分量相互獨立，則第一百一十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量可以證明，該互信息有兩個性質(zhì)：如果信道無記憶，則如果輸入矢量X中的各個分量相互獨立，則如果信道無記憶，輸入矢量X中的各個分量相互獨立，則上式取等號。第一百一十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量當(dāng)輸入矢量達(dá)到最佳分布時，第一百一十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量當(dāng)輸入矢量達(dá)到最佳分布時，平穩(wěn)信道第一百一十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量當(dāng)輸入矢量達(dá)到最佳分布時，平穩(wěn)信道一般情況下第一百二十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量最典型的無記憶離散序列信道是擴(kuò)展信道。第一百二十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量最典型的無記憶離散序列信道是擴(kuò)展信道。如果對離散單符號信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道。第一百二十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量最典型的無記憶離散序列信道是擴(kuò)展信道。如果對離散單符號信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道。信道輸入序列為X=XL,信道輸入序列為Y=YL,信道的序列轉(zhuǎn)移概率為第一百二十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-7BSC信道的二次擴(kuò)展BSC信道P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,0000010110101111XY第一百二十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-7BSC信道的二次擴(kuò)展BSC信道P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)20000010110101111XY第一百二十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-7BSC信道的二次擴(kuò)展BSC信道P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)0000010110101111XY第一百二十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-7BSC信道的二次擴(kuò)展BSC信道P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)P(10/00)=p(1/0)p(0/0)=P(1-P)…0000010110101111XY第一百二十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量例3-7BSC信道的二次擴(kuò)展BSC信道P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)P(10/00)=p(1/0)p(0/0)=P(1-P)…P(11/00)=p(1/0)p(1/0)=P2…0000010110101111XY第一百二十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量轉(zhuǎn)移矩陣為是一個對稱DMC信道，當(dāng)輸入序列等概分布時，達(dá)到信道容量第一百二十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道容量為第一百三十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道容量為若p=0.1，信道容量為C2=(2-0.938)bit/序列=1.062bit/序列第一百三十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量信道容量為若p=0.1，信道容量為C2=(2-0.938)bit/序列=1.062bit/序列BSC單符號時信道容量為C1=1-H(0.1)=0.531bit/序列=1/2C2第一百三十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量3.4連續(xù)信道及其容量在連續(xù)信源情況下，可用兩個相對熵之差來表征互信息。互信息的最大值就是信道容量。因而，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量表達(dá)式。只考慮加性噪聲第一百三十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量連續(xù)單符號加性信道第一百三十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量連續(xù)單符號加性信道由于I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，第一百三十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量連續(xù)單符號加性信道由于I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量為第一百三十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量連續(xù)單符號加性信道由于I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量為由限平均功率最大熵定理，當(dāng)信道輸出Y正態(tài)分布時，熵最大。第一百三十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。第一百三十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。第一百三十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。顯然，若

py(y)=N(0,P)，則px(y)=N(0,S),第一百四十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。顯然，若

py(y)=N(0,P)，則px(y)=N(0,S),這時，信息傳輸率達(dá)到最大第一百四十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。顯然，若

py(y)=N(0,P)，則px(y)=N(0,S),這時，信息傳輸率達(dá)到最大第一百四十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。顯然，若

py(y)=N(0,P)，則px(y)=N(0,S),這時，信息傳輸率達(dá)到最大式中，S/σ2是信號功率與噪聲功率之比，稱為信噪比，用SNR表示。第一百四十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計獨立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S為信道輸入X的平均值。顯然，若

py(y)=N(0,P)，則px(y)=N(0,S),這時，信息傳輸率達(dá)到最大式中，S/σ2是信號功率與噪聲功率之比，稱為信噪比，用SNR表示。信道容量僅取決于信道的信噪比。第一百四十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量對于均值為零、平均功率為σ2的非高斯噪聲，其信道容量為上式說明在同樣平均功率受限的情況下，非高斯噪聲信道的容量要大于高斯噪聲信道的容量因此，在實際處理問題時，通常采用計算高斯噪聲信道的容量的方法保守地估計容量，且高斯噪聲信道的容量容易計算。第一百四十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量多維無記憶加性連續(xù)信道第一百四十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量多維無記憶加性連續(xù)信道可以等價為L個獨立的并聯(lián)高斯加性信道第一百四十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量多維無記憶加性連續(xù)信道可以等價為L個獨立的并聯(lián)高斯加性信道信道容量第一百四十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量多維無記憶加性連續(xù)信道可以等價為L個獨立的并聯(lián)高斯加性信道信道容量功率分配“注水法”第一百四十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道第一百五十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。第一百五十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。但是，對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。第一百五十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。但是，對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設(shè)帶寬為W，則在T時間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個點，第一百五十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。但是，對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設(shè)帶寬為W，則在T時間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個點，分別記為輸入和輸出第一百五十四頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。但是，對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設(shè)帶寬為W，則在T時間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個點，分別記為輸入和輸出以及噪聲，并且有。第一百五十五頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量限時限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號的取值是連續(xù)的，而且還隨時間連續(xù)變化。但是，對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設(shè)帶寬為W，則在T時間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個點，分別記為輸入和輸出以及噪聲，并且有。如果噪聲是高斯白噪聲，則該信道稱為高斯白噪聲加性信道（AWGN），其中每一個都是一個隨機(jī)變量。第一百五十六頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量如果這些隨機(jī)變量統(tǒng)計無關(guān)，則第一百五十七頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量如果這些隨機(jī)變量統(tǒng)計無關(guān)，則對于高斯白噪聲加性信道，其信道轉(zhuǎn)移概率為第一百五十八頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量如果這些隨機(jī)變量統(tǒng)計無關(guān)，則對于高斯白噪聲加性信道，其信道轉(zhuǎn)移概率為其中，是高斯白噪聲每個樣本的方差。第一百五十九頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量而其最佳輸入概率分布為第一百六十頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量而其最佳輸入概率分布為也就是說，最佳輸入概率分布時，各輸入分量是統(tǒng)計獨立、零均值的高斯隨機(jī)變量。第一百六十一頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量而其最佳輸入概率分布為也就是說，最佳輸入概率分布時，各輸入分量是統(tǒng)計獨立、零均值的高斯隨機(jī)變量。此時，達(dá)到信道容量，為第一百六十二頁，共一百八十四頁，編輯于2023年，星期五信息論與編碼-信道與信道容量如果信號是平均功率受限的，即第一百六十三頁，共一百八十四頁，編輯于2023年，星期五信息論與編