信息與編碼第4章-信道及信道容量2課件

第4章信道及信道容量第4章信道及信道容量1主要學(xué)習(xí)內(nèi)容一、信道的概念與分類二、離散單符號(hào)信道與信道容量的概念三、幾種特殊信道及其信道容量的求法四、一般離散信道的信道容量求法五、信道容量定理及其應(yīng)用六、離散多符號(hào)信道的概念及其信道容量七、組合信道的概念及其信道容量主要學(xué)習(xí)內(nèi)容一、信道的概念與分類21、離散單符號(hào)信道的含義定義：信道的輸入、輸出都取值于離散符號(hào)集，且都用一個(gè)隨機(jī)變量來表示的信道就是離散單符號(hào)信道。地位：它是最簡(jiǎn)單的信道，也是實(shí)際信道的基本組成單元。含義：每次傳輸一個(gè)符號(hào)作為一個(gè)消息。1、離散單符號(hào)信道的含義定義：信道的輸入、輸出都取值于離散符3圖形表示圖形表示42、離散單符號(hào)信道的數(shù)學(xué)模型實(shí)質(zhì)上就是在輸入隨機(jī)變量（符號(hào)集）X的條件下輸出隨機(jī)變量（符號(hào)集）Y的條件概率分布。2、離散單符號(hào)信道的數(shù)學(xué)模型實(shí)質(zhì)上就是在輸入隨機(jī)變量（符號(hào)集5輸入隨機(jī)變量（符號(hào)集）X的概率空間輸入隨機(jī)變量（符號(hào)集）X的概率空間6信道的數(shù)學(xué)模型（條件概率分布）信道矩陣（傳遞概率矩陣）信道的數(shù)學(xué)模型（條件概率分布）信道矩陣（傳遞概率矩陣）7簡(jiǎn)單表示簡(jiǎn)單表示為：簡(jiǎn)單表示簡(jiǎn)單表示為：8輸出隨機(jī)變量（符號(hào)集）Y的概率空間輸出隨機(jī)變量（符號(hào)集）Y的概率空間9三者的關(guān)系三者的關(guān)系10二元對(duì)稱信道BSC(BinarySymmetricChannel)傳遞概率圖為：信道矩陣為：

p為錯(cuò)誤概率二元對(duì)稱信道BSC(BinarySymmetricCha11相關(guān)名詞前向概率：p(yj/xi)后向概率:p(xi/yj)輸入符號(hào)的先驗(yàn)概率:p(xi)輸入符號(hào)的后驗(yàn)概率:p(xi/yj)相關(guān)名詞前向概率：p(yj/xi)12概率知識(shí)回顧條件概率公式概率知識(shí)回顧條件概率公式13全概率公式全概率公式14貝葉斯公式貝葉斯公式153、平均互信息I(X;Y)的含義在統(tǒng)計(jì)平均的意義上，由Y中的一個(gè)符號(hào)，能得到X中一個(gè)符號(hào)的信息量。3、平均互信息I(X;Y)的含義在統(tǒng)計(jì)平均的意義16在信道中的含義（信息傳輸率）當(dāng)X為信源、Y表示信宿時(shí)，I(X;Y)表示在平均的意義上信源每發(fā)出一個(gè)符號(hào)流經(jīng)信道到達(dá)信宿時(shí)，由信宿的每個(gè)符號(hào)所能得到的關(guān)于信源每個(gè)符號(hào)的信息量，亦即信源每發(fā)出一個(gè)符號(hào)流經(jīng)信道的信息量。稱為：信息傳輸率，單位是：比特/符號(hào)。若信道平均每傳輸一個(gè)符號(hào)用t秒，令則Rt

表示信道平均每秒傳輸?shù)男畔⒘?，稱為：信息傳輸速率，單位是：比特/秒。在信道中的含義（信息傳輸率）當(dāng)X為信源、Y表示信宿時(shí)，17信道疑義度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本來平均每個(gè)符號(hào)具有的信息量（不確定性）；I(X;Y)表示：信宿接收到符號(hào)后，由其每個(gè)符號(hào)所能得到信源每個(gè)符號(hào)的信息量；H(X/Y)表示：信宿接收到符號(hào)后，信源的每個(gè)符號(hào)還剩余的信息量（不確定性），產(chǎn)生的原因是因?yàn)樾诺烙懈蓴_，故稱H(X/Y)為信道疑義度。信道疑義度由:I(X;Y)=H(X)-H18平均互信息I(X;Y)的性質(zhì)課本中第22頁，性質(zhì)5：凸函數(shù)性；定理2.1當(dāng)條件概率分布{p(yj/xi)}給定時(shí)，平均互信息I（X；Y）是輸入分布{p(xi)}的上凸函數(shù)。定理2.2對(duì)于固定的輸入分布{p(xi)}，平均互信息量I（X；Y）是條件概率分布{p(yj/xi)}的下凸函數(shù)。平均互信息I(X;Y)的性質(zhì)課本中第22頁，性質(zhì)19一個(gè)例題設(shè)二元對(duì)稱信道中，錯(cuò)誤概率p=3/4，當(dāng)輸入分布分別為(1/2,1/2)和(1/4,3/4)時(shí)，分別求相應(yīng)的平均互信息I(X;Y).一個(gè)例題設(shè)二元對(duì)稱信道中，錯(cuò)誤概率p=3/4，當(dāng)輸入分布20方法：利用平均互信息的如下公式輸入分布PX

與條件概率分布PY/X（信道矩陣）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由輸入分布和條件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式21I(X;Y)的求解1I(X;Y)的求解122信息與編碼第4章-信道及信道容量2課件23I(X;Y)的求解2I(X;Y)的求解224信息與編碼第4章-信道及信道容量2課件25說明信道固定時(shí)（條件概率轉(zhuǎn)移矩陣固定時(shí)），不同的輸入分布對(duì)應(yīng)著不同的平均互信息。說明信道固定時(shí)（條件概率轉(zhuǎn)移矩陣固定時(shí)），不同的輸入分布對(duì)應(yīng)26最佳輸入分布因?yàn)闂l件概率分布即表示信道，由定理2.1知：當(dāng)信道固定時(shí)，存在一種輸入分布，使得平均互信息I（X;Y）在該輸入分布下達(dá)到最大值，稱此時(shí)的輸入分布為：最佳輸入分布。最佳輸入分布因?yàn)闂l件概率分布即表示信道，由定理2.1知：當(dāng)信274、信道容量的定義定義4.1信道容量為平均互信息對(duì)于輸入概率分布的最大值：?jiǎn)挝灰浪玫膶?duì)數(shù)不同可以是：比特/符號(hào)，奈特/符號(hào)，等。相應(yīng)的輸入概率分布被稱為最佳輸入分布。4、信道容量的定義定義4.1信道容量為平均互信息對(duì)于輸入概28例4.1二元對(duì)稱信道

（BSC：binarysymmetricchannel）0101信道概率轉(zhuǎn)移圖輸入符號(hào)集X={0,1},輸入概率分布為輸出符號(hào)集Y={0,1}，即r＝s＝2．傳遞概率：

例4.1二元對(duì)稱信道

（BSC：binarysymme29解I(X;Y)=H(Y)-H(Y/X)注意：上兩個(gè)式子是如何得到的？表示什么意思？解I(X;Y)=H(Y)-H(Y/X)30總結(jié)1、離散單符號(hào)信道的含義2、離散單符號(hào)信道的數(shù)學(xué)模型3、平均互信息I(X;Y)的含義4、信道容量的含義總結(jié)1、離散單符號(hào)信道的含義31第4章信道及信道容量第4章信道及信道容量32主要學(xué)習(xí)內(nèi)容一、信道的概念與分類二、離散單符號(hào)信道與信道容量的概念三、幾種特殊信道及其信道容量的求法四、一般離散信道的信道容量求法五、信道容量定理及其應(yīng)用六、離散多符號(hào)信道的概念及其信道容量七、組合信道的概念及其信道容量主要學(xué)習(xí)內(nèi)容一、信道的概念與分類331、離散單符號(hào)信道的含義定義：信道的輸入、輸出都取值于離散符號(hào)集，且都用一個(gè)隨機(jī)變量來表示的信道就是離散單符號(hào)信道。地位：它是最簡(jiǎn)單的信道，也是實(shí)際信道的基本組成單元。含義：每次傳輸一個(gè)符號(hào)作為一個(gè)消息。1、離散單符號(hào)信道的含義定義：信道的輸入、輸出都取值于離散符34圖形表示圖形表示352、離散單符號(hào)信道的數(shù)學(xué)模型實(shí)質(zhì)上就是在輸入隨機(jī)變量（符號(hào)集）X的條件下輸出隨機(jī)變量（符號(hào)集）Y的條件概率分布。2、離散單符號(hào)信道的數(shù)學(xué)模型實(shí)質(zhì)上就是在輸入隨機(jī)變量（符號(hào)集36輸入隨機(jī)變量（符號(hào)集）X的概率空間輸入隨機(jī)變量（符號(hào)集）X的概率空間37信道的數(shù)學(xué)模型（條件概率分布）信道矩陣（傳遞概率矩陣）信道的數(shù)學(xué)模型（條件概率分布）信道矩陣（傳遞概率矩陣）38簡(jiǎn)單表示簡(jiǎn)單表示為：簡(jiǎn)單表示簡(jiǎn)單表示為：39輸出隨機(jī)變量（符號(hào)集）Y的概率空間輸出隨機(jī)變量（符號(hào)集）Y的概率空間40三者的關(guān)系三者的關(guān)系41二元對(duì)稱信道BSC(BinarySymmetricChannel)傳遞概率圖為：信道矩陣為：

p為錯(cuò)誤概率二元對(duì)稱信道BSC(BinarySymmetricCha42相關(guān)名詞前向概率：p(yj/xi)后向概率:p(xi/yj)輸入符號(hào)的先驗(yàn)概率:p(xi)輸入符號(hào)的后驗(yàn)概率:p(xi/yj)相關(guān)名詞前向概率：p(yj/xi)43概率知識(shí)回顧條件概率公式概率知識(shí)回顧條件概率公式44全概率公式全概率公式45貝葉斯公式貝葉斯公式463、平均互信息I(X;Y)的含義在統(tǒng)計(jì)平均的意義上，由Y中的一個(gè)符號(hào)，能得到X中一個(gè)符號(hào)的信息量。3、平均互信息I(X;Y)的含義在統(tǒng)計(jì)平均的意義47在信道中的含義（信息傳輸率）當(dāng)X為信源、Y表示信宿時(shí)，I(X;Y)表示在平均的意義上信源每發(fā)出一個(gè)符號(hào)流經(jīng)信道到達(dá)信宿時(shí)，由信宿的每個(gè)符號(hào)所能得到的關(guān)于信源每個(gè)符號(hào)的信息量，亦即信源每發(fā)出一個(gè)符號(hào)流經(jīng)信道的信息量。稱為：信息傳輸率，單位是：比特/符號(hào)。若信道平均每傳輸一個(gè)符號(hào)用t秒，令則Rt

表示信道平均每秒傳輸?shù)男畔⒘?，稱為：信息傳輸速率，單位是：比特/秒。在信道中的含義（信息傳輸率）當(dāng)X為信源、Y表示信宿時(shí)，48信道疑義度由:I(X;Y)=H(X)-H(X/Y)得到：H(X/Y)=H(X)-I(X;Y)H(X）表示：信源本來平均每個(gè)符號(hào)具有的信息量（不確定性）；I(X;Y)表示：信宿接收到符號(hào)后，由其每個(gè)符號(hào)所能得到信源每個(gè)符號(hào)的信息量；H(X/Y)表示：信宿接收到符號(hào)后，信源的每個(gè)符號(hào)還剩余的信息量（不確定性），產(chǎn)生的原因是因?yàn)樾诺烙懈蓴_，故稱H(X/Y)為信道疑義度。信道疑義度由:I(X;Y)=H(X)-H49平均互信息I(X;Y)的性質(zhì)課本中第22頁，性質(zhì)5：凸函數(shù)性；定理2.1當(dāng)條件概率分布{p(yj/xi)}給定時(shí)，平均互信息I（X；Y）是輸入分布{p(xi)}的上凸函數(shù)。定理2.2對(duì)于固定的輸入分布{p(xi)}，平均互信息量I（X；Y）是條件概率分布{p(yj/xi)}的下凸函數(shù)。平均互信息I(X;Y)的性質(zhì)課本中第22頁，性質(zhì)50一個(gè)例題設(shè)二元對(duì)稱信道中，錯(cuò)誤概率p=3/4，當(dāng)輸入分布分別為(1/2,1/2)和(1/4,3/4)時(shí)，分別求相應(yīng)的平均互信息I(X;Y).一個(gè)例題設(shè)二元對(duì)稱信道中，錯(cuò)誤概率p=3/4，當(dāng)輸入分布51方法：利用平均互信息的如下公式輸入分布PX

與條件概率分布PY/X（信道矩陣）已知，而PY=PX*PY/X,p(xiyj)=p(xi)*p(yj/xi),所以由輸入分布和條件概率分布可以求出平均互信息。方法：利用平均互信息的如下公式52I(X;Y)的求解1I(X;Y)的求解153信息與編碼第4章-信道及信道容量2課件54I(X;Y)的求解2I(X;Y)的求解255信息與編碼第4章-信道及信道容量2課件56說明信道固定時(shí)（條件概率轉(zhuǎn)移矩陣固定時(shí)），不同的輸入分布對(duì)應(yīng)著不同的平均互信息。說明信道固定時(shí)（條件概率轉(zhuǎn)移矩陣固定時(shí)），不同的輸入分布對(duì)