信息論與編碼第三章

信息論與編碼課件第三章第一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六第三章作業(yè)

教材第91頁(yè)~93頁(yè)

3.1，3.2(b)，3.3(1)(3)，

3.10， 3.11第二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六空間傳輸:各種物理通道---電纜、光纜、空間等。時(shí)間傳輸:指將信息保存，然后在以后讀取。信道的數(shù)學(xué)模型和分類(lèi)信道概念——通信系統(tǒng)的組成部分，傳遞和存儲(chǔ)信息的通道或媒質(zhì),包括空間傳輸和時(shí)間傳輸。第三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六狹義信道：電傳播介質(zhì)（電纜，自由空間）通信設(shè)備（信息經(jīng)過(guò)的通道）廣義信道：測(cè)量、觀察設(shè)備（示波器）存儲(chǔ)、記憶設(shè)備（磁帶，光盤(pán)，書(shū)信等）信道的數(shù)學(xué)模型和分類(lèi)第四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六輸入輸出關(guān)系：轉(zhuǎn)移概率p(y|x)信道描述：1.輸入集合2.輸出集合3.輸入輸出的轉(zhuǎn)移概率分布研究目標(biāo)：從信道的輸出了解信道的輸入信道的數(shù)學(xué)模型和分類(lèi)第五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六

按信道輸入輸出符號(hào)分類(lèi)輸入、輸出空間＝狀態(tài)集合＋時(shí)間集合

離散信道（數(shù)字信道）：輸入輸出空間為離散。連續(xù)信道：狀態(tài)集合連續(xù)，時(shí)間集合離散。模擬信道（波形信道）：輸入輸出空間為連續(xù)。信道的數(shù)學(xué)模型和分類(lèi)第六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六有記憶信道：輸出Y不僅與當(dāng)前的輸入X有關(guān)，而且與前面的輸入有關(guān)。 無(wú)記憶信道：輸出Y僅與當(dāng)前的輸入X有關(guān)，與前面的輸入無(wú)關(guān)。信道的數(shù)學(xué)模型和分類(lèi)

按信道轉(zhuǎn)移概率分布函數(shù)的特點(diǎn)分類(lèi)第七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六信道的數(shù)學(xué)模型和分類(lèi)單用戶(hù)信道：輸入和輸出都只有一個(gè)的單向通信信道。多用戶(hù)信道：輸入和輸出中至少有一端有兩個(gè)以上的用戶(hù)，且可以進(jìn)行雙向通信。

按輸入和輸出的數(shù)目分類(lèi)第八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六固定參數(shù)（恒參）信道：信道的統(tǒng)計(jì)特性不隨時(shí)間變化。時(shí)變參數(shù)（隨參）信道：信道的統(tǒng)計(jì)特性隨時(shí)間變化。信道的數(shù)學(xué)模型和分類(lèi)

按信道的統(tǒng)計(jì)特性與時(shí)間的關(guān)系分類(lèi)第九頁(yè)，共六十五頁(yè)，編輯于2023年，星期六單符號(hào)無(wú)記憶離散信道的信道容量數(shù)學(xué)模型：

或離散無(wú)記憶信道的信道容量第十頁(yè)，共六十五頁(yè)，編輯于2023年，星期六研究目標(biāo)：了解輸出端能從輸入端得到多少信息？即如何將信道所能傳遞的信息定量化？數(shù)學(xué)表示：互信息I(X;Y)

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

分析：p(y|x)給定，I(X;Y)隨輸入分布p(x)變化而變化。調(diào)整該分布可使互信息達(dá)到最大值，即給出了信道所能傳遞的最大信息量。定義該最大值為給定信道的信道容量，用C表示：

求信道容量：找到最佳分布，使互信息達(dá)到最大值。（最佳分布：達(dá)到信道容量時(shí)的信源分布。）離散無(wú)記憶信道的信道容量第十一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六

離散無(wú)記憶信道的信道容量第十二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六說(shuō)明：C客觀反映信道的傳輸能力，只與信道特性有關(guān)，而與信源無(wú)關(guān)，表示每個(gè)符號(hào)可能傳輸?shù)淖畲笮畔⒘??？梢酝ㄟ^(guò)編碼改變信源的分布使互信息達(dá)到最大值。離散無(wú)記憶信道的信道容量第十三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六定理3.1：對(duì)于信道矩陣為P的離散無(wú)記憶信道，其輸入分布p(x)能使互信息I(X;Y)達(dá)到最大值（信道容量）的充要條件是離散無(wú)記憶信道的信道容量第十四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六例3.3（P:70）取輸入分布

離散無(wú)記憶信道的信道容量第十五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六所以由定理3.1得，

最佳分布離散無(wú)記憶信道的信道容量第十六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)噪無(wú)損信道特殊DMC的信道容量a1b1a2anb2bn111第十七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六有噪無(wú)損信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6第十八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)噪有損信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3第十九頁(yè)，共六十五頁(yè)，編輯于2023年，星期六對(duì)稱(chēng)信道對(duì)稱(chēng)信道定義：信道轉(zhuǎn)移矩陣P中所有的行都是同一組元素的不同排列，所有的列也是同一組元素的不同排列。特殊DMC的信道容量第二十頁(yè)，共六十五頁(yè)，編輯于2023年，星期六準(zhǔn)對(duì)稱(chēng)信道定義：設(shè)B為信道轉(zhuǎn)移矩陣P的列集合，如果將B劃分成m個(gè)子集，而用每一個(gè)子集構(gòu)成的矩陣所對(duì)應(yīng)的信道都是對(duì)稱(chēng)信道。特殊DMC的信道容量第二十一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六特殊DMC的信道容量定理3.2：對(duì)于準(zhǔn)對(duì)稱(chēng)信道，達(dá)到信道容量的輸入分布為等概分布。證明：(略)準(zhǔn)對(duì)稱(chēng)信道的信道容量計(jì)算第二十二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六特殊DMC的信道容量例：準(zhǔn)對(duì)稱(chēng)信道第二十三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六對(duì)稱(chēng)信道的信道容量計(jì)算特殊DMC的信道容量第二十四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六對(duì)稱(chēng)信道的信道容量計(jì)算特殊DMC的信道容量第二十五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六特殊DMC的信道容量例：對(duì)稱(chēng)信道第二十六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六強(qiáng)對(duì)稱(chēng)信道（均勻信道）定義：信道輸入、輸出符號(hào)個(gè)數(shù)相同，且信道矩陣為特殊DMC的信道容量第二十七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六當(dāng)信道轉(zhuǎn)移概率矩陣P是非奇異時(shí)（此時(shí)n=m），即逆矩陣P-1存在時(shí)，該信道被稱(chēng)為可逆矩陣信道。一般DMC的信道容量第二十八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六例：取 另解：達(dá)到信道容量時(shí)輸入、輸出概率分布的唯一性第二十九頁(yè)，共六十五頁(yè)，編輯于2023年，星期六結(jié)論：（1）輸入概率分布的解不唯一，輸出概率分布的解唯一。（2）當(dāng)信道轉(zhuǎn)移矩陣可逆時(shí)，則輸入概率分布有唯一解。

達(dá)到信道容量時(shí)輸入、輸出概率分布的唯一性第三十頁(yè)，共六十五頁(yè)，編輯于2023年，星期六數(shù)學(xué)模型：多符號(hào)信道的信道容量第三十一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六（1）信道無(wú)記憶：

證明：多符號(hào)信道的信道容量第三十二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六（2）信源、信道均無(wú)記憶：多符號(hào)信道的信道容量第三十三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六信源與信道的匹配第三十四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六信道的組合第三十五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六獨(dú)立并聯(lián)信道（積信道）特點(diǎn)：多輸入，多輸出。各分信道彼此獨(dú)立。容量：…獨(dú)立并聯(lián)信道第三十六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六獨(dú)立并聯(lián)信道第三十七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六和信道特點(diǎn)：隨機(jī)應(yīng)用N個(gè)信道中的一個(gè)，構(gòu)成一輸入/輸出信道。容量：分信道的使用概率：

…和信道第三十八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8第三十九頁(yè)，共六十五頁(yè)，編輯于2023年，星期六和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8第四十頁(yè)，共六十五頁(yè)，編輯于2023年，星期六輸入并接信道特點(diǎn)：輸入相同X，輸出不同Y=Y1Y2…YN，單輸入，多輸出。容量：對(duì)X進(jìn)行多次測(cè)量，每一次測(cè)量都構(gòu)成一輸入/輸出信道，則N次測(cè)量后…輸入并接信道第四十一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六級(jí)聯(lián)信道特點(diǎn)：?jiǎn)屋斎?，單輸出。容量：…?jí)聯(lián)信道第四十二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六級(jí)聯(lián)信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+

p2(1-p)2+

p22p(1-p)第四十三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六連續(xù)無(wú)記憶信道的信道容量第四十四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)記憶加性噪聲信道的容量第四十五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)記憶加性高斯噪聲信道的容量無(wú)記憶加性高斯噪聲信道（平均功率S受限）說(shuō)明：對(duì)于無(wú)記憶加性高斯噪聲信道，利用高斯信號(hào)作為輸入時(shí)，信道總可以得到充分利用。即在無(wú)記憶加性高斯噪聲信道中高斯信號(hào)是最有效的，在同樣的信號(hào)功率下可以傳輸最多的信息。第四十六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)記憶加性噪聲信道的容量界第四十七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)記憶加性噪聲信道的容量界第四十八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六無(wú)記憶加性噪聲信道的容量界說(shuō)明：S為輸入平均功率的上限，為噪聲的方差，為噪聲的熵功率在高斯噪聲情況下，信道容量最小。在未知信道噪聲特性時(shí)，將噪聲視為高斯噪聲來(lái)考慮為好。第四十九頁(yè)，共六十五頁(yè)，編輯于2023年，星期六模擬信道及其離散化模擬信道：輸入和輸出信號(hào)在幅度和時(shí)間上都連續(xù)取值的信道。實(shí)例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設(shè)模擬信道的輸入為x(t)，相應(yīng)的輸出信號(hào)為y(t)，則可以通過(guò)正交展開(kāi)將其化為時(shí)間離散的序列：

統(tǒng)計(jì)特性描述：模擬信道的信道容量第五十頁(yè)，共六十五頁(yè)，編輯于2023年，星期六模擬信道容量計(jì)算（限帶，加性白色高斯噪聲信道）限帶：限制在頻帶[-W,W]內(nèi)。輸入信號(hào)：x(t)，輸出信號(hào)：y(t)。噪聲信號(hào)：z(t)（1）加性（與輸入統(tǒng)計(jì)獨(dú)立）（2）高斯（瞬時(shí)值的密度函數(shù)服從高斯分布）（3）白色（平穩(wěn)遍歷的隨機(jī)過(guò)程，功率譜密度N0

）模擬信道的信道容量第五十一頁(yè)，共六十五頁(yè)，編輯于2023年，星期六結(jié)論：限帶W的加性白色高斯噪聲模擬信道相當(dāng)于N個(gè)連續(xù)加性高斯信道的并聯(lián)。模擬信道的信道容量第五十二頁(yè)，共六十五頁(yè)，編輯于2023年，星期六結(jié)論：（1）帶寬一定時(shí)，信道的最大傳輸率是信噪比的函數(shù)。（2）信噪比確定時(shí)，信道容量與帶寬成正比。此時(shí)提高最大信息傳輸率的方法是提高帶寬。例1.用香農(nóng)公式研究Modem的速度Modem速度可達(dá)56Kbps，實(shí)際很低。香農(nóng)公式第五十三頁(yè)，共六十五頁(yè)，編輯于2023年，星期六在Modem通信環(huán)境中，音頻電話(huà)支持的頻率范圍是300Hz---3300Hz，則W＝3300Hz－300Hz＝3000Hz.此環(huán)境中一般的信噪比為30dB，即30＝10log10(S/N)，S/N＝1000則C＝3000log2(1000+1)30Kbps.（3）對(duì)于有確定信道容量C的信道，可以用帶寬W與信噪比S/N的不同組合來(lái)傳輸信息。如減少帶寬，則必須發(fā)送較大功率的信號(hào)。如增大帶寬，則同樣的信道容量能夠用較小功率的信號(hào)傳輸，即寬帶系統(tǒng)具有良好的抗干擾性。香農(nóng)公式第五十四頁(yè)，共六十五頁(yè)，編輯于2023年，星期六（4）擴(kuò)頻技術(shù)香農(nóng)公式第五十五頁(yè)，共六十五頁(yè)，編輯于2023年，星期六

例：CDMA（碼分多址）技術(shù)基于擴(kuò)頻通信的基本原理，將要傳輸?shù)木哂幸欢◣挼男盘?hào)，用一個(gè)帶寬遠(yuǎn)遠(yuǎn)大于信號(hào)帶寬的高速偽隨機(jī)編碼信號(hào)（白噪聲）去調(diào)制它，使原信號(hào)的帶寬被遠(yuǎn)遠(yuǎn)擴(kuò)大，達(dá)到在S/N較低的情況下得到較高通信質(zhì)量的目的。香農(nóng)公式WC0第五十六頁(yè)，共六十五頁(yè)，編輯于2023年，星期六平行可加高斯信道的容量第五十七頁(yè)，共六十五頁(yè)，編輯于2023年，星期六由無(wú)記憶性及加性類(lèi)似于離散情形有平行可加高斯信道的容量第五十八頁(yè)，共六十五頁(yè)，編輯于2023年，星期六達(dá)到上述容量的輸入分布：輸入中個(gè)分量統(tǒng)計(jì)獨(dú)立，均值為零，平均功率為Si的高斯隨機(jī)變量。約束條件：輸入信號(hào)的總平均功率受限，問(wèn)題：如何將總信