第一講通信概論與信息度量

1、任課教師及助教任課教師及助教n 任課教師任課教師金德鵬金德鵬 中央主樓中央主樓901C 62781409 n 助教助教孫光：孫光： , 中央主樓中央主樓901C作業(yè)及答疑作業(yè)及答疑n 作業(yè)作業(yè)隨堂布置，第二周上課交隨堂布置，第二周上課交課堂收取、發(fā)放作業(yè)課堂收取、發(fā)放作業(yè)n 答疑答疑每周五下午每周五下午3：304：30，中央主樓，中央主樓901C平時可隨時聯(lián)系老師答疑平時可隨時聯(lián)系老師答疑不限于課程，推研、出國、考研、就業(yè)不限于課程，推研、出國、考研、就業(yè)歡迎大家到辦公室聊天歡迎大家到辦公室聊天期中期末集中答疑期中期末集中答疑課程安排（課程安排（1）n 通信概論與信息度量通信概論與信息度量n

2、模擬調(diào)制模擬調(diào)制n 模擬信號數(shù)字化及壓縮編碼模擬信號數(shù)字化及壓縮編碼n 時分多路復用時分多路復用n 數(shù)字信號基帶傳輸數(shù)字信號基帶傳輸n 數(shù)字信號載波傳輸數(shù)字信號載波傳輸n 差錯控制編碼差錯控制編碼n 卷積碼卷積碼n 多址技術(shù)多址技術(shù)課程安排（課程安排（2）n 教材教材 現(xiàn)代通信原理現(xiàn)代通信原理 ，清華大學出版社，曹志剛、錢亞生，清華大學出版社，曹志剛、錢亞生n 講義講義 每周周一左右上傳到網(wǎng)絡(luò)學堂每周周一左右上傳到網(wǎng)絡(luò)學堂n 參考書參考書 英文參考書：英文參考書： E1. Introduction to digital communication Rodger E. Ziemer E2. Pr

3、inciple of communication engineering Wozencraft & Jacobs E3. Communication systems engineering Proakis & Salehi 中文參考書：中文參考書： C1. 數(shù)字通信基礎(chǔ)與應(yīng)用（第二版）數(shù)字通信基礎(chǔ)與應(yīng)用（第二版），Bernard Sklar C2. 數(shù)字微波中繼通信工程數(shù)字微波中繼通信工程，姚彥、梅順良、高葆新，人民郵電出版，姚彥、梅順良、高葆新，人民郵電出版社社 C3. 通信原理通信原理（1980, 1984），樊昌信，國防工業(yè)出版社），樊昌信，國防工業(yè)出版社 C4. 現(xiàn)代通

4、信理論基礎(chǔ)（上冊）現(xiàn)代通信理論基礎(chǔ)（上冊），樊平毅，馮重熙，清華大學出版社，樊平毅，馮重熙，清華大學出版社n 課程成績課程成績 平時成績（作業(yè)，隨堂測驗）平時成績（作業(yè)，隨堂測驗） 期中考試期中考試 期末考試期末考試第一講第一講 通信概論與信息度量通信概論與信息度量n 主要內(nèi)容主要內(nèi)容通信的定義通信的定義通信的發(fā)展簡史通信的發(fā)展簡史 通信系統(tǒng)及其分類通信系統(tǒng)及其分類信息的度量信息的度量香農(nóng)定理香農(nóng)定理通信的核心問題是什么？通信系統(tǒng)的的基本框架是怎樣的？從信息論的角度如何看通信？通信的理論極限是什么？通信的定義通信的定義n 通信（通信（communication）信息的傳輸和交換，信息的傳遞信息

5、的傳輸和交換，信息的傳遞n 消息（消息（message)通信系統(tǒng)要傳送的內(nèi)容，包括語音、圖像、數(shù)據(jù)、文字等，通信系統(tǒng)要傳送的內(nèi)容，包括語音、圖像、數(shù)據(jù)、文字等，消息由信源產(chǎn)生消息由信源產(chǎn)生n 信號（信號（signal）消息的載體，包括電信號、光信號等消息的載體，包括電信號、光信號等n 信息（信息（information）消息中包含的新的、有意義且可被理解的、不可壓縮的東西消息中包含的新的、有意義且可被理解的、不可壓縮的東西消息是信息與某種冗余成分之和，是信息的載體消息是信息與某種冗余成分之和，是信息的載體本課程著重討論信息的傳輸問題，重點在點對點數(shù)字通信系統(tǒng)基本原理和基本技術(shù)！通信的基本問題通

6、信的基本問題n 一個例子一個例子 烽火臺烽火臺n 通信的基本問題通信的基本問題 有效的通信在資源受限條件下把信息準確無誤地傳送到目的地有效的通信在資源受限條件下把信息準確無誤地傳送到目的地傳輸?shù)乃俾矢邆鬏數(shù)乃俾矢哒加玫膸捀加玫膸捀瓊鬏數(shù)难訒r更小傳輸?shù)难訒r更小使用更小的功率使用更小的功率設(shè)備的成本更低設(shè)備的成本更低 可靠的通信可靠的通信復雜惡劣的環(huán)境：噪聲、干擾、衰落復雜惡劣的環(huán)境：噪聲、干擾、衰落對抗條件下的通信：人為的干擾對抗條件下的通信：人為的干擾盡量減少信息傳遞所消耗的資源！在給定資源條件下傳送盡可能多的信息！降低信息傳輸?shù)牟铄e率！通信的發(fā)展簡史（通信的發(fā)展簡史（1）n 通

7、信起源通信起源人類社會活動中需要互通消息人類社會活動中需要互通消息n 早期的通信早期的通信以物示意：烽火臺以物示意：烽火臺郵政通信：驛站、驛郵郵政通信：驛站、驛郵n 電信電信1837年，摩爾斯發(fā)明有線電報年，摩爾斯發(fā)明有線電報1864年，麥克思韋預言電磁波的存在年，麥克思韋預言電磁波的存在1876年，貝爾發(fā)明有線電話年，貝爾發(fā)明有線電話1887年，赫茲用實驗證明電磁波的存在年，赫茲用實驗證明電磁波的存在1893年，史端喬發(fā)明步進式電話交換機年，史端喬發(fā)明步進式電話交換機1897年，馬可尼發(fā)明無線電報年，馬可尼發(fā)明無線電報1918年，調(diào)幅無線電廣播商用年，調(diào)幅無線電廣播商用通信的發(fā)展簡史（通信的

8、發(fā)展簡史（2）1928年，奈奎斯特提出抽樣定理年，奈奎斯特提出抽樣定理1936年，發(fā)明調(diào)頻技術(shù)年，發(fā)明調(diào)頻技術(shù)1937年，提出年，提出PCM技術(shù)技術(shù)1938年，黑白電視廣播系統(tǒng)商用年，黑白電視廣播系統(tǒng)商用19441947年，統(tǒng)計通信理論形成年，統(tǒng)計通信理論形成19481950年，香農(nóng)信息論形成，糾錯年，香農(nóng)信息論形成，糾錯碼出現(xiàn)碼出現(xiàn)19481951年，晶體管發(fā)明年，晶體管發(fā)明1950年，貝爾實驗室研制出年，貝爾實驗室研制出PCM數(shù)字通數(shù)字通信設(shè)備，信設(shè)備，TDM技術(shù)應(yīng)用于電話技術(shù)應(yīng)用于電話1953年，彩色電視出現(xiàn)年，彩色電視出現(xiàn)1956年，第一條跨越大洋電纜建成，可年，第一條跨越大洋電纜建成

9、，可提供提供36個話路個話路1960年，發(fā)明激光器年，發(fā)明激光器1961年，集成電路開始商業(yè)生產(chǎn)年，集成電路開始商業(yè)生產(chǎn)通信的發(fā)展簡史（通信的發(fā)展簡史（3） 1962年，第一顆人造衛(wèi)星上天年，第一顆人造衛(wèi)星上天 19621966年，數(shù)據(jù)傳輸業(yè)務(wù)商用年，數(shù)據(jù)傳輸業(yè)務(wù)商用 1964年，第一臺程控交換機投入應(yīng)用年，第一臺程控交換機投入應(yīng)用 19661975年，有線電視、商用衛(wèi)星中繼、光纖鏈路投入應(yīng)用年，有線電視、商用衛(wèi)星中繼、光纖鏈路投入應(yīng)用 1972年，年，Motorola開發(fā)蜂窩電話系統(tǒng)，第一次跨越大西洋的衛(wèi)星開發(fā)蜂窩電話系統(tǒng)，第一次跨越大西洋的衛(wèi)星電視直播成功電視直播成功 1977年，光纖通信

10、系統(tǒng)投入商用年，光纖通信系統(tǒng)投入商用 1978年，模擬蜂窩移動通信系統(tǒng)投入商用年，模擬蜂窩移動通信系統(tǒng)投入商用 1989年，跨大西洋及太平洋的光纜用于通信年，跨大西洋及太平洋的光纜用于通信 1991年，年，GSM移動通信系統(tǒng)投入商用移動通信系統(tǒng)投入商用 1995年，窄帶年，窄帶CDMA移動通信系統(tǒng)在香港投入商用移動通信系統(tǒng)在香港投入商用 1995年，年，F(xiàn)oschini提出了多天線無線傳輸系統(tǒng)提出了多天線無線傳輸系統(tǒng) 1997年，年，IEEE提出提出802.11無線局域網(wǎng)標準無線局域網(wǎng)標準 1998年，年，Alamouti提出空時編碼提出空時編碼 1998年，數(shù)字電視業(yè)務(wù)在美國開通年，數(shù)字電視

11、業(yè)務(wù)在美國開通 2001年，年，NTT試運行試運行WCMDA服務(wù)，服務(wù)，IEEE提出提出802.16標準標準 2003年，年，Li、Yeung、Cai提出了線性網(wǎng)絡(luò)編碼提出了線性網(wǎng)絡(luò)編碼通信的發(fā)展簡史（通信的發(fā)展簡史（4）n 通信的發(fā)展趨勢通信的發(fā)展趨勢數(shù)字化：最后一公里的接入網(wǎng)絡(luò)、電視網(wǎng)絡(luò)等數(shù)字化：最后一公里的接入網(wǎng)絡(luò)、電視網(wǎng)絡(luò)等綜合化：電信網(wǎng)、計算機網(wǎng)、電視網(wǎng)三網(wǎng)合一綜合化：電信網(wǎng)、計算機網(wǎng)、電視網(wǎng)三網(wǎng)合一智能化：軟交換、智能化：軟交換、ASON、下一代網(wǎng)絡(luò)、下一代網(wǎng)絡(luò)移動化：移動電話、移動衛(wèi)星、移動化：移動電話、移動衛(wèi)星、WLAN、WiMAX寬帶化：寬帶化：PON、寬帶無線接入、寬帶無線

12、接入、4G、100G系統(tǒng)系統(tǒng)個人化：個人化：5W（whoever、whenever、wherever、whatever、whoever）n 通信系統(tǒng)通信系統(tǒng)完成通信這一過程的全部設(shè)備和傳輸媒介完成通信這一過程的全部設(shè)備和傳輸媒介n 通信系統(tǒng)基本框圖通信系統(tǒng)基本框圖通信系統(tǒng)（通信系統(tǒng)（1）通信系統(tǒng)（通信系統(tǒng)（2）n 模擬通信系統(tǒng)模擬通信系統(tǒng)在信道中傳輸?shù)氖悄M信號的通信系統(tǒng)在信道中傳輸?shù)氖悄M信號的通信系統(tǒng)模擬通信的缺點模擬通信的缺點抗噪聲和干擾能力差，傳輸中模擬信號會越來越弱抗噪聲和干擾能力差，傳輸中模擬信號會越來越弱放大器的引入帶來信噪比的惡化放大器的引入帶來信噪比的惡化通信系統(tǒng)（通信系統(tǒng)（

13、3）n 數(shù)字通信系統(tǒng)數(shù)字通信系統(tǒng)在信道中傳輸?shù)氖菙?shù)字信號的通信系統(tǒng)在信道中傳輸?shù)氖菙?shù)字信號的通信系統(tǒng)數(shù)字通信的優(yōu)缺點數(shù)字通信的優(yōu)缺點抗噪聲、抗干擾能力強：再生、體制抗噪聲、抗干擾能力強：再生、體制差錯可控：糾錯碼差錯可控：糾錯碼易加密：數(shù)字信號易加密：數(shù)字信號適應(yīng)性強適應(yīng)性強占用頻帶寬占用頻帶寬系統(tǒng)和設(shè)備復雜系統(tǒng)和設(shè)備復雜數(shù)字化是通信發(fā)展的主流和趨勢！數(shù)字化是通信發(fā)展的主流和趨勢！通信系統(tǒng)（通信系統(tǒng)（4）n 典型數(shù)字通信系統(tǒng)框圖典型數(shù)字通信系統(tǒng)框圖信源編碼和譯碼：壓縮冗余，去除次要信息信源編碼和譯碼：壓縮冗余，去除次要信息信道編碼和譯碼：增加冗余，提高傳輸可靠性信道編碼和譯碼：增加冗余，提高傳

14、輸可靠性數(shù)字調(diào)制和解調(diào)數(shù)字調(diào)制和解調(diào)同步：載波同步、時鐘同步、字同步同步：載波同步、時鐘同步、字同步 信源 信源編碼 信道編碼 調(diào)制器 信道 解調(diào)器 信道譯碼 信源解碼 信宿 噪聲源 發(fā)同步 收同步 通信系統(tǒng)（通信系統(tǒng)（5）n 一個更完整的數(shù)字通信系統(tǒng)框圖一個更完整的數(shù)字通信系統(tǒng)框圖 格式化 信源 編碼 加密 信道 編碼 多路 復用 脈沖 調(diào)制 帶通 調(diào)制 頻率 擴展 復用 多址 接入 格式化 信源 譯碼 解密 信道 譯碼 多路 分接 檢測 解調(diào) 采樣 頻率 解擴 復用 多址 接入 信源 信宿 消息碼元 數(shù)字輸入消息碼元 消息碼元 數(shù)字輸出消息碼元 比特流 數(shù)字基帶波形 數(shù)字頻帶波形 信 道

15、同步 通信系統(tǒng)（通信系統(tǒng)（6）n 通信系統(tǒng)的其它形式通信系統(tǒng)的其它形式 從系統(tǒng)構(gòu)成看任何一個系統(tǒng)可以看成一個單發(fā)單收系統(tǒng)的組合系統(tǒng)。從系統(tǒng)構(gòu)成看任何一個系統(tǒng)可以看成一個單發(fā)單收系統(tǒng)的組合系統(tǒng)。在多發(fā)多收系統(tǒng)中，除了涉及到上述描述的傳輸系統(tǒng)外，還包括信在多發(fā)多收系統(tǒng)中，除了涉及到上述描述的傳輸系統(tǒng)外，還包括信息的交換：即如何有效利用現(xiàn)有的通信資源，最大效率地進行信息息的交換：即如何有效利用現(xiàn)有的通信資源，最大效率地進行信息地傳送，從而派生出通信網(wǎng)絡(luò)的概念。由此引入了交換技術(shù)，網(wǎng)絡(luò)地傳送，從而派生出通信網(wǎng)絡(luò)的概念。由此引入了交換技術(shù)，網(wǎng)絡(luò)管理等技術(shù)。本課程的重點側(cè)重于傳輸系統(tǒng)中涉及的關(guān)鍵技術(shù)與基管

16、理等技術(shù)。本課程的重點側(cè)重于傳輸系統(tǒng)中涉及的關(guān)鍵技術(shù)與基本原理本原理.通信系統(tǒng)（通信系統(tǒng)（7）n 通信系統(tǒng)的分類通信系統(tǒng)的分類按消息的物理特征分類：按消息的物理特征分類：文字文字-電報系統(tǒng)電報系統(tǒng) 語音語音-電話系統(tǒng)電話系統(tǒng) 數(shù)字數(shù)字-數(shù)據(jù)通信系統(tǒng)數(shù)據(jù)通信系統(tǒng) 圖象圖象-圖象通信系統(tǒng)圖象通信系統(tǒng)通信系統(tǒng)（通信系統(tǒng)（8）按調(diào)制方式分類：按調(diào)制方式分類：基帶傳輸：實現(xiàn)簡便，用于近距離傳輸，不需考慮基帶傳輸：實現(xiàn)簡便，用于近距離傳輸，不需考慮頻帶利用率問題，干擾較小，可靠性高。不適用于長頻帶利用率問題，干擾較小，可靠性高。不適用于長距離傳輸。距離傳輸。調(diào)制傳輸：實現(xiàn)較復雜，用于長距離傳輸，需將信調(diào)制

17、傳輸：實現(xiàn)較復雜，用于長距離傳輸，需將信息轉(zhuǎn)換成便于傳輸?shù)男问?，增強了抗干擾能力，有效息轉(zhuǎn)換成便于傳輸?shù)男问?，增強了抗干擾能力，有效地利用頻帶。地利用頻帶。通信系統(tǒng)（通信系統(tǒng)（9） 按傳輸信號的特征分按傳輸信號的特征分模擬通信模擬通信 采用原始的信源信號，如語音，圖像信號等；采用原始的信源信號，如語音，圖像信號等； 實現(xiàn)相對簡單實現(xiàn)相對簡單 在長距離中繼通信中抗干擾能力差在長距離中繼通信中抗干擾能力差. 信息交換實現(xiàn)較復雜信息交換實現(xiàn)較復雜 短距離傳輸保真度高短距離傳輸保真度高數(shù)字通信數(shù)字通信 采用數(shù)字采樣、量化信源采用數(shù)字采樣、量化信源 在長距離中繼通信中，抗干擾能力在長距離中繼通信中，抗干

18、擾能力 強強 易于數(shù)字化處理易于數(shù)字化處理 設(shè)備集成度高設(shè)備集成度高 信號的傳輸與交換易于融合信號的傳輸與交換易于融合 便于多路復用便于多路復用通信系統(tǒng)（通信系統(tǒng)（10）按復用方式分按復用方式分頻分復用頻分復用FDM時分復用時分復用TDM碼分復用碼分復用CDM波分復用波分復用WDM空分復用空分復用SDM按傳輸媒介分按傳輸媒介分有線通信系統(tǒng)：有線電視、光纖通信系統(tǒng)有線通信系統(tǒng)：有線電視、光纖通信系統(tǒng)無線通信系統(tǒng)：移動電話系統(tǒng)、無線局域網(wǎng)系統(tǒng)無線通信系統(tǒng)：移動電話系統(tǒng)、無線局域網(wǎng)系統(tǒng)通信方式通信方式n 單工、半雙工和全雙工通信單工、半雙工和全雙工通信單工通信：消息只能從一點沿一個方向傳輸給另一點，

19、不能單工通信：消息只能從一點沿一個方向傳輸給另一點，不能沿反方向傳輸。沿反方向傳輸。半雙工通信：通信的兩點間能夠在兩個方向上傳輸信息，但半雙工通信：通信的兩點間能夠在兩個方向上傳輸信息，但在某一時刻信道中只能有一個方向的信號在傳輸。在某一時刻信道中只能有一個方向的信號在傳輸。全雙工通信：通信的兩點間可以同時雙向地傳輸信息全雙工通信：通信的兩點間可以同時雙向地傳輸信息n 并行傳輸和串行傳輸并行傳輸和串行傳輸并行傳輸：數(shù)字信號碼元序列分割成兩路以上的碼元序列在并行傳輸：數(shù)字信號碼元序列分割成兩路以上的碼元序列在信道中傳輸信道中傳輸串行傳輸：數(shù)字信號的碼元序列按照時間順序一個一個地在串行傳輸：數(shù)字信

20、號的碼元序列按照時間順序一個一個地在信道中傳輸信道中傳輸信道（信道（1）n 信道信道信號傳輸?shù)拿浇榛蛲緩叫盘杺鬏數(shù)拿浇榛蛲緩絥 信道的分類信道的分類有線信道有線信道架空明線架空明線雙絞線雙絞線同軸電纜同軸電纜光纖光纖信道（信道（2）無線信道無線信道地波傳播：地波傳播：2MHz以下的無線電波沿地球表面?zhèn)鬏斠韵碌臒o線電波沿地球表面?zhèn)鬏斕觳▊鞑ィ航?jīng)電離層反射天波傳播：經(jīng)電離層反射視距（空間波）傳播：直接從發(fā)射點傳到接收點視距（空間波）傳播：直接從發(fā)射點傳到接收點無線電視距中繼信道無線電視距中繼信道衛(wèi)星中繼信道衛(wèi)星中繼信道對流層散射信道對流層散射信道流星余跡散射信道流星余跡散射信道恒參信道與變參信道恒

21、參信道與變參信道信道中的噪聲信道中的噪聲通信技術(shù)的新進展（通信技術(shù)的新進展（1）n 有線：有線：電纜：電纜：HDSL，VDSLPON：APON，EPON，GPONn 光纖光纖DWDM技術(shù)技術(shù)光交叉連接，幾十光交叉連接，幾十G Hz（千兆）帶寬（千兆）帶寬ROFn 無線無線微波中繼微波中繼衛(wèi)星通信衛(wèi)星通信WLANUWBWSNFSOn 移動通信移動通信2G， GSM，CDMA IS-95技術(shù)技術(shù)2.5G，GPRS, EDGES3G , CDMA2000, WCDMA, TD-SCDMA4G MC-CDMA? OFDM? MIMO？n 認知無線電認知無線電 軟件無線電軟件無線電認知無線電認知無線電通

22、信技術(shù)的新進展（通信技術(shù)的新進展（2）信息的度量信息的度量n 信息信息新的、有意義且可被理解的、不可壓縮的東西新的、有意義且可被理解的、不可壓縮的東西能夠消除不確定性能夠消除不確定性事件的隨機性帶來不確定性事件的隨機性帶來不確定性不確定的方式由隨機變量給出不確定的方式由隨機變量給出概率分布概率分布n 信息度量的特性信息度量的特性信息應(yīng)該是非負的；信息應(yīng)該是非負的；信息應(yīng)該與消息的概率有關(guān)：出現(xiàn)的概率越低，包含的信息應(yīng)該與消息的概率有關(guān)：出現(xiàn)的概率越低，包含的信息量越大；信息量越大；信息應(yīng)該與消息的長度有關(guān)：若干獨立消息之和的信息信息應(yīng)該與消息的長度有關(guān)：若干獨立消息之和的信息應(yīng)該是每個消息攜帶

23、信息的線性疊加；應(yīng)該是每個消息攜帶信息的線性疊加；可能的消息數(shù)目是指數(shù)增長的，但信息是線性的可能的消息數(shù)目是指數(shù)增長的，但信息是線性的n 離散信源的信息量離散信源的信息量 消息出現(xiàn)的概率的對數(shù)測度作為離散消息的信息度消息出現(xiàn)的概率的對數(shù)測度作為離散消息的信息度量。量。)(log)(iixPxH)(ixP為ix的概率),(jiyxPix為jy與同時出現(xiàn)的概率),(log),(jijiyxPyxH離散信源的信息量離散信源的信息量n 聯(lián)合信源的信息量聯(lián)合信源的信息量 聯(lián)合消息出現(xiàn)的概率的對數(shù)測度作為聯(lián)合信源的信聯(lián)合消息出現(xiàn)的概率的對數(shù)測度作為聯(lián)合信源的信息度量。息度量。n 離散信源的互信息量離散信源

24、的互信息量 反映兩個隨機事件之間的統(tǒng)計關(guān)聯(lián)程度反映兩個隨機事件之間的統(tǒng)計關(guān)聯(lián)程度 由一個隨機實驗的結(jié)果所幫助消除的另一個隨機變由一個隨機實驗的結(jié)果所幫助消除的另一個隨機變量的不確定性量的不確定性 當當 與與 統(tǒng)計獨立時，互信息量為統(tǒng)計獨立時，互信息量為0 當后驗概率為當后驗概率為1時，互信息量等于時，互信息量等于 的信息量的信息量)()|(log),(ijijixPyxPyxIixjyix離散信源的互信息量離散信源的互信息量n 互信息的物理含義互信息的物理含義觀測到觀測到Y(jié)以后，從以后，從Y所能獲取的關(guān)于所能獲取的關(guān)于X的信息，其本質(zhì)的信息，其本質(zhì)是信息的傳遞是信息的傳遞通信通信條件概率條件概

25、率 是對一切信道的一致性和本征性描是對一切信道的一致性和本征性描述！述！互信息描述了可靠傳輸信息的量互信息描述了可靠傳輸信息的量通信的目標：通信的目標：追求最大的互信息追求最大的互信息(|)jip yxXY可觀測的結(jié)果希望了解的內(nèi)容(|)jip yx信息通道互信息的物理意義互信息的物理意義n 熵的定義熵的定義n 熵的性質(zhì)熵的性質(zhì) 熵非負熵非負 熵的值與對數(shù)底有關(guān)熵的值與對數(shù)底有關(guān)取取2為底，則熵的單位是比特（為底，則熵的單位是比特（Bit）取自然對數(shù)取自然對數(shù)e為底，則熵的單位是奈特（為底，則熵的單位是奈特（Nat）取取10為底，則熵的單位是哈特（為底，則熵的單位是哈特（Hartely） 熵為

26、零，當且僅當熵為零，當且僅當n 熵的物理含義熵的物理含義 對應(yīng)于描述信源所需的最少字符數(shù)量信源壓縮的極限對應(yīng)于描述信源所需的最少字符數(shù)量信源壓縮的極限 所需字符集合的大小為所取對數(shù)的底所需字符集合的大小為所取對數(shù)的底離散信源的平均信息量熵離散信源的平均信息量熵NiiixPxPXH1)(log)()( )0,1ip x確定了通信系統(tǒng)所要傳遞的信息量的大小或信息速率！n 聯(lián)合熵聯(lián)合熵多個隨機變量的不確定性測度多個隨機變量的不確定性測度n 條件熵條件熵消除了一個隨機變量的不確定性后，另一個隨機變量消除了一個隨機變量的不確定性后，另一個隨機變量殘留的不確定性殘留的不確定性離散信源聯(lián)合熵與條件熵離散信源

27、聯(lián)合熵與條件熵(|)( ,)log (|)ijjiijH Y Xp x yp yx ()( ,)log ( ,)ijijijH XYp x yp x y n 物理意義物理意義 兩個隨機變量的聯(lián)合不確定性，等于一個隨機變量的不確定性，加上兩個隨機變量的聯(lián)合不確定性，等于一個隨機變量的不確定性，加上知道這個隨機變量后另一個隨機變量殘余知道這個隨機變量后另一個隨機變量殘余的不確定性的不確定性 證明：證明：熵、聯(lián)合熵及條件熵的關(guān)系熵、聯(lián)合熵及條件熵的關(guān)系()()(|)H XYH XH Y X()( ,)log ( )ijiijH Xp x yp x (|)( ,)log (|)ijjiijH Y Xp

28、 x yp yx ( )( ,)iijjp xp x y()(|)( ,) log ( ) (|) ( ,)log ( ,) ()ijijiijijijijH XH Y Xp x yp x p yxp x yp x yH XY ()( )(|)H XYH YH X Y平均互信息量平均互信息量)|()()|()(log),()|()()|()(log),()()()()()(),(log),()()|(log),(),(XYHYHxypypyxpYXHXHyxpxpyxpXYHYHXHypxpyxpyxpxpyxpyxpYXIijjijjijiiijjijijiijjiijiijji通信的目標：

29、最大化平均互信息量通信的目標：最大化平均互信息量平均信息量的不等式平均信息量的不等式n 基本不等式：對于基本不等式：對于 ，如下不等式成立，如下不等式成立證明：令證明：令 ，求導函數(shù)可得，求導函數(shù)可得11ln1xxx0 x 1( )1fxx 21( )0fxxmin( )(1)0f xfln1xx1yxxxxfln1)(yyln11熵與條件熵的不等式熵與條件熵的不等式n 熵不小于條件熵：熵不小于條件熵： 證明：證明：(|)( ,)log (|)ijjiijH Y Xp x yp yx ( )( ,)log ()ijiijH Yp x yp y (|)( )(|)( ,) log()( ,) (

30、 ,)log( ) ()jiijijiijijijiip yxH YH Y Xp x yp yp x yp x yp x p y( ,)( ) ()( ,)log( ,) 1( ) ()( ,) ( ,)( ) ()0ijiiijijijijiiijijiiijijp x yp x p yp x yp x yp x p yp x yp x yp x p y)|()()|()(YXHXHXYHYH熵、條件熵與聯(lián)合熵的不等式熵、條件熵與聯(lián)合熵的不等式n 聯(lián)合熵不小于條件熵：聯(lián)合熵不小于條件熵：證明：證明： 而而 ，因此，因此n 聯(lián)合熵大于任何一個隨機變量的熵：聯(lián)合熵大于任何一個隨機變量的熵： 證明

31、：證明： ()( )( |)H XYH XH Y X( )0H X ()( |)H XYH Y X()( )H XYH X( |)( ,)log (|) ( )(|)log (|)ijjiijijijiijH Y Xp x yp yxp xp yxp yx (|)log (|)0jijijp yxp yx( |)0H Y X ()( )( |)H XYH XH Y X()(|)H XYH Y Xn 聯(lián)合熵不大于兩個隨機變量熵之和聯(lián)合熵不大于兩個隨機變量熵之和 證明：證明：n 離散隨機變量在均勻分布時取得最大熵離散隨機變量在均勻分布時取得最大熵 證明：證明：()()( )H XYH XH Y()

32、()(|)H XYH XH Y X( )(|)H YH Y X1)(. .)(log)(:maxiiixptsxpxp1)(0)(/ )()()(log)()(expxpxFxpxpxpxFiiiii熵與聯(lián)合熵的不等式熵與聯(lián)合熵的不等式00.20.40.60.8100.20.40.60.81011Xpp拉格朗日乘數(shù)法n 抽樣定理抽樣定理 如果一個連續(xù)信號的頻帶限制在（如果一個連續(xù)信號的頻帶限制在（0，W）內(nèi)，則它完全）內(nèi)，則它完全可用間隔為可用間隔為 的采樣序列無失真地表示。的采樣序列無失真地表示。每個抽樣點的平均信息量即連續(xù)信源的平均信息量每個抽樣點的平均信息量即連續(xù)信源的平均信息量n 連續(xù)

33、消息連續(xù)消息采用了近似于定積分的討論方法：連續(xù)消息信號在每個抽采用了近似于定積分的討論方法：連續(xù)消息信號在每個抽樣點上的取值是一個連續(xù)的隨機變量，其一元概率密度函數(shù)樣點上的取值是一個連續(xù)的隨機變量，其一元概率密度函數(shù)為。將隨機變量的取值范圍分成為。將隨機變量的取值范圍分成2N段，取值落在小段，取值落在小段內(nèi)的概率可近似表示為段內(nèi)的概率可近似表示為連續(xù)信源的信息度量連續(xù)信源的信息度量)2/(1W)(xpiiiiixxpxxxxP)()()(log)()(1iiNNiiixxpxxpXH,0NxidxdxxpxpXH1log)(log)()(令令得：得：直接引用離散信源熵的定義直接引用離散信源熵的

34、定義連續(xù)信源的熵連續(xù)信源的熵dxxpxpXH)(log)()(連續(xù)消息的平均信息量是一個相對的概念，對不同的一一對應(yīng)連續(xù)消息的平均信息量是一個相對的概念，對不同的一一對應(yīng)變換，它的值發(fā)生變化，因此，連續(xù)消息的平均信息量只能提變換，它的值發(fā)生變化，因此，連續(xù)消息的平均信息量只能提供一個相對的比較量。供一個相對的比較量。絕對熵：絕對熵：相對熵：相對熵：一連續(xù)信源，其輸出信號在（一連續(xù)信源，其輸出信號在（-1，+1）內(nèi)取值，服從均勻分布，）內(nèi)取值，服從均勻分布，求該連續(xù)消息的平均信息量。如將輸出信號放大求該連續(xù)消息的平均信息量。如將輸出信號放大2倍，其平均信倍，其平均信息量為多少？息量為多少？解：（

35、解：（1） . 121log21)(11dxXH（2）信號放大后）信號放大后241log41)(22dxXH主要原因在于主要原因在于2log1log21logdxdx連續(xù)信源的例子連續(xù)信源的例子連續(xù)信源的條件熵與互熵連續(xù)信源的條件熵與互熵dydxxypyxpXYH )|(log),()|()|()()|()(),(XYHYHYXHXHYXIdxdyypxpxypxypYXI)()()(log)(),(n 條件熵：條件熵：n互熵互熵思考題：離散信源各種熵之間的等式和不等式都適用于連續(xù)信思考題：離散信源各種熵之間的等式和不等式都適用于連續(xù)信源嗎？請證明。源嗎？請證明。連續(xù)信源熵的性質(zhì)連續(xù)信源熵的性

36、質(zhì)n 平移不改變微分熵平移不改變微分熵n 放縮改變微分熵放縮改變微分熵 證明：證明：()()h Xch X()()log|h aXh XaYaX1( )|YXyfyfaa ()( )log( )11 log| loglog| ()log|YYXXXXh aXfyfy dyyyffdyaaaayfxfdxaah Xa n 離散信源離散信源當其所有符號等概率輸出時，其平均信息量最大。當其所有符號等概率輸出時，其平均信息量最大。n 連續(xù)信源連續(xù)信源與概率密度函數(shù)有關(guān)與概率密度函數(shù)有關(guān)功率受限信源功率受限信源峰值受限信源峰值受限信源熵最大的條件熵最大的條件功率受限連續(xù)信源最大熵分布功率受限連續(xù)信源最大

37、熵分布已知條件：已知條件：1)(,)(22dxxpdxxpxdxxpxpXH)(log)()(求：求：為最大值時為最大值時,相應(yīng)的概率密度函數(shù)相應(yīng)的概率密度函數(shù).利用拉格朗日乘數(shù)法利用拉格朗日乘數(shù)法,定義一個新的函數(shù)定義一個新的函數(shù)dxxpxxpxpxpxF)()()(log)()(20)()(xpxF令：令：可得可得0)(log12xxp21)(xeexp)2exp(21)(22xxp則：則：此時最大熵為此時最大熵為eXH2log)(功率受限連續(xù)信源最大熵分布功率受限連續(xù)信源最大熵分布最大熵優(yōu)化問題最大熵優(yōu)化問題使用拉格朗日乘子方法使用拉格朗日乘子方法對概率分布求導，可得對概率分布求導，可得

38、max:( )log( )( )1. . ( )0AAAAf xf x dxf x dxstf x( ( ), )( )log( )( )1AAAAL f xf xf x dxf x dx ( ( ), )1 log( )0( )L f xf xf x dx 1( )2f x1( )2f xA峰值受限連續(xù)信源最大熵分布峰值受限連續(xù)信源最大熵分布n 信道容量信道容量單位時間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘繂挝粫r間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘縩 通信追求的目標通信追求的目標在一定的信道條件下，最大化信息傳輸能力在一定的信道條件下，最大化信息傳輸能力目標是最大化互信息目標是最大化互信息I(x,y)n 如

39、何優(yōu)化？如何優(yōu)化？信道信道 由客觀物理環(huán)境所決定，不可控制由客觀物理環(huán)境所決定，不可控制輸入符號的分布輸入符號的分布 由發(fā)射機設(shè)計者所決定，可控由發(fā)射機設(shè)計者所決定，可控制制n 信道容量的求解信道容量的求解最大的可靠信息傳輸量（最大互信息）最大的可靠信息傳輸量（最大互信息）信道容量信道容量(|)jip yx( )ip x),(max)(YXIrCixpjijiijiijiixypxypxpxypxpyxI)/()/()(log)/()(),(n離散對稱信道離散對稱信道:信道轉(zhuǎn)移概率矩陣的各行和各列具有信道轉(zhuǎn)移概率矩陣的各行和各列具有相同的集合的元素相同的集合的元素jijiLxyPij1) 1/

40、()|(.,|,YXLYXyYxXjin最大化平均互信息量最大化平均互信息量)|()()|()(),(XYHYHYXHXHYXI離散對稱信道的信道容量離散對稱信道的信道容量010111XYXN011N11n 離散對稱信道的特點離散對稱信道的特點 條件平均信息量與輸入無關(guān)，只與信道條件轉(zhuǎn)移概率相關(guān)條件平均信息量與輸入無關(guān)，只與信道條件轉(zhuǎn)移概率相關(guān) 輸入符號的等概與輸出符號等概同時存在輸入符號的等概與輸出符號等概同時存在jijijjijijiiijijijiijjijixypxypxypxypxpxypxypxpxypyxpXYH)|(log)|()|(log)|()()|(log)|()()|(log)()|(離散對稱信道的