第一講通信概論與信息度量

現(xiàn)代通信原理

2010.9~2011.1任課教師及助教任課教師金德鵬中央主樓901C62781409jindp@助教孫光：sung08@,中央主樓901C作業(yè)及答疑作業(yè)隨堂布置，第二周上課交課堂收取、發(fā)放作業(yè)答疑每周五下午3：30～4：30，中央主樓901C平時(shí)可隨時(shí)聯(lián)系老師答疑不限于課程，推研、出國、考研、就業(yè)…歡迎大家到辦公室聊天期中期末集中答疑課程安排（1）通信概論與信息度量模擬調(diào)制模擬信號(hào)數(shù)字化及壓縮編碼時(shí)分多路復(fù)用數(shù)字信號(hào)基帶傳輸數(shù)字信號(hào)載波傳輸差錯(cuò)控制編碼卷積碼多址技術(shù)課程安排（2）教材現(xiàn)代通信原理，清華大學(xué)出版社，曹志剛、錢亞生講義每周周一左右上傳到網(wǎng)絡(luò)學(xué)堂參考書英文參考書：E1.《Introductiontodigitalcommunication》RodgerE.ZiemerE2.《Principleofcommunicationengineering》Wozencraft&JacobsE3.《Communicationsystemsengineering》Proakis&Salehi中文參考書：C1.《數(shù)字通信－基礎(chǔ)與應(yīng)用（第二版）》，BernardSklarC2.《數(shù)字微波中繼通信工程》，姚彥、梅順良、高葆新，人民郵電出版社C3.《通信原理》（1980,1984），樊昌信，國防工業(yè)出版社C4.《現(xiàn)代通信理論基礎(chǔ)（上冊(cè)）》，樊平毅，馮重熙，清華大學(xué)出版社課程成績平時(shí)成績（作業(yè)，隨堂測驗(yàn)）期中考試期末考試第一講通信概論與信息度量主要內(nèi)容通信的定義通信的發(fā)展簡史通信系統(tǒng)及其分類信息的度量香農(nóng)定理通信的核心問題是什么？通信系統(tǒng)的的基本框架是怎樣的？從信息論的角度如何看通信？通信的理論極限是什么？通信的定義通信（communication）信息的傳輸和交換，信息的傳遞消息（message)通信系統(tǒng)要傳送的內(nèi)容，包括語音、圖像、數(shù)據(jù)、文字等，消息由信源產(chǎn)生信號(hào)（signal）消息的載體，包括電信號(hào)、光信號(hào)等信息（information）消息中包含的新的、有意義且可被理解的、不可壓縮的東西消息是信息與某種冗余成分之和，是信息的載體本課程著重討論信息的傳輸問題，重點(diǎn)在點(diǎn)對(duì)點(diǎn)數(shù)字通信系統(tǒng)基本原理和基本技術(shù)！通信的基本問題一個(gè)例子烽火臺(tái)通信的基本問題有效的通信－在資源受限條件下把信息準(zhǔn)確無誤地傳送到目的地傳輸?shù)乃俾矢哒加玫膸捀瓊鬏數(shù)难訒r(shí)更小使用更小的功率設(shè)備的成本更低可靠的通信復(fù)雜惡劣的環(huán)境：噪聲、干擾、衰落對(duì)抗條件下的通信：人為的干擾盡量減少信息傳遞所消耗的資源！在給定資源條件下傳送盡可能多的信息！降低信息傳輸?shù)牟铄e(cuò)率！通信的發(fā)展簡史（1）通信起源人類社會(huì)活動(dòng)中需要互通消息早期的通信以物示意：烽火臺(tái)郵政通信：驛站、驛郵電信1837年，摩爾斯發(fā)明有線電報(bào)1864年，麥克思韋預(yù)言電磁波的存在1876年，貝爾發(fā)明有線電話1887年，赫茲用實(shí)驗(yàn)證明電磁波的存在1893年，史端喬發(fā)明步進(jìn)式電話交換機(jī)1897年，馬可尼發(fā)明無線電報(bào)1918年，調(diào)幅無線電廣播商用通信的發(fā)展簡史（2）1928年，奈奎斯特提出抽樣定理1936年，發(fā)明調(diào)頻技術(shù)1937年，提出PCM技術(shù)1938年，黑白電視廣播系統(tǒng)商用1944－1947年，統(tǒng)計(jì)通信理論形成1948－1950年，香農(nóng)信息論形成，糾錯(cuò)碼出現(xiàn)1948－1951年，晶體管發(fā)明1950年，貝爾實(shí)驗(yàn)室研制出PCM數(shù)字通信設(shè)備，TDM技術(shù)應(yīng)用于電話1953年，彩色電視出現(xiàn)1956年，第一條跨越大洋電纜建成，可提供36個(gè)話路1960年，發(fā)明激光器1961年，集成電路開始商業(yè)生產(chǎn)通信的發(fā)展簡史（3）1962年，第一顆人造衛(wèi)星上天1962－1966年，數(shù)據(jù)傳輸業(yè)務(wù)商用1964年，第一臺(tái)程控交換機(jī)投入應(yīng)用1966－1975年，有線電視、商用衛(wèi)星中繼、光纖鏈路投入應(yīng)用1972年，Motorola開發(fā)蜂窩電話系統(tǒng)，第一次跨越大西洋的衛(wèi)星電視直播成功1977年，光纖通信系統(tǒng)投入商用1978年，模擬蜂窩移動(dòng)通信系統(tǒng)投入商用1989年，跨大西洋及太平洋的光纜用于通信1991年，GSM移動(dòng)通信系統(tǒng)投入商用1995年，窄帶CDMA移動(dòng)通信系統(tǒng)在香港投入商用1995年，F(xiàn)oschini提出了多天線無線傳輸系統(tǒng)1997年，IEEE提出802.11無線局域網(wǎng)標(biāo)準(zhǔn)1998年，Alamouti提出空時(shí)編碼1998年，數(shù)字電視業(yè)務(wù)在美國開通2001年，NTT試運(yùn)行WCMDA服務(wù)，IEEE提出802.16標(biāo)準(zhǔn)2003年，Li、Yeung、Cai提出了線性網(wǎng)絡(luò)編碼…通信的發(fā)展簡史（4）通信的發(fā)展趨勢數(shù)字化：最后一公里的接入網(wǎng)絡(luò)、電視網(wǎng)絡(luò)等綜合化：電信網(wǎng)、計(jì)算機(jī)網(wǎng)、電視網(wǎng)三網(wǎng)合一智能化：軟交換、ASON、下一代網(wǎng)絡(luò)移動(dòng)化：移動(dòng)電話、移動(dòng)衛(wèi)星、WLAN、WiMAX寬帶化：PON、寬帶無線接入、4G、100G系統(tǒng)個(gè)人化：5W（whoever、whenever、wherever、whatever、whoever）通信系統(tǒng)完成通信這一過程的全部設(shè)備和傳輸媒介通信系統(tǒng)基本框圖通信系統(tǒng)（1）通信系統(tǒng)（2）模擬通信系統(tǒng)在信道中傳輸?shù)氖悄M信號(hào)的通信系統(tǒng)模擬通信的缺點(diǎn)抗噪聲和干擾能力差，傳輸中模擬信號(hào)會(huì)越來越弱放大器的引入帶來信噪比的惡化通信系統(tǒng)（3）數(shù)字通信系統(tǒng)在信道中傳輸?shù)氖菙?shù)字信號(hào)的通信系統(tǒng)數(shù)字通信的優(yōu)缺點(diǎn)抗噪聲、抗干擾能力強(qiáng)：再生、體制差錯(cuò)可控：糾錯(cuò)碼易加密：數(shù)字信號(hào)適應(yīng)性強(qiáng)占用頻帶寬系統(tǒng)和設(shè)備復(fù)雜數(shù)字化是通信發(fā)展的主流和趨勢！通信系統(tǒng)（4）典型數(shù)字通信系統(tǒng)框圖信源編碼和譯碼：壓縮冗余，去除次要信息信道編碼和譯碼：增加冗余，提高傳輸可靠性數(shù)字調(diào)制和解調(diào)同步：載波同步、時(shí)鐘同步、字同步通信系統(tǒng)（5）一個(gè)更完整的數(shù)字通信系統(tǒng)框圖通信系統(tǒng)（6）通信系統(tǒng)的其它形式從系統(tǒng)構(gòu)成看任何一個(gè)系統(tǒng)可以看成一個(gè)單發(fā)單收系統(tǒng)的組合系統(tǒng)。在多發(fā)多收系統(tǒng)中，除了涉及到上述描述的傳輸系統(tǒng)外，還包括信息的交換：即如何有效利用現(xiàn)有的通信資源，最大效率地進(jìn)行信息地傳送，從而派生出通信網(wǎng)絡(luò)的概念。由此引入了交換技術(shù)，網(wǎng)絡(luò)管理等技術(shù)。本課程的重點(diǎn)側(cè)重于傳輸系統(tǒng)中涉及的關(guān)鍵技術(shù)與基本原理.通信系統(tǒng)（7）通信系統(tǒng)的分類按消息的物理特征分類：文字----電報(bào)系統(tǒng)語音----電話系統(tǒng)數(shù)字----數(shù)據(jù)通信系統(tǒng)圖象----圖象通信系統(tǒng)通信系統(tǒng)（8）按調(diào)制方式分類：基帶傳輸：實(shí)現(xiàn)簡便，用于近距離傳輸，不需考慮頻帶利用率問題，干擾較小，可靠性高。不適用于長距離傳輸。調(diào)制傳輸：實(shí)現(xiàn)較復(fù)雜，用于長距離傳輸，需將信息轉(zhuǎn)換成便于傳輸?shù)男问?，增?qiáng)了抗干擾能力，有效地利用頻帶。通信系統(tǒng)（9）按傳輸信號(hào)的特征分模擬通信采用原始的信源信號(hào)，如語音，圖像信號(hào)等；實(shí)現(xiàn)相對(duì)簡單在長距離中繼通信中抗干擾能力差.信息交換實(shí)現(xiàn)較復(fù)雜短距離傳輸保真度高數(shù)字通信采用數(shù)字采樣、量化信源在長距離中繼通信中，抗干擾能力強(qiáng)易于數(shù)字化處理設(shè)備集成度高信號(hào)的傳輸與交換易于融合便于多路復(fù)用通信系統(tǒng)（10）按復(fù)用方式分頻分復(fù)用FDM時(shí)分復(fù)用TDM碼分復(fù)用CDM波分復(fù)用WDM空分復(fù)用SDM按傳輸媒介分有線通信系統(tǒng)：有線電視、光纖通信系統(tǒng)…無線通信系統(tǒng)：移動(dòng)電話系統(tǒng)、無線局域網(wǎng)系統(tǒng)…通信方式單工、半雙工和全雙工通信單工通信：消息只能從一點(diǎn)沿一個(gè)方向傳輸給另一點(diǎn)，不能沿反方向傳輸。半雙工通信：通信的兩點(diǎn)間能夠在兩個(gè)方向上傳輸信息，但在某一時(shí)刻信道中只能有一個(gè)方向的信號(hào)在傳輸。全雙工通信：通信的兩點(diǎn)間可以同時(shí)雙向地傳輸信息并行傳輸和串行傳輸并行傳輸：數(shù)字信號(hào)碼元序列分割成兩路以上的碼元序列在信道中傳輸串行傳輸：數(shù)字信號(hào)的碼元序列按照時(shí)間順序一個(gè)一個(gè)地在信道中傳輸信道（1）信道信號(hào)傳輸?shù)拿浇榛蛲緩叫诺赖姆诸愑芯€信道架空明線雙絞線同軸電纜光纖信道（2）無線信道地波傳播：2MHz以下的無線電波沿地球表面?zhèn)鬏斕觳▊鞑ィ航?jīng)電離層反射視距（空間波）傳播：直接從發(fā)射點(diǎn)傳到接收點(diǎn)無線電視距中繼信道衛(wèi)星中繼信道對(duì)流層散射信道流星余跡散射信道恒參信道與變參信道信道中的噪聲

通信技術(shù)的新進(jìn)展（1）

有線：電纜：HDSL，VDSLPON：APON，EPON，GPON光纖DWDM技術(shù)光交叉連接，幾十GHz（千兆）帶寬ROF無線微波中繼衛(wèi)星通信WLANUWBWSNFSO移動(dòng)通信2G，GSM，CDMAIS-95技術(shù)2.5G，GPRS,EDGES3G,CDMA2000,WCDMA,TD-SCDMA4GMC-CDMA?OFDM?MIMO？認(rèn)知無線電軟件無線電認(rèn)知無線電

通信技術(shù)的新進(jìn)展（2）

信息的度量信息新的、有意義且可被理解的、不可壓縮的東西能夠消除不確定性事件的隨機(jī)性帶來不確定性不確定的方式由隨機(jī)變量給出——概率分布信息度量的特性信息應(yīng)該是非負(fù)的；信息應(yīng)該與消息的概率有關(guān)：出現(xiàn)的概率越低，包含的信息量越大；信息應(yīng)該與消息的長度有關(guān)：若干獨(dú)立消息之和的信息應(yīng)該是每個(gè)消息攜帶信息的線性疊加；可能的消息數(shù)目是指數(shù)增長的，但信息是線性的離散信源的信息量消息出現(xiàn)的概率的對(duì)數(shù)測度作為離散消息的信息度量。為的概率為與同時(shí)出現(xiàn)的概率離散信源的信息量聯(lián)合信源的信息量聯(lián)合消息出現(xiàn)的概率的對(duì)數(shù)測度作為聯(lián)合信源的信息度量。離散信源的互信息量反映兩個(gè)隨機(jī)事件之間的統(tǒng)計(jì)關(guān)聯(lián)程度由一個(gè)隨機(jī)實(shí)驗(yàn)的結(jié)果所幫助消除的另一個(gè)隨機(jī)變量的不確定性當(dāng)與統(tǒng)計(jì)獨(dú)立時(shí)，互信息量為0當(dāng)后驗(yàn)概率為1時(shí)，互信息量等于的信息量離散信源的互信息量互信息的物理含義觀測到Y(jié)以后，從Y所能獲取的關(guān)于X的信息，其本質(zhì)是信息的傳遞——通信條件概率是對(duì)一切信道的一致性和本征性描述！互信息描述了可靠傳輸信息的量通信的目標(biāo)：追求最大的互信息可觀測的結(jié)果希望了解的內(nèi)容信息通道互信息的物理意義熵的定義熵的性質(zhì)熵非負(fù)熵的值與對(duì)數(shù)底有關(guān)取2為底，則熵的單位是比特（Bit）取自然對(duì)數(shù)e為底，則熵的單位是奈特（Nat）取10為底，則熵的單位是哈特（Hartely）熵為零，當(dāng)且僅當(dāng)熵的物理含義對(duì)應(yīng)于描述信源所需的最少字符數(shù)量－信源壓縮的極限所需字符集合的大小為所取對(duì)數(shù)的底離散信源的平均信息量－熵確定了通信系統(tǒng)所要傳遞的信息量的大小或信息速率！聯(lián)合熵多個(gè)隨機(jī)變量的不確定性測度條件熵消除了一個(gè)隨機(jī)變量的不確定性后，另一個(gè)隨機(jī)變量殘留的不確定性離散信源聯(lián)合熵與條件熵物理意義兩個(gè)隨機(jī)變量的聯(lián)合不確定性，等于一個(gè)隨機(jī)變量的不確定性，加上知道這個(gè)隨機(jī)變量后另一個(gè)隨機(jī)變量殘余的不確定性

證明：熵、聯(lián)合熵及條件熵的關(guān)系平均互信息量通信的目標(biāo)：最大化平均互信息量平均信息量的不等式基本不等式：對(duì)于，如下不等式成立證明：令，求導(dǎo)函數(shù)可得熵與條件熵的不等式熵不小于條件熵：證明：熵、條件熵與聯(lián)合熵的不等式聯(lián)合熵不小于條件熵： 證明： 而，因此聯(lián)合熵大于任何一個(gè)隨機(jī)變量的熵：證明：

聯(lián)合熵不大于兩個(gè)隨機(jī)變量熵之和證明：離散隨機(jī)變量在均勻分布時(shí)取得最大熵證明：熵與聯(lián)合熵的不等式拉格朗日乘數(shù)法

抽樣定理如果一個(gè)連續(xù)信號(hào)的頻帶限制在（0，W）內(nèi)，則它完全可用間隔為的采樣序列無失真地表示。每個(gè)抽樣點(diǎn)的平均信息量即連續(xù)信源的平均信息量連續(xù)消息采用了近似于定積分的討論方法：連續(xù)消息信號(hào)在每個(gè)抽樣點(diǎn)上的取值是一個(gè)連續(xù)的隨機(jī)變量，其一元概率密度函數(shù)為。將隨機(jī)變量的取值范圍分成2N段，取值落在小段內(nèi)的概率可近似表示為

連續(xù)信源的信息度量

令得：直接引用離散信源熵的定義

連續(xù)信源的熵

連續(xù)消息的平均信息量是一個(gè)相對(duì)的概念，對(duì)不同的一一對(duì)應(yīng)變換，它的值發(fā)生變化，因此，連續(xù)消息的平均信息量只能提供一個(gè)相對(duì)的比較量。絕對(duì)熵：相對(duì)熵：一連續(xù)信源，其輸出信號(hào)在（-1，+1）內(nèi)取值，服從均勻分布，求該連續(xù)消息的平均信息量。如將輸出信號(hào)放大2倍，其平均信息量為多少？解：（1）

（2）信號(hào)放大后主要原因在于

連續(xù)信源的例子

連續(xù)信源的條件熵與互熵

條件熵：互熵思考題：離散信源各種熵之間的等式和不等式都適用于連續(xù)信源嗎？請(qǐng)證明。連續(xù)信源熵的性質(zhì)平移不改變微分熵放縮改變微分熵證明：離散信源當(dāng)其所有符號(hào)等概率輸出時(shí)，其平均信息量最大。連續(xù)信源與概率密度函數(shù)有關(guān)功率受限信源峰值受限信源

熵最大的條件

功率受限連續(xù)信源最大熵分布

已知條件：求：為最大值時(shí),相應(yīng)的概率密度函數(shù).利用拉格朗日乘數(shù)法,定義一個(gè)新的函數(shù)令：可得則：此時(shí)最大熵為

功率受限連續(xù)信源最大熵分布

最大熵優(yōu)化問題使用拉格朗日乘子方法對(duì)概率分布求導(dǎo)，可得

峰值受限連續(xù)信源最大熵分布

信道容量單位時(shí)間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘客ㄐ抛非蟮哪繕?biāo)在一定的信道條件下，最大化信息傳輸能力目標(biāo)是最大化互信息I(x,y)如何優(yōu)化？信道——由客觀物理環(huán)境所決定，不可控制輸入符號(hào)的分布——由發(fā)射機(jī)設(shè)