通信原理信息PPT課件

1、1Review 通信歸根到底是點對點的通信 通信系統(tǒng)第1頁/共41頁2Review第2頁/共41頁3Review 數(shù)字通信系統(tǒng) 信源編碼：提高傳輸?shù)挠行?信道編碼：提高傳輸?shù)目煽啃缘?頁/共41頁4Review 通信系統(tǒng)的性能指標(biāo)第4頁/共41頁5單元概述 通信系統(tǒng)通的是什么信？ 什么是信息？ 信息怎么計算？ 信息度量有什么意義？第5頁/共41頁6 消息（MESSAGEMESSAGE） 信號（SINGNALSINGNAL） 信息（INFORMATIONINFORMATION）第6頁/共41頁7 消息（MESSAGEMESSAGE）聲音、文字或者圖像等等這種人能夠感知的描述。 信號（SINGN

2、ALSINGNAL）消息的載體形式。 信息（INFORMATIONINFORMATION）：抽象的、本質(zhì)的。是消息的有效內(nèi)容。第7頁/共41頁8（1）殺敵時的鼓聲就是一個信號，他要傳達(dá)的信息是沖鋒陷陣、奮勇殺敵。（2）仗打得差不多的時候的鑼聲也是一個信號，傳達(dá)的信息是鳴金收兵，咱不打了。（3）燈塔上的燈光是信號，它要傳達(dá)的信息可能是此處有暗礁，請繞行?。?）航海用的旗語是信號，它要傳達(dá)的信息因旗語的不同而異。（5）無線電報用滴答的代碼傳遞消息，無線電傳輸?shù)氖菬o線電信號。（6）電話將聲音信號轉(zhuǎn)換為電信號在電纜中傳送。 信息=信號？消息？ 第8頁/共41頁9 “信息”(information)既不

3、等于消息(message)，也不等同于信號！信息可被理解為消息中包含的有意義的內(nèi)容消息可以有各種各樣的形式，但消息的內(nèi)容可統(tǒng)一用信息來表述傳輸信息的多少可直觀地使用“信息量”進(jìn)行衡量第9頁/共41頁10 例如，在情人節(jié)那天甲對乙說：“我愛你”， 在愚人節(jié)那天甲對乙說：“我愛你”， 前一消息包含的信息顯然要比后者少些。同樣，當(dāng)你聽說“有人被狗咬了”并不會感到驚奇，但若有人告訴你“一條狗被人咬了”你一定非常吃驚。 對接收者來說，事件愈不可能發(fā)生，愈會使人感到意外和驚奇，則信息量就愈大 量度消息中所含的信息量值，必須能夠用來估計任何消息的信息量，且與消息種類無關(guān) 消息中所含信息的多少也應(yīng)和消息的重要

4、程度無關(guān)第10頁/共41頁11 用相同的消息量來表達(dá)的信息量是不一樣的。對于一個通信系統(tǒng)，若用相同長度的二進(jìn)制信號，能傳輸?shù)男畔⒘吭酱?，說明其通信能力越強。第11頁/共41頁12 鐵路系統(tǒng)運送貨物量多少采用“貨運量”（不管運送什么貨物）來度量 通信系統(tǒng)中傳輸信息的多少采用“信息量”來度量。 注意：信息量的大小實際上與內(nèi)容無關(guān) 一個消息對于接收者很有價值（即信息量大）在于這個消息是他不知道的事情或覺得不可能發(fā)生的事情（即小概率事件）。第12頁/共41頁13信息與信息量: : 第13頁/共41頁14 （1）第14頁/共41頁15P=1時 I=0P=0時 I= 第15頁/共41頁16第16頁/共41

5、頁17 什么函數(shù)能滿足以上3個要求？ 對數(shù)！)(log)(1logxPxPIaaa=2 單位為比特(bit，或b)a=e 單位為奈特(nat，或n)a=10 單位為笛特(Det)或稱為十進(jìn)制單位a=r 單位稱為r進(jìn)制單位 第17頁/共41頁18 課本P16 比特信息量的單位，但工程上習(xí)慣把它作為信號的單位 通信中的基本問題，就是在一點再生另一點的信息 在實際的通信系統(tǒng)中，消息往往是指發(fā)送的某些符號。這些符號能攜帶多少信息量，與這些符號發(fā)生的概率有關(guān)，而對于接收端來說，接收到的這些符號的概率是一定的。第18頁/共41頁19【例2.1】 試計算二進(jìn)制符號等概率和多進(jìn)制(M進(jìn)制)等概率時每個符號的信

6、息量。解：二進(jìn)制等概率時，即P(1)=P(0)=1/2(bit)121log)0() 1 (2 IIM進(jìn)制等概率時，有 P(1)=P(2)=P(M)=1/M 11log)()2() 1 (MMIIIM(M進(jìn)制單位) =log2M (bit) 第19頁/共41頁20【例2.22.2】 試計算二進(jìn)制符號不等概率時的信息量( (設(shè)P P(1)=(1)=P P) )。 解 P(1)=P， 故P(0)=1-P，則 )bit( )(1log)0(log)0()bit(log) 1 (log) 1 (2222PPIPPI可見, 不等概率時， 每個符號的信息量不同第20頁/共41頁21例題例題 一個信息源由0

7、、1、2共3個符號組成，3個符號出現(xiàn)的概率分別是1/8、1/4和1/2，且每個符號出現(xiàn)都是獨立的。如果消息序列長為18，其中0出現(xiàn)8次，1和2各出現(xiàn)5次。試求消息序列所包含的信息量。 0符號所攜帶的信息量：-log2(1/8)=3bit 1符號所攜帶的信息量：-log2(1/4)=2bit 2符號所攜帶的信息量：-log2(1/2)=1bit 消息序列的總信息量：I=3*8+2*5+1*5=39bit第21頁/共41頁22例題（順便引出“信息熵”的概念） 某信源每天播報某地的天氣預(yù)報，此地晴天、多云、陰、雨的概率分別為1/2、1/4、1/8、1/8 求： （1）晴、多云、陰、雨的各自所含信息量

8、 （2）信息串“晴-多云-陰-晴-晴-晴-多云-雨”所含的總信息量 （3）此信源的每個消息的平均信息量（稱為“信息熵”）第22頁/共41頁23例題（順便引出“信息熵”的概念）)( 121log)(log ) 1 (22bitPI晴晴)(241log)(log22bitPI多云多云)(381log)(log22bitPI陰陰)(381log)(log22bitPI雨雨某信源每天播報某地的天氣預(yù)報，此地晴天、多云、陰、雨的概率分別為1/2、1/4、1/8、1/8求：（1）晴、多云、陰、雨的各自所含信息量第23頁/共41頁24例題（順便引出“信息熵”的概念）)()(2)(4)( )2(雨陰天多云晴總

9、IIIIIbitbitbitbit332241)(14 bit某信源每天播報某地的天氣預(yù)報，此地晴天、多云、陰、雨的概率分別為1/2、1/4、1/8、1/8求：（2）信息串“晴-多云-陰-晴-晴-晴-多云-雨”所含的總信息量第24頁/共41頁25例題（順便引出“信息熵”的概念）)/(75. 1814)3(符號符號數(shù)平均信息量總bitII稱為信息熵，因為其通用公式為)(log)()(2iiixpxpxH這個公式與物理熱力學(xué)中的熵很相似。但熱力學(xué)中的熵總是增加的，而信息熵在通信過程中則總是減小的。請注意其量綱某信源每天播報某地的天氣預(yù)報，此地晴天、多云、陰、雨的概率分別為1/2、1/4、1/8、1

10、/8求：（3）此信源的每個消息的平均信息量（稱為“信息熵”）第25頁/共41頁26平均信息量平均信息量 平均信息量等于各個符號的信息量乘以各自出現(xiàn)的概率之和 二進(jìn)制時)0(log)0() 1 (log) 1 (22PPPPI把P(1)=P代入，則 符號）/()1 (log) 1(log)1 (log)1 (log2222bitPPPPPPPPI第26頁/共41頁27平均信息量平均信息量下面計算多個信息符號的平均信息量。設(shè)各符號出現(xiàn)的概率為 niinnxPxPxPxPxxx121211)()(),(),(,且則每個符號所含信息的平均值(平均信息量)為 )(log)()(log)()(log)()

11、(log)(122222121niiinnxPxPxPxPxPxPxPxPI第27頁/共41頁28【例2.3】 設(shè)由5個符號組成的信息源， 其相應(yīng)概率為 161161814121EDCBA試求信源的平均信息量I。 解 符號）/(875. 116416483212116log16116log1618log814log412log2122222bitI5個符號等概率出現(xiàn)時 )/(322. 25loglog22max符號bitNI第28頁/共41頁29【例2.4】 一信息源由4個符號A、B、C、D組成，它們出現(xiàn)的概率為3/8、1/4、1/4、1/8，且每個符號的出現(xiàn)都是獨立的。試求信息源輸出為CAB

12、ACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。解：信源輸出的信息序列中，A出現(xiàn)23次，B出現(xiàn)14次，C出現(xiàn)13次，D出現(xiàn)7次，共有57個。則出現(xiàn)A的信息量為 )bit(11.302357log232第29頁/共41頁30出現(xiàn)B的信息量為 )bit(35.281457log142出現(xiàn)C的信息量為 )bit(72.271357log132出現(xiàn)D的信息量為 )bit(18.21757log72第30頁/共41頁31該信息源總的信息量為 I=30.11+28.35+27.72+21.18=107.36 (bit)每一個符號的平均信

13、息量為 )/bit(88. 15736.107符號符號總數(shù)II上面計算中，我們沒有利用每個符號出現(xiàn)的概率來計算，而是用每個符號在5757個符號中出現(xiàn)的次數(shù)(頻度)來計算的 第31頁/共41頁32實際上，用平均信息量公式直接計算可得 )/bit(90. 18log814log24138log83222符號I總的信息量為 I=571.90=108.30 (bit) 可以看出，本例中兩種方法的計算結(jié)果是有差異的，原因就是前一種方法中把頻度視為概率來計算。當(dāng)信源中符號出現(xiàn)的數(shù)目m時，則上兩種計算方法結(jié)果一樣。 當(dāng)57個符號等概率出現(xiàn)時 )/(bi833. 557loglog22max符號tNI第32頁

14、/共41頁33通信中要尋求解決的問題通信中要尋求解決的問題 通信系統(tǒng)的目的是信息傳輸，接收端（信宿）要能最大的獲取發(fā)送端（信源）的信息。要解決以下問題：1、發(fā)送信號的概率如何分布才能的到最大熵？2、最大熵是多少？第33頁/共41頁34 當(dāng)離散信源中每個符號等概出現(xiàn)，而且各符號的出現(xiàn)為統(tǒng)計獨立時，該信源的平均信息量最大。此時最大熵Hmax= - NiNNN1log1log1第34頁/共41頁35圖 2-1 熵與概率的關(guān)系第35頁/共41頁36 對于三元離散信源，當(dāng)概率P1=P2=P3=1/3時信源最大熵H(X)max=1.585(bit),此結(jié)論可以推廣到N元離散信源。 第36頁/共41頁37小結(jié)小結(jié)信息是消息中包含的有意義的內(nèi)容消息發(fā)生的概率越小信息量越大信息量的定義I=-loga(P(x)平均信息量的計算第37頁/共41頁38信息對學(xué)習(xí)通信原理的意義信息對學(xué)習(xí)通信原理的意義 信息這個概念貫穿了所有的通信原理，香農(nóng)的信息論被認(rèn)為是20世紀(jì)最重要的科學(xué)理論之一，也是高層次技術(shù)人才必不可少的基礎(chǔ)知識 我們要學(xué)習(xí)的通信技術(shù)，想要了解