《通信原理》課件第3講 信息及其度量_第1頁
《通信原理》課件第3講 信息及其度量_第2頁
《通信原理》課件第3講 信息及其度量_第3頁
《通信原理》課件第3講 信息及其度量_第4頁
《通信原理》課件第3講 信息及其度量_第5頁
已閱讀5頁，還剩6頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

第3講信息及其度量信息及其度量（重點）信息：是消息中包含的有效內容如何度量離散消息中所含的信息量?鐵路系統(tǒng)運送貨物量多少采用“貨運量”來度量通信系統(tǒng)中傳輸信息的多少采用“信息量”來度量。注意：信息量的大小實際上與內容無關一個消息對于接收者很有價值（即信息量大）在于這個消息是他不知道的事情或覺得不可能發(fā)生的事情（即小概率事件）

【例】“某客機墜毀”這條消息比“今天下雨”這條消息包含有更多的信息。

信息及其量度一條信息發(fā)生的概率越小，信息量越大；概率越大（一種極端情況是“必然的事情”信息量為0）則信息量越小于是，對于一條信息x，人們用下列公式表示其信息量I：之所以取對數(shù)是由于信息量的“累加性”決定的1.4信息及其量度信息量的單位由對數(shù)底的取值決定。若對數(shù)以2為底時單位是“比特”（bit—binaryunit的縮寫）；若以e為底時單位是“奈特”（nat—natureunit的縮寫）；若以10為底時單位是“哈特”（Hart—Hartley的縮寫）。通常采用“比特”作為信息量的實用單位。同學們要掌握的[例題1]某信源每天播報某地的天氣預報，此地晴天多云、陰、雨的概率分別為1/2、1/4、1/8、1/8，求：（1）晴、多云、陰、雨的各自所含信息量（2）信息串“晴-多云-陰-晴-晴-晴-多云-雨”所含的總信息量（3）此信源的每個消息的平均信息量（稱為“信息熵”）[例題1]（解）[例題1]（解）稱為信息熵，因為其通用公式為這個公式與物理熱力學中的熵很相似。但熱力學中的熵總是增加的，而信息熵在通信過程中則總是減小的。請注意其量綱[例題2]

一離散信源由“0”，“1”，“2”，“3”四個符號組成，它們出現(xiàn)的概率分別為3/8，1/4，1/4，1/8，且每個符號的出現(xiàn)都是獨立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量?！窘狻看讼⒅?，“0”出現(xiàn)23次，“1”出現(xiàn)14次，“2”出現(xiàn)13次，“3”出現(xiàn)7次，共有57個符號，故該消息的信息量

每個符號的算術平均信息量為

[例題2]若用熵的概念來計算：則該消息的信息量

以上兩種結果略有差別的原因在于，它們平均處理方法不同。前一種按算數(shù)平均的方法，結果可能存在誤差。這種誤差將隨著消息序列中符號數(shù)的增加而減小。 當消息序列較長時，用熵的概念計算更為方便。習題某信源符號集由A、B、C、D、E、F組成，每個符號獨立出現(xiàn)，其概率分別為1

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論