第二章 信息論基礎(chǔ)09458

1、信息論的出現(xiàn)信息論的出現(xiàn) 信息及其度量信息及其度量 離散信源的平均信息量離散信源的平均信息量 連續(xù)信源的平均信息量連續(xù)信源的平均信息量 信源傳信率信源傳信率 2021年8月4日星期三數(shù)字通信原理 2021年8月4日星期三數(shù)字通信原理 信息論是一門(mén)應(yīng)用概率統(tǒng)計(jì)方法來(lái)研究信息及信息論是一門(mén)應(yīng)用概率統(tǒng)計(jì)方法來(lái)研究信息及 其度量、傳輸和處理的科學(xué)。其度量、傳輸和處理的科學(xué)。 二次大戰(zhàn)后，維納二次大戰(zhàn)后，維納(Wiener)(Wiener)提出的提出的“控制論控制論” 和香農(nóng)和香農(nóng)(Shannon)(Shannon)提出的信息論，是現(xiàn)化科學(xué)工提出的信息論，是現(xiàn)化科學(xué)工 程的里程碑。程的里程碑。 早在本世

2、紀(jì)早在本世紀(jì)2020年代，奈奎斯特年代，奈奎斯特(Nyguist)(Nyguist)和哈特和哈特 萊萊(Hartley)(Hartley)，最早研究了通信系統(tǒng)傳輸信息的，最早研究了通信系統(tǒng)傳輸信息的 能力，并試圖度量系統(tǒng)的信息容量。能力，并試圖度量系統(tǒng)的信息容量。 19481948年香農(nóng)發(fā)表討論信源和信道特性的年香農(nóng)發(fā)表討論信源和信道特性的通信通信 的數(shù)學(xué)原理的數(shù)學(xué)原理(A Mathmatical Theory of (A Mathmatical Theory of Communication)Communication)，次年發(fā)表有關(guān)通信中噪聲處，次年發(fā)表有關(guān)通信中噪聲處 理的兩篇權(quán)威性論文

3、，奠定了現(xiàn)代信息論的基理的兩篇權(quán)威性論文，奠定了現(xiàn)代信息論的基 礎(chǔ)。礎(chǔ)。 2021年8月4日星期三數(shù)字通信原理 信息是消息中所包含的有意義的內(nèi)容 “有意義”意味著信源發(fā)出的消息中，包含了收信者 所不知道（有價(jià)值的）的內(nèi)容。 v傳輸信息的多少用“信息量”去衡量。 v對(duì)接收者來(lái)說(shuō)，事件越不可能發(fā)生，信息量就越大。 從統(tǒng)計(jì)理論的角度去理解，信息指的是消息中所包含 的不確定性。 2021年8月4日星期三數(shù)字通信原理 v由概率論可知，事件的不確定性可以用其由概率論可知，事件的不確定性可以用其出出 現(xiàn)的概率現(xiàn)的概率來(lái)描述。來(lái)描述。 v因此消息中所含的因此消息中所含的信息量信息量I與消息出現(xiàn)的與消息出現(xiàn)的概

4、率概率 P(x)間的關(guān)系式應(yīng)反映如下規(guī)律：間的關(guān)系式應(yīng)反映如下規(guī)律： l消息中所含的信息量消息中所含的信息量I是出現(xiàn)該消息的概是出現(xiàn)該消息的概 率率P(x)的函數(shù)：的函數(shù)：I=f P(x) l消息出現(xiàn)的消息出現(xiàn)的概率概率P(x)越小越小，它所含的，它所含的信息信息 量愈大量愈大； l消息出現(xiàn)的消息出現(xiàn)的概率概率P(x)越大越大，它所含的，它所含的信息信息 量愈小量愈小；且當(dāng)；且當(dāng)P(x)=1時(shí)，時(shí)，I=0。 2021年8月4日星期三數(shù)字通信原理 哈特萊（哈特萊（Hartley）10 奈特（奈特（nit）e 比特（比特（bit）2 單單 位位a值值換算公式換算公式 1nit=1.44bit 1H

5、artley=3.22bit / 信息量的單位：取決于上式中對(duì)數(shù)底 a 的確定 不難看出，若I與與p(x)間的關(guān)系式為 2021年8月4日星期三數(shù)字通信原理 v若干個(gè)若干個(gè)相互獨(dú)立事件相互獨(dú)立事件構(gòu)成的消息，構(gòu)成的消息， 所含的信息量等于各獨(dú)立事件信所含的信息量等于各獨(dú)立事件信 息量的息量的和。和。 2021年8月4日星期三數(shù)字通信原理 當(dāng)消息是由當(dāng)消息是由幾個(gè)符號(hào)幾個(gè)符號(hào)組成的離散信源時(shí)，組成的離散信源時(shí)， 整個(gè)消息信息量的計(jì)算公式為：整個(gè)消息信息量的計(jì)算公式為： （各符號(hào)的出現(xiàn)（各符號(hào)的出現(xiàn) 互相統(tǒng)計(jì)獨(dú)立）互相統(tǒng)計(jì)獨(dú)立） 其中：其中：n：表示符號(hào)數(shù)；：表示符號(hào)數(shù)； Ni：第：第i個(gè)符號(hào)在消

6、息中出現(xiàn)的次數(shù)；個(gè)符號(hào)在消息中出現(xiàn)的次數(shù)； p(xi)：第：第i個(gè)符號(hào)個(gè)符號(hào)xi在消息中出現(xiàn)的概率，在消息中出現(xiàn)的概率， 且且 )( 1 log 1 i n i i xp NI 總 1)( 1 n i i xp 2021年8月4日星期三數(shù)字通信原理 例例1：設(shè)英文字母：設(shè)英文字母E出現(xiàn)的概率為出現(xiàn)的概率為1/3，X 出現(xiàn)的概率為出現(xiàn)的概率為2/3，求出現(xiàn)，求出現(xiàn)E和和X的信息量的信息量 分別是多少？分別是多少？ 例例2：某離散信源由：某離散信源由0，1，2，3四種符號(hào)四種符號(hào) 組成，其概率分別為組成，其概率分別為3/8,1/4,1/4,1/8。求。求 消息消息 2010201302130012

7、0321010032101002 3102002010312032100120210的信息量。的信息量。 2021年8月4日星期三數(shù)字通信原理 1 1、等概率等概率離散信源離散信源 x In In n個(gè)碼元的個(gè)碼元的總信息量總信息量 )(log )( 1 logxp xp I aax 2021年8月4日星期三數(shù)字通信原理 2 2、非等概非等概離散消息的度量離散消息的度量 v符號(hào)集：符號(hào)集： l組成離散信息源的組成離散信息源的n n個(gè)符號(hào)個(gè)符號(hào)xi組成的集合組成的集合 l每個(gè)符號(hào)每個(gè)符號(hào)xi在消息中是按一定概率在消息中是按一定概率P(xi)獨(dú)立出獨(dú)立出 現(xiàn)的現(xiàn)的，設(shè)符號(hào)集中各符號(hào)出現(xiàn)的概率：，設(shè)

8、符號(hào)集中各符號(hào)出現(xiàn)的概率： 其中其中 1)( 1 i i xp 12 12 ( )( )( ) n n xxx p xp xp x LL LL 2021年8月4日星期三數(shù)字通信原理 則則x1、 、x2、xn所包含的信息量分別為 所包含的信息量分別為 -log2P(x1) - log2P(x2) -log2P(xn)。 2021年8月4日星期三數(shù)字通信原理 于是，每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均于是，每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均 值，即值，即平均信息量平均信息量為為 n n個(gè)碼元個(gè)碼元總信息量總信息量： ( )In H x 2021年8月4日星期三數(shù)字通信原理 改變離散信源各符號(hào)的概率分布，使其為改

9、變離散信源各符號(hào)的概率分布，使其為 等概率分布等概率分布，則可以得到，則可以得到最大最大的熵值。的熵值。 【例例】P28P28圖圖2-132-13 二元信號(hào)與其概率分布的關(guān)系二元信號(hào)與其概率分布的關(guān)系 二進(jìn)制等概率分布二進(jìn)制等概率分布 （即（即1和和0都以都以50%概率出現(xiàn)）概率出現(xiàn)） H(x)=0.5*log22+ 0.5*log22=1 非等概率分布：非等概率分布：1的概率為的概率為1/4，0的概率為的概率為3/4 H(x)=0.25*log24+ 0.75*log2(4/3)=0.81 0.50.40.30.20.100.610.90.80.7 0.1 0.2 0.3 0.4 0.5 0

10、.6 0.7 0.8 0.9 1 2021年8月4日星期三數(shù)字通信原理 v連續(xù)連續(xù)消息的信息量可用消息的信息量可用概率密度概率密度來(lái)描述來(lái)描述 v連續(xù)消息的連續(xù)消息的平均信息量（相對(duì)熵）平均信息量（相對(duì)熵）為為 式中式中 f(x)-連續(xù)消息出現(xiàn)的連續(xù)消息出現(xiàn)的概率密度概率密度 2021年8月4日星期三數(shù)字通信原理 ( ) bB RRH x 信源傳信率與傳碼率的關(guān)系為信源傳信率與傳碼率的關(guān)系為 二進(jìn)制二進(jìn)制等概率等概率時(shí)時(shí) H(x)=0.5*log22+ 0.5*log22=1 Rb=RB bMB RN R 2 N M 多進(jìn)制多進(jìn)制等概率等概率時(shí)時(shí) H(x)=-log2(1/M)=log2M=log