信源和信息熵

信源和信息熵第一頁，共四十頁，2022年，8月28日2.1信源的數(shù)學模型及分類通信系統(tǒng)模型及信息傳輸模型：

第二頁，共四十頁，2022年，8月28日

一、信源輸出是單個符號的消息例：扔一顆質地均勻的正方體骰子，研究其下落后，朝上一面的點數(shù)。每次試驗結果必然是1點、2點、3點、4點、5點、6點中的某一個面朝上。每次試驗只隨機出現(xiàn)其中一種消息，不可能出現(xiàn)這個集合以外的消息，考察此事件信源的數(shù)學模型。解：數(shù)學模型為：且滿足：第三頁，共四十頁，2022年，8月28日離散信源：信源輸出是單一符號的消息，其符號集的取值是有限的或可數(shù)的。一維離散信源數(shù)學模型就是離散型的概率空間：且滿足：第四頁，共四十頁，2022年，8月28日連續(xù)信源：信源輸出數(shù)據(jù)取值是連續(xù)的，但又是隨機的，即可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值。數(shù)學模型是連續(xù)型的概率空間：且滿足：X的概率密度函數(shù)實數(shù)集（－∞，＋∞）第五頁，共四十頁，2022年，8月28日隨機矢量：信源輸出的消息是按一定概率選取的符號序列。用N維隨機矢量X描述：

X＝（x1，x2，‥‥xN）其中：N維隨機矢量X也稱為隨機序列（過程）。平穩(wěn)隨機序列：序列的統(tǒng)計性質與時間的推移無關。二、信源分類（1）根據(jù)隨機序列X中每個隨機變量xi的取值不同：離散平穩(wěn)信源：如語言文字、離散化平面圖像連續(xù)平穩(wěn)信源：如語音信號、熱噪聲信號等第六頁，共四十頁，2022年，8月28日（2）信源發(fā)出的符號間彼此是否獨立：

無記憶信源：隨機矢量的各分量相互獨立有記憶信源：隨機矢量的各分量不相互獨立表述有記憶信源比無記憶信源困難的多，實際中，信源發(fā)出的符號往往只與前若干符號的依賴關系強，與更前面的符號依賴關系弱，這類信源可用馬爾可夫信源表示。不同統(tǒng)計特性的信源可用隨機變量、隨機矢量以及隨機過程描述其輸出的消息。第七頁，共四十頁，2022年，8月28日2.2離散信源的信息熵一、信息量和熵信息的度量應符合實際情況：出現(xiàn)概率小的隨機事件，不確定性大，信息量大；出現(xiàn)概率大的隨機事件，不確定性小，信息量?。桓怕蕿?的確定事件，信息量為0。香農定義的自信息量I(x)：任意隨機事件出現(xiàn)概率的對數(shù)的負值表示自信息量。

第八頁，共四十頁，2022年，8月28日設隨機事件xi的出現(xiàn)概率為pi，則：

I(xi)＝－logpi＝log(1/pi)

收到某消息獲得的信息量＝收到此消息前關于某事件發(fā)生的不確定性－收到此消息后關于某事件發(fā)生的不確定性即：收信者所獲得的信息量應等于信息傳輸前后不確定性的減少的量。例2－1：設一條電線上串聯(lián)8個燈泡，且損壞的可能性為等概，若僅有一個壞燈泡，須獲知多少信息量才可確認？第九頁，共四十頁，2022年，8月28日例2－1解：測量前，P1(x)＝1/8，存在不確定性：

I(P1(x))＝log8＝3bit第一次測量獲得信息量：第二次測量獲得信息量：第三次測量獲得信息量：每次測量獲得1bit信息量，需三次測量可確定壞燈泡第十頁，共四十頁，2022年，8月28日自信息I是一個隨機變量，不能作為信源總體的信息量。定義：自信息量的數(shù)學期望為信源的平均信息量，即信源的信息熵，數(shù)學表示為：信息熵的單位取決于對數(shù)選取的底，r進制信息熵：r進制信息熵與二進制信息熵的關系：第十一頁，共四十頁，2022年，8月28日熵的物理含義：信息熵H(x)是表示信源輸出后，每個消息(或符號)所提供的平均信息量；信息熵H(x)是表示信源輸出前，信源的平均不確定性；用信息熵H(x)來表征變量X的隨機性。注意：信息熵是信源的平均不確定的描述。一般情況下，它并不等于平均獲得的信息量，獲得的信息量是兩熵之差，并不是信息熵本身。

第十二頁，共四十頁，2022年，8月28日二、信息熵的基本性質1、對稱性：此性質說明：熵的總體性。它只與隨機變量的總體結構有關，而不在于個別值的概率，甚至也不因隨機變量取值的不同而異。2、非負性：第十三頁，共四十頁，2022年，8月28日3、擴展性：說明：概率很小的值的出現(xiàn)，給予接收者以較大的信息，但在熵的計算中占的比重很小，這是熵的總體平均性的一種體現(xiàn)。4、確定性：H（1,0）＝H（0,1）＝H（1,0,0,‥）＝‥＝0說明：從熵的不確定概念來說，確知信源的不確定度應該為0。第十四頁，共四十頁，2022年，8月28日5、可加性：二個隨機變量X和Y不獨立時：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)二個隨機變量X和Y獨立時：H(XY)=H(X)+H(Y)6、極值性：H(p1,p2,‥,pq)≤－∑pilogqi，當pi＝1/q時，可見：所有概率分布pi所構成的熵，以等概時為最大，稱為最大離散熵定理。第十五頁，共四十頁，2022年，8月28日7、上凸性：熵函數(shù)具有嚴格的上凸性，它的極值必為最大值。8、遞增性：其中：此性質說明：熵增加了一項由于劃分而產生的不確定性量。第十六頁，共四十頁，2022年，8月28日例2－2：運用熵函數(shù)的遞增性，計算熵函數(shù)H（1/3,1/3,1/6,1/6）的數(shù)值。可見：熵函數(shù)的遞增性也可稱為遞推性，表示n個元素的信源熵可以遞推成（n－1）個二元信源的熵函數(shù)的加權和?？墒苟嘣旁吹撵睾瘮?shù)計算簡化成計算若干個二元信源的熵函數(shù)。第十七頁，共四十頁，2022年，8月28日2.3離散平穩(wěn)信源的熵離散平穩(wěn)信源：各維聯(lián)合概率分布均與時間起點無關的完全平穩(wěn)信源稱為離散平穩(wěn)信源。一、兩個符號的熵和互信息設兩個隨機變量X1和X2，單個符號數(shù)學模型為：聯(lián)合概率空間：第十八頁，共四十頁，2022年，8月28日條件概率空間：二個符號的數(shù)學模型：聯(lián)合熵：第十九頁，共四十頁，2022年，8月28日聯(lián)合熵（共熵）：是聯(lián)合空間X1X2上的每個元素對X1X2的自信息量的概率加權平均值。共熵表示信源輸出長度為2的序列的平均不確定性，或所含的信息量。條件熵：聯(lián)合空間X1X2上的條件自信息量的概率加權平均值：聯(lián)合熵、信息熵及條件熵的關系為：

＝H（X2）＋H（X1/X2）第二十頁，共四十頁，2022年，8月28日根據(jù)熵的極值性可得：表明某一變量的條件熵必小于或等于它的無條件熵。還可得：且X1、X2獨立時，上式等號成立。定義無條件熵和條件熵之差為互信息：

I(X1;X2)＝H(X1)－H(X1/X2)≥0

＝H(X1)＋H(X2)－H(X1X2)

且：I(X1;X2)＝I(X2;X1)第二十一頁，共四十頁，2022年，8月28日注意：任何無源處理總是丟失信息的，至多保持原來的信息，這是信息不可增性的一種表現(xiàn)。二、離散平穩(wěn)信源的極限熵設信源輸出一系列符號序列X1,X2,‥XN概率分布：聯(lián)合熵：定義序列的平均符號熵＝總和/序列長度，即：第二十二頁，共四十頁，2022年，8月28日平均符號熵就是信源符號序列中平均每個信源符號所攜帶的信息量。條件熵≤無條件熵；條件較多的熵≤條件較少的熵，所以：第二十三頁，共四十頁，2022年，8月28日離散平穩(wěn)信源性質（H1(X)<∞時）：條件熵隨N的增加是遞減的；平均符號熵≥條件熵；平均符號熵HN(X)隨N增加是遞減的；極限熵第二十四頁，共四十頁，2022年，8月28日結論：當平穩(wěn)信源的記憶長度為m，則離散平穩(wěn)信源的極限熵等于有限記憶長度m的條件熵：第二十五頁，共四十頁，2022年，8月28日三、信源剩余度與熵的相對率對于一般的離散信源都可以近似地用不同記憶長度的馬爾可夫信源來逼近。一階時（m＝1）：信息熵為H2＝H（X1/X2）無記憶時（m＝0）：信息熵為H1＝H（X）無記憶等概（q種取值）：H0＝logq顯然：logq＝H0≥H1≥H2≥‥≥Hm‥≥H∞，即：只要有傳送H∞的手段即可傳送信源信息。第二十六頁，共四十頁，2022年，8月28日所以，非等概分布的信源所輸出的符號中，每一位信源符號所載荷的平均信息量并沒有達到其應具有的最大輸出信息能力，這表明信源輸出符號中含有一定程度的不含有信息的多余部分。信息冗余度（或稱剩余度、多余度）可衡量信源輸出符號序列中不含有信息的多余部分的大小。一個信源實際的信息熵與具有同樣符號集的最大熵的比值稱為熵的相對率。第二十七頁，共四十頁，2022年，8月28日熵的相對率：則信源的信息冗余度為：顯然，信源符號間依賴關系強，相關距離長，則H∞較小，冗余度就大；相關性弱則冗余度??；若信源符號相互獨立且等概，則輸出的平均信息量達到最大值H0，信源輸出符號中部包含任何多余成分，冗余度為0

例2-3：設英文信源輸出符號為26個字母和空格，考察英文信源輸出地符號序列，計算其信息冗余度。第二十八頁，共四十頁，2022年，8月28日例解：1）無記憶且等概時：H0=log27=4.76比特/符號；2）根據(jù)統(tǒng)計各字母和空格出現(xiàn)的概率，非等概無記憶時：H1=H（p1,p2,…p27）=4.03比特/符號；3）若取m=1，則H2=3.32比特/符號；4）若取m=2，則H3=3.1比特/符號；一般H∞=1.4比特/符號；則相對熵為0.29，信息冗余度為0.71信息的剩余度可以表示信源可以壓縮的程度，但剩余度大的消息具有強的抗干擾能力。第二十九頁，共四十頁，2022年，8月28日2.4連續(xù)信源的熵一、連續(xù)信源熵的定義所謂連續(xù)信源是指其輸出量是連續(xù)的，在任何時刻，在某個范圍內可以取無窮多個數(shù)值。數(shù)學模型：如圖為連續(xù)信源概率密度分布示意圖：

第三十頁，共四十頁，2022年，8月28日把取值區(qū)間[a,b]分割成n個小區(qū)間且等寬：△=（b-a）/n，則X處于第i區(qū)間的概率Pi是：Pi=P{a+(i-1)△≤x≤a+i△}=p(xi)△，且∑Pi=1此時離散熵：H(Xn)=-∑PilogPi=-

∑p(xi)△log

p(xi)△=-∑p(xi)△log

p(xi)-∑p(xi)△log△當n→∞，△→0時，H(Xn)的極限值就是連續(xù)熵：第三十一頁，共四十頁，2022年，8月28日離散信源定義的熵是一個絕對量，而連續(xù)信源定義的熵是一個比無窮大（∞）大多少的相對量，不是絕對量：注意：連續(xù)變量的熵具有相對性，在取兩熵之間的差時，才具有信息的所有特征，也稱h(X)為差熵，具有離散熵的主要特征，但不一定具備非負性。第三十二頁，共四十頁，2022年，8月28日

例2－4：一個連續(xù)信源，輸出概率密度服從均勻分布，若把此信源的輸出信號放大2倍，求放大前、后的信息熵并比較。注意：連續(xù)熵的相對性，說明信息不是與熵相等，如：Y=aX+b中，H(Y)可大于H(X)，但并不意味著經過放大器可提高信息量。第三十三頁，共四十頁，2022年，8月28日二、二元聯(lián)合信源的共熵第三十四頁，共四十頁，2022年，8月28日連續(xù)信源的互信息也具有信息特征（非負性）：

I（X；Y）=I（Y；X）＝h（X）－h(huán)（X/Y）＝h（Y）－h(huán)（Y/X）＝h（X）＋h（Y）－h(huán)（XY）≥0因此：當X被測量得到Y時，兩者可能都是連