香農(nóng)信息論的基本理論探究

香農(nóng)信息論的基本理論探究摘要：信息是自從人類出現(xiàn)以來就存在于這個世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產(chǎn)生和傳播。人類每時每刻都在不停的接受信息，傳播信息，以及利用信息。從原來的西漢時期的造紙，到近代西方的印刷術，以及現(xiàn)在的計算機，信息技術在人類歷史的進程當中隨著生產(chǎn)力的進步而發(fā)展。而信息理論的提出卻遠遠落后于信息的出現(xiàn)，它是在近代才被提出來而形成一套完整的理論體系。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶離散和連續(xù)信道的信道容量；無失真信源編碼定理?！娟P鍵詞】：平均自信息信道容量信源編碼霍夫曼碼一．信息的度量在各種通信系統(tǒng)的信源當中，離散隨機信源是一類最基本的信源，信源輸出是單個的符號的消息，并且消息之間是兩兩互不相容的。假設有個一維離散無記憶信源，它的概率分布函數(shù)決定了他所攜帶的信息。該信源空間中共有q個符號，每個符號發(fā)生的概率是Pi,那么發(fā)出某個符號所攜帶的信息量是-logPi,由于概率是在0和1之間的，使得每一事件的信息量是非負的。如果該事件發(fā)生的概率是0，或者是1，則表明該事件一定不會發(fā)生或者一定會發(fā)生。那么他所攜帶的信息量是0。從理論上講，該事件發(fā)生的概率越小，那么它的不確定性也就越大，它所攜帶的信息量也就越大。該事件發(fā)生的概率越大，它所攜帶的信息量也就越大。這也是人們?yōu)槭裁匆宦牭揭患豢伤甲h的事情發(fā)生了之后，會感到非常驚訝的原因。對于通信系統(tǒng)的信源來說，它不會僅僅只發(fā)出一個消息，這個消息發(fā)生的概率也不是1。必然會有別的可能的情況發(fā)生。那么對于一個信源來講，它所包含的信息量是什么樣子的，我們可以用平均自信息量來度量，即對每個事件各自所攜帶的信息量做一個加權(quán)平均。即可以得到信源的平均自信息量。信息熵的定義如下：)(log)()(1log)(11iqiiaPaPaPExH平均自信息量也稱為信息熵。信息熵是從平均意義上來表征信源的總體信息測度的。對于某特定的信源，它的信息熵是一個確定的數(shù)值。不同的信源因為其概率分布不同，它的熵也不同。信息熵具有一些基本的性質(zhì)，比如，對稱性，確定性，非負性，擴展性，可加性等等。這里面有一個最大離散熵定理，表明:離散信源情況下，對于具有q個符號的離散信源，只有在q個信源符號等可能出現(xiàn)的情況下，信源熵才能達到最大值，這樣也表明等概率分布信源的平均不確定性為最大。這個定理為我們后面研究有噪信道編碼定理提供了有力的依據(jù)。離散平穩(wěn)信源是一種非常重要的信源模型。如果不同時刻信源輸出符號的概率分布完全相同，則稱為一維離散平穩(wěn)信源。一維離散平穩(wěn)信源無論在什么時候均按P(X)的概率分布輸出符號。最簡單的離散平穩(wěn)信源就是二維離散平穩(wěn)信源。二維離散平穩(wěn)信源就是信源輸出的隨機序列?，X1,X2,?,Xi，?，滿足其一維和二維概率分布與時間起點無關。二維離散平穩(wěn)信源的聯(lián)合熵21211()()log()qqijijijHXXPaaaa此聯(lián)合熵表明原來信源X輸出任意一對可能的消息的共熵，即描述信源X輸出長度為2的序列的平均不確定性，或者說所含有的信息量?？梢杂?122()HXX作為二維離散平穩(wěn)信源X的信息熵的近視值。除了平穩(wěn)離散信源之外，還存在著非平穩(wěn)離散信源。在非平穩(wěn)離散信源中有一類特殊的信源。這種信源輸出的符號序列中符號之間的依賴關系是有限的，這種關系滿足我們在隨機過程中講到的馬爾可夫鏈的性質(zhì)，因此可用馬爾可夫鏈來處理。馬爾可夫信源是一種非常重要的非平穩(wěn)離散信源。那么馬爾可夫信源需要滿足一下兩個條件：（1）某一時刻信源符號的輸出只與此刻信源所出的狀態(tài)有關，而與以前的狀態(tài)及以前的輸出符號都無關。（2）信源某l時刻所處的狀態(tài)由當前的輸出符號和前一時刻（l-1）信源的狀態(tài)唯一決定。馬爾可夫信源的輸出的符號是非平穩(wěn)的隨機序列，它們的各維概率分布隨時間的推移可能會改變。第l時間信源輸出什么符號，不但與前一（l-1）時刻信源所處的狀態(tài)和所輸出的符號有關，而且一直延續(xù)到與信源初始所處的狀態(tài)和所輸出的符號有關。一般馬爾可夫信源的信息熵是其平均符號熵的極限值，它的表達式就是：121()lim()NNHHXHXXXN.二．平均互信息信道的任務是以信號方式傳輸信息和存儲信息的。我們知道信源輸出的是攜帶著信息的消息。消息必須要轉(zhuǎn)換成能在信道中傳輸或存儲的信號，然后通過信道傳送到收信者。并且認為噪聲或干擾主要從信道中引入。信道根據(jù)用戶的多少，可以分為兩端信道，多端信道。根據(jù)信道輸入端和輸出端的關聯(lián)，可以分為無反饋信道，反饋信道。根據(jù)信道的參數(shù)與時間的關系信道可以分為固定參數(shù)信道，時變參數(shù)信道。根據(jù)輸入和輸出信號的統(tǒng)計特性可以分為離散信道，連續(xù)信道，半離散或半連續(xù)信道和波形信道。為了能夠引入平均互信息量的定義，首先要看一下單符號離散信道的數(shù)學模型，在這種信道中，輸出變量和輸入變量的傳遞概率關系：(|)(|)(|)(1,2,,;1,2,,)jijiPyxPybxaPbairjs傳遞概率所表達的意思是，在信道當輸入符號為a，信道的輸出端收到b的概率。我們知道，信道輸入信源X的熵是表明接收端收到符號之前信源的平均不確定性，可以稱為先驗熵。如果信道中無干擾噪聲，信道輸出符號與輸出符號一一對應，那么，接受到傳送過來的符號就消除了對發(fā)送符號的先驗不確定性。但是我們實際的生活中一般信道中有干擾存在，接收到輸出后對發(fā)送的是什么符號仍有不確定性。表示在輸出端收到輸出變量Y的符號后，對于輸入端的變量X尚存在的平均不確定性。即信道疑義度：,1(|)()log(|)XYHXYPxyPxy這個信道的疑義度是由于干擾噪聲引起的。前面我們看到了輸出端接收到輸出符號前關于變量X的先驗熵，以及接收到輸出符號后關于輸入變量X的平均不確定性，通過信道傳輸消除了一定的不確定性，獲得了一定的信息。那么定義單符號信道的平均互信息量(;)()(|)IXYHXHXY3平均互信息是表示了收到輸出Y的前，后關于X的不確定性的消除量，就是在接到了輸出符號之后，對輸入端輸入什么符號得到了更多的信息。平均互信息量具有一些基本的特征：第一點，非負性。我們通過一個信道獲得的平均信息量不會是負值。也就是說，觀察一個信道的輸出，從平均的角度來看總能消除一些不確定性，接收到一定的信息。除非信道輸入和輸出是統(tǒng)計獨立時，才接收不到任何信息。因為在這樣的統(tǒng)計獨立信道中，傳輸?shù)男畔⑷繐p失在信道中，以致沒有任何信息傳輸?shù)浇K端，但也不會失去已經(jīng)知道了的信息。第二，平均互信息量的大小不大于輸入輸出任一者的信息熵。即從一事件提取關于另一事件的信息量，最多只有另一事件的信息熵那么多，不會超過該事件自身所含有的信息量。第三點是平均互信息的交互性。第四，平均互信息的凸狀性，平均互信息只與信源的概率分布和信道的傳遞有關，因此對于不同信源和不同信道得到的平均互信息是不同的。當固定某信道時，選擇不同的信源與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。而且對于每一個固定信道，一定存在有一種信源，是輸出端獲得的信息量為最大。后來，我們學習到信道容量的一般計算方法。其中最重要的是對稱離散信道的信道容量的計算。信道矩陣中每一行和每一列分別由同一概率分布集中的元素不同排列組成的，這就是對稱離散信道。計算對稱離散信道的信道容量公式是：'''12log(,,,)(/)sCsHppp比特符號其中，等號右邊的第一項是輸出符號的最大信息熵，第二項是信道矩陣分布行矢量的熵函數(shù)。比方說，前面提到的，二元對稱信道的信道容量就是1()(/)CHp比特符號除了前面論述到得單符號離散信道之外，還有獨立并聯(lián)信道和串聯(lián)信道。一般的獨立并聯(lián)信道如下：圖1獨立并聯(lián)信道的信道容量不大于各個信道的信道容量之和，只有當輸入符號iX相互獨立，且輸入符號iX的概率分布達到各信道容量的最佳輸入分布時，獨立并聯(lián)信道的信道容量才等于個信道容量之和。串聯(lián)信道是一種比較常見的信道模型，比如微波中繼竭力通信就是一種串聯(lián)信道，還有，在信道輸出端對接受到的信號或數(shù)據(jù)進行適當?shù)奶幚?，這種處理稱為數(shù)據(jù)處理。數(shù)據(jù)處理系統(tǒng)一般可以單程是一種信道，它和前面?zhèn)鬏敂?shù)據(jù)的信道是串接的關系。串聯(lián)信道中X、Y、Z有如下關系：信道1信道2……信道N4對于串接信道X、Y、Z有(;)(;)IXYZIYZ當且僅當P(z|xy)=P(z|y)時，等式成立。串聯(lián)信道的信道容量與串接的信道數(shù)有關，串接的無源數(shù)據(jù)處理信道越多，其信道容量可能會越小，當串接信道數(shù)無限大時，信道容量就有可能接近零。三．連續(xù)信道前面講到的離散信道其輸出的消息是屬于時間離散、取值有限或可數(shù)的隨機序列，其統(tǒng)計特性可以用聯(lián)合概率分布來描述。但是語音信號，電視信號都是連續(xù)波形信號。在某一固定的時刻，這樣的可能輸出即是連續(xù)的又是隨機的，我們稱之為隨機波形信源。它是用隨機過程描述輸出消息的信源。用連續(xù)隨機變量描述輸出消息的信源就是連續(xù)信源。連續(xù)信源的熵的表達式如下：dxxpxpxhR)(log)()(我們可以看到，連續(xù)信源的熵的定義與離散信源熵的定義方式一樣，只不過離散情況下是每個信源符號的信息量的加權(quán)平均，而連續(xù)信源的熵也是某一時刻信源輸出為某值的期望值。連續(xù)信源也可以稱之為差熵。接下來由兩種特殊連續(xù)信源的差熵需要計算。均勻分布連續(xù)信源的熵值，和高斯信源的熵值。連續(xù)信源的差熵具有以下的一些基本性質(zhì)：可加性，上凸性，可負性，變換性，極值性。在不同的情況下，連續(xù)信源中的差熵具有極大值，有下面兩種情況下連續(xù)信道存在最大的差熵：（1）峰值功率受限條件下信源的最大熵。若信源輸出的幅度被限定在,ab區(qū)域內(nèi)，則當輸出信號的概率密度是均勻分布時，這個時候信源具有最大熵，為log()ba。（2）平均功率受限條件下信源的最大熵。若一個連續(xù)信源輸出的平均功率被限定為P，那么其輸出信號幅度的概率密度分布時高斯分布時，信源有最大的熵，為1log22eP。也就是說，當連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特性與高斯噪聲統(tǒng)計特性一樣時，才會有最大的熵值。和離散信道一樣，對于固定的連續(xù)信道和波形信道都有一個最大的信息傳輸率，稱之為信道容量。它是信道可靠傳輸?shù)淖畲笮畔鬏斅?。對于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道帶寬及對信號的各種限制不同，所以具有不同的信道容量。我們先來討論單符號高斯加性信道的信道容量，單符號高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機變量，而加入信道的噪聲是一維高斯加性噪聲。它的信道容量表達式為：1log(1)2snPCP其中，inP是輸入信號X的平均功率，nP是高斯噪聲的平均功率。只有當信道的輸入信號是均值為零，平均功率為sP高斯分布的隨機變量時。信息傳輸率才能達到這個最大值。注水定理是對于多維無記憶高斯加性連續(xù)信道的個信道功率分配問題而提出來的，對于多維的情況，因為輸入的是平穩(wěn)隨機序列，輸出的也是平穩(wěn)隨機序列，我們可以將它等價為N個獨立并聯(lián)加性信道。假如各單元時刻上的噪聲仍是均值為零，方差為不同的inP的高斯5噪聲，單輸入信號的總體平均功率受限，此時我們可以使用拉格朗日乘子法萊確定平均功率的分配。當N個獨立并聯(lián)的組合高斯加性信道，各分信道的噪聲平均功率不相等時，為了達到最大的信息傳輸率，要對輸入信號的總能量適當?shù)剡M行分配。如果該信道分得的平均功率小于次信道的噪聲功率，那么就不能分配能量，使之不傳送任何信息；如果信道分得的平均功率要大于信道的噪聲功率，就在這些信道上分配能量，使iisnPP，這樣得到的信道容量為最大。我們總是希望在噪聲大的信道少傳送或甚至不傳送信息，而在噪聲小的信道多傳送些信息。【論文小結(jié)】：香農(nóng)對信息所作的科學的定義是在通信系統(tǒng)框架的基礎上產(chǎn)生的。在香農(nóng)看來，在通信系統(tǒng)的傳輸過程當中，收信者在收到消息以前是不知道消息的具體內(nèi)容的。在收到消息以前，收信者無法判斷發(fā)送者將會發(fā)來描述何種事物運動狀態(tài)的的具體消息，它也無法判斷是描述這種狀態(tài)還是那種狀態(tài)?；蛘?，由于干擾的存在，它也不能斷定所得到的消息是否正確和可靠。這樣，收信者存在“不知”，“不確定性”。那么通過消息的傳遞，收信者知道了消息的具體內(nèi)容，原先的不確定性就部分的或者全部消除了。因此，信息傳輸之后，對于收信者來講，減少了很多的不確定性和疑義度。所以，通信過程是一種消除不確定性的過程。不