信息論課程論文

PAGEPAGE13摘要：信息是自從人類出現(xiàn)以來就存在于這個世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產(chǎn)生和傳播。人類每時每刻都在不停的接受信息，傳播信息，以及利用信息。從原來的西漢時期的造紙，到近代西方的印刷術(shù)，以及現(xiàn)在的計算機(jī)，信息技術(shù)在人類歷史的進(jìn)程當(dāng)中隨著生產(chǎn)力的進(jìn)步而發(fā)展。而信息理論的提出卻遠(yuǎn)遠(yuǎn)落后于信息的出現(xiàn)，它是在近代才被提出來而形成一套完整的理論體系。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶離散和連續(xù)信道的信道容量；無失真信源編碼定理。關(guān)鍵字：平均自信息信道容量信源編碼霍夫曼碼Abstract：Sincethehumanbeingcomeout,theinformationhasbeenexistenceintheworld.Theuniverse,birdsandbeasts,andthelivestyleofthemankindallcan’tliveoutoftheproductionandtransmissionoftheinformation.Thehumanbeingreceivesthemassage,transmitstheinformationandusestheinformationallthetime.FromthepapermakingintheWesternHanDynastytotheprintingofthewest,andthecomputernow,theinformationtechnologyinhumanhistorydevelopedwiththeproductiveforces.ButInformationTheory’sappearanceisfarbehindtheemergenceoftheinformation.Itisraisedinmoderntimesandformedacompletetheoreticalsystem.Themainbasictheoryofinformationincludes:thedefinitionandmeasurementofinformation;theallkindsofdiscreteandcontinuoussourceofinformationentropy;channelcapacityofmemorial,memoryofdiscreteandcontinuouschannels;losslesssourcecodingtheorem.Keyword:Theaverageself-informationChannelcapacitySourceCodingHuffmancode

目錄一．緒論 3二．信息的度量 4三．平均互信息 6四．連續(xù)信道 9五．無失真信源編碼 10六．結(jié)束語 12參考文獻(xiàn) 13

香農(nóng)信息論的基本理論探究一．緒論信息論的理論定義是由當(dāng)代偉大的數(shù)學(xué)家美國貝爾實驗室杰出的科學(xué)家香農(nóng)在他1948年的著名論文《通信的數(shù)學(xué)理論》所定義的，它為信息論奠定了理論基礎(chǔ)。后來其他科學(xué)家，如哈特萊、維納、朗格等人又對信息理論作出了更加深入的探討。使得信息論到現(xiàn)在形成了一套比較完整的理論體系。信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。香農(nóng)被稱為是“信息論之父”。人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報》上的論文《AMathematicalTheoryofCommunication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。信息不同于消息、信號、情報、知識等概念。信息論所包含的含義比其他幾種理論概念更加廣泛，更具有概括性。情報是軍事學(xué)、文獻(xiàn)學(xué)方面的術(shù)語。情報的定義是對某個特定的對象所見、所聞、所理解而產(chǎn)生的知識，情報的含義要比“信息”窄得多。消息是用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動和主管思維活動的狀態(tài)表達(dá)出來的就成為“消息”。所以信息也不同于消息。香農(nóng)對信息所作的科學(xué)的定義是在通信系統(tǒng)框架的基礎(chǔ)上產(chǎn)生的。在香農(nóng)看來，在通信系統(tǒng)的傳輸過程當(dāng)中，收信者在收到消息以前是不知道消息的具體內(nèi)容的。在收到消息以前，收信者無法判斷發(fā)送者將會發(fā)來描述何種事物運(yùn)動狀態(tài)的的具體消息，它也無法判斷是描述這種狀態(tài)還是那種狀態(tài)?；蛘?，由于干擾的存在，它也不能斷定所得到的消息是否正確和可靠。這樣，收信者存在“不知”，“不確定性”。那么通過消息的傳遞，收信者知道了消息的具體內(nèi)容，原先的不確定性就部分的或者全部消除了。因此，信息傳輸之后，對于收信者來講，減少了很多的不確定性和疑義度。所以，通信過程是一種消除不確定性的過程。不確定性的消除，就獲得了信息。如果原先的不確定性全部消除了，就獲得了全部的信息；若消除了部分的不確定性，就獲得了部分的信息；若原來的不確定性沒有任何的消除，就沒有獲得任何信息；所以，香農(nóng)所定義的信息是事物運(yùn)動狀態(tài)或存在方式的不確定性的描述。以下我從信息論的幾個主要基礎(chǔ)理論來闡述下信息論。二．信息的度量通過以上信息的定義的描述，信息這一概念是比較抽象的，它不像通常的長度，重量等概念，有一個比較直觀的印象，信息必須要有一個比較容易用來分析的度量的數(shù)學(xué)工具。這樣才方便人們能夠更好的認(rèn)識和理解他，所以，香農(nóng)在他的論文里面，對信息的度量給出了嚴(yán)格的數(shù)學(xué)定義。在各種通信系統(tǒng)的信源當(dāng)中，離散隨機(jī)信源是一類最基本的信源，信源輸出是單個的符號的消息，并且消息之間是兩兩互不相容的。假設(shè)有個一維離散無記憶信源，它的概率分布函數(shù)決定了他所攜帶的信息。該信源空間中共有q個符號，每個符號發(fā)生的概率是Pi,那么發(fā)出某個符號所攜帶的信息量是-logPi,由于概率是在0和1之間的，使得每一事件的信息量是非負(fù)的。如果該事件發(fā)生的概率是0，或者是1，則表明該事件一定不會發(fā)生或者一定會發(fā)生。那么他所攜帶的信息量是0。從理論上講，該事件發(fā)生的概率越小，那么它的不確定性也就越大，它所攜帶的信息量也就越大。該事件發(fā)生的概率越大，它所攜帶的信息量也就越大。這也是人們?yōu)槭裁匆宦牭揭患豢伤甲h的事情發(fā)生了之后，會感到非常驚訝的原因。對于通信系統(tǒng)的信源來說，它不會僅僅只發(fā)出一個消息，這個消息發(fā)生的概率也不是1。必然會有別的可能的情況發(fā)生。那么對于一個信源來講，它所包含的信息量是什么樣子的，我們可以用平均自信息量來度量，即對每個事件各自所攜帶的信息量做一個加權(quán)平均。即可以得到信源的平均自信息量。信息熵的定義如下：平均自信息量也稱為信息熵。信息熵是從平均意義上來表征信源的總體信息測度的。對于某特定的信源，它的信息熵是一個確定的數(shù)值。不同的信源因為其概率分布不同，它的熵也不同。信息熵具有一些基本的性質(zhì)，比如，對稱性，確定性，非負(fù)性，擴(kuò)展性，可加性等等。這里面有一個最大離散熵定理，表明:離散信源情況下，對于具有q個符號的離散信源，只有在q個信源符號等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這樣也表明等概率分布信源的平均不確定性為最大。這個定理為我們后面研究有噪信道編碼定理提供了有力的依據(jù)。離散平穩(wěn)信源是一種非常重要的信源模型。如果不同時刻信源輸出符號的概率分布完全相同，則稱為一維離散平穩(wěn)信源。一維離散平穩(wěn)信源無論在什么時候均按P(X)的概率分布輸出符號。最簡單的離散平穩(wěn)信源就是二維離散平穩(wěn)信源。二維離散平穩(wěn)信源就是信源輸出的隨機(jī)序列…，X1,X2,…,Xi，…，滿足其一維和二維概率分布與時間起點無關(guān)。二維離散平穩(wěn)信源的聯(lián)合熵 此聯(lián)合熵表明原來信源X輸出任意一對可能的消息的共熵，即描述信源X輸出長度為2的序列的平均不確定性，或者說所含有的信息量。可以用作為二維離散平穩(wěn)信源X的信息熵的近視值。除了平穩(wěn)離散信源之外，還存在著非平穩(wěn)離散信源。在非平穩(wěn)離散信源中有一類特殊的信源。這種信源輸出的符號序列中符號之間的依賴關(guān)系是有限的，這種關(guān)系滿足我們在隨機(jī)過程中講到的馬爾可夫鏈的性質(zhì)，因此可用馬爾可夫鏈來處理。馬爾可夫信源是一種非常重要的非平穩(wěn)離散信源。那么馬爾可夫信源需要滿足一下兩個條件：（1）某一時刻信源符號的輸出只與此刻信源所出的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號都無關(guān)。（2）信源某時刻所處的狀態(tài)由當(dāng)前的輸出符號和前一時刻（-1）信源的狀態(tài)唯一決定。馬爾可夫信源的輸出的符號是非平穩(wěn)的隨機(jī)序列，它們的各維概率分布隨時間的推移可能會改變。第時間信源輸出什么符號，不但與前一（-1）時刻信源所處的狀態(tài)和所輸出的符號有關(guān)，而且一直延續(xù)到與信源初始所處的狀態(tài)和所輸出的符號有關(guān)。一般馬爾可夫信源的信息熵是其平均符號熵的極限值，它的表達(dá)式就是：.三．平均互信息前一部分簡要描述了一下離散信源的主要度量方式?，F(xiàn)在來討論離散信道及其信道容量。信道的任務(wù)是以信號方式傳輸信息和存儲信息的。我們知道信源輸出的是攜帶著信息的消息。消息必須要轉(zhuǎn)換成能在信道中傳輸或存儲的信號，然后通過信道傳送到收信者。并且認(rèn)為噪聲或干擾主要從信道中引入。信道根據(jù)用戶的多少，可以分為兩端信道，多端信道。根據(jù)信道輸入端和輸出端的關(guān)聯(lián)，可以分為無反饋信道，反饋信道。根據(jù)信道的參數(shù)與時間的關(guān)系信道可以分為固定參數(shù)信道，時變參數(shù)信道。根據(jù)輸入和輸出信號的統(tǒng)計特性可以分為離散信道，連續(xù)信道，半離散或半連續(xù)信道和波形信道。為了能夠引入平均互信息量的定義，首先要看一下單符號離散信道的數(shù)學(xué)模型，在這種信道中，輸出變量和輸入變量的傳遞概率關(guān)系：傳遞概率所表達(dá)的意思是，在信道當(dāng)輸入符號為，信道的輸出端收到的概率。我們知道，信道輸入信源X的熵是表明接收端收到符號之前信源的平均不確定性，可以稱為先驗熵。如果信道中無干擾噪聲，信道輸出符號與輸出符號一一對應(yīng)，那么，接受到傳送過來的符號就消除了對發(fā)送符號的先驗不確定性。但是我們實際的生活中一般信道中有干擾存在，接收到輸出后對發(fā)送的是什么符號仍有不確定性。表示在輸出端收到輸出變量Y的符號后，對于輸入端的變量X尚存在的平均不確定性。即信道疑義度：這個信道的疑義度是由于干擾噪聲引起的。前面我們看到了輸出端接收到輸出符號前關(guān)于變量X的先驗熵，以及接收到輸出符號后關(guān)于輸入變量X的平均不確定性，通過信道傳輸消除了一定的不確定性，獲得了一定的信息。那么定義單符號信道的平均互信息量平均互信息是表示了收到輸出Y的前，后關(guān)于X的不確定性的消除量，就是在接到了輸出符號之后，對輸入端輸入什么符號得到了更多的信息。平均互信息量具有一些基本的特征：第一點，非負(fù)性。我們通過一個信道獲得的平均信息量不會是負(fù)值。也就是說，觀察一個信道的輸出，從平均的角度來看總能消除一些不確定性，接收到一定的信息。除非信道輸入和輸出是統(tǒng)計獨立時，才接收不到任何信息。因為在這樣的統(tǒng)計獨立信道中，傳輸?shù)男畔⑷繐p失在信道中，以致沒有任何信息傳輸?shù)浇K端，但也不會失去已經(jīng)知道了的信息。第二，平均互信息量的大小不大于輸入輸出任一者的信息熵。即從一事件提取關(guān)于另一事件的信息量，最多只有另一事件的信息熵那么多，不會超過該事件自身所含有的信息量。第三點是平均互信息的交互性。第四，平均互信息的凸?fàn)钚?，平均互信息只與信源的概率分布和信道的傳遞有關(guān)，因此對于不同信源和不同信道得到的平均互信息是不同的。當(dāng)固定某信道時，選擇不同的信源與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。而且對于每一個固定信道，一定存在有一種信源，是輸出端獲得的信息量為最大。后來，我們學(xué)習(xí)到信道容量的一般計算方法。其中最重要的是對稱離散信道的信道容量的計算。信道矩陣中每一行和每一列分別由同一概率分布集中的元素不同排列組成的，這就是對稱離散信道。計算對稱離散信道的信道容量公式是：其中，等號右邊的第一項是輸出符號的最大信息熵，第二項是信道矩陣分布行矢量的熵函數(shù)。比方說，前面提到的，二元對稱信道的信道容量就是除了前面論述到得單符號離散信道之外，還有獨立并聯(lián)信道和串聯(lián)信道。一般的獨立并聯(lián)信道如下：信道1信道2信道1信道2……信道N獨立并聯(lián)信道的信道容量不大于各個信道的信道容量之和，只有當(dāng)輸入符號相互獨立，且輸入符號的概率分布達(dá)到各信道容量的最佳輸入分布時，獨立并聯(lián)信道的信道容量才等于個信道容量之和。串聯(lián)信道是一種比較常見的信道模型，比如微波中繼竭力通信就是一種串聯(lián)信道，還有，在信道輸出端對接受到的信號或數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶幚?，這種處理稱為數(shù)據(jù)處理。數(shù)據(jù)處理系統(tǒng)一般可以單程是一種信道，它和前面?zhèn)鬏敂?shù)據(jù)的信道是串接的關(guān)系。串聯(lián)信道中X、Y、Z有如下關(guān)系：對于串接信道X、Y、Z有當(dāng)且僅當(dāng)P(z|xy)=P(z|y)時，等式成立。串聯(lián)信道的信道容量與串接的信道數(shù)有關(guān)，串接的無源數(shù)據(jù)處理信道越多，其信道容量可能會越小，當(dāng)串接信道數(shù)無限大時，信道容量就有可能接近零。四．連續(xù)信道前面講到的離散信道其輸出的消息是屬于時間離散、取值有限或可數(shù)的隨機(jī)序列，其統(tǒng)計特性可以用聯(lián)合概率分布來描述。但是語音信號，電視信號都是連續(xù)波形信號。在某一固定的時刻，這樣的可能輸出即是連續(xù)的又是隨機(jī)的，我們稱之為隨機(jī)波形信源。它是用隨機(jī)過程描述輸出消息的信源。用連續(xù)隨機(jī)變量描述輸出消息的信源就是連續(xù)信源。連續(xù)信源的熵的表達(dá)式如下：我們可以看到，連續(xù)信源的熵的定義與離散信源熵的定義方式一樣，只不過離散情況下是每個信源符號的信息量的加權(quán)平均，而連續(xù)信源的熵也是某一時刻信源輸出為某值的期望值。連續(xù)信源也可以稱之為差熵。接下來由兩種特殊連續(xù)信源的差熵需要計算。均勻分布連續(xù)信源的熵值，和高斯信源的熵值。連續(xù)信源的差熵具有以下的一些基本性質(zhì)：可加性，上凸性，可負(fù)性，變換性，極值性。在不同的情況下，連續(xù)信源中的差熵具有極大值，有下面兩種情況下連續(xù)信道存在最大的差熵：峰值功率受限條件下信源的最大熵。若信源輸出的幅度被限定在區(qū)域內(nèi)，則當(dāng)輸出信號的概率密度是均勻分布時，這個時候信源具有最大熵，為。平均功率受限條件下信源的最大熵。若一個連續(xù)信源輸出的平均功率被限定為P，那么其輸出信號幅度的概率密度分布時高斯分布時，信源有最大的熵，為。也就是說，當(dāng)連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特性與高斯噪聲統(tǒng)計特性一樣時，才會有最大的熵值。和離散信道一樣，對于固定的連續(xù)信道和波形信道都有一個最大的信息傳輸率，稱之為信道容量。它是信道可靠傳輸?shù)淖畲笮畔鬏斅?。對于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道帶寬及對信號的各種限制不同，所以具有不同的信道容量。我們先來討論單符號高斯加性信道的信道容量，單符號高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是一維高斯加性噪聲。它的信道容量表達(dá)式為：其中，是輸入信號X的平均功率，是高斯噪聲的平均功率。只有當(dāng)信道的輸入信號是均值為零，平均功率為高斯分布的隨機(jī)變量時。信息傳輸率才能達(dá)到這個最大值。注水定理是對于多維無記憶高斯加性連續(xù)信道的個信道功率分配問題而提出來的，對于多維的情況，因為輸入的是平穩(wěn)隨機(jī)序列，輸出的也是平穩(wěn)隨機(jī)序列，我們可以將它等價為N個獨立并聯(lián)加性信道。假如各單元時刻上的噪聲仍是均值為零，方差為不同的的高斯噪聲，單輸入信號的總體平均功率受限，此時我們可以使用拉格朗日乘子法萊確定平均功率的分配。當(dāng)N個獨立并聯(lián)的組合高斯加性信道，各分信道的噪聲平均功率不相等時，為了達(dá)到最大的信息傳輸率，要對輸入信號的總能量適當(dāng)?shù)剡M(jìn)行分配。如果該信道分得的平均功率小于次信道的噪聲功率，那么就不能分配能量，使之不傳送任何信息；如果信道分得的平均功率要大于信道的噪聲功率，就在這些信道上分配能量，使，這樣得到的信道容量為最大。我們總是希望在噪聲大的信道少傳送或甚至不傳送信息，而在噪聲小的信道多傳送些信息。五．無失真信源編碼在這一章里面，我們學(xué)習(xí)了信源編碼中需要遵循的幾個重要定理。1.編碼，是將輸入信源中需要傳遞的符號用更加適合信道傳輸?shù)拇a符號序列來表示。如果要實現(xiàn)無失真編碼，必須這種映射是一一對應(yīng)的、可逆的。這種碼就是唯一可譯碼，唯一可譯碼的任意一串有限長的碼符號序列只能被唯一地譯成所對應(yīng)的信源符號序列，如果要所編的碼是唯一可譯碼，不但要求編碼時不同的信源符號變換成不同的碼字，而且還必須要求任意有限長的信源序列所對應(yīng)的碼符號序列各不相同，也就是要求碼的任意有限長N次擴(kuò)展碼都是非奇異碼。因為只有任意有限長的信源序列所對應(yīng)的碼符號序列各不相同，才能把該碼符號序列唯一地分割成一個個對應(yīng)的信源符號，從而實現(xiàn)唯一的譯碼。若要對信源S進(jìn)行等長編碼，則必須滿足信源符號數(shù)不大于碼元數(shù)的碼長次方；如果是信源的N次擴(kuò)展進(jìn)行等長編碼，則必須滿足下面的不等式：.2等長信源編碼定理一個熵為H(S)的離散無記憶信源，若對信源長為N的符號序列進(jìn)行等長編碼，設(shè)碼字是從個字母的碼符號集中，選取個碼元組成。對于任意，只要滿足則當(dāng)N足夠大時，可實現(xiàn)幾乎無失真編碼，即譯碼錯誤概率能為任意小。反之，若則不可能實現(xiàn)無失真編碼，而當(dāng)N足夠大時，譯碼錯誤概率近似等于1.等長編碼定理告訴我們：只要碼字傳輸?shù)男畔⒘看笥谛旁葱蛄袛y帶的信息量，總可以實現(xiàn)幾乎無失真編碼。3.變長碼變長碼的產(chǎn)生式在信道容量有限的情況下，希望用較短的碼就可以編出效率很高而且無失真的碼。變長碼必須是唯一可譯碼，才能實現(xiàn)無失真編碼。在唯一可譯變長碼中，有一類碼，它在譯碼時無須參考后續(xù)的碼符號就能立即做出判斷，譯成對應(yīng)的信源符號，它就是即時碼。即時碼的充要條件是沒有任何完整的碼字是其他碼字的前綴。即時碼可以由樹圖法來構(gòu)造。判斷即時