信息與編碼課程論文

信息論與編碼技術(shù)課程論文PAGE3PAGE1本科生課程論文題目：香農(nóng)信息論的基本理論探究姓名：學(xué)院：專業(yè)：班級：學(xué)號：指導(dǎo)教師：完成時間：PAGEPAGE14課程論文任務(wù)書學(xué)生姓名指導(dǎo)教師論文題目香農(nóng)信息論的基本理論探究論文內(nèi)容（需明確列出研究的問題）：信息的價值在于它為人們能動的改造外部世界提供了可能，信息所揭示的事物運動規(guī)律為人們應(yīng)用這些規(guī)律提供了可能，而信息所描述的事物狀態(tài)也為人們推動事物向有利的方向發(fā)展提供了可能。掌握的資源和能量越多，面對同樣的信息時人們能用以改造世界的可能性也越大。信息是信息論中最基本、最重要的概念。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶離散和連續(xù)信道的信道容量；無失真信源編碼定理。香農(nóng)三大定理是信息論的基礎(chǔ)理論。香農(nóng)信息論在解決了信息的測度問題之后，主要致力于研究如何提高通信系統(tǒng)中信息傳輸?shù)目煽啃院陀行裕蚨戕r(nóng)編碼理論是進行信源編碼和信道編碼理論研究的重要的指導(dǎo)理論。資料、數(shù)據(jù)、技術(shù)水平等方面的要求：論文要符合一般學(xué)術(shù)論文的寫作規(guī)范，具備學(xué)術(shù)性、科學(xué)性和一定的創(chuàng)造性。文字要流暢、語言要準(zhǔn)確、論點要清楚、論據(jù)要準(zhǔn)確、論證要完整、嚴(yán)密，有獨立的觀點和見解。內(nèi)容要理論聯(lián)系實際，計算數(shù)據(jù)要求準(zhǔn)確，涉及到他人的觀點、統(tǒng)計數(shù)據(jù)或計算公式等要標(biāo)明出處，結(jié)論要寫的概括簡短。參考文獻的書寫按論文中引用的先后順序連續(xù)編碼。發(fā)出任務(wù)書日期完成論文（設(shè)計）日期學(xué)科組或教研室意見（簽字）院、系（系）主任意見（簽字）香農(nóng)信息論的基本理論探究【摘要】：信息的價值在于它為人們能動的改造外部世界提供了可能，信息所揭示的事物運動規(guī)律為人們應(yīng)用這些規(guī)律提供了可能。而信息所描述的事物狀態(tài)也為人們推動事物向有利的方向發(fā)展提供了可能。掌握的資源和能量越多，面對同樣的信息時人們能用以改造世界的可能性也越大。信息是信息論中最基本、最重要的概念。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶離散和連續(xù)信道的信道容量；無失真信源編碼定理。香農(nóng)三大定理是信息論的基礎(chǔ)理論。香農(nóng)信息論在解決了信息的測度問題之后，主要致力于研究如何提高通信系統(tǒng)中信息傳輸?shù)目煽啃院陀行裕蚨戕r(nóng)編碼理論是進行信源編碼和信道編碼理論研究的重要的指導(dǎo)理論。【關(guān)鍵詞】：等長編碼信源編碼香農(nóng)三大定理通信系統(tǒng)Shannon,thebasictheoryofinformationtheorystudyAbstract：Thevalueofinformationisforpeopletomoveitofreformoftheexternalworldpossible,informationrevealthemovementrulethingsforpeopleusingtheserulestoprovidethepossibility.Whiletheinformationdescribedthestateofthingsaswellaspeoplepushthingstofavorabledirectionmaybeprovided.Masteryoftheresourcesandthemoreenergy,facethesameinformationtopeoplecantransformtheworldarealsomorelikely.Informationisthemostbasicinformationtheory,themostimportantconcept。Thebasictheoryofinformationtheorymainlyinclude:thedefinitionofinformationandmeasure;Allkindsofdiscretesourceandcontinuoussourceofinformationentropy;Amemory,nomemorydiscreteandcontinuouschannelcapacity;Nodistortionsourcecodingtheorem.Shannonthreetheoremsisthebasictheoryofinformationtheory.Themainbasictheoryofinformationincludes:thedefinitionandmeasurementofinformation;allkindsofdiscreteandcontinuoussourceofinformationentropysource;amemory,memoryofdiscreteandcontinuouschannelcapacity;losslesssourcecodingtheorem.Thevalueofinformationisforpeopletomoveitofreformoftheexternalworldpossible,informationrevealthemovementrulethingsforpeopleusingtheserulestoprovidethepossibility.Keywords：CorollacodingSourcecodingShannonthreetheoremsCommunicationsystem引言信息理論與編碼理論是在長期的通信工程實踐和理論研究的基礎(chǔ)上發(fā)展起來的。信息論理論基礎(chǔ)的建立，一般來說開始于香農(nóng)(Shannon)在研究通信系統(tǒng)時所發(fā)表的論文《通信的數(shù)學(xué)理論》。他從研究通信系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，對信息作了科學(xué)的定義，并進行了定性和定量的描述。他在1941年至1944年對通信和密碼進行深入研究，并用概率論和數(shù)理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題，得出了無失真信源編碼定理和有噪環(huán)境下的信道編碼定理，由此奠定了現(xiàn)代信息論的基礎(chǔ)。在香農(nóng)編碼定理的指導(dǎo)下，信道編碼理論和技術(shù)逐步發(fā)展成熟。香農(nóng)信息論是從通信系統(tǒng)的最優(yōu)化角度來研究信息的傳遞和處理問題的。其最大特點是將概率統(tǒng)計的觀點和方法引入到通信理論研究中，揭示了通信系統(tǒng)傳遞的對象就是信息，并對信息給以科學(xué)的定量描述，提出了信息熵的概念，還指出通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息，而實現(xiàn)這一目標(biāo)的主要方法是編碼，而且從理論上證明了編碼方法可以達到的最佳性能極限。因此，學(xué)習(xí)香農(nóng)信息論對于正確理解以及進一步發(fā)展信息理論和編碼技術(shù)是非常必要和有益的。香農(nóng)三大定理是信息論的基礎(chǔ)理論。香農(nóng)三大定理是存在性定理，雖然并沒有提供具體的編碼實現(xiàn)方法，但為通信信息的研究指明了方向。信息的定義及度量信息僅僅與隨機事件的發(fā)生有關(guān)，不確定性的大小可以直觀地看作事先猜測某隨機事件是否發(fā)生的難易程度。某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目和各狀態(tài)出現(xiàn)的概率大小有關(guān)。香農(nóng)信息反映的是事物的不確定性，是對事物的運動方式或形式的不確定性描述。在樣本空間中，每個可能選擇的消息是這個樣本空間的一個元素。對于離散消息的集合，概率預(yù)測就是對每一個可能選擇的消息指定一個概率（非負，且總和為1）。一個樣本空間和它的概率預(yù)測一起構(gòu)成一個概率空間。一般概率空間用[X,P]來表示。在離散情況下，概率空間表示成：。其中為符號作為消息的概率，稱為先驗概率。在各種通信系統(tǒng)的信源當(dāng)中，離散無記憶信源是一類最基本的信源，信源輸出是單個的符號的消息，并且消息之間是兩兩互不相容的。離散無記憶信源，它的概率分布函數(shù)決定了它所攜帶的信息。若信源空間中共有q個符號，每個符號發(fā)生的概率是,那么發(fā)出某個符號所攜帶的信息量是,由于概率是在0和1之間的，使得每一事件的信息量是非負的。如果該事件發(fā)生的概率是0，或者是1，則表明該事件一定不會發(fā)生或者一定會發(fā)生，那么他所攜帶的信息量是0。從理論上講，該事件發(fā)生的概率越小，那么它的不確定性也就越大，它所攜帶的信息量也就越大。該事件發(fā)生的概率越大，它所攜帶的信息量也就越大。對于通信系統(tǒng)的信源來說，它不會僅僅只發(fā)出一個消息，必然會有別的可能的情況發(fā)生。那么對于一個信源來講，我們可以用平均自信息量來度量，即可以得到信源的平均自信息量。信息熵的定義如下：平均自信息量也稱為信息熵。信息熵是從平均意義上來表征信源的總體信息測度的。對于某特定的信源，它的信息熵是一個確定的數(shù)值。不同的信源因為其概率分布不同，它的熵也不同。信息熵具有一些基本的性質(zhì)，比如，對稱性，確定性，非負性，擴展性，可加性，極值性等等。二、等長信源編碼定理信源編碼：以提高通信有效性為目的的編碼。通常通過壓縮信源的冗余度來實現(xiàn)。采用的一般方法是壓縮每個信源符號的平均比特數(shù)或信源的碼率。即同樣多的信息用較少的碼率傳送，使單位時間內(nèi)傳送的平均信息量增加，從而提高通信的有效性。信源編碼理論是信息論的一個重要分支，其理論基礎(chǔ)是信源編碼的兩個定理：無失真信源編碼定理：是離散信源/數(shù)字信號編碼的基礎(chǔ)；限失真信源編碼定理：是連續(xù)信源/模擬信號編碼的基礎(chǔ)。信源編碼可以分為以下幾類：離散信源編碼：獨立信源編碼，可做到無失真編碼；連續(xù)信源編碼：獨立信源編碼，只能做到限失真信源編碼；相關(guān)信源編碼：非獨立信源編碼。若對信源進行等長編碼，則必須滿足其中，l是碼長，r是碼符號集中的碼元數(shù)，q信源符號個數(shù)。例：如果有四個信源符號{s1，s2，s3，s4}，采用二元編碼，l=2，則可以編成s1=00，s2=01，s3=10，s4=11。如果我們要對信源的N次擴展信源進行編碼，也必須滿足，兩邊取對數(shù)得：。表示平均每個信源符號所需的碼符號個數(shù)。例：對英文電報得32個符號進行二元編碼，根據(jù)上述關(guān)系：。我們繼續(xù)討論上面得例子，我們已經(jīng)知道英文的極限熵是1.4bit,遠小于5bit，也就是說，5個二元碼符號只攜帶1.4bit的信息量，實際上，5個二元符號最多可以攜帶5bit信息量。我們可以做到讓平均碼長縮短，提高信息傳輸率我們舉例說明：設(shè)信源而其依賴關(guān)系為：若不考慮符號間的依賴關(guān)系，可得碼長l＝2若考慮符號間的依賴關(guān)系，則對此信源作二次擴展，?？梢姡捎诜栭g依賴關(guān)系的存在，擴展后許多符號出現(xiàn)的概率為0，此信源只有4個字符，可得碼長，但平均每個信源符號所需碼符號為。我們?nèi)砸杂⑽碾妶鬄槔?，在考慮了英文字母間的相關(guān)性之后，我們對信源作N次擴展，在擴展后形成的信源（也就是句子）中，有些句子是有意義的，而有些句子是沒有意義的，我們可以只對有意義的句子編碼，而對那些沒有意義的句子不進行編碼，這樣就可以縮短每個信源符號所需的碼長。等長信源編碼定理給出了進行等長信源編碼所需碼長的極限值。定理（等長信源編碼定理）一個熵為H(S)的離散無記憶信源，若對其N次擴展信源進行等長r元編碼，碼長為l，對于任意大于0，只要滿足當(dāng)N無窮大時，則可以實現(xiàn)幾乎無失真編碼，反之，若：則不可能實現(xiàn)無失真編碼，當(dāng)N趨向于無窮大時，譯碼錯誤率接近于1。為了衡量編碼效果，引進稱為編碼效率最佳編碼效率為：,例：設(shè)離散無記憶信源若采用等長二元編碼，要求編碼效率，允許錯誤率,則也就是長度要達到4130萬以上。因此以下我們引入變長碼的概念。離散信源的無失真編碼是要講信源輸出的離散消息符號變換成適合于信道傳輸?shù)男诺阑痉?，在這一變換過程中同時還要考慮在信源消息不失真的前提下如何用較短的碼字來代表每一條消息。使用無失真變長信源編碼定理即香農(nóng)第一定理，可以幫助實現(xiàn)這一目標(biāo)。三、香農(nóng)第一定理（無失真變長信源編碼定理）編碼器可以看作這樣一個系統(tǒng)，它的輸入端為原始信源S，其符號集為；而信道所能傳輸?shù)姆柤癁椤＞幋a器的功能是用符號集X中的元素，將原始信源的符號變換為相應(yīng)的碼字符號，所以編碼器輸出端的符號集為編碼器編碼器碼字信源單符號信源無失真編碼器編碼器編碼器N次擴展信源無失真編碼器指標(biāo)：1)平均碼長，2)編碼后的信息傳輸率，3)編碼效率例：二元DMS進行無失真編碼H(S)=H(3/4,1/4)=0.811(bit/sign)當(dāng)N=1時,,(bit/code)，H(S)=H(3/4,1/4)=0.811(bit/sign){0,10,110,111}當(dāng)N=2時，(bit/code)， 當(dāng)N=3時， (bit/code)當(dāng)N=4時， (bit/code)隨著N的增加，平均碼長減小，有效性逐步提高；當(dāng)N趨于無窮時，平均碼長可以無限制地減小嗎？由此引出以下定理：定理定理設(shè)為q元離散無記憶信源S的N次擴展信源，若對進行編碼，碼符號集，則總可以找到一種編碼方法構(gòu)成惟一可譯碼，使信源S中每個符號所需的平均編碼長度滿足：且當(dāng)時有：以上定理是香農(nóng)第一定理，又稱為無失真信源編碼定理或變長碼信源編碼定理。這個定理是香農(nóng)信息論中非常重要的一個定理，它指出，要做到無失真的信源編碼，信源每個符號所需要的平均碼元數(shù)就是信源的熵值，如果小于這個值，則唯一可譯碼不存在。可見，熵是無失真信源編碼的極限值。定理還指出，通過對擴展信源進行編碼，當(dāng)N趨向于無窮時，平均碼長可以趨進該極限值。還可以證明，如果我們不確切知道信源的概率分布，我們用估計的概率分布去進行編碼時，平均碼長會加長，但是如果估計的偏差不大的話，平均碼長也不會增加太多。香農(nóng)第一定理的意義：將原始信源符號轉(zhuǎn)化為新的碼符號，使碼符號盡量服從等概分布，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。關(guān)于香農(nóng)第一定理有以下結(jié)論：1）通過對擴展信源進行可變長編碼，可以使平均碼長無限趨近于極限熵值，但這是以編碼復(fù)雜性為代價的。2）無失真信源編碼的實質(zhì)：對離散信源進行適當(dāng)?shù)淖儞Q，使變換后新的符號序列信源盡可能為等概率分布，從而使新信源的每個碼符號平均所含的信息量達到最大。3）香農(nóng)第一定理僅是一個存在性定理，沒有給出更有效的信源編碼的實現(xiàn)方法。例：其熵為：H(S)=0.811我們令s1=0，s2=1，這時平均碼長，編碼的效率，二次擴展信源進行編碼如下所示：

即時碼s1s19/160s1s23/1610s2s13/16110s2s21/16111四、香農(nóng)第二定理（有噪信道編碼定理）1、錯誤概率率包括誤碼和誤字率。PE=P(a1)P(b2|a1)+P(a2)P(b1|a2)==ωp+(1-ω)p=0.01。1-ppp1-ppp1-pa1=0p(a1)=ωa2=1p(a2)=1-ωb1=0b2=1a、MAP準(zhǔn)則（MaximumaPosteriori）對于所有的， ， ，似然比b、ML準(zhǔn)則（MaximumLikelihood）若輸入符號等概率時，例2、（5，2）線性碼，PE=7.8*10-4，R=0.40000000000011011011111010信道0000000010010001000100001001001000000011011010111100101111000110001001111010111010111101011111100110101101001100111101001101011000100100101111011110010101011001000000110110111110103.香農(nóng)第二定理（有噪信道編碼定理）定理設(shè)某離散無記憶信道有r個輸入符號，s個輸出符號信道容量為C。只要碼長n足夠長，總可以在輸入的個符號集中找到M個碼字（代表M個等可能的消息，且為任意小的正數(shù)）組成一個碼，并存在相應(yīng)的譯碼規(guī)則，使信道輸出的錯誤概率任意小。當(dāng)信道的信息傳輸率不超過信道容量時，采用合適的信道編碼方法可以實現(xiàn)任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現(xiàn)可靠的傳輸。設(shè)某信道有r個輸入符號，s個輸出符號，信道容量為C，當(dāng)信道的信息傳輸率R<C，碼長N足夠長時，總可以在輸入的集合中(含有r^N個長度為N的碼符號序列)，找到M（(M<=2^(N(C-a)))，a為任意小的正數(shù))個碼字，分別代表M個等可能性的消息，組成一個碼以及相應(yīng)的譯碼規(guī)則,使信道輸出端的最小平均錯誤譯碼概率Pmin達到任意小。公式：C=B*log2(1+S/N)注：B為信道帶寬；S/N為信噪比，通常用分貝（dB）表示。香農(nóng)第二定理說明：1、定理糾正了人們傳統(tǒng)固有的可靠性和有效性矛盾的觀點，為信道編碼理論和技術(shù)的研究指明了方向。2、定理僅指出編碼的存在性，未給出編碼的具體方法。3、定理指出：R<C是可靠傳輸?shù)谋匾獥l件，但并未指出編碼序列無限長是可靠傳輸?shù)谋匾獥l件。4、香農(nóng)進一步證明：R=C時，任意小的差錯概率也是可以達到的。五、香農(nóng)第三定理（保失真度準(zhǔn)則下的有失真信源編碼定理）1、失真度與信息率失真函數(shù)a、系統(tǒng)模型信源信源編碼器無噪信道信源信源編碼器無噪信道信源編碼器信宿試驗信道UVb、失真測度1）單符號失真測度，設(shè)。定義失真矩陣。如果規(guī)定，那么失真矩陣為，N=3時，失真度如圖所示：UUV2)序列失真測度設(shè)序列，定義序列失真測度為。3)平均失真單符號平均失真，序列平均失真。c、信息率失真函數(shù)定義：信息率失真函數(shù)例設(shè)信源X，符號集為，，等概分布給定失真測度為，設(shè)計一種單符號壓縮算法使得平均失真D=1/2，并求壓縮后的信息傳輸率R信息率失真函數(shù)性質(zhì)1）當(dāng)D<0時,R(D)無意義2）存在一個Dmax，使D>Dmax時,R(D)=03）R(0)=H(X)4）在0<D<Dmax范圍內(nèi),R(D)是正的、連續(xù)的下凸函數(shù)定理設(shè)為一離散無記憶信源的信息率失真函數(shù)，并且有有限的失真測度D,則對于任意，以及任意長的碼長k一定存在一種碼字個數(shù)為的信源編碼，使編碼后碼的平均失真度。關(guān)于香農(nóng)第三定理的幾點討論：1）R(D)確定是保真度準(zhǔn)則條件下，信源信息率壓縮的下限。2）R(D)在實際工程中可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種標(biāo)尺。3）是一種存在定理，其實際應(yīng)用有待于進一步研究a)如何計算符合實際信源的信息率失真函數(shù)R(D)？b)如何尋找最佳編碼方法才能達到信息壓縮的極限值R(D)？保真度準(zhǔn)則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼后的信息傳輸率略大于率失真函數(shù)，而碼的平均失真度不大于給定的允許失真度，即D'<=D.設(shè)R(D)為一離散無記憶信源的信息率失真函數(shù)，并且選定有限的失真函數(shù)，對于任意允許平均失真度D>=0，和任意小的a>0，以及任意足夠長的碼長N，則一定存在一種信源編碼W，其碼字個數(shù)為M<=EXP{N[R(D)+a]}，而編碼后碼的平均失真度D'(W)<=D+a。六、香農(nóng)三大定律的內(nèi)在聯(lián)系香農(nóng)三大定理是信息論的基礎(chǔ)理論，是存在性定理，雖然并沒有提供具體的編碼實現(xiàn)方法，但為通信信息的研究指明了方向。可變長無失真信源編碼定理，采用無失真最佳信源編碼可使得用于每個信源符號的編碼位數(shù)盡可能地小，但它的極限是原始信源的熵值，但是超過了這一極限就不可能實現(xiàn)無失真的譯碼。有噪信道