信息論與編碼理論基礎(chǔ)第一章

信息論與編碼理論基礎(chǔ)第一章第1頁，課件共46頁，創(chuàng)作于2023年2月教材王育民、李暉，信息論與編碼理論（第2版），高等教育出版社，2013.

第2頁，課件共46頁，創(chuàng)作于2023年2月參考書ThomasM.Cover,JoyA.Thomas,ElementsofInformationTheory，2nded,WILEYPress,2006.阮吉壽張華譯信息論基礎(chǔ)，機械工業(yè)出版社，2007.傅祖蕓，信息論與編碼學習輔導及習題詳解，電子工業(yè)出版社，2004.傅祖蕓,信息論—基礎(chǔ)理論與應用，電子工業(yè)出版社，2001.沈世鎰等，信息論與編碼理論，科學出版社，2010.姜丹，信息論與編碼，中國科學技術(shù)大學出版社，2008.第3頁，課件共46頁，創(chuàng)作于2023年2月信息是什么？Wiener(維納)：“信息既不是物質(zhì)，也不是能量，信息就是信息”。物質(zhì)和能量是客觀存在的、有形的，信息是抽象的、無形的。物質(zhì)和能量是系統(tǒng)的“軀體”，信息則系統(tǒng)的“靈魂”。信息要借助于物質(zhì)和能量才能產(chǎn)生、傳輸、存儲、處理和感知；物質(zhì)和能量要借助于信息來表述和控制。第4頁，課件共46頁，創(chuàng)作于2023年2月第5頁，課件共46頁，創(chuàng)作于2023年2月信息（英語：Information），是一個高度概括抽象概念，很難用統(tǒng)一的文字對其進行定義[1]，這是由于其具體表現(xiàn)形式的多樣性造成的。信息是一個發(fā)展中的動態(tài)范疇，它隨人類社會的演變而相應的擴大或收縮，總的來看從過去到現(xiàn)在信息所涵蓋的范圍是不斷擴大的，可以斷定隨人類社會的發(fā)展信息范疇將進一步擴大。作為一個嚴謹?shù)目茖W術(shù)語，信息的定義卻不存在一個統(tǒng)一的觀點，這是由它的極端復雜性決定的。信息的表現(xiàn)形式數(shù)不勝數(shù)：聲音、圖片、溫度、體積、顏色……信息的分類也不計其數(shù)：電子信息、財經(jīng)信息、天氣信息、生物信息……。信息可以減少不確定性。事件的不確定性是以其發(fā)生機率來量測，發(fā)生機率越高，不確定性越低，事件的不確定性越高，越需要額外的信息減少其不確定性。例如投擲一個公正的硬幣，其信息為-log2(1/2)=1bit，投擲兩個公正的硬幣，其信息為-log2(1/4)=2bits。在熱力學中，信息是指任何會影響系統(tǒng)的熱力學狀態(tài)的事件。第6頁，課件共46頁，創(chuàng)作于2023年2月信息的度量信息可以被感知，但是不是所有的信息都可以定量計數(shù)，因此，我們要區(qū)分信息和信息量。從數(shù)學上來說，關(guān)于信息量的定義，大概有100多種。如果將信息提升到科學進行研究，必須要對信息進行定量，給出信息的科學測度，但是這并不是一件很容易的事情。第7頁，課件共46頁，創(chuàng)作于2023年2月信息與信息量信息是多樣的，客觀事物是多種多樣的、五花八門的，事物的狀態(tài)和變化是多姿多彩、變幻無窮的，屬性不同就出現(xiàn)了不同的信息，需要給出不同的信息定義，從而可創(chuàng)建不同的信息理論。比如說信息的不確定性，引出了概率信息，這是我們講的最多的。再如信息的模糊性，引出了模糊信息和模糊信息論，這個在70年代末提出來的。還如信息的量子屬性，引出了量子信息和量子信息論。第8頁，課件共46頁，創(chuàng)作于2023年2月信息與信息量信息的復雜性引出了信息的復雜度和復雜度的信息理論，信息的感知屬性引出了感知信息和感知信息理論，信息的美學屬性引出美學信息和美學信息理論等等。現(xiàn)在有五花八門的信息理論，已經(jīng)提出了各式各樣的信息理論，而且得到了眾多不同的結(jié)果，都宣稱取得了成功。動態(tài)信息論、定性信息論、經(jīng)濟信息論、算法信息論、模糊信息論、量子信息論等等，還有信息生態(tài)學、信息代數(shù)、信息幾何等，信息物理學、信息生物學等。第9頁，課件共46頁，創(chuàng)作于2023年2月信息與信息量信息量度定義的困難性，在眾多信息中，只有少數(shù)的信息有了量，大多數(shù)的信息是可以感知的，但是無法度量，因為沒有找到合適的信息量的定義，就建不起來一套理論。比如說對情感信息中的喜怒哀樂，都可以感知，但是我們很難度量它們，只能用一些比較模糊的形容詞，描述不同程度的感情?！澳銌栁覍δ愕膼塾卸嗌睿覑勰阌袔追?，你去想一想，你去看一看，月亮代表我的心。”我們還不能確切地給出“這份愛”有多少“比特”，“那份愛”比“這份愛”又多多少“比特”。對于美學信息也是如此。第10頁，課件共46頁，創(chuàng)作于2023年2月信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設(shè)想，他將消息數(shù)的對數(shù)定義為信息量。若信源有m種消息，且每個消息是以相等可能產(chǎn)生的，則該信源的信息量可表示為I=logm。但對信息量作深入而系統(tǒng)研究，還是從1948年C.E.仙農(nóng)的奠基性工作開始的。在信息論中，認為信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發(fā)送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。第11頁，課件共46頁，創(chuàng)作于2023年2月信息與信息量由于客觀信息的多樣性，要想給出一個能夠包羅萬象的統(tǒng)一定義，在此基礎(chǔ)上建立起一套信息理論幾乎是不大可能的。香濃(Shannon)信息論：1948年發(fā)表《通信的數(shù)學理論》，創(chuàng)建了信息論，建立了通信系統(tǒng)的模型，用概率和統(tǒng)計觀點描述信息，包括信源、信道、干擾等，給出了不確定的信息量度，指出了客觀有效、可靠的信息通信之路，宣告了一門學科信息論的誕生，成為通信領(lǐng)域技術(shù)革命的思想或者理論基礎(chǔ)。第12頁，課件共46頁，創(chuàng)作于2023年2月信息與信息量1948年發(fā)表的《通信的數(shù)學理論》文章，這是一篇20世紀少有的幾篇對科學和工程，乃至對人類社會發(fā)展產(chǎn)生了重要影響著作，是可與牛頓力學相媲美的不朽之作，也是他最重要的科學貢獻。這使他成為信息論之父，時年僅32歲。作為數(shù)學家，他為數(shù)學開辟了一個工程應用的新領(lǐng)域。這篇文章雖然在1947年完成，但至今仍然閃爍著智慧的光芒，它將照耀人類今后的數(shù)個世紀。第13頁，課件共46頁，創(chuàng)作于2023年2月第14頁，課件共46頁，創(chuàng)作于2023年2月第一章：引論（簡介）一、通信系統(tǒng)模型二、Shannon信息論的中心問題三、Shannon信息的概念四、概率復習內(nèi)容第15頁，課件共46頁，創(chuàng)作于2023年2月一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。信源編碼器信道譯碼器信宿干擾源第16頁，課件共46頁，創(chuàng)作于2023年2月通信系統(tǒng)模型進一步細分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器第17頁，課件共46頁，創(chuàng)作于2023年2月各部件功能信源產(chǎn)生消息的源，消息可以是文字，語言，圖像。可以離散，可以連續(xù)。隨機發(fā)生。研究的主要問題是消息的統(tǒng)計特性和產(chǎn)生信息的速率編碼器信源編碼器：對信源輸出進行變換，求得有效性信道編碼器：對信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞降?8頁，課件共46頁，創(chuàng)作于2023年2月各部件功能信道信號從發(fā)端傳到收端的介質(zhì)信道的中心問題是研究信道的統(tǒng)計特性和傳信能力，即信道容量干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計特性加性干擾和乘性干擾第19頁，課件共46頁，創(chuàng)作于2023年2月各部件功能譯碼器編碼器的逆變換中心問題是研究各種可實現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者第20頁，課件共46頁，創(chuàng)作于2023年2月信息、消息和信號信息一個抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素消息是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像信號表示消息的物理量，電信號的幅度，頻率，相位等等第21頁，課件共46頁，創(chuàng)作于2023年2月音信消息南唐李中《暮春懷故人》詩：

“夢斷美人沉信息，目穿長路倚樓臺。”宋陳亮《梅花》詩：

“欲傳春信息，不怕雪埋藏?！薄端疂G傳》第四四回：

宋江大喜，說道：“只有賢弟去得快，旬日便知信息?！卑徒稹都摇?/p>

三一：“二表哥的事情怎樣了？為什么連信息也不給我一個？”第22頁，課件共46頁，創(chuàng)作于2023年2月二、Shannon信息論的中心問題“信息論”，又稱為“通信的數(shù)學理論”，是研究信息的傳輸、存儲、處理的科學。1948年Shannon發(fā)表了“通信的數(shù)學理論”奠定了信息論理論基礎(chǔ)信息論的中心問題：為設(shè)計有效而可靠的通信系統(tǒng)提供理論依據(jù)。第23頁，課件共46頁，創(chuàng)作于2023年2月中心問題具體地說，就是信源編碼和信道編碼。問題一：信源消息常常不能夠完全發(fā)送。（否則發(fā)送量巨大，比如：信源消息是一片無盡的天空。因此優(yōu)先撿有用的發(fā)送。什么是有用的？就是信息量大的。什么是信息量大的？）問題二：信道因干擾而出現(xiàn)差錯，必須進行檢錯和糾錯。（否則所收到的消息無法識別。）第24頁，課件共46頁，創(chuàng)作于2023年2月香農(nóng)信息論的基本任務(wù)基本任務(wù)是設(shè)計有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時間和盡可能少的設(shè)備來傳輸一定量的消息第25頁，課件共46頁，創(chuàng)作于2023年2月信源編碼問題信源編碼器的作用是根據(jù)失真度準則對信源進行劃分，給每一類以不同的表示，即碼字。信源譯碼器的任務(wù)是根據(jù)收到的信源表示恢復出信源所屬的類。第26頁，課件共46頁，創(chuàng)作于2023年2月信源編碼問題在給定信源和失真度條件下，要多大信息速率才行？或?qū)o定信源保留一定的信息速率下，可以達到的最小失真是多少？——信源編碼問題，即通信“可行性”研究。如何實現(xiàn)上述理論——找出實際可行的信源編碼和譯碼方法。第27頁，課件共46頁，創(chuàng)作于2023年2月信道編碼問題研究在保證信息傳輸可靠性的條件下最有效地利用信道的傳信能力的。設(shè)送入信道的信息速率為R，信道容量為C，信道編碼基本理論告訴我們：若R<C，則可以將速率為R的信息以任意高的可靠性送至接收端。若R>C，則不可能。尋找實際可行的編、譯碼方法。第28頁，課件共46頁，創(chuàng)作于2023年2月香農(nóng)信息論特點將概率統(tǒng)計的觀點和方法引入到通信理論研究中，揭示了通信系統(tǒng)中傳送的對象是信息，并對信息給出科學的、定量的描述，指出通信系統(tǒng)設(shè)計的中心問題是在隨機噪聲干擾下如何有效而可靠地傳送信息，實現(xiàn)這一目標的途徑是編碼（信源編碼和信道編碼），并且從理論上證明了可以達到的最佳性能限。第29頁，課件共46頁，創(chuàng)作于2023年2月類比對于Shannon信息論，可將通信問題與普通的運輸問題做類比。前者是傳送信息，后者是傳送貨物。傳送貨物有貨源和運輸通道，而貨源和運輸通道又有貨源的體積（或噸位）和運輸通道的容量。當運輸通道的容量大于貨源的體積（噸位）時，就能實現(xiàn)貨物的正常運輸。信源和信道編碼理論則是解決信息的傳輸問題?？梢酝ㄟ^信息的度量來確定信息量（可形象地稱為信號體積）和信道容量。當信道容量大于信息體積時，就能實現(xiàn)信息的正確傳輸。第30頁，課件共46頁，創(chuàng)作于2023年2月信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計算機翻譯，心理學，遺傳學，神經(jīng)生理學第31頁，課件共46頁，創(chuàng)作于2023年2月狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼第32頁，課件共46頁，創(chuàng)作于2023年2月信息論發(fā)展簡史電磁理論和電子學理論對通信理論技術(shù)發(fā)展起重要的促進作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應莫爾斯1832－1835建立電報系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預言電磁波存在，1888年赫茲驗證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導致微波通信系統(tǒng)，微波雷達系統(tǒng)激光技術(shù)使通信進入光通信時代量子力學使通信進入量子通信領(lǐng)域第33頁，課件共46頁，創(chuàng)作于2023年2月信息論發(fā)展簡史1832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號的頻譜結(jié)構(gòu)進行研究1924年奈奎斯特證明了信號傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機過程和數(shù)理統(tǒng)計引入通信與控制系統(tǒng)第34頁，課件共46頁，創(chuàng)作于2023年2月信息論發(fā)展簡史1948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法第35頁，課件共46頁，創(chuàng)作于2023年2月信息論發(fā)展簡史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)，1999年LDPC編碼技術(shù)。1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。第36頁，課件共46頁，創(chuàng)作于2023年2月三、Shannon信息的概念（直觀地認識Shannon信息和信息量，而暫時不使用定義）

第一個重要概念：信道上傳送的是隨機變量的值。這就是說：（1）我們在收到消息之前，并不知道將要收到的是什么消息。否則消息是沒有必要發(fā)送的。（2）我們在收到消息之前，知道將要收到的可能是哪些消息，以及收到每個消息的可能性大小。換句話說，消息隨機變量有一個已知的概率分布。（3）消息隨機變量的一個可能取值就稱為一個事件。第37頁，課件共46頁，創(chuàng)作于2023年2月三、Shannon信息的概念第二個重要概念：事件的信息量。事件發(fā)生的概率越小，此事件含有的信息量就越大。（直觀含義：越是不太可能發(fā)生的事件竟然發(fā)生了，越是令人震驚）例事件A=“中國足球隊3：0力克韓國足球隊”，則事件A含有的信息量大。（小概率事件發(fā)生了，事件信息量大）例事件B=“中國足球隊0：1負于韓國足球隊”，則事件B含有的信息量小。（大概率事件發(fā)生了，事件信息量?。┑?8頁，課件共46頁，創(chuàng)作于2023年2月三、Shannon信息的概念第三個重要概念：消息隨機變量的信息量。消息隨機變量的隨機性越大，此消息隨機變量含有的信息量就越大。（直觀含義：這種信息量的大小代表了不可預見性的大?。├㈦S機變量X=“中國足球隊與韓國足球隊比賽的結(jié)果”，則消息隨機變量X含有的信息量小。（隨機性小，可預見性大，因此該消息隨機變量含有的信息量小。）例消息隨機變量Y=“意大利足球隊與德國足球隊比賽的結(jié)果”，則消息隨機變量Y含有的信息量大。（隨機性大，可預見性小，因此該消息隨機變量含有的信息量大。）

第39頁，課件共46頁，創(chuàng)作于2023年2月三、Shannon信息的概念第四個重要概念：兩個事件的互信息量。兩個事件越是互相肯定，它們的互信息量就越大。兩個事件越是互相否定，它們的互信息量就越小。如果兩個事件既不互相肯定，也不互相否定，它們的互信息量就為0。（直觀含義：這種信息量的大小代表了相互肯定性的大?。├鼳=西安明日有雨,B=咸陽明日有雨，BC=咸陽明日無雨，C=北京明日有雨，D=紐約明日有雨。則A與B互信息量大，A與C互信息量小得多，A與D互信息量幾乎為0，A與BC互信息量小。

第40頁，課件共46頁，創(chuàng)作于2023年2月三、Shannon信息的概念第五個重要概念：兩個消息隨機變量的互信息量。兩個消息隨機變量的互相關(guān)性越大，它們的互信息量就越大。（直觀含義：這種信息量的大小代表了相互依賴性的大?。├齒=西安明日平均氣溫,Y=咸陽明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。則X與Y互信息量大，X與Z互信息量小得多，X與W互信息量幾乎為0。

第41頁，課件共46頁，創(chuàng)作于2023年2月四、概率復習內(nèi)容記號P(A)表示事件A發(fā)生的概率。P(A|B)表示在事件B發(fā)生的條件下，事件A發(fā)生的條件概率。EX表示隨機變量X的數(shù)學期望。離散型隨機變量離散型隨機變量X的所有事件為{x1,x2,…,xK}，對應的概率為P(X=xk)=qk，k=1,2,…,K。通常將此隨機變量記為{X,xk,qk,k=1~