信息理論與編碼-40學(xué)時第1章-緒論PPT幻燈片

教材教材：《信息論與編碼》第2版電子工業(yè)出版社十一五規(guī)劃教材陳運主編參考書：《信息論基礎(chǔ)》電子工業(yè)出版社黃佳慶主編《信息論與編碼基礎(chǔ)》

電子工業(yè)出版社唐朝京主編《信息論基礎(chǔ)》北京航空航天大學(xué)出版社周蔭清主編《信息論與編碼》清華大學(xué)出版社2022/10/251前續(xù)課程概率論與數(shù)理統(tǒng)計線性代數(shù)后繼課程計算機網(wǎng)絡(luò)無線網(wǎng)絡(luò)技術(shù)密碼學(xué)2022/10/252主要內(nèi)容2.12345概論信源熵信道容量信息率失真函數(shù)信源編碼147信道編碼密碼學(xué)6離散信源連續(xù)信源單符號離散信源多符號離散信源離散信道容量連續(xù)信道容量：信源壓縮編碼的理論基礎(chǔ)離散信源連續(xù)信源定長編碼變長編碼線性分組碼循環(huán)碼卷積碼信息論編碼技術(shù)2022/10/253第3章信道容量主要內(nèi)容：3.1信道的數(shù)學(xué)模型與分類3.2單符號離散信道的信道容量3.3多符號離散信道的信道容量3.4連續(xù)信道及其容量光纖分路器2022/10/256第4章信息率失真函數(shù)主要內(nèi)容：4.1基本概念4.2

離散無記憶信源R(D)的計算4.3連續(xù)無記憶信源的R(D)的計算

聲音信號學(xué)校照片2022/10/257第5章信源編碼主要內(nèi)容：5.1離散信源最佳變長編碼5.2連續(xù)信源編碼2022/10/258第6章信道編碼主要內(nèi)容：6.1信道編碼簡介6.2線性分組碼6.3循環(huán)碼6.4卷積碼2022/10/259第7章密碼學(xué)主要內(nèi)容：密碼基本知識古典密碼體制現(xiàn)代密碼體制2022/10/2510第1章概論主要內(nèi)容：1.1信息的一般概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4信息論的研究內(nèi)容2022/10/251112信息的基本理論人類社會的生存和發(fā)展，時刻離不開接收信息、傳遞信息、處理信息和利用信息。古代烽火臺上的狼煙，傳遞的是戰(zhàn)爭信息，通知人們有敵來犯?，F(xiàn)代用各種高科技手段來報張貼畫像，傳遞的是人的相貌信息，用于尋人?，F(xiàn)代用互聯(lián)網(wǎng)通緝、人肉搜索天冷了，感覺到身上起雞皮疙瘩，傳遞的是冷暖信息，告訴人們該添衣服了?；▋洪_放時的色彩和花香，傳遞的是信息，引誘蜜蜂蝴蝶為其授粉。2022/10/2512信息的定義通俗地理解：信息被認為是消息、知識、情報。信息與其聯(lián)系密切，但信息的定義更深刻、廣泛。信息不等同于消息：有神秘人士告訴你兩條絕密消息：世界銀行要招副總裁比爾蓋茨要為女兒擇婿知識是一種具有普遍性和概括性的高層次的信息情報是軍事上專用的一類特定的信息信息就是信息，它既不是物質(zhì)也不是能量（1948年，維納）。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素。2022/10/2513信息與消息的關(guān)系信息是系統(tǒng)中傳送（或存儲、處理）的對象，它包含在消息之中。同一信息可用不同消息形式（如語言、文字、圖像）來傳遞。如：釣魚島事件消息是信息的載體，是比較具體的形式，如語言、文字、數(shù)字、圖像。所有這些形式都是可以被人們所感覺到的。2022/10/2514消息與信號的關(guān)系信號是消息的載體。是用來表示消息的物理量（聲音信號、電信號、光信號）可用不同類型的信號（如聲、光、電）傳遞同一消息。話音聲音信號電信號光信號同一信號在不同的情況下表示不同的信息紅燈信號在十字路口表示禁止通行的信息在電子儀器板上，表示儀器是否正常工作的信息2022/10/2515信號攜帶消息，消息包含著信息。信號消息信息2022/10/2516信息的主要特征信息是無形的（看不見，摸不著）不具實體性，它必須依賴一定的消息形式才能為人所獲知。信息有大小，可以度量：如：“中秋國慶期間免收過路費”消息在收到之前未知（以一定的概率存在），收到之后可以獲取信息，從而認識事物。信息可以共享（互聯(lián)網(wǎng)就是一個共享各種信息的平臺）。信息可以壓縮、傳輸、接收、消失。信息有一定的時效性。2022/10/2517信息科學(xué)信息科學(xué)是一門綜合性學(xué)科，它研究信息及其運動規(guī)律。研究的內(nèi)容包括：信息的本質(zhì)及其度量，信息的產(chǎn)生、獲取、傳播、存儲及處理。研究的目的：擴展人們獲取信息的手段和速度，提高信息的利用能力2022/10/2518信息科學(xué)帶來的信息產(chǎn)業(yè)信息產(chǎn)業(yè)是專門從事信息的生產(chǎn)、傳播、出售和服務(wù)的行業(yè)。包括：信息技術(shù)設(shè)備制造：手機生產(chǎn)、天線制造、交換機生產(chǎn)、光纜/光傳輸設(shè)備生產(chǎn)…….信息服務(wù)：手機增值業(yè)務(wù)開發(fā)、電子出版、數(shù)據(jù)庫服務(wù)、網(wǎng)絡(luò)接入服務(wù)、網(wǎng)絡(luò)應(yīng)用服務(wù)（企業(yè)信息化建設(shè)、電子商務(wù)）、網(wǎng)絡(luò)推廣…….2022/10/2519第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展、研究內(nèi)容1.4研究內(nèi)容2022/10/2520通信系統(tǒng)通信系統(tǒng)：信息的傳輸系統(tǒng)。如：電話、計算機網(wǎng)絡(luò)2022/10/25211.2通信系統(tǒng)模型信源、信道、信宿信源：是發(fā)出消息的源頭信道：是消息傳送媒介信宿：是消息的目的地信源編碼器信道譯碼器信宿干擾源2022/10/2522通信系統(tǒng)模型進一步細分信源信源編碼器糾錯編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。對信源輸出進行變換對信源編碼輸出變換將信道編碼輸出變成適合信道傳輸?shù)姆绞叫畔⒌慕邮照哐芯康闹饕獑栴}是消息的統(tǒng)計特性和產(chǎn)生消息的速率提高抗干擾性重在有效性研究信道的統(tǒng)計特性和傳信能力，即信道容量研究干擾源的統(tǒng)計特性，決定信道的傳輸能力。編碼器的逆變換研究各種可實現(xiàn)的解調(diào)和譯碼方法2022/10/2523通信系統(tǒng)模型組成信源信宿信源編/譯碼信源編碼集中于解決傳輸?shù)挠行詥栴}；需要去除冗余信息——信源編碼應(yīng)盡量短。例：語音壓縮編碼Vocoder圖象壓縮編碼JPEG(JointPhotoshopExpertGroup)MPEG(MovieEPG)文本壓縮編碼Winzip

信道編/譯碼信道編碼集中于解決抗信道干擾和失真問題，即解決傳輸?shù)目煽啃詥栴}。需要添加冗余信息——信道編碼使碼的位數(shù)增加，碼長變長。例：卷積碼、級聯(lián)碼、Turbo碼調(diào)制/解調(diào):將信號的頻率或格式轉(zhuǎn)化成適合信道傳輸?shù)摹?022/10/2524信息傳輸系統(tǒng)的性能要求有效性：用盡可能短的時間和盡可能少的設(shè)備來傳輸一定數(shù)量的信息?？煽啃裕菏剐旁窗l(fā)出的消息經(jīng)信道傳輸后，盡可能準確地、不失真地在接收端重現(xiàn)。保密性：隱蔽或保護通信系統(tǒng)中傳輸?shù)男畔ⅲ顾荒鼙皇跈?quán)接收者獲取，非授權(quán)接收者不能接收和理解。認證性：接收者能夠正確判斷接收到的消息的正確性。驗證消息的完整性，判定不是偽造或篡改的?？煽啃浴⒂行?、保密性和完整性共同構(gòu)成現(xiàn)代通信傳輸系統(tǒng)的全面要求。2022/10/2525第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究內(nèi)容2022/10/25261948年以前信息論的發(fā)展Telegraph(Morse);圖1-1摩爾斯的電報機2022/10/2527有線電報1837年，英國庫克和惠斯通設(shè)計制造了第一個有線電報機，并申請了專利。1837年，原本是一流畫家的莫爾斯開始研究電報機。1839年，發(fā)明莫爾斯電碼。1844年5月24日，莫爾斯在美國國會大廳，親自按動按鍵，向巴爾的摩發(fā)送了世界上的第一封電報，電文內(nèi)容是《圣經(jīng)》中的一句話：上帝啊，你創(chuàng)造了何等的奇跡！此舉轟動了世界。隨后成立世界上第一個電報公司。2022/10/2528有線電報在中國的發(fā)展1871年,丹麥大北電報公司鋪設(shè)香港（長崎）上海的第一條入侵中國的電報水線，并成立上海租界電報局。1873年，華僑王承榮與福州的王斌研制出我國首臺電報機；同年發(fā)明了漢字電碼，每個漢字由4個數(shù)字來代表。1887年，中國自主建設(shè)第一條海底電纜（劉銘傳：臺灣福州）。2022/10/2529WirelessTelegraph(Marconi);1895年，馬可尼在自家的花園里成功地進行了無線電波傳遞實驗，次年即獲得了專利。1898年，在英吉利海峽兩岸進行無線電報跨海試驗成功，通訊距離為45km。1909年，諾貝爾物理學(xué)獎授予英國倫敦馬可尼無線電報公司的意大利物理學(xué)家馬可尼（GuglielmoMarconi，1874—1937）和德國阿爾薩斯州斯特拉斯堡大學(xué)的布勞恩（KarlBraun，1850—1918），以承認他們在發(fā)展無線電報上所作的貢獻。無線電報2022/10/2530無線電報在中國1911年，德國西門子德律風(fēng)公司在北京南京設(shè)立中國第一個無線電報機通訊線路。1969年，中文電報譯碼機問世。2006年02月06日美國西部聯(lián)盟公司宣布，停止電報業(yè)務(wù)。2022/10/25311948年以前信息論的發(fā)展Telephone(Bell,1876);圖1-2電話之父-貝爾2022/10/25321924年H.Nyquist：提出抽樣定理要想在接收端無失真地恢復(fù)連續(xù)信號，抽樣的速率至少是信號最高頻率的兩倍Television(1925-1927)有了電視，使得人類的視野和壽命變相延長三倍。1928年，R.V.Hartley：提出用對數(shù)度量信息。1948年以前信息論的發(fā)展2022/10/2533FrequencyModulation（FM，調(diào)頻）（Armstrong,1936)：增大帶寬，可以提高抗干擾能力。Vocoder(Dudley,1939)：廣泛應(yīng)用于廣播、電視。提出了通信帶寬>=傳送的消息帶寬SpreadSpectrum(1940’s)：擴頻技術(shù)第三代移動通信的基礎(chǔ)技術(shù)。1948年以前信息論的發(fā)展2022/10/2534控制論之父——維納N.Winner（維納）20世紀30年代“廣義諧波分析理論”，首次對信息系統(tǒng)中的隨機過程進行譜分析。20世紀40年代：將隨機過程和數(shù)理統(tǒng)計的觀點引入通信和控制領(lǐng)域，揭示信息傳輸和處理過程的統(tǒng)計本質(zhì)。20世紀50年代：提出干擾作用下的最佳濾波定理。20世紀60年代：R.E.Kalman&R.S.Bucy：遞推濾波算法（引入狀態(tài)變量）將代數(shù)方法引入糾錯編碼,出現(xiàn)了信道編碼譯碼方法。2022/10/253536香農(nóng)的三大定理：提出了有噪信道編碼定理。提出了可變長無失真信源編碼定理。香農(nóng)第一定理香農(nóng)第二定理香農(nóng)第三定理1959年，香農(nóng)發(fā)表了“保真度準則下的離散信源編碼定理”1948年，香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》。信息論鼻祖——香農(nóng)給出了簡單的編碼方法。只要信息速率<=信道容量,則可以找到一種編碼，使誤碼率接近02022/10/2536信息論鼻祖——香農(nóng)Shannon1948年“通信的數(shù)學(xué)理論”（“Amathematicaltheoryofcommunication”）文章的發(fā)表，標志著信息論的正式誕生。指明通信的實質(zhì)：“Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.”2022/10/2537無失真信源編碼的發(fā)展1956年，麥可米倫（B.Mcmillan）首先證明了唯一可譯變長碼的克拉夫特（Craft）不等式。1952年，費諾（Fano）提出了一種費諾碼。1952年，哈夫曼（D.A.Huffman）首先構(gòu)造了一種哈夫曼編碼方法，并證明為最佳碼。1977年，通用信源編碼算法-LZ碼由齊弗(J.Ziv)和蘭佩爾（A.Lempel）提出.1978年，他們又提出了改進算法，并證明此方法可以達到信源的熵值。1990年，貝爾（Bell）又對LZ算法進行了一系列的變化和改進。目前，LZ廣泛應(yīng)用于文本的數(shù)據(jù)壓縮。語音編碼標準:MP3,MP4圖象編碼標準:MPEG42022/10/2538信道編碼理論的發(fā)展60年代起，信道編碼技術(shù)有了長足發(fā)展。1950年，出現(xiàn)了漢明碼（HammingCode）和循環(huán)碼（CyclicCode）。把代數(shù)方法引入糾錯碼的研究，形成了代數(shù)編碼理論。但代數(shù)編碼的漸進性較差，無法實現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果。1960年左右，提出了卷積碼（ConvolutionCode）的概率譯碼。形成一系列概率譯碼理論。幾十年來，相繼出現(xiàn)很多編碼算法，性能與香農(nóng)限相差甚遠，以致人們認為香農(nóng)限是不可能達到的。1993年，法國學(xué)者C.Berrou等人提出了Turbo碼的并行級聯(lián)卷積碼。其性能與香農(nóng)限非常接近(誤碼率達10-5)，且復(fù)雜度較低可以實現(xiàn)，為信道編碼領(lǐng)域帶來一場革命。2022/10/2539限失真信源編碼定理的發(fā)展限失真信源編碼的研究較信道編碼和無失真信源編碼晚了近十年。香農(nóng)在1948年的論文中已體現(xiàn)了率失真函數(shù)的思想。1959年，香農(nóng)發(fā)表了“保真度準則下的離散信源編碼定理”（“Codingtheoremsforadiscretesourcewithafidelitycriterion”）。首先提出了率失真函數(shù)和率失真信源編碼定理。從此，發(fā)展成為信息率失真編碼理論。1971年，伯格爾（T.Beger）給出了更一般信源的率失真編碼定理。率失真信源編碼定理是信源編碼的核心問題，是頻帶壓縮、數(shù)據(jù)壓縮（信源壓縮編碼）的理論基礎(chǔ)。2022/10/2540網(wǎng)絡(luò)信息論的發(fā)展1961年，香農(nóng)發(fā)表的論文“雙路通信信道”開拓了多用戶信息理論。隨著衛(wèi)星通信、計算機通信網(wǎng)的迅速發(fā)展，多用戶理論的研究取得了突破性的進展。20世紀70年代以后，人們從經(jīng)典的香農(nóng)單向通信的信息論推廣到多用戶信息理論。多用戶信息理論成為當前信息論的中心研究課題之一。2022/10/2541第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究內(nèi)容2022/10/25421.4信息論研究的內(nèi)容狹義信息論（經(jīng)典信息論）即Shannon信息論研究內(nèi)容：信息度量信道容量信源和信道編碼理論2022/10/2543Shannon信息論的中心問題信息傳輸中出現(xiàn)的問題：

問題一：信源消息常常不能夠完全發(fā)送。

（否則發(fā)送量巨大。該怎么辦？）問題二：信道因干擾而出現(xiàn)差錯，如何處理。（否則所收到的消息無法識別。）

信源信道信宿2022/10/2544Shannon信息論針對以上問題的解決方法：問題一的應(yīng)對：挑有用的信源信息來發(fā)送。方法：通過信源編碼，去掉無用的信息，提高有效性。問題二的應(yīng)對：抵抗或抵消傳輸中遇到的干擾引起的誤碼。方法：通過信道編碼，增加多余的信息，使各符號間相互存在一定的牽連關(guān)系，提高可靠性。2022/10/2545信源和信道編碼舉例如：傳輸用戶的密碼信息：aqv（1）首先進行信源編碼：分析：如何把字母編碼成計算機可以識別的二進制碼？26種符號每個符號最少用5位二進制來進行信源編碼000000101001110（2）再進行信道編碼：分析：信道編碼的以后的各位應(yīng)該如何設(shè)計才能使信息位發(fā)生差錯時能夠發(fā)現(xiàn)？最簡單的信道編碼是奇偶校驗碼，即增加一位，使和其它各位相加后結(jié)果為0：0000000101000111012022/10/2546狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長