信息理論與編碼學時緒論詳解

信息理論與編碼學時緒論詳解演示文稿2023/5/181目前一頁\總數(shù)四十八頁\編于二十二點優(yōu)選信息理論與編碼學時緒論2023/5/182目前二頁\總數(shù)四十八頁\編于二十二點前續(xù)課程概率論與數(shù)理統(tǒng)計線性代數(shù)后繼課程計算機網(wǎng)絡無線網(wǎng)絡技術密碼學2023/5/183目前三頁\總數(shù)四十八頁\編于二十二點主要內(nèi)容2.12345概論信源熵信道容量信息率失真函數(shù)信源編碼147信道編碼密碼學6離散信源連續(xù)信源單符號離散信源多符號離散信源離散信道容量連續(xù)信道容量：信源壓縮編碼的理論基礎離散信源連續(xù)信源定長編碼變長編碼線性分組碼循環(huán)碼卷積碼信息論編碼技術2023/5/184目前四頁\總數(shù)四十八頁\編于二十二點第1章概論主要內(nèi)容：1.1信息的一般概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4信息論的研究內(nèi)容2023/5/185目前五頁\總數(shù)四十八頁\編于二十二點第2章信源熵主要內(nèi)容：2.1單符號離散信源

2.2多符號離散平穩(wěn)信源及熵2.3連續(xù)信源及熵2023/5/186目前六頁\總數(shù)四十八頁\編于二十二點第3章信道容量主要內(nèi)容：3.1信道的數(shù)學模型與分類3.2單符號離散信道的信道容量3.3多符號離散信道的信道容量3.4連續(xù)信道及其容量光纖分路器2023/5/187目前七頁\總數(shù)四十八頁\編于二十二點第4章信息率失真函數(shù)主要內(nèi)容：4.1基本概念4.2

離散無記憶信源R(D)的計算4.3連續(xù)無記憶信源的R(D)的計算

聲音信號學校照片2023/5/188目前八頁\總數(shù)四十八頁\編于二十二點第5章信源編碼主要內(nèi)容：5.1離散信源最佳變長編碼5.2連續(xù)信源編碼2023/5/189目前九頁\總數(shù)四十八頁\編于二十二點第6章信道編碼主要內(nèi)容：6.1信道編碼簡介6.2線性分組碼6.3循環(huán)碼6.4卷積碼2023/5/1810目前十頁\總數(shù)四十八頁\編于二十二點第7章密碼學主要內(nèi)容：密碼基本知識古典密碼體制現(xiàn)代密碼體制2023/5/1811目前十一頁\總數(shù)四十八頁\編于二十二點第1章概論主要內(nèi)容：1.1信息的一般概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4信息論的研究內(nèi)容2023/5/1812目前十二頁\總數(shù)四十八頁\編于二十二點13信息的基本理論人類社會的生存和發(fā)展，時刻離不開接收信息、傳遞信息、處理信息和利用信息。古代烽火臺上的狼煙，傳遞的是戰(zhàn)爭信息，通知人們有敵來犯。現(xiàn)代用各種高科技手段來報張貼畫像，傳遞的是人的相貌信息，用于尋人。現(xiàn)代用互聯(lián)網(wǎng)通緝、人肉搜索天冷了，感覺到身上起雞皮疙瘩，傳遞的是冷暖信息，告訴人們該添衣服了。花兒開放時的色彩和花香，傳遞的是信息，引誘蜜蜂蝴蝶為其授粉。2023/5/1813目前十三頁\總數(shù)四十八頁\編于二十二點信息的定義通俗地理解：信息被認為是消息、知識、情報。信息與其聯(lián)系密切，但信息的定義更深刻、廣泛。信息不等同于消息：有神秘人士告訴你兩條絕密消息：世界銀行要招副總裁比爾蓋茨要為女兒擇婿知識是一種具有普遍性和概括性的高層次的信息情報是軍事上專用的一類特定的信息信息就是信息，它既不是物質(zhì)也不是能量（1948年，維納）。信息、物質(zhì)和能量是構成一切系統(tǒng)的三大要素。2023/5/1814目前十四頁\總數(shù)四十八頁\編于二十二點信息與消息的關系信息是系統(tǒng)中傳送（或存儲、處理）的對象，它包含在消息之中。同一信息可用不同消息形式（如語言、文字、圖像）來傳遞。如：釣魚島事件消息是信息的載體，是比較具體的形式，如語言、文字、數(shù)字、圖像。所有這些形式都是可以被人們所感覺到的。2023/5/1815目前十五頁\總數(shù)四十八頁\編于二十二點消息與信號的關系信號是消息的載體。是用來表示消息的物理量（聲音信號、電信號、光信號）可用不同類型的信號（如聲、光、電）傳遞同一消息。話音聲音信號電信號光信號同一信號在不同的情況下表示不同的信息紅燈信號在十字路口表示禁止通行的信息在電子儀器板上，表示儀器是否正常工作的信息2023/5/1816目前十六頁\總數(shù)四十八頁\編于二十二點信號攜帶消息，消息包含著信息。信號消息信息2023/5/1817目前十七頁\總數(shù)四十八頁\編于二十二點信息的主要特征信息是無形的（看不見，摸不著）不具實體性，它必須依賴一定的消息形式才能為人所獲知。信息有大小，可以度量：如：“中秋國慶期間免收過路費”消息在收到之前未知（以一定的概率存在），收到之后可以獲取信息，從而認識事物。信息可以共享（互聯(lián)網(wǎng)就是一個共享各種信息的平臺）。信息可以壓縮、傳輸、接收、消失。信息有一定的時效性。2023/5/1818目前十八頁\總數(shù)四十八頁\編于二十二點信息科學信息科學是一門綜合性學科，它研究信息及其運動規(guī)律。研究的內(nèi)容包括：信息的本質(zhì)及其度量，信息的產(chǎn)生、獲取、傳播、存儲及處理。研究的目的：擴展人們獲取信息的手段和速度，提高信息的利用能力2023/5/1819目前十九頁\總數(shù)四十八頁\編于二十二點信息科學帶來的信息產(chǎn)業(yè)信息產(chǎn)業(yè)是專門從事信息的生產(chǎn)、傳播、出售和服務的行業(yè)。包括：信息技術設備制造：手機生產(chǎn)、天線制造、交換機生產(chǎn)、光纜/光傳輸設備生產(chǎn)…….信息服務：手機增值業(yè)務開發(fā)、電子出版、數(shù)據(jù)庫服務、網(wǎng)絡接入服務、網(wǎng)絡應用服務（企業(yè)信息化建設、電子商務）、網(wǎng)絡推廣…….2023/5/1820目前二十頁\總數(shù)四十八頁\編于二十二點第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展、研究內(nèi)容1.4研究內(nèi)容2023/5/1821目前二十一頁\總數(shù)四十八頁\編于二十二點通信系統(tǒng)通信系統(tǒng)：信息的傳輸系統(tǒng)。如：電話、計算機網(wǎng)絡2023/5/1822目前二十二頁\總數(shù)四十八頁\編于二十二點1.2通信系統(tǒng)模型信源、信道、信宿信源：是發(fā)出消息的源頭信道：是消息傳送媒介信宿：是消息的目的地信源編碼器信道譯碼器信宿干擾源2023/5/1823目前二十三頁\總數(shù)四十八頁\編于二十二點通信系統(tǒng)模型進一步細分信源信源編碼器糾錯編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。對信源輸出進行變換對信源編碼輸出變換將信道編碼輸出變成適合信道傳輸?shù)姆绞叫畔⒌慕邮照哐芯康闹饕獑栴}是消息的統(tǒng)計特性和產(chǎn)生消息的速率提高抗干擾性重在有效性研究信道的統(tǒng)計特性和傳信能力，即信道容量研究干擾源的統(tǒng)計特性，決定信道的傳輸能力。編碼器的逆變換研究各種可實現(xiàn)的解調(diào)和譯碼方法2023/5/1824目前二十四頁\總數(shù)四十八頁\編于二十二點通信系統(tǒng)模型組成信源信宿信源編/譯碼信源編碼集中于解決傳輸?shù)挠行詥栴}；需要去除冗余信息——信源編碼應盡量短。例：語音壓縮編碼Vocoder圖象壓縮編碼JPEG(JointPhotoshopExpertGroup)MPEG(MovieEPG)文本壓縮編碼Winzip

信道編/譯碼信道編碼集中于解決抗信道干擾和失真問題，即解決傳輸?shù)目煽啃詥栴}。需要添加冗余信息——信道編碼使碼的位數(shù)增加，碼長變長。例：卷積碼、級聯(lián)碼、Turbo碼調(diào)制/解調(diào):將信號的頻率或格式轉化成適合信道傳輸?shù)摹?023/5/1825目前二十五頁\總數(shù)四十八頁\編于二十二點信息傳輸系統(tǒng)的性能要求有效性：用盡可能短的時間和盡可能少的設備來傳輸一定數(shù)量的信息。可靠性：使信源發(fā)出的消息經(jīng)信道傳輸后，盡可能準確地、不失真地在接收端重現(xiàn)。保密性：隱蔽或保護通信系統(tǒng)中傳輸?shù)男畔?，使它只能被授權接收者獲取，非授權接收者不能接收和理解。認證性：接收者能夠正確判斷接收到的消息的正確性。驗證消息的完整性，判定不是偽造或篡改的。可靠性、有效性、保密性和完整性共同構成現(xiàn)代通信傳輸系統(tǒng)的全面要求。2023/5/1826目前二十六頁\總數(shù)四十八頁\編于二十二點第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究內(nèi)容2023/5/1827目前二十七頁\總數(shù)四十八頁\編于二十二點1948年以前信息論的發(fā)展Telegraph(Morse);圖1-1摩爾斯的電報機2023/5/1828目前二十八頁\總數(shù)四十八頁\編于二十二點有線電報1837年，英國庫克和惠斯通設計制造了第一個有線電報機，并申請了專利。1837年，原本是一流畫家的莫爾斯開始研究電報機。1839年，發(fā)明莫爾斯電碼。1844年5月24日，莫爾斯在美國國會大廳，親自按動按鍵，向巴爾的摩發(fā)送了世界上的第一封電報，電文內(nèi)容是《圣經(jīng)》中的一句話：上帝啊，你創(chuàng)造了何等的奇跡！此舉轟動了世界。隨后成立世界上第一個電報公司。2023/5/1829目前二十九頁\總數(shù)四十八頁\編于二十二點有線電報在中國的發(fā)展1871年,丹麥大北電報公司鋪設香港（長崎）上海的第一條入侵中國的電報水線，并成立上海租界電報局。1873年，華僑王承榮與福州的王斌研制出我國首臺電報機；同年發(fā)明了漢字電碼，每個漢字由4個數(shù)字來代表。1887年，中國自主建設第一條海底電纜（劉銘傳：臺灣福州）。2023/5/1830目前三十頁\總數(shù)四十八頁\編于二十二點WirelessTelegraph(Marconi);1895年，馬可尼在自家的花園里成功地進行了無線電波傳遞實驗，次年即獲得了專利。1898年，在英吉利海峽兩岸進行無線電報跨海試驗成功，通訊距離為45km。1909年，諾貝爾物理學獎授予英國倫敦馬可尼無線電報公司的意大利物理學家馬可尼（GuglielmoMarconi，1874—1937）和德國阿爾薩斯州斯特拉斯堡大學的布勞恩（KarlBraun，1850—1918），以承認他們在發(fā)展無線電報上所作的貢獻。無線電報2023/5/1831目前三十一頁\總數(shù)四十八頁\編于二十二點無線電報在中國1911年，德國西門子德律風公司在北京南京設立中國第一個無線電報機通訊線路。1969年，中文電報譯碼機問世。2006年02月06日美國西部聯(lián)盟公司宣布，停止電報業(yè)務。2023/5/1832目前三十二頁\總數(shù)四十八頁\編于二十二點1948年以前信息論的發(fā)展Telephone(Bell,1876);圖1-2電話之父-貝爾2023/5/1833目前三十三頁\總數(shù)四十八頁\編于二十二點1924年H.Nyquist：提出抽樣定理要想在接收端無失真地恢復連續(xù)信號，抽樣的速率至少是信號最高頻率的兩倍Television(1925-1927)有了電視，使得人類的視野和壽命變相延長三倍。1928年，R.V.Hartley：提出用對數(shù)度量信息。1948年以前信息論的發(fā)展2023/5/1834目前三十四頁\總數(shù)四十八頁\編于二十二點FrequencyModulation（FM，調(diào)頻）（Armstrong,1936)：增大帶寬，可以提高抗干擾能力。Vocoder(Dudley,1939)：廣泛應用于廣播、電視。提出了通信帶寬>=傳送的消息帶寬SpreadSpectrum(1940’s)：擴頻技術第三代移動通信的基礎技術。1948年以前信息論的發(fā)展2023/5/1835目前三十五頁\總數(shù)四十八頁\編于二十二點控制論之父——維納N.Winner（維納）20世紀30年代“廣義諧波分析理論”，首次對信息系統(tǒng)中的隨機過程進行譜分析。20世紀40年代：將隨機過程和數(shù)理統(tǒng)計的觀點引入通信和控制領域，揭示信息傳輸和處理過程的統(tǒng)計本質(zhì)。20世紀50年代：提出干擾作用下的最佳濾波定理。20世紀60年代：R.E.Kalman&R.S.Bucy：遞推濾波算法（引入狀態(tài)變量）將代數(shù)方法引入糾錯編碼,出現(xiàn)了信道編碼譯碼方法。2023/5/1836目前三十六頁\總數(shù)四十八頁\編于二十二點37香農(nóng)的三大定理：提出了有噪信道編碼定理。提出了可變長無失真信源編碼定理。香農(nóng)第一定理香農(nóng)第二定理香農(nóng)第三定理1959年，香農(nóng)發(fā)表了“保真度準則下的離散信源編碼定理”1948年，香農(nóng)發(fā)表了《通信的數(shù)學理論》。信息論鼻祖——香農(nóng)給出了簡單的編碼方法。只要信息速率<=信道容量,則可以找到一種編碼，使誤碼率接近02023/5/1837目前三十七頁\總數(shù)四十八頁\編于二十二點信息論鼻祖——香農(nóng)Shannon1948年“通信的數(shù)學理論”（“Amathematicaltheoryofcommunication”）文章的發(fā)表，標志著信息論的正式誕生。指明通信的實質(zhì)：“Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.”2023/5/1838目前三十八頁\總數(shù)四十八頁\編于二十二點無失真信源編碼的發(fā)展1956年，麥可米倫（B.Mcmillan）首先證明了唯一可譯變長碼的克拉夫特（Craft）不等式。1952年，費諾（Fano）提出了一種費諾碼。1952年，哈夫曼（D.A.Huffman）首先構造了一種哈夫曼編碼方法，并證明為最佳碼。1977年，通用信源編碼算法-LZ碼由齊弗(J.Ziv)和蘭佩爾（A.Lempel）提出.1978年，他們又提出了改進算法，并證明此方法可以達到信源的熵值。1990年，貝爾（Bell）又對LZ算法進行了一系列的變化和改進。目前，LZ廣泛應用于文本的數(shù)據(jù)壓縮。語音編碼標準:MP3,MP4圖象編碼標準:MPEG42023/5/1839目前三十九頁\總數(shù)四十八頁\編于二十二點信道編碼理論的發(fā)展60年代起，信道編碼技術有了長足發(fā)展。1950年，出現(xiàn)了漢明碼（HammingCode）和循環(huán)碼（CyclicCode）。把代數(shù)方法引入糾錯碼的研究，形成了代數(shù)編碼理論。但代數(shù)編碼的漸進性較差，無法實現(xiàn)香農(nóng)信道編碼定理所指出的結果。1960年左右，提出了卷積碼（ConvolutionCode）的概率譯碼。形成一系列概率譯碼理論。幾十年來，相繼出現(xiàn)很多編碼算法，性能與香農(nóng)限相差甚遠，以致人們認為香農(nóng)限是不可能達到的。1993年，法國學者C.Berrou等人提出了Turbo碼的并行級聯(lián)卷積碼。其性能與香農(nóng)限非常接近(誤碼率達10-5)，且復雜度較低可以實現(xiàn)，為信道編碼領域帶來一場革命。2023/5/1840目前四十頁\總數(shù)四十八頁\編于二十二點限失真信源編碼定理的發(fā)展限失真信源編碼的研究較信道編碼和無失真信源編碼晚了近十年。香農(nóng)在1948年的論文中已體現(xiàn)了率失真函數(shù)的思想。1959年，香農(nóng)發(fā)表了“保真度準則下的離散信源編碼定理”（“Codingtheoremsforadiscretesourcewithafidelitycriterion”）。首先提出了率失真函數(shù)和率失真信源編碼定理。從此，發(fā)展成為信息率失真編碼理論。1971年，伯格爾（T.Beger）給出了更一般信源的率失真編碼定理。率失真信源編碼定理是信源編碼的核心問題，是頻帶壓縮、數(shù)據(jù)壓縮（信源壓縮編碼）的理論基礎。2023/5/1841目前四十一頁\總數(shù)四十八頁\編于二十二點網(wǎng)絡信息論的發(fā)展1961年，香農(nóng)發(fā)表的論文“雙路通信信道”開拓了多用戶信息理論。隨著衛(wèi)星通信、計算機通信網(wǎng)的迅速發(fā)展，多用戶理論的研究取得了突破性的進展。20世紀70年代以后，人們從經(jīng)典的香農(nóng)單向通信的信息論推廣到多用戶信息理論。多用戶信息理論成為當前信息論的中心研究課題之一。2023/5/1842目前四十二頁\總數(shù)四十八頁\編于二十二點第1章概論（簡介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究內(nèi)容2023/5/1843目前四十三頁\總數(shù)四十八頁\編于二十二點1.4信息論研究的內(nèi)容狹義信息論（經(jīng)典信息論）即Shannon信息論研究內(nèi)容：信息度量信道容量信源和信道編碼理論2023/5/1844目前四十四頁\總數(shù)四十八頁\編于二十二點Shannon信息論的中心問題信息傳輸中出現(xiàn)的問題：

問題一：信源消息常常不能夠完全發(fā)送。

（否則發(fā)送量巨大。該怎么辦？）