信息理論與編碼-40學(xué)時(shí)第1章緒論

教材教材：《信息論與編碼》第2版電子工業(yè)出版社十一五規(guī)劃教材陳運(yùn)主編參考書(shū)：《信息論基礎(chǔ)》電子工業(yè)出版社黃佳慶主編《信息論與編碼基礎(chǔ)》

電子工業(yè)出版社唐朝京主編《信息論基礎(chǔ)》北京航空航天大學(xué)出版社周蔭清主編《信息論與編碼》清華大學(xué)出版社2023/5/181目前一頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)前續(xù)課程概率論與數(shù)理統(tǒng)計(jì)線(xiàn)性代數(shù)后繼課程計(jì)算機(jī)網(wǎng)絡(luò)無(wú)線(xiàn)網(wǎng)絡(luò)技術(shù)密碼學(xué)2023/5/182目前二頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)主要內(nèi)容2.12345概論信源熵信道容量信息率失真函數(shù)信源編碼147信道編碼密碼學(xué)6離散信源連續(xù)信源單符號(hào)離散信源多符號(hào)離散信源離散信道容量連續(xù)信道容量：信源壓縮編碼的理論基礎(chǔ)離散信源連續(xù)信源定長(zhǎng)編碼變長(zhǎng)編碼線(xiàn)性分組碼循環(huán)碼卷積碼信息論編碼技術(shù)2023/5/183目前三頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第1章概論主要內(nèi)容：1.1信息的一般概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4信息論的研究?jī)?nèi)容2023/5/184目前四頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第2章信源熵主要內(nèi)容：2.1單符號(hào)離散信源

2.2多符號(hào)離散平穩(wěn)信源及熵2.3連續(xù)信源及熵2023/5/185目前五頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第3章信道容量主要內(nèi)容：3.1信道的數(shù)學(xué)模型與分類(lèi)3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道的信道容量3.4連續(xù)信道及其容量光纖分路器2023/5/186目前六頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第4章信息率失真函數(shù)主要內(nèi)容：4.1基本概念4.2

離散無(wú)記憶信源R(D)的計(jì)算4.3連續(xù)無(wú)記憶信源的R(D)的計(jì)算

聲音信號(hào)學(xué)校照片2023/5/187目前七頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第5章信源編碼主要內(nèi)容：5.1離散信源最佳變長(zhǎng)編碼5.2連續(xù)信源編碼2023/5/188目前八頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第6章信道編碼主要內(nèi)容：6.1信道編碼簡(jiǎn)介6.2線(xiàn)性分組碼6.3循環(huán)碼6.4卷積碼2023/5/189目前九頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第7章密碼學(xué)主要內(nèi)容：密碼基本知識(shí)古典密碼體制現(xiàn)代密碼體制2023/5/1810目前十頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第1章概論主要內(nèi)容：1.1信息的一般概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4信息論的研究?jī)?nèi)容2023/5/1811目前十一頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)12信息的基本理論人類(lèi)社會(huì)的生存和發(fā)展，時(shí)刻離不開(kāi)接收信息、傳遞信息、處理信息和利用信息。古代烽火臺(tái)上的狼煙，傳遞的是戰(zhàn)爭(zhēng)信息，通知人們有敵來(lái)犯。現(xiàn)代用各種高科技手段來(lái)報(bào)張貼畫(huà)像，傳遞的是人的相貌信息，用于尋人。現(xiàn)代用互聯(lián)網(wǎng)通緝、人肉搜索天冷了，感覺(jué)到身上起雞皮疙瘩，傳遞的是冷暖信息，告訴人們?cè)撎硪路??；▋洪_(kāi)放時(shí)的色彩和花香，傳遞的是信息，引誘蜜蜂蝴蝶為其授粉。2023/5/1812目前十二頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息的定義通俗地理解：信息被認(rèn)為是消息、知識(shí)、情報(bào)。信息與其聯(lián)系密切，但信息的定義更深刻、廣泛。信息不等同于消息：有神秘人士告訴你兩條絕密消息：世界銀行要招副總裁比爾蓋茨要為女兒擇婿知識(shí)是一種具有普遍性和概括性的高層次的信息情報(bào)是軍事上專(zhuān)用的一類(lèi)特定的信息信息就是信息，它既不是物質(zhì)也不是能量（1948年，維納）。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素。2023/5/1813目前十三頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息與消息的關(guān)系信息是系統(tǒng)中傳送（或存儲(chǔ)、處理）的對(duì)象，它包含在消息之中。同一信息可用不同消息形式（如語(yǔ)言、文字、圖像）來(lái)傳遞。如：釣魚(yú)島事件消息是信息的載體，是比較具體的形式，如語(yǔ)言、文字、數(shù)字、圖像。所有這些形式都是可以被人們所感覺(jué)到的。2023/5/1814目前十四頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)消息與信號(hào)的關(guān)系信號(hào)是消息的載體。是用來(lái)表示消息的物理量（聲音信號(hào)、電信號(hào)、光信號(hào)）可用不同類(lèi)型的信號(hào)（如聲、光、電）傳遞同一消息。話(huà)音聲音信號(hào)電信號(hào)光信號(hào)同一信號(hào)在不同的情況下表示不同的信息紅燈信號(hào)在十字路口表示禁止通行的信息在電子儀器板上，表示儀器是否正常工作的信息2023/5/1815目前十五頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信號(hào)攜帶消息，消息包含著信息。信號(hào)消息信息2023/5/1816目前十六頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息的主要特征信息是無(wú)形的（看不見(jiàn)，摸不著）不具實(shí)體性，它必須依賴(lài)一定的消息形式才能為人所獲知。信息有大小，可以度量：如：“中秋國(guó)慶期間免收過(guò)路費(fèi)”消息在收到之前未知（以一定的概率存在），收到之后可以獲取信息，從而認(rèn)識(shí)事物。信息可以共享（互聯(lián)網(wǎng)就是一個(gè)共享各種信息的平臺(tái)）。信息可以壓縮、傳輸、接收、消失。信息有一定的時(shí)效性。2023/5/1817目前十七頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息科學(xué)信息科學(xué)是一門(mén)綜合性學(xué)科，它研究信息及其運(yùn)動(dòng)規(guī)律。研究的內(nèi)容包括：信息的本質(zhì)及其度量，信息的產(chǎn)生、獲取、傳播、存儲(chǔ)及處理。研究的目的：擴(kuò)展人們獲取信息的手段和速度，提高信息的利用能力2023/5/1818目前十八頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息科學(xué)帶來(lái)的信息產(chǎn)業(yè)信息產(chǎn)業(yè)是專(zhuān)門(mén)從事信息的生產(chǎn)、傳播、出售和服務(wù)的行業(yè)。包括：信息技術(shù)設(shè)備制造：手機(jī)生產(chǎn)、天線(xiàn)制造、交換機(jī)生產(chǎn)、光纜/光傳輸設(shè)備生產(chǎn)…….信息服務(wù)：手機(jī)增值業(yè)務(wù)開(kāi)發(fā)、電子出版、數(shù)據(jù)庫(kù)服務(wù)、網(wǎng)絡(luò)接入服務(wù)、網(wǎng)絡(luò)應(yīng)用服務(wù)（企業(yè)信息化建設(shè)、電子商務(wù)）、網(wǎng)絡(luò)推廣…….2023/5/1819目前十九頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第1章概論（簡(jiǎn)介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展、研究?jī)?nèi)容1.4研究?jī)?nèi)容2023/5/1820目前二十頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)通信系統(tǒng)通信系統(tǒng)：信息的傳輸系統(tǒng)。如：電話(huà)、計(jì)算機(jī)網(wǎng)絡(luò)2023/5/1821目前二十一頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)1.2通信系統(tǒng)模型信源、信道、信宿信源：是發(fā)出消息的源頭信道：是消息傳送媒介信宿：是消息的目的地信源編碼器信道譯碼器信宿干擾源2023/5/1822目前二十二頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)通信系統(tǒng)模型進(jìn)一步細(xì)分信源信源編碼器糾錯(cuò)編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。對(duì)信源輸出進(jìn)行變換對(duì)信源編碼輸出變換將信道編碼輸出變成適合信道傳輸?shù)姆绞叫畔⒌慕邮照哐芯康闹饕獑?wèn)題是消息的統(tǒng)計(jì)特性和產(chǎn)生消息的速率提高抗干擾性重在有效性研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量研究干擾源的統(tǒng)計(jì)特性，決定信道的傳輸能力。編碼器的逆變換研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法2023/5/1823目前二十三頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)通信系統(tǒng)模型組成信源信宿信源編/譯碼信源編碼集中于解決傳輸?shù)挠行詥?wèn)題；需要去除冗余信息——信源編碼應(yīng)盡量短。例：語(yǔ)音壓縮編碼Vocoder圖象壓縮編碼JPEG(JointPhotoshopExpertGroup)MPEG(MovieEPG)文本壓縮編碼Winzip

信道編/譯碼信道編碼集中于解決抗信道干擾和失真問(wèn)題，即解決傳輸?shù)目煽啃詥?wèn)題。需要添加冗余信息——信道編碼使碼的位數(shù)增加，碼長(zhǎng)變長(zhǎng)。例：卷積碼、級(jí)聯(lián)碼、Turbo碼調(diào)制/解調(diào):將信號(hào)的頻率或格式轉(zhuǎn)化成適合信道傳輸?shù)摹?023/5/1824目前二十四頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息傳輸系統(tǒng)的性能要求有效性：用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定數(shù)量的信息?？煽啃裕菏剐旁窗l(fā)出的消息經(jīng)信道傳輸后，盡可能準(zhǔn)確地、不失真地在接收端重現(xiàn)。保密性：隱蔽或保護(hù)通信系統(tǒng)中傳輸?shù)男畔?，使它只能被授?quán)接收者獲取，非授權(quán)接收者不能接收和理解。認(rèn)證性：接收者能夠正確判斷接收到的消息的正確性。驗(yàn)證消息的完整性，判定不是偽造或篡改的?？煽啃?、有效性、保密性和完整性共同構(gòu)成現(xiàn)代通信傳輸系統(tǒng)的全面要求。2023/5/1825目前二十五頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第1章概論（簡(jiǎn)介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究?jī)?nèi)容2023/5/1826目前二十六頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)1948年以前信息論的發(fā)展Telegraph(Morse);圖1-1摩爾斯的電報(bào)機(jī)2023/5/1827目前二十七頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)有線(xiàn)電報(bào)1837年，英國(guó)庫(kù)克和惠斯通設(shè)計(jì)制造了第一個(gè)有線(xiàn)電報(bào)機(jī)，并申請(qǐng)了專(zhuān)利。1837年，原本是一流畫(huà)家的莫爾斯開(kāi)始研究電報(bào)機(jī)。1839年，發(fā)明莫爾斯電碼。1844年5月24日，莫爾斯在美國(guó)國(guó)會(huì)大廳，親自按動(dòng)按鍵，向巴爾的摩發(fā)送了世界上的第一封電報(bào)，電文內(nèi)容是《圣經(jīng)》中的一句話(huà)：上帝啊，你創(chuàng)造了何等的奇跡！此舉轟動(dòng)了世界。隨后成立世界上第一個(gè)電報(bào)公司。2023/5/1828目前二十八頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)有線(xiàn)電報(bào)在中國(guó)的發(fā)展1871年,丹麥大北電報(bào)公司鋪設(shè)香港（長(zhǎng)崎）上海的第一條入侵中國(guó)的電報(bào)水線(xiàn)，并成立上海租界電報(bào)局。1873年，華僑王承榮與福州的王斌研制出我國(guó)首臺(tái)電報(bào)機(jī)；同年發(fā)明了漢字電碼，每個(gè)漢字由4個(gè)數(shù)字來(lái)代表。1887年，中國(guó)自主建設(shè)第一條海底電纜（劉銘傳：臺(tái)灣福州）。2023/5/1829目前二十九頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)WirelessTelegraph(Marconi);1895年，馬可尼在自家的花園里成功地進(jìn)行了無(wú)線(xiàn)電波傳遞實(shí)驗(yàn)，次年即獲得了專(zhuān)利。1898年，在英吉利海峽兩岸進(jìn)行無(wú)線(xiàn)電報(bào)跨海試驗(yàn)成功，通訊距離為45km。1909年，諾貝爾物理學(xué)獎(jiǎng)授予英國(guó)倫敦馬可尼無(wú)線(xiàn)電報(bào)公司的意大利物理學(xué)家馬可尼（GuglielmoMarconi，1874—1937）和德國(guó)阿爾薩斯州斯特拉斯堡大學(xué)的布勞恩（KarlBraun，1850—1918），以承認(rèn)他們?cè)诎l(fā)展無(wú)線(xiàn)電報(bào)上所作的貢獻(xiàn)。無(wú)線(xiàn)電報(bào)2023/5/1830目前三十頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)無(wú)線(xiàn)電報(bào)在中國(guó)1911年，德國(guó)西門(mén)子德律風(fēng)公司在北京南京設(shè)立中國(guó)第一個(gè)無(wú)線(xiàn)電報(bào)機(jī)通訊線(xiàn)路。1969年，中文電報(bào)譯碼機(jī)問(wèn)世。2006年02月06日美國(guó)西部聯(lián)盟公司宣布，停止電報(bào)業(yè)務(wù)。2023/5/1831目前三十一頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)1948年以前信息論的發(fā)展Telephone(Bell,1876);圖1-2電話(huà)之父-貝爾2023/5/1832目前三十二頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)1924年H.Nyquist：提出抽樣定理要想在接收端無(wú)失真地恢復(fù)連續(xù)信號(hào)，抽樣的速率至少是信號(hào)最高頻率的兩倍Television(1925-1927)有了電視，使得人類(lèi)的視野和壽命變相延長(zhǎng)三倍。1928年，R.V.Hartley：提出用對(duì)數(shù)度量信息。1948年以前信息論的發(fā)展2023/5/1833目前三十三頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)FrequencyModulation（FM，調(diào)頻）（Armstrong,1936)：增大帶寬，可以提高抗干擾能力。Vocoder(Dudley,1939)：廣泛應(yīng)用于廣播、電視。提出了通信帶寬>=傳送的消息帶寬SpreadSpectrum(1940’s)：擴(kuò)頻技術(shù)第三代移動(dòng)通信的基礎(chǔ)技術(shù)。1948年以前信息論的發(fā)展2023/5/1834目前三十四頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)控制論之父——維納N.Winner（維納）20世紀(jì)30年代“廣義諧波分析理論”，首次對(duì)信息系統(tǒng)中的隨機(jī)過(guò)程進(jìn)行譜分析。20世紀(jì)40年代：將隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)的觀(guān)點(diǎn)引入通信和控制領(lǐng)域，揭示信息傳輸和處理過(guò)程的統(tǒng)計(jì)本質(zhì)。20世紀(jì)50年代：提出干擾作用下的最佳濾波定理。20世紀(jì)60年代：R.E.Kalman&R.S.Bucy：遞推濾波算法（引入狀態(tài)變量）將代數(shù)方法引入糾錯(cuò)編碼,出現(xiàn)了信道編碼譯碼方法。2023/5/1835目前三十五頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)36香農(nóng)的三大定理：提出了有噪信道編碼定理。提出了可變長(zhǎng)無(wú)失真信源編碼定理。香農(nóng)第一定理香農(nóng)第二定理香農(nóng)第三定理1959年，香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理”1948年，香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》。信息論鼻祖——香農(nóng)給出了簡(jiǎn)單的編碼方法。只要信息速率<=信道容量,則可以找到一種編碼，使誤碼率接近02023/5/1836目前三十六頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信息論鼻祖——香農(nóng)Shannon1948年“通信的數(shù)學(xué)理論”（“Amathematicaltheoryofcommunication”）文章的發(fā)表，標(biāo)志著信息論的正式誕生。指明通信的實(shí)質(zhì)：“Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.”2023/5/1837目前三十七頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)無(wú)失真信源編碼的發(fā)展1956年，麥可米倫（B.Mcmillan）首先證明了唯一可譯變長(zhǎng)碼的克拉夫特（Craft）不等式。1952年，費(fèi)諾（Fano）提出了一種費(fèi)諾碼。1952年，哈夫曼（D.A.Huffman）首先構(gòu)造了一種哈夫曼編碼方法，并證明為最佳碼。1977年，通用信源編碼算法-LZ碼由齊弗(J.Ziv)和蘭佩爾（A.Lempel）提出.1978年，他們又提出了改進(jìn)算法，并證明此方法可以達(dá)到信源的熵值。1990年，貝爾（Bell）又對(duì)LZ算法進(jìn)行了一系列的變化和改進(jìn)。目前，LZ廣泛應(yīng)用于文本的數(shù)據(jù)壓縮。語(yǔ)音編碼標(biāo)準(zhǔn):MP3,MP4圖象編碼標(biāo)準(zhǔn):MPEG42023/5/1838目前三十八頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信道編碼理論的發(fā)展60年代起，信道編碼技術(shù)有了長(zhǎng)足發(fā)展。1950年，出現(xiàn)了漢明碼（HammingCode）和循環(huán)碼（CyclicCode）。把代數(shù)方法引入糾錯(cuò)碼的研究，形成了代數(shù)編碼理論。但代數(shù)編碼的漸進(jìn)性較差，無(wú)法實(shí)現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果。1960年左右，提出了卷積碼（ConvolutionCode）的概率譯碼。形成一系列概率譯碼理論。幾十年來(lái)，相繼出現(xiàn)很多編碼算法，性能與香農(nóng)限相差甚遠(yuǎn)，以致人們認(rèn)為香農(nóng)限是不可能達(dá)到的。1993年，法國(guó)學(xué)者C.Berrou等人提出了Turbo碼的并行級(jí)聯(lián)卷積碼。其性能與香農(nóng)限非常接近(誤碼率達(dá)10-5)，且復(fù)雜度較低可以實(shí)現(xiàn)，為信道編碼領(lǐng)域帶來(lái)一場(chǎng)革命。2023/5/1839目前三十九頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)限失真信源編碼定理的發(fā)展限失真信源編碼的研究較信道編碼和無(wú)失真信源編碼晚了近十年。香農(nóng)在1948年的論文中已體現(xiàn)了率失真函數(shù)的思想。1959年，香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理”（“Codingtheoremsforadiscretesourcewithafidelitycriterion”）。首先提出了率失真函數(shù)和率失真信源編碼定理。從此，發(fā)展成為信息率失真編碼理論。1971年，伯格爾（T.Beger）給出了更一般信源的率失真編碼定理。率失真信源編碼定理是信源編碼的核心問(wèn)題，是頻帶壓縮、數(shù)據(jù)壓縮（信源壓縮編碼）的理論基礎(chǔ)。2023/5/1840目前四十頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)網(wǎng)絡(luò)信息論的發(fā)展1961年，香農(nóng)發(fā)表的論文“雙路通信信道”開(kāi)拓了多用戶(hù)信息理論。隨著衛(wèi)星通信、計(jì)算機(jī)通信網(wǎng)的迅速發(fā)展，多用戶(hù)理論的研究取得了突破性的進(jìn)展。20世紀(jì)70年代以后，人們從經(jīng)典的香農(nóng)單向通信的信息論推廣到多用戶(hù)信息理論。多用戶(hù)信息理論成為當(dāng)前信息論的中心研究課題之一。2023/5/1841目前四十一頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)第1章概論（簡(jiǎn)介）主要內(nèi)容：1.1信息的基本概念1.2通信系統(tǒng)模型1.3信息論的起源、發(fā)展1.4研究?jī)?nèi)容2023/5/1842目前四十二頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)1.4信息論研究的內(nèi)容狹義信息論（經(jīng)典信息論）即Shannon信息論研究?jī)?nèi)容：信息度量信道容量信源和信道編碼理論2023/5/1843目前四十三頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)Shannon信息論的中心問(wèn)題信息傳輸中出現(xiàn)的問(wèn)題：

問(wèn)題一：信源消息常常不能夠完全發(fā)送。

（否則發(fā)送量巨大。該怎么辦？）問(wèn)題二：信道因干擾而出現(xiàn)差錯(cuò)，如何處理。（否則所收到的消息無(wú)法識(shí)別。）

信源信道信宿2023/5/1844目前四十四頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)Shannon信息論針對(duì)以上問(wèn)題的解決方法：?jiǎn)栴}一的應(yīng)對(duì)：挑有用的信源信息來(lái)發(fā)送。方法：通過(guò)信源編碼，去掉無(wú)用的信息，提高有效性。問(wèn)題二的應(yīng)對(duì)：抵抗或抵消傳輸中遇到的干擾引起的誤碼。方法：通過(guò)信道編碼，增加多余的信息，使各符號(hào)間相互存在一定的牽連關(guān)系，提高可靠性。2023/5/1845目前四十五頁(yè)\總數(shù)四十九頁(yè)\編于二十二點(diǎn)信源和信道編碼舉例如：傳輸用戶(hù)的密碼信息：aqv（1）首先進(jìn)行信源編碼：分析：如何把字母編碼成計(jì)算機(jī)可以識(shí)別的二進(jìn)制碼？26種符號(hào)每個(gè)符號(hào)最少用5位二進(jìn)制來(lái)進(jìn)行信源編碼000000101001110（2