《信息論與編碼》課件第1章 緒論

第一章緒論信息論

(InformationTheory)是通信中的數(shù)學(xué)理論，是研究信息的傳輸、存儲和處理的科學(xué)回答兩個基本問題數(shù)據(jù)壓縮信息傳輸速率+無失真壓縮受到熵的約束限失真壓縮受到信息率失真函數(shù)的約束信道容量主要討論存在性問題有人認(rèn)為是通信理論的子集實際上對統(tǒng)計物理、計算機科學(xué)(如算法復(fù)雜度)、概率與統(tǒng)計等學(xué)科都有貢獻(xiàn)對學(xué)科發(fā)展的貢獻(xiàn)信息論的起源1948年香農(nóng)--論文“通信中的數(shù)學(xué)問題”(AMathematicalTheoryofCommunication)特點：概率統(tǒng)計方法對通信系統(tǒng)進(jìn)行了研究，成果：揭示了通信系統(tǒng)傳遞的對象是信息，對信息進(jìn)行了科學(xué)的定量描述，提出了熵的概念。更早的研究內(nèi)容1924年NyquistHartley對信息進(jìn)行了定義解釋了信號帶寬與信息傳輸速率之間的關(guān)系1928年Hartley通信系統(tǒng)傳輸能力問題1936年Amstrong提出了增加帶寬可以提高系統(tǒng)抗干擾能力研究進(jìn)程Cover對多用戶信息理論的研究做出了很大貢獻(xiàn)。1.1信息論的形成與發(fā)展上個世紀(jì)五十年代在學(xué)術(shù)界引起極大反響六十年代擴(kuò)展了研究領(lǐng)域點對點多用戶信息論信道編碼研究采用長碼、交織技術(shù)、迭代解碼技術(shù)進(jìn)行編解碼，從而提高了編碼效率和糾錯能力。1.1信息論的形成與發(fā)展60年代信道編碼（分組碼）成為重要信息論分支70年代卷積碼概率譯碼90年代之后Turbo碼LDPC1.1信息論的形成與發(fā)展信源編碼研究1948年香農(nóng)：無失真編碼定理（第一定理）設(shè)計香農(nóng)碼1952年費羅費羅碼1959年香農(nóng)：限失真編碼定理（第三）即信息率失真理論Huffman哈夫曼碼但是一般認(rèn)為遠(yuǎn)遠(yuǎn)沒有達(dá)到理論極限。

1.1信息論的形成與發(fā)展信源統(tǒng)計特性編碼技術(shù)（尤其圖像編碼）快速發(fā)展圖像編碼小波比特平面編碼算術(shù)編碼信息率失真變換數(shù)據(jù)分類或者形成集合等熵編碼碼流優(yōu)化作用信息論主要立足點基礎(chǔ)：研究有效性信息可以度量可靠性信源編碼信道編碼提高傳輸數(shù)據(jù)中每個碼元攜帶的信息量，從而提高數(shù)據(jù)傳輸效率。

使系統(tǒng)能夠檢測、糾正傳輸過程中的數(shù)據(jù)錯誤。通過目的信息論研究范圍1.1信息論的形成與發(fā)展狹義信息論信息度量信息特征信息容量干擾對信息傳遞影響廣義信息論除了狹義信息論內(nèi)容之外，還有信號設(shè)計（如信號分集）噪聲理論噪聲統(tǒng)計特性信號檢測與估值信息、消息、信號三者既有聯(lián)系又有區(qū)別；1.1信息論的形成與發(fā)展信息：表示事物的運動狀態(tài)和狀態(tài)變化的方式，是抽象的意識或者知識，是看不見、摸不著的。比如人的想法，對事物的認(rèn)識等等。消息是信息的載體，可以由消息得到信息指包含信息的語言、文字和圖像等信息消息表述提取具體的抽象的信號不是物理性的，不能夠直接在信道中傳輸。描述方法：隨機變量或者隨機序列變化來表示消息信號是消息的具體物理體現(xiàn)（如聲波信號，電信號）信號是消息的載體，將消息轉(zhuǎn)換為信號才能夠在信道中傳輸。信號變化可以表示一定的消息。信息消息信號待傳輸；特點：抽象；信息的表現(xiàn)形式；文字，圖像，聲音等；信號的變化描述消息；信息的基本特點1.不確定性受信者在接收到信息之前，不知道信源發(fā)送的內(nèi)容是什么，是未知的、不確定性事件；3.

可以產(chǎn)生、消失、存儲，還可以進(jìn)行加工、處理；4.可以度量2.受信者接收到信息后，可以減少或者消除不確定性；1.2通信系統(tǒng)的模型

一般模型通信基本問題精確或者近似再現(xiàn)信源發(fā)出的消息。在存儲或者通信等情況下，詳細(xì)模型信息數(shù)據(jù)接收信息接收數(shù)據(jù)原始符號重建符號信道一定，數(shù)據(jù)傳輸錯誤概率一定數(shù)據(jù)并不是總是成立差錯控制編碼、譯碼足夠好信息一般總是成立無失真編碼符號限失真失真編碼有效性可靠性信源產(chǎn)生消息的來源，可以是文字、語言、圖像等；

輸出形式：符號形式表示具體消息，是信息的載體；分類：連續(xù)的，離散的；基本特點：具有隨機性。主要研究其統(tǒng)計規(guī)律和信源產(chǎn)生的信息速率。

1.2通信系統(tǒng)的模型作用：將信源發(fā)出的符號轉(zhuǎn)化為適合信道傳輸?shù)男盘枺灰话惆ㄐ旁淳幋a、差錯控制編碼(或者稱為信道編碼)和調(diào)制器等。編碼器

信源編碼通過去除信源輸出符號的冗余，使信源編碼輸出的每個符號攜帶更多的信息量，從而降低信息傳遞所需要的符號數(shù)量，即降低總體數(shù)據(jù)傳輸速率，提高傳輸效率。

1.2通信系統(tǒng)的模型信源符號碼序列信源編碼器相關(guān)性減弱相關(guān)性強解決有效性建立準(zhǔn)則提高信息傳輸?shù)男?；變換冗余相關(guān)冗余統(tǒng)計冗余生理冗余冗余變化統(tǒng)計冗余強統(tǒng)計冗余弱相關(guān)冗余信源輸出前后符號之間存在一定相關(guān)性統(tǒng)計冗余信源輸出符號不服從等概率分布生理冗余人的視覺對幅值失真不特別敏感，但是對相位引起失真很敏感人的耳朵對相位引起失真不敏感聽音樂時，調(diào)節(jié)不同頻率增益調(diào)節(jié)亮度對比度（電視、圖片）調(diào)音臺模型簡化編碼信道不會引入任何錯誤或者失真無失真編碼與限失真編碼信息傳輸率必要小于信道容量，否則無論采取任何信道編碼技術(shù)，都會出現(xiàn)信息傳遞錯誤；在有些情況下，可以通過無失真編碼即可滿足上述要求；但是在更多情況下，必須采用限失真編碼，才能使得信息傳輸率不大于信道容量。1.2通信系統(tǒng)的模型無失真編碼：信源編碼器編碼信道信源譯碼器信源符號（序列）重建符號（序列）1.2通信系統(tǒng)的模型重建符號與信源發(fā)送符號一致，即編碼器輸出碼字序列與信源發(fā)送序列一一映射；重建符號與信源發(fā)送符號不完全一致；編碼器輸出碼字序列與信源輸出符號序列之間不是一一映射關(guān)系，出現(xiàn)符號合并，使得重建符號的熵減少了。限失真編碼：總是成立的分別是編碼輸出碼字和接收到的碼字限失真、無失真是由于編譯碼器形成的由于信道中存在干擾，數(shù)據(jù)傳遞過程中會出現(xiàn)錯誤，信道編碼可以檢測或者糾正數(shù)據(jù)傳輸?shù)腻e誤，從而提高數(shù)據(jù)傳輸?shù)目煽啃?。信道編碼增加冗余對信道干擾的抵抗力信息傳輸?shù)目煽啃蕴岣哒{(diào)制器

作用：將信道編碼的輸出變換為適合信道傳輸?shù)囊蟮男盘枺恍诺谰幋a和調(diào)制器的組合稱為信道編碼器，主要是針對信道設(shè)計，其目的是為了利用信道的特性可靠地傳輸信息，提高信息傳輸?shù)目煽啃浴?.2通信系統(tǒng)的模型信源編碼與信道編碼是相互矛盾的，需要統(tǒng)一考慮以提高系統(tǒng)的總體性能。信源編碼是通過去除冗余，提高系統(tǒng)傳輸?shù)挠行裕欢诺谰幋a則是通過增加冗余提高系統(tǒng)傳輸?shù)目煽啃?，但是會降低系統(tǒng)總體有效性。信源信道聯(lián)合編碼技術(shù)：將信源編碼和信道編碼綜合考慮，從而解決信源編碼和信道編碼之間的統(tǒng)籌優(yōu)化問題。1.2通信系統(tǒng)的模型信道與干擾

信道是信息傳輸?shù)拿劫|(zhì)，將攜帶信息的信號從一個地方傳送到另外地方。常見的信道有明線、電纜、光纖、無線電波傳輸?shù)目臻g等，這些都是電信號傳輸?shù)男诺?。在水中通信中可以采用聲波傳輸，聲波傳輸?shù)拿劫|(zhì)是水，所以水也是信道。隨著科學(xué)技術(shù)的發(fā)展，大量的信息需要存儲，存儲器也是信道，而存儲信息的媒質(zhì)同樣會收到破壞，所以也存在干擾。1.2通信系統(tǒng)的模型信號在傳輸過程中會受到各種各樣的干擾；信號的類型不同，經(jīng)過的信道不同，所遭受的噪聲、干擾也有差異。根據(jù)實際情況對噪聲和干擾進(jìn)行統(tǒng)計建模和分析，采用相應(yīng)的處理方法。如常見的無線信號為高斯白噪聲信道；移動通信為衰落信道；磁盤、光盤為突發(fā)差錯信道。1.2通信系統(tǒng)的模型譯碼器

譯碼器是編碼器的逆過程，其目的是為了準(zhǔn)確或者近似再現(xiàn)信源發(fā)出的消息。與編碼器相對應(yīng)，譯碼器一般由解調(diào)器、信道譯碼器和信源譯碼器組成。解調(diào)器信道譯碼器信源譯碼器1.2通信系統(tǒng)的模型信宿是消息傳遞的對象，即接收消息的人或機器，與信源處于不同地點或存在于不同時刻。它要對傳送過來的消息提出可接受條件，即提出一定的準(zhǔn)則，發(fā)端將以此來確定對信源處理時所要保留的最小信息量。信宿的數(shù)量可以是一個，也可以是多個，取決于具體應(yīng)用需要。單輸入、單輸出的單向通信系統(tǒng)；單輸入、多輸出的單向通信系統(tǒng)；多輸入、多輸出的多向通信系統(tǒng)。1.2通信系統(tǒng)的模型1.3信息論研究的內(nèi)容通信統(tǒng)計理論的研究

主要研究如何分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律。具體內(nèi)容包括信息的度量、信息速率與熵、衡量信道傳輸能力的信道容量