信息論與編碼復(fù)習(xí)課

1、“信息論與編碼”復(fù)習(xí)1消息、信號(hào)、信息的含義、定義及區(qū)別。信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。消息是指包含信息的語(yǔ)言，文字和圖像等。信號(hào)是消息的物理體現(xiàn)。消息是信息的數(shù)學(xué)載體、信號(hào)是信息的物理載體信號(hào)：具體的、物理的消息：具體的、非物理的信息：非具體的、非物理的同一信息，可以采用不同形式的物理量來(lái)載荷，也可以采用不同的數(shù)學(xué)描述方式。同樣，同一類型信號(hào)或消息也可以代表不同內(nèi)容的信息。2信息論的起源、歷史與發(fā)展。n 1924年，Nyquist提出信息傳輸理論；n 1928年，Hartly提出信息量關(guān)系；n 1932年，Morse發(fā)明電報(bào)編碼；n 1946年，柯切尼柯夫提出信號(hào)檢測(cè)理論；n

2、1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論”現(xiàn)代信息論的開創(chuàng)性的權(quán)威論文，為信息論的創(chuàng)立作出了獨(dú)特的貢獻(xiàn)。3通信系統(tǒng)的物理模型（主要框圖），各單元（方框）的主要功能及要解決的主要問(wèn)題。信源的核心問(wèn)題是它包含的信息到底有多少，怎樣將信息定量地表示出來(lái)，即如何確定信息量。信宿需要研究的問(wèn)題是能收到或提取多少信息。信道的問(wèn)題主要是它能夠傳送多少信息，即信道容量的多少。4通信的目的？要解決的最基本問(wèn)題？通信有效性的概念。提高通信有效性的最根本途徑？通信可靠性的概念。提高通信可靠性的最根本途徑？通信安全性的概念，提高通信安全性的最根本途徑？通信系統(tǒng)的性能指標(biāo)主要是有效性，可靠性，安全性和經(jīng)

3、濟(jì)性。通信系統(tǒng)優(yōu)化就是使這些指標(biāo)達(dá)到最佳。從提高通信系統(tǒng)的有效性意義上說(shuō)，信源編碼器的主要指標(biāo)是它的編碼效率，即理論上所需的碼率與實(shí)際達(dá)到的碼率之比。提高通信有效性的最根本途徑是信源編碼。減少冗余。提高可靠性：信道編碼。增加冗余。提高安全性：加密編碼。7隨機(jī)事件的不確定度和它的自信息量之間的關(guān)系及區(qū)別？單符號(hào)離散信源的數(shù)學(xué)模型，自信息量、條件自信息量、聯(lián)合自信息量的含義？信源符號(hào)不確定度：具有某種概率的信源符號(hào)在發(fā)出之前，存在不確定度，不確定度表征該符號(hào)的特性。符號(hào)的不確定度在數(shù)量上等于它的自信息量，兩者的單位相同，但含義不同：不確定度是信源符號(hào)固有的，不管符號(hào)是否發(fā)出；自信息量是信源符號(hào)發(fā)出

4、后給予收信者的；為了消除該符號(hào)的不確定度，接受者需要獲得信息量。自信息量條件自信息量：聯(lián)合自信息量：8信息量的性質(zhì)？含義？分別從輸入端、輸出端和系統(tǒng)總體來(lái)理解互信息量的含義。自信息量指的是該符號(hào)出現(xiàn)后，提供給收信者的信息量。9. 各種熵（信源熵，條件熵，聯(lián)合熵（共熵），等）的含義及其關(guān)系。信源熵：條件熵：疑義度： 噪聲熵：聯(lián)合熵：11. 平均互信息量的定義及物理意義？疑義度及噪聲熵？12. 平均互信息量的性質(zhì)及理解？17. 信源的種類（詳細(xì)分類）？各舉出幾個(gè)例子。按時(shí)間和幅度分類： 離散信源 單符號(hào)離散信源文字，數(shù)字，數(shù)據(jù)等 離散序列信源連續(xù)信源 連續(xù)幅度信源話音，圖像，圖形等 隨機(jī)波形信源按

5、符號(hào)之間的關(guān)系： 無(wú)記憶信源 發(fā)出單個(gè)符號(hào)的無(wú)記憶信源 發(fā)出符號(hào)序列的無(wú)記憶信源有記憶信源 發(fā)出符號(hào)序列的有記憶信源 發(fā)出符號(hào)序列的馬爾可夫信源20. 信源的冗余度的定義和含義？為什么有些信源有冗余度？冗余度的計(jì)算。冗余度，表示給定信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。它來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性；二是信源符號(hào)分布的不均勻性.29. 信道的數(shù)學(xué)模型和分類？30. 信息傳輸速率R的定義？信道轉(zhuǎn)移概率、信道矩陣和信道容量C的定義？幾種離散無(wú)噪信道的C？31. 強(qiáng)對(duì)稱，對(duì)稱，準(zhǔn)對(duì)稱信道的含義及其C？式中，m為信道輸出符號(hào)集中符號(hào)的數(shù)目。強(qiáng)對(duì)稱信道：或：32. 離散信道容量的一般計(jì)算方法及其

6、步驟？36. 什么是最佳編碼？說(shuō)出Shannon、 Fano和Huffman編碼的基本方法和主要特點(diǎn)。37. 理解Huffman編碼是最佳編碼？40.簡(jiǎn)要說(shuō)明下面幾種譯碼準(zhǔn)則：（1）最優(yōu)譯碼準(zhǔn)則；（2）最大似然譯碼準(zhǔn)則BSC信道的最大似然譯碼可以簡(jiǎn)化為信道的最大似然譯碼可以簡(jiǎn)化為最最小漢明距離譯碼小漢明距離譯碼。41.信源與信道達(dá)到匹配的含義以及如何實(shí)現(xiàn)？信道剩余度的概念及計(jì)算？42.失真函數(shù)、平均失真度的定義及其含義？失真函數(shù)定義：推廣-L長(zhǎng)序列：平均失真度：43.信息率失真函數(shù)R(D)的定義、性質(zhì)及其含義？R(D)與C的比較？對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息率容許壓縮

7、的最小值為R（D）。如果選取對(duì)壓縮更為有利的編碼方案，則壓縮的效果可能更好。但是一旦超過(guò)最小互信息這個(gè)極限值，就是R(D)的數(shù)值，那么失真就要超過(guò)失真限度。如果需要壓縮的信息率更大，則可容忍的平均失真就要大。信息率失真函數(shù)R（D）性質(zhì)：44.Shannon第三定理及其含義？50.漢明距離和漢明重量的定義？錯(cuò)誤圖樣的定義？隨機(jī)錯(cuò)誤和突發(fā)錯(cuò)誤的定義？52.線性分組碼的定義、構(gòu)造、性質(zhì)？ 三、判斷（每題1分）（50道）1、 必然事件和不可能事件的自信息量都是0 。錯(cuò)2、 自信息量是的單調(diào)遞減函數(shù)。對(duì)3、 單符號(hào)離散信源的自信息和信源熵都具有非負(fù)性。對(duì)4、 單符號(hào)離散信源的自信息和信源熵都是一個(gè)確定值

8、。錯(cuò)5、 單符號(hào)離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對(duì)6、 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系： 對(duì)7、 自信息量、條件自信息量和互信息量之間有如下關(guān)系： 對(duì)8、 當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，條件熵等于信源熵。對(duì)9、 當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，I（X；Y）=H（X） 。錯(cuò)10、信源熵具有嚴(yán)格的下凸性。錯(cuò)11、平均互信息量I（X；Y）對(duì)于信源概率分布p（xi）和條件概率分布p（yj/xi）都具有凸函數(shù)性。 對(duì)12、m階馬爾可夫信源和消息長(zhǎng)度為m的有記憶信源，其所含符號(hào)的依賴關(guān)系相同。 錯(cuò)13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來(lái)求m階馬爾可夫信源的極限熵

9、。 對(duì)14、N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的熵是N維區(qū)域體積的對(duì)數(shù)。 對(duì)15、一維高斯分布的連續(xù)信源，其信源熵只與其均值和方差有關(guān)。 錯(cuò)16、連續(xù)信源和離散信源的熵都具有非負(fù)性。 錯(cuò)17、連續(xù)信源和離散信源都具有可加性。 對(duì)18、連續(xù)信源和離散信源的平均互信息都具有非負(fù)性。 對(duì)19、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的效率。 對(duì)20、若對(duì)一離散信源（熵為H（X）進(jìn)行二進(jìn)制無(wú)失真編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為K，變長(zhǎng)碼子平均長(zhǎng)度為，一般>K。 錯(cuò)21、信道容量C是I（X；Y）關(guān)于p（xi）的條件極大值。 對(duì)22、離散無(wú)噪信道的信道容量等于log2n，其中n是信源X的消息個(gè)數(shù)。 錯(cuò)23、對(duì)于準(zhǔn)對(duì)稱信道，

10、當(dāng)時(shí)，可達(dá)到信道容量C。錯(cuò)24、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表。 對(duì)25、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表，但信道的信息率可以用一個(gè)數(shù)來(lái)表示。錯(cuò)26、高斯加性信道的信道容量只與信道的信噪有關(guān)。 對(duì)27、信道無(wú)失真?zhèn)鬟f信息的條件是信息率小于信道容量。對(duì)28、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi），使信道所能傳送的信息率的最大值。 錯(cuò)29、對(duì)于具有歸并性能的無(wú)燥信道，當(dāng)信源等概率分布時(shí)（p（xi）=1/n），達(dá)到信道容量。 錯(cuò)30、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。對(duì)31、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源

11、存在的不確定性就越小，獲得的信息量就越小。 錯(cuò)32、當(dāng)p（xi）、p（yj/xi）和d（xi，yj）給定后，平均失真度是一個(gè)隨即變量。 錯(cuò)33、率失真函數(shù)對(duì)允許的平均失真度具有上凸性。對(duì)34、率失真函數(shù)沒有最大值。 錯(cuò)35、率失真函數(shù)的最小值是0 。對(duì)36、率失真函數(shù)的值與信源的輸入概率無(wú)關(guān)。錯(cuò)37、信源編碼是提高通信有效性為目的的編碼。 對(duì)38、信源編碼通常是通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)的。 對(duì)39、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。 錯(cuò)40、一般情況下，哈夫曼編碼的效率大于香農(nóng)編碼和費(fèi)諾編碼。 對(duì)41、在編m（m>2）進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為

12、0的碼字，以使平均碼長(zhǎng)最短。 對(duì)42、游程序列的熵（“0”游程序列的熵與“1”游程序列的熵的和）大于等于原二元序列的熵。 錯(cuò)43、在游程編碼過(guò)程中，“0”游程和“1”游程應(yīng)分別編碼，因此，它們的碼字不能重復(fù)。 錯(cuò)44、L-D編碼適合于冗余位較多和較少的情況，否則，不但不能壓縮碼率，反而使其擴(kuò)張。 對(duì)45、狹義的信道編碼既是指：信道的檢、糾錯(cuò)編碼。 對(duì)46、對(duì)于BSC信道，信道編碼應(yīng)當(dāng)是一對(duì)一的編碼，因此，消息m的長(zhǎng)度等于碼字c的長(zhǎng)度。 錯(cuò)47、等重碼和奇（偶）校驗(yàn)碼都可以檢出全部的奇數(shù)位錯(cuò)。 對(duì)48、漢明碼是一種線性分組碼。對(duì)49、循環(huán)碼也是一種線性分組碼。 對(duì)50、卷積碼是一種特殊的線性分組

13、碼。 錯(cuò)四、簡(jiǎn)答（每題4分）（20道）1、 信息的主要特征有哪些？（4）2、 信息的重要性質(zhì)有哪些？（4）3、 簡(jiǎn)述幾種信息分類的準(zhǔn)則和方法。（5）4、 信息論研究的內(nèi)容主要有哪些？（8）5、 簡(jiǎn)述自信息的性質(zhì)。（13）6、 簡(jiǎn)述信源熵的基本性質(zhì)。（23）7、 簡(jiǎn)述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。（48）8、 信道的分類方法有哪些？（93-94）9、 簡(jiǎn)述一般離散信道容量的計(jì)算步驟。（107）10、簡(jiǎn)述多用戶信道的分類。（115-116）11、簡(jiǎn)述信道編碼定理。（128）12、簡(jiǎn)述率失真函數(shù)的性質(zhì)。（140-145）13、簡(jiǎn)述求解一般離散信源率失真函數(shù)的步驟。（146-149）14、

14、試比較信道容量與信息率失真函數(shù)。（164）15、簡(jiǎn)述編碼的分累及各種編碼的目的。（168）16、簡(jiǎn)述費(fèi)諾編碼的編碼步驟。（170）17、簡(jiǎn)述二元哈夫曼編碼的編碼步驟。（173）18、簡(jiǎn)述廣義的信道編碼的分類及各類編碼的作用。（188）19、簡(jiǎn)述線性分組碼的性質(zhì)。（196）20、簡(jiǎn)述循環(huán)碼的系統(tǒng)碼構(gòu)造過(guò)程。（221） 信息論基礎(chǔ)A復(fù)習(xí)資料作者 郝仁第一章 概論l 在認(rèn)識(shí)論層次研究信息時(shí)，把只考慮到形式因素的部分稱為語(yǔ)法信息，把只考慮到含義因素的部分稱為語(yǔ)義信息；把只考慮到效用因素的部分稱為語(yǔ)用信息。目前，信息論中主要研究語(yǔ)法信息l 歸納起來(lái)，香農(nóng)信息論的研究?jī)?nèi)容包括：1) 信息熵、信道容量和信息

15、率失真函數(shù)2) 無(wú)失真信源編碼定理、信道編碼定理和保真度準(zhǔn)則下的信源編碼定理3) 信源編碼、信道編碼理論與方法l 一般認(rèn)為，一般信息論的研究?jī)?nèi)容除香農(nóng)信息論的研究?jī)?nèi)容外，還包括維納的微弱信號(hào)檢測(cè)理論：包括噪聲理論、信號(hào)濾波與預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、調(diào)制理論等。信息科學(xué)以信息為研究對(duì)象，信息科學(xué)以信息運(yùn)動(dòng)規(guī)律為研究?jī)?nèi)容，信息運(yùn)動(dòng)包括獲取、傳遞、存儲(chǔ)、處理和施用等環(huán)節(jié)。第二章 離散信源及離散熵l 單符號(hào)離散信源的數(shù)學(xué)模型：自信息量：，是無(wú)量綱的，一般根據(jù)對(duì)數(shù)的底來(lái)定義單位：當(dāng)對(duì)數(shù)底為2時(shí)，自信息量的單位為比特(bit,binary unit)；對(duì)數(shù)底為e時(shí)，其單位為奈特(nat,nature u

16、nit)；對(duì)數(shù)底為10時(shí)，其單位為哈特(Hart, Hartley) 自信息量性質(zhì)：I(xi)是隨機(jī)量；I(xi)是非負(fù)值；I(xi)是P(xi)的單調(diào)遞減函數(shù)。l 單符號(hào)離散信源的離散熵：，單位是比特/符號(hào)(bit/symbol)。離散熵的性質(zhì)和定理：H(X)的非負(fù)性；H(X)的上凸性；最大離散熵定理：l 如果除概率分布相同外，直到N維的各維聯(lián)合概率分布也都與時(shí)間起點(diǎn)無(wú)關(guān)，即：則稱該多符號(hào)離散信源為N維離散平穩(wěn)信源。l N維離散平穩(wěn)信源的數(shù)學(xué)模型：l 二維離散平穩(wěn)信源的離散熵：H(X2/X1 )稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望，H(X1X2)稱為聯(lián)合熵，離散熵H(X1)、 H(

17、X2)稱為無(wú)條件熵，H2(X1X2)稱為平均符號(hào)熵且：，l 對(duì)于，當(dāng)N時(shí)，平均符號(hào)熵取極限值，稱之為極限熵，用H表示：l 如果離散平穩(wěn)信源發(fā)出的符號(hào)序列中各符號(hào)相互獨(dú)立，則稱該信源為離散平穩(wěn)無(wú)記憶信源。N維離散平穩(wěn)無(wú)記憶信源(一維離散平穩(wěn)信源的N次擴(kuò)展信源)的數(shù)學(xué)模型：，其離散熵：信源的平均符號(hào)熵：l 如果離散平穩(wěn)信源發(fā)出的符號(hào)只與前面已經(jīng)發(fā)出的m(<N)個(gè)符號(hào)相關(guān)，則稱該信源為m階馬爾科夫信源?？蓪階馬爾科夫信源發(fā)出的符號(hào)序列看成長(zhǎng)度為m+1的一段段符號(hào)序列，m階馬爾科夫信源的數(shù)學(xué)模型：為強(qiáng)調(diào)m階馬爾科夫信源的長(zhǎng)度特征，一般將其極限熵H記為Hm+1，即：馬爾科夫鏈的各態(tài)歷經(jīng)定理：第三

18、章 離散信源無(wú)失真編碼l 碼字的每一個(gè)比特?cái)y帶信息的效率即編碼效率：，平均碼長(zhǎng)一般采用不等長(zhǎng)編碼，使平均碼長(zhǎng)接近離散熵，從而在無(wú)失真前提下提高編碼效率；編碼的基本原則是大概率符號(hào)元編成短碼，小概率符號(hào)元編成長(zhǎng)碼如果所采用的不等長(zhǎng)編碼使接收端能從碼序列中唯一地分割出對(duì)應(yīng)與每一個(gè)符號(hào)元的碼字，則稱該不等長(zhǎng)編碼為單義可譯碼。單義可譯碼中，如果能在對(duì)應(yīng)與每一個(gè)符號(hào)元的碼字結(jié)束時(shí)立即譯出的稱為即時(shí)碼，如果要等到對(duì)應(yīng)與下一個(gè)符號(hào)元的碼字才能譯出的稱為延時(shí)碼。異前置碼：任何一個(gè)碼字都不是其他碼字的前綴m元長(zhǎng)度為ki , i=1,2, ,n的異前置碼存在的充分必要條件是：，（克拉夫特(Kraft)不等式）l

19、無(wú)失真編碼定理：（香農(nóng)第一定理）如果L維離散平穩(wěn)信源的平均符號(hào)熵為HL(X1X2XL)，對(duì)信源符號(hào)進(jìn)行m元不等長(zhǎng)組編碼，一定存在一種無(wú)失真編碼方法，當(dāng)L足夠大時(shí)，使得每個(gè)信源符號(hào)所對(duì)應(yīng)碼字的平均比特?cái)?shù)：無(wú)失真編碼定理從理論上闡明了編碼效率：l L時(shí)，則極限熵H是一個(gè)界限，通常也稱為香農(nóng)界對(duì)于L維離散平穩(wěn)無(wú)記憶信源，由于其平均符號(hào)熵HL(X1X2XL) =H(X)，故對(duì)信源符號(hào)進(jìn)行m元不等長(zhǎng)組編碼，一定存在一種無(wú)失真編碼方法，當(dāng)L足夠大時(shí)，使得每個(gè)信源符號(hào)所對(duì)應(yīng)碼字的平均比特?cái)?shù)：，此時(shí)香農(nóng)界為H(X)。對(duì)離散平穩(wěn)信源進(jìn)行無(wú)失真編碼，每個(gè)信源符號(hào)所對(duì)應(yīng)碼字的平均比特?cái)?shù)平穩(wěn)無(wú)記憶信源最多， m階馬爾

20、科夫信源次之，一般平穩(wěn)信源最少。l 二進(jìn)制香農(nóng)碼的編碼步驟如下：1) 將符號(hào)元xi按概率進(jìn)行降序排列2) 令p(x0)=0，計(jì)算第j-1個(gè)碼字的累加概率：3) 確定第i個(gè)碼字的碼長(zhǎng)ki，滿足下列不等式：4) 將pa(xj)用二進(jìn)制表示，取小數(shù)點(diǎn)后ki位作為符號(hào)元xi的碼字。l 哈夫曼(Huffman)編碼1) 將符號(hào)元按概率進(jìn)行降序排列2) 為概率最小的符號(hào)元分配一個(gè)碼元1，概率次小的符號(hào)元分配一個(gè)碼元03) 將概率最小的兩個(gè)符號(hào)元合并成一個(gè)新的符號(hào)元，用兩者概率之和作為該新符號(hào)元的概率；4) 重復(fù)以上三個(gè)步驟，直到最后合并出一個(gè)以1為概率的符號(hào)元哈弗曼碼有兩種排列方式，分前置和后置。采用不同

21、排列方法編出的哈夫曼碼，其碼字和碼長(zhǎng)可能完全不相同，但平均碼長(zhǎng)一定是相等的，因此編碼效率不會(huì)因排列方法而改變。但放在前面可以使短碼得到充分利用第四章 離散信道及信道容量l 符號(hào)離散信道的數(shù)學(xué)模型可表示為：l 互信息量在有噪信道的情況下，將信源發(fā)出xi 而信宿接收到y(tǒng)j所包含的信息量用I(yj;xi )來(lái)表示并將其稱為xi對(duì)yj的互信息量，則互信息量的定義為：I(yj/xi )稱為條件信息量，表示信道給出的“信息”?；バ畔⒘康男再|(zhì)：I(yj;xi )是隨機(jī)量，I(yj;xi )可為正值也可為負(fù)值，I(yj;xi )具有對(duì)稱性l 單符號(hào)離散信道的平均互信息量：，條件熵H(Y/X)是信道所給出的平均

22、信息量，通常稱為噪聲熵，條件熵H(X/Y)也是信道所給出的平均“信息”量，通常稱為損失熵，也稱為信道疑義度l 平均互信息量的性質(zhì)和定理：1) I(Y;X)的對(duì)稱性2) I(Y;X)的非負(fù)性3) I(Y;X)的極值性： 4) I(Y;X)的凸函數(shù)性當(dāng)信道固定時(shí)，I(Y;X)是信源概率分布P(X)的上凸函數(shù)；當(dāng)信源固定時(shí)，I(Y;X)是信道轉(zhuǎn)移概率分布P(Y/X)的下凸函數(shù)5) 數(shù)據(jù)處理定理： 一個(gè)信息傳遞并進(jìn)行數(shù)據(jù)處理的問(wèn)題可看成是一個(gè)由串聯(lián)信道進(jìn)行信息傳遞的問(wèn)題l 單符號(hào)離散信道的信道容量由于平均互信息量反映的是每傳輸一個(gè)符號(hào)在信道中流通的平均信息量，從這個(gè)意義上，可以將其理解為信道的信息傳輸

23、率(不是信息傳輸速率！)，即。定義最大的信息傳輸率為信道容量，即：。定義最大信息傳輸速率為：l 信道容量的計(jì)算步驟 l 均勻信道和對(duì)稱信道的信道容量，則稱該信道為均勻信道均勻信道的信息傳輸率可達(dá)最大，其信道容量為：l 對(duì)稱信道和對(duì)稱信道的信道容量既是行可排列的，又是列可排列的，則稱該矩陣所表示的信道為對(duì)稱信道則稱該信道為對(duì)稱信道如果每一行都是同一集合中諸元素的不同排列，則稱該矩陣為行可排列的；如果每一列都是同一集合中諸元素的不同排列，則稱該矩陣為列可排列的均勻信道的信息傳輸率可達(dá)最大，其信道容量為：l 離散無(wú)記憶信道及其信道容量對(duì)應(yīng)于多符號(hào)離散信源和多符號(hào)離散信宿的信道為多符號(hào)離散信道，可表示

24、為：當(dāng)信源和信宿均為平穩(wěn)無(wú)記憶時(shí)，信道矩陣中的條件概率：該信道矩陣表示的多符號(hào)離散信道稱為離散無(wú)記憶信道(DMC, Discrete Memoryless Channel)?？煞Q其為L(zhǎng)次擴(kuò)展信道如果記一維離散無(wú)記憶信道的信道容量為C，則其L次擴(kuò)展信道的信道容量為：第五章 離散信道編碼l 信道編碼定理譯碼規(guī)則的設(shè)計(jì)依據(jù)的是最小錯(cuò)誤概率準(zhǔn)則。為了降低錯(cuò)誤概率，可以考慮重復(fù)發(fā)送，如重復(fù)三次，即將x1編碼為a1=x1x1x1，x2編碼為a2=x2x2x2，稱為3重復(fù)碼香農(nóng)第二定理：對(duì)于離散無(wú)記憶信道，如其信道容量為C，只要信息傳輸率R<C，一定存在一種編碼，當(dāng)L足夠大時(shí)，使得譯碼錯(cuò)誤概率Pe&l

25、t; ，其中為任意給定的小正數(shù)。該定理從理論上證明了譯碼錯(cuò)誤概率任意小的理想糾錯(cuò)編碼的存在性信道編碼定理也指出，信道容量C是一個(gè)界限，如果信息傳輸率超過(guò)這個(gè)界限一定會(huì)出錯(cuò)l 漢明距離與線性分組碼線性分組碼通常用于前向糾錯(cuò)，可表示為(n,k)，其中n為碼字長(zhǎng)度，k為信息位長(zhǎng)度，從而校驗(yàn)位長(zhǎng)度為n-k在m(=2k)個(gè)碼字構(gòu)成的碼中，兩個(gè)長(zhǎng)度為n的碼字之間的漢明距離(碼距)是指兩個(gè)碼字對(duì)應(yīng)位置上不同碼元的個(gè)數(shù)；對(duì)于二元碼，碼距可表示為：長(zhǎng)度為n的碼字的漢明重量(碼重)是指碼字中非零碼元的個(gè)數(shù)；對(duì)于二元碼，碼重可表示為：對(duì)于二元碼，兩個(gè)長(zhǎng)度為n的碼字之間的碼距可用碼重表示：線性分組碼(n,k)能檢e個(gè)

26、錯(cuò)誤并能糾t個(gè)錯(cuò)誤的充要條件是：最簡(jiǎn)單的能檢1個(gè)錯(cuò)誤并能糾1個(gè)錯(cuò)誤的線性分組碼(n,k)的將錯(cuò)誤序列E的隨機(jī)結(jié)果ei稱為錯(cuò)誤圖案，當(dāng)eik=1時(shí)，表示第i個(gè)碼字的第k位在傳輸中出現(xiàn)錯(cuò)誤。最簡(jiǎn)單的能檢1個(gè)錯(cuò)誤并能糾1個(gè)錯(cuò)誤的線性分組碼(n,k)的錯(cuò)誤圖案為0001，0010，0100，1000l (7,4)漢明碼設(shè)碼字為：，其中為信息位，長(zhǎng)度為k=4，為校驗(yàn)位，長(zhǎng)度為n-k=3(7,4)漢明碼的編碼由生成矩陣產(chǎn)生：(7,4)漢明碼的最小距離：由線性分組碼(n,k)能檢e個(gè)錯(cuò)誤并能糾t個(gè)錯(cuò)誤的充要條件，(7,4)漢明碼只能檢出并糾正1個(gè)錯(cuò)誤l第七章 信息率失真理論l 離散信源的信息率失真函數(shù)總能找

27、到一種信道轉(zhuǎn)移概率分布，使信息傳輸率最小定義非負(fù)函數(shù)d(xi,yj) i=1,2, ,n; j=1,2, ,m為失真度，稱全部n×m個(gè)失真度組成的矩陣為失真矩陣：常用的失真矩陣：，當(dāng)=1時(shí)，稱為漢明失真矩陣。稱為平方誤差失真度。平均失真度：保真度準(zhǔn)則：如果給定的允許失真為D，則稱為保真度準(zhǔn)則。定義保真度準(zhǔn)則下的最小信息傳輸率為信息率失真函數(shù)：信息率失真函數(shù)的性質(zhì)和定義域：R(D)具有非負(fù)性，R(D)是D的下凸函數(shù)，R(D)是D單調(diào)遞減連續(xù)函數(shù)信息率失真函數(shù)的定義域：，特別地，當(dāng)D =Dmin=0，即不允許任何失真時(shí)R(D)=H(X)l 信息率失真函數(shù)的參量表達(dá)式信道轉(zhuǎn)移概率分布的n個(gè)

28、約束條件是，。平均失真度的約束條件是：。信息率失真函數(shù)的計(jì)算步驟為： 其中，且S < 0及l(fā) 等概率信源的信息率失真函數(shù)當(dāng)p=0.5，即二元等概率信源時(shí)的信息率失真函數(shù)：n元等概率信源，其信息率失真函數(shù)：l 連續(xù)信源的信息率失真函數(shù)定義隨機(jī)變量X、Y之間的失真函數(shù)為非負(fù)函數(shù)d(x,y)，則平均失真度：記實(shí)驗(yàn)信道的集合：。定義信息率失真函數(shù)：，其中l(wèi) 高斯信源的信息率失真函數(shù)平均失真度Y=y條件下的條件熵：信道疑義度：在滿足保真度準(zhǔn)則的條件下保真度準(zhǔn)則下的信源編碼定理（香農(nóng)第三定理）：序列長(zhǎng)度為L(zhǎng)的離散平穩(wěn)無(wú)記憶信源，信息率失真函數(shù)為R(D)，對(duì)于任意允許失真D和任意小的數(shù)>0，只要

29、信息傳輸率R>R(D)，總可以找到一種編碼，使得當(dāng)L足夠長(zhǎng)時(shí)，譯碼后的平均失真度，練習(xí)21題 1從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7，女性發(fā)病率為0.5，如果你問(wèn)一位男同志：“你是否是紅綠色盲？”他的回答可能是“是”，可能是“否”，問(wèn)這二個(gè)答案中各含多少信息量？平均每個(gè)回答中含有多少信息量？如果你問(wèn)一位女同志，則答案中含有的平均自信息量是多少？2如果你在不知道今天是星期幾的情況下問(wèn)你的朋友“明天是星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問(wèn)題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序） 3地區(qū)的女孩中有25是大學(xué)生，在女大學(xué)生中

30、有75是身高1.6米以上的，而女孩中身高1.6米以上的占半數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？ 4信源求這信源的熵，并解釋為什么，不滿足信源熵的極值性。 5設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布； 6設(shè)有一批電阻，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W?，F(xiàn)已知2 K阻值的電阻中80%是0.125W，問(wèn)通過(guò)測(cè)量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？ 7黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X黑，白，設(shè)黑色出現(xiàn)的概率為P（黑）0.3，白色的出現(xiàn)概率為P（白）0.7。（1） 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H（X）。（2） 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P（白|白）0.9，P（黑|白）0.1，P（白|黑）0.2，P（黑|黑）0.8，求此一階馬爾可夫信源的熵H2。（3）分別求出上述兩種信源的剩余度，并比較H（X）和H2的大小，并說(shuō)明其物理意義。 8求圖中信道的信道容量及其最