信息論與編碼知識(shí)點(diǎn)分布

1、信息論與編碼知識(shí)點(diǎn)分布注：（1）復(fù)習(xí)過程中參考如下知識(shí)點(diǎn)，重點(diǎn)復(fù)習(xí)教材與多媒體講義中的相關(guān)內(nèi)容，在理解的基 礎(chǔ)上進(jìn)行針對(duì)性公式記憶。（2）期末考試題量較大，題型較為靈活，求解速度很重要。因此復(fù)習(xí)中對(duì)典型例題、講義 中典型習(xí)題、教材中模擬題等要熟練掌握求解方法。第二章信源與信源熵1信源的不確定性2單符號(hào)離散信源（1）單符號(hào)離散信源的數(shù)學(xué)模型XP(X)為，X2,P（X1）,P（X2）,Xi,，P (Xi),XnP(Xn)（2）單符號(hào)離散信源的信息量 自信息量：（自信息量、聯(lián)合信息量、條件信息量及三種信息量的關(guān)系）I(x)log p(Xi)條件信息量:I (Xi / yj)log2 p(Xi / y

2、j)聯(lián)合信息量:I (XiYj) log 2 P(Xi Yj) log 2 p (Yj) p(Xi /yj)I (Xi) I (Xi / Yj) I(Yj) I(Yj/Xi)互信息量:I (Xi) I(yj) I(xyj)P(X / Yj)I(Xi；Yj) log2K I(Xi) I(Xi/Yj)信源熵:1WX)EI(X)印0g 2 而nP(Xi) log2 P(Xi)i 1條件熵:聯(lián)合熵:H(X/Y)EI(Xi / Yj)P(Xi Yj )I (Xi / Yj )H(XY)P(Xi Yj )I (XiYj)i 1 j 1mP(Xi Yj )log 2 P(XiYj )i 1 j 1熵函數(shù)的性

3、質(zhì)：非負(fù)性；對(duì)稱性；最大離散熵定理; 平均互信息量：擴(kuò)展性；可加性；極值性;1客稱L/(A)*（醪"占（丄7?-片0rJQ«陀）HiK)S=n jiJ) jn-ur：F0 曲Tl曲蕊亠ft(tiyJf1畔7/CVO)川需/門三（7）-丹（門=B（占-幵臟打r JH(F m77(1 'A3-/A13=-/tnV-Mli言鳳肋-班JT）斤MH鄧沖曰八-剽JC 7） =尸伏亠也門一即TA jsvr J） 口r J汁AjmJT/cv；n-/(r-nE E.cm-M口 門-jyot-itf-.i. Jf)Fm 甘訂G出r*i=用訪-冃丁"冃口丁 '00各種熵

4、之間的關(guān)系:l(X;Y)i 1P (Xiyj)log2 rXT、I(Y；X) j 1P(X)p(yj)例題：在理解的基礎(chǔ)上求解實(shí)際問題:12 1設(shè)有12妝同值硬幣，耳中有一枚為幣.呂知逋翌祈典帝號(hào)與S幣的帝S不同”但不知究竟jsaif世縊-現(xiàn)比較天平莊右離也輕®的方迭棗«冷.為-任養(yǎng)平上稱出一枚呈假幣.試間辛少必如稱多少）："從£：a論的傅廈S*幣申，某一枚為鍛帀*讖事fr發(fā)生的（ft率為p=吉;亠假幣的啟ft比真的輕啞畝"IS事fr蛙生的槪卑為F-;為確'是殊一枚是毀!,即上迷悶事件的霞合不確從性，由干二丹是S1立的，1®J

5、 = kjel2+log2 = kie24 比特冊(cè)用天平林時(shí)，甘三種可能性：臥輕、相等，三吿壘等舉率的-均為p=p e比氓平毎一扶消瞬:的干確建性為J - b蘭3比站因此，必姒秣的歡數(shù)為E也至少鬧稱；汰*3多符號(hào)離散平穩(wěn)信源離散無記憶擴(kuò)展信源：定義；離散無記憶信源 X的N次擴(kuò)展信源的熵就是離散信源 X的熵的N倍H(Xn) NH (X)離散平穩(wěn)信源：定義；平均符號(hào)熵與極限熵;4馬爾可夫信源：定義；信源狀態(tài)轉(zhuǎn)移圖；各態(tài)遍歷定理；熵計(jì)算第二章無失真信源編碼1信源編碼的分類:"非分細(xì)碼. 詣*r奇異碼.L為鈿碼，1fL非異碼I憔F呵普彎質(zhì)衛(wèi)L即時(shí)碼(非延長碼)2 Kraft不等式與碼樹表示法

6、；平均碼長；編碼效率;3定長編碼定理；變長編碼定理；4香農(nóng)、費(fèi)諾、Huffman、游程編碼、LD編碼、算數(shù)編碼、LZW 編碼的編碼過程。第四章限失真信源編碼1失真測度與失真矩陣；2平均失真度與保真度準(zhǔn)則；3信息率失真函數(shù) R (D)4漢明失真下的的二元信源及其定義域的確定；R ( D)的定義式;5對(duì)稱失真矩陣下 n元等概信源率失真函數(shù)的定義式;6限失真信源編碼定理及應(yīng)用；7多媒體壓縮編碼(了解)第五章信道及信道容量1 一般信道的數(shù)學(xué)模型:P(丫 1 X)P(bi |ai)P(b a)P(b2 |ai).P(a|a2) .P(bm |ai)P(bm a)p(b |an)p(b2 |an).p(b

7、m |an)2信道容量的定義:C max。")bit/信道符號(hào)3信道容量的計(jì)算：特殊的單符號(hào)離散信道的信道容量 一一對(duì)應(yīng)關(guān)系的無損信道P(Xi)C maxl(X;Y) maxH (X) maxH (Y) log2 n log2 mP (Xi)p (x)p(x)具有歸并性能的無噪信道H(X) log2nmax I (X ;Y) maxP (Xi)p(x)具有擴(kuò)展性能的無噪信道強(qiáng)對(duì)稱離散信道的信道容量max"；Y) maxH(Y) log 2 mC max H (Y) H (Y / X )log2 n plog2 P P logm(axH(Y) Hni p2百對(duì)稱離散信道的信道

8、容量（行可排列、列可排列性）C m(aXH(Y) H(Y/X) log2m HGq,，qm)準(zhǔn)對(duì)稱離散信道的信道容量（行可排列，列不可排列-分割）般離散信道的信道容量計(jì)算步驟:JflJW主工/O/斗）d二工P（兒/兀）咤2川兒/從求0廠 戶17=1（釈（2） c = log,工 2內(nèi)由0（兒）=2心1求況打由P（兒）=Z P（兀）/兀L求pg）。4多符號(hào)離散信道：N倍。離散無記憶信道的 N次擴(kuò)展信道，如果信源也是離散無記憶信源的N次擴(kuò)展信源，則信道總的平均互信息量是單符號(hào)離散無記憶信道的平均互信息量的 獨(dú)立并聯(lián)信道（積信道與和信道）N個(gè)獨(dú)立并聯(lián)信道的信道容量等于各個(gè)信道容量之和級(jí)聯(lián)信道其容量用單幅號(hào)信道的信道容量計(jì)算多級(jí)級(jí)聯(lián)信道的總信道矩陣等于所有信道軍陣的乘積。方法即可。第六章 信道編碼1 檢錯(cuò)及糾錯(cuò)的基本原理；2 最小漢明距離與檢錯(cuò)糾錯(cuò)能力；3 奇偶校驗(yàn)碼、重復(fù)碼、等重碼的校驗(yàn)原理；4 最大后驗(yàn)概率準(zhǔn)則譯碼、最大似然準(zhǔn)則譯碼；5 信道編碼定理：對(duì)離散平穩(wěn)無記憶信道，其信道容量為C,輸入序列長度為L。只要實(shí)際信息率 R<C，就必可找到一種編碼，當(dāng) L足夠長時(shí)，譯碼差錯(cuò)概率 Pe <a, a為任意大于零的正數(shù)。反之，若實(shí) 際信息率R>C，則對(duì)任何編碼，Pe必大于零。6 線性