信息論基礎(chǔ)練習(xí)與思考

信息論基礎(chǔ)練習(xí)與思考2023/6/81第一頁，共三十五頁，編輯于2023年，星期二2023/6/82第二章總結(jié)(1)

單符號離散信源①信息量自信息、條件自信息概念、性質(zhì)、計算互信息、條件互信息概念、性質(zhì)、計算互信息的三種表達方式（輸入端、輸出端、系統(tǒng)總體）②熵信息熵的概念、性質(zhì)、計算無條件熵、條件熵（信道疑義度、噪聲熵）平均互信息概念、性質(zhì)、計算平均互信息的三種表達方式平均互信息的凸函數(shù)性I(X;Y)是p(xi)的上凸函數(shù)I(X;Y)是p(yj/xi)的上凸函數(shù)③數(shù)據(jù)處理定理概念④理解各種熵之間的關(guān)系第二頁，共三十五頁，編輯于2023年，星期二2023/6/83(2)多符號離散信源①離散平穩(wěn)無記憶信源概念、計算②離散平穩(wěn)有記憶信源概念、簡單計算條件熵、極限熵概念、簡單計算③馬爾可夫信源概念、極限熵計算④信源冗余度概念、通信效率與可靠性的關(guān)系(3)連續(xù)信源①概念、與離散信源的比較和區(qū)別、簡單計算②理解最大連續(xù)熵定理③熵功率的概念(4)離散無失真信源編碼定理①定長編碼定理②變長編碼定理第三頁，共三十五頁，編輯于2023年，星期二2023/6/84作業(yè)題12.1.設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕。現(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？第四頁，共三十五頁，編輯于2023年，星期二2023/6/85作業(yè)題1解答：在12枚同值硬幣中，哪一枚是假幣，假幣的重量是比真幣的重量重還是輕，都是“無知”、“不確定的”。而用天平比較左右兩邊輕重的測量方法，每測一次，能獲得一定的信息量，能消除部分不確定性，則就能確定出其中一枚假幣及其重量。因此，設(shè)“在12枚同值硬幣中，某一枚為假幣”這事件為,其出現(xiàn)的概率為又設(shè)“假幣的重量比真幣的重量是重或輕”這事件為，其出現(xiàn)的概率為事件的不確定性為事件的不確定性為第五頁，共三十五頁，編輯于2023年，星期二2023/6/86作業(yè)題1要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量就是要消除這兩個事件的不確定性。因為這兩個事件是統(tǒng)計獨立事件，所以需要獲得的信息量為而在天平上稱一次能判斷出三種情況：重、輕和相等，這事件為。這三種情況是等概率的。其概率為。所以，天平測一次能獲得的信息量（即消除的不確定性）為則至少必須稱的次數(shù)為因此至少必須稱三次。第六頁，共三十五頁，編輯于2023年，星期二2023/6/87作業(yè)題22.2.同時扔一對均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c數(shù)之和為2”或“面朝上點數(shù)之和為8”或“骰子面朝上點數(shù)是3和4時”，試問這三種情況分別獲得多少信息量？第七頁，共三十五頁，編輯于2023年，星期二2023/6/88作業(yè)題2解答：骰子一共有六面，某一骰子扔得某一點數(shù)面朝上的概率是相等的，均為1/6。兩骰子面朝上點數(shù)的狀態(tài)共有36種，其中任一狀態(tài)出現(xiàn)都是等概率的，出現(xiàn)概率為1/36。(1)設(shè)“兩骰子面朝上點數(shù)之和為2”是事件A,點數(shù)之和為2的只有一種(1+1)，故有(2)設(shè)“兩骰子面朝上點數(shù)之和為8”是事件B,點數(shù)之和為8的有5種(2+6，6+2，4+4，3+5，5+3)

第八頁，共三十五頁，編輯于2023年，星期二2023/6/89作業(yè)題2(3)設(shè)“骰子面朝上點數(shù)是3和4時”是事件C,點數(shù)為3和4的狀態(tài)只有兩種，即3、4和4、3第九頁，共三十五頁，編輯于2023年，星期二2023/6/810作業(yè)題32.5.一幅充分洗亂了的牌（含52張牌），試問

(1)任一特定排列所給出的信息量是多少？

(2)若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？第十頁，共三十五頁，編輯于2023年，星期二2023/6/811作業(yè)題3解答：(1)任意排列共有種，則任一排列的自信息量為：(2)應(yīng)將點數(shù)相同花色不同的牌看作一類，則任意抽取的13張牌應(yīng)在13類種分別進行。其概率為信息量為：第十一頁，共三十五頁，編輯于2023年，星期二2023/6/812作業(yè)題4第十二頁，共三十五頁，編輯于2023年，星期二2023/6/813作業(yè)題4第十三頁，共三十五頁，編輯于2023年，星期二2023/6/814作業(yè)題52.13.(1)為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷?，需要?×105個象素和10個不同亮度電平，求傳遞此圖像所需的信息率（比特/秒）。并設(shè)每秒要傳送30幀圖像，所有象素是獨立變化的，且所有亮度電平等概率出現(xiàn)？

(2)設(shè)某彩色電視系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度，試證明傳輸該彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率約大2.5倍？第十四頁，共三十五頁，編輯于2023年，星期二2023/6/815作業(yè)題5解答.(1)每個象素亮度信源的概率空間為每個象素亮度含有的信息量每幀圖像信源就是離散亮度信源的無記憶N次擴展信源，可得每幀圖像含有的信息量為每秒30幀，則傳遞此圖像所需的信息率為第十五頁，共三十五頁，編輯于2023年，星期二2023/6/816作業(yè)題5解答.(2)色彩度信源的概率空間為每個色彩度含有的信息量亮度和色彩度是獨立同時出現(xiàn)的，每個象素含有的信息量為在每幀所用象素數(shù)和每秒傳送幀數(shù)相同時，信息率之比為第十六頁，共三十五頁，編輯于2023年，星期二2023/6/817作業(yè)題62.18.設(shè)有一個信源，它產(chǎn)生0,1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。

(1)試問這個信源是否是平穩(wěn)的？

(2)試計算

(3)試計算H(x4)并寫出x4信源中可能有的所有符號。第十七頁，共三十五頁，編輯于2023年，星期二2023/6/818作業(yè)題6解答：(1)信源發(fā)出符號的概率分布與時間平移無關(guān)，而且信源發(fā)出的序列之間也是彼此無依賴的，因此該信源是平穩(wěn)的，而且是離散無記憶信源。

(2)第十八頁，共三十五頁，編輯于2023年，星期二2023/6/819作業(yè)題6

(3)第十九頁，共三十五頁，編輯于2023年，星期二2023/6/820作業(yè)題72.22.一階馬爾可夫信源的狀態(tài)圖如圖2.8所示。信源X的符號集為{0,1,2}。

(1)求信源平穩(wěn)后的概率分布P(0),P(1),P(2)；

(2)求信源的熵H∞。

(3)近似認為此信源為無記憶時，符號的概率分布為平穩(wěn)分布，求近似信源的熵H(X),

并與H∞進行比較。

(4)對一階馬爾可夫信源p取何值時H∞最大，

當(dāng)p=0和p=1時結(jié)果又如何。第二十頁，共三十五頁，編輯于2023年，星期二2023/6/821作業(yè)題7第二十一頁，共三十五頁，編輯于2023年，星期二2023/6/822作業(yè)題7第二十二頁，共三十五頁，編輯于2023年，星期二2023/6/823作業(yè)題7第二十三頁，共三十五頁，編輯于2023年，星期二2023/6/824作業(yè)題7第二十四頁，共三十五頁，編輯于2023年，星期二2023/6/825作業(yè)題82.23.一階馬爾可夫信源的狀態(tài)圖如圖2.9所示。信源X的符號集為{0,1,2}。

(1)求平穩(wěn)后信源的概率分布；

(2)求信源的熵H∞。

(3)求當(dāng)p=0和p=1時信源的熵，并說明理由。第二十五頁，共三十五頁，編輯于2023年，星期二2023/6/826作業(yè)題8第二十六頁，共三十五頁，編輯于2023年，星期二2023/6/827作業(yè)題8第二十七頁，共三十五頁，編輯于2023年，星期二2023/6/828作業(yè)題92.25.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑,白}。設(shè)黑色出現(xiàn)的概率為P(黑)=0.3，白色的出現(xiàn)概率P(白)=0.7。

(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)；

(2)假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2(X)；

(3)分別求上述兩種信源的剩余度，比較和的大小，并說明其物理意義。第二十八頁，共三十五頁，編輯于2023年，星期二2023/6/829作業(yè)題9第二十九頁，共三十五頁，編輯于2023年，星期二2023/6/830作業(yè)題9

(2)第三十頁，共三十五頁，編輯于2023年，星期二2023/6/831作業(yè)題9

(3)第三十一頁，共三十五頁，編輯于2023年，星期二2023/6/832練習(xí)題11.設(shè)有一非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點數(shù)成正比，試求各點出現(xiàn)時所給出的信息量，并求扔一次平均得到的信息量。第三十二頁，共三十五頁，編輯于2023年，星期二2023/6/833練習(xí)題22.證明離散平穩(wěn)信源有第三十三頁，共三十五頁，編輯于2023年，星期二2023/6/8343.每幀電視圖像可以認為是由3×105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概率出現(xiàn)，問每幀圖像含有多少信息量？若有