信息論習(xí)題集(共13頁)

1、信息論習(xí)題集 MACROBUTTON MTEditEquationSection2 方程(fngchng)段(下一個) 部分 1 SEQ MTEqn r h * MERGEFORMAT SEQ MTSec r 1 h * MERGEFORMAT SEQ MTChap h * MERGEFORMAT 第二章2.1 同時(tngsh)擲2顆骰子(tu z)，事件A、B、C分別表示：（A）僅有一個骰子是3；（B）至少有一個骰子是4；（C）骰子上點數(shù)的總和為偶數(shù)。試計算A、B、C發(fā)生后所提供的信息量。 2.3 一信源有4種輸出符號，=0，1，2，3，且p()=1/4。設(shè)信源向信宿發(fā)出，但由于傳輸中的干

2、擾，接收者收到后，認為其可信度為0.9。于是信源再次向信宿發(fā)送該符號（），信宿準確無誤收到。問信源在兩次發(fā)送中發(fā)送的信息量各是多少？信宿在兩次接收中得到的信息量又各是多少？ 2.5 一信源有6種輸出狀態(tài)，概率分別為=0.5， =0.25， =0.125， = =0.05， =0.025試計算。然后求消息ABABBA和FDDFDF的信息量（設(shè)信源先后發(fā)出的符號相互獨立），并將之與長度為6的消息序列信息量的期望值相比較。 2.6 中國國家標準局所規(guī)定的二級漢字共6763個。設(shè)每字使用的頻度相等，求一個漢字所含的信息量。設(shè)每個漢字用一個1616的二元點陣顯示，試計算顯示方陣所能表示的最大信息量。顯示

3、方陣的利用率是多少？ 2.7 已知信源發(fā)出和兩種消息，且。此消息在二進制對稱信道上傳輸，信道傳輸特性為，。求互信息量和。 2.8 已知二維隨機變量的聯(lián)合概率分布為：，求。 2.13 有兩個(lin )二元隨機變量和，它們的聯(lián)合概率分布如表2.5所列，同時(tngsh)定義另一隨機變量（一般乘積(chngj)）。試計算：表2.5 0 1 0 1/8 3/8 1 3/8 1/8 熵；（2），和；（3）。2.14 假定形成一個馬爾可夫鏈，那么=，請簡化。 2.15 給定，的聯(lián)合概率分布，如表2.10所示。表2.10 0 1 0 1/3 1/3 1 0 1/3（1），；（2），；（3）；（4）；（5）

4、。 2.23 判斷題 （1）； （2）若與獨立(dl)，則； （3）； （4）如果(rgu)，則要么(yo me)，要么； （5）； （6）； （7）若與獨立，則； （8）。2.24 設(shè)隨機變量的概率分布為。隨機變量是的函數(shù)，其分布為將的4個最小的概率分布合并為一個：。（1）顯然，請解釋原因；（2）請解釋為什么？（3）計算，；（4）計算并解釋其結(jié)果。第三章3.2 有一無記憶信源的符號集為，已知信源的概率空間為。（1）求信源熵；（2）求由個和個構(gòu)成的某一特定序列自信息量的表達式；（3）計算由100個符號構(gòu)成的符號序列的熵。3.3 有一離散無記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計兩個獨立的試驗去觀

5、察它，其結(jié)果分別為，已知條件概率如表3.1所列。表3.101 0 10 10121/21/201010110201 求和，并判斷(pndun)哪一個實驗好些；（2）求，并計算(j sun)做和兩實驗(shyn)比做或中的一個實驗可多得多少關(guān)于的信息；（3）求和，并解釋它們的含義。3.4 某信源符號集的概率分布和對應(yīng)的二進制代碼如表3.6所示。表3.6信源符號 概率1/21/41/81/8代碼010110111（1）求信源符號熵；（2）求平均每個消息符號所需要的二進制碼元的個數(shù)或平均代碼長度，進而用這一結(jié)果求碼序列的二進制碼元的熵；（3）當(dāng)消息是由符號序列組成時，各符號之間若相互獨立，求其對應(yīng)的

6、二進碼序列中出現(xiàn)和的無條件概率和，以及相鄰碼元間的條件概率、和。3.6 一個馬爾可夫過程的基本符號為0，1，2，這3個符號等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率。（1）畫出一階馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的一階馬爾可夫信源熵和信源剩余度；（2）畫出二階馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的二階馬爾可夫信源熵和信源剩余度。3.7 一階馬爾可夫信源的狀態(tài)(zhungti)轉(zhuǎn)移圖如圖3.2，信源的符號(fho)集為。012圖3.2（1）求平穩(wěn)(pngwn)后的信源的概率分布； （2）求信源熵； （3）求當(dāng)或時信源的熵，并說明其理由。 3.8 有一個二元無記憶信源，其發(fā)0的概率為，而，所以在發(fā)出的

7、二元序列中經(jīng)常出現(xiàn)的是那些一串為0的序列，稱高概率序列。對于這樣的信源我們可以用另一新信源來代替，新信源中只包含這些高概率序列。這時新信源，共有個符號，它與高概率的二元序列的對應(yīng)關(guān)系如下： 二元序列：1，01，001，（共個0），（共個0）； 新信源符號：。求；當(dāng)時，求信源的熵。3.9 給定狀態(tài)轉(zhuǎn)移概率矩陣，求：（1）此兩狀態(tài)馬爾可夫鏈的熵率；（2）此熵率的極大值及相應(yīng)的；（3）在達到最大熵率的情況(qngkung)下，求出每一個長序列(xli)的概率。3.11 圖3.4是一張有4個節(jié)點的隨機行走圖，從任何一個(y )節(jié)點走到下一個節(jié)點的概率都相等。4312 圖3.4求隨機行走的穩(wěn)態(tài)分布；求隨

8、機行走的熵率。3.12 求具有如下概率密度函數(shù)的隨機變量的熵。（1）指數(shù)分布；（2）；（3）單邊高斯分布。3.13 連續(xù)隨機變量和的聯(lián)合概率密度為 試求，和。3.16 給定狀態(tài)轉(zhuǎn)移概率矩陣，求：此二狀態(tài)馬爾可夫信源的熵率。3.18 已知一個二元馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率矩陣。（1）求此馬爾可夫信源的熵率；（2）求符號序列1000011的概率（根據(jù)平穩(wěn)分布確定第一個符號的概率）；（3）計算分布函數(shù)當(dāng)=1000011的值。3.23 設(shè)以8000樣值/秒的速率抽樣(chu yn)一語音信號，并以級對抽樣均勻量化，設(shè)抽樣值取各量化值的概率相等(xingdng)，且抽樣間相互統(tǒng)計獨立。求：（1）每抽樣(

9、chu yn)的信息熵；（2）求信源的信息輸出率。第四章4.1 設(shè)一個二元信道如圖4.1所示，其輸入概率空間為，試計算，和。4.2 二元刪除信道有兩個輸入：0，1和3個輸出：0，1，其中表示可檢出但無法糾正的錯誤。信道前向轉(zhuǎn)移概率是 求信道容量。 圖4.1 圖4.24.3 設(shè)某二進制數(shù)字傳輸系統(tǒng)接受判決器的輸入信號電平、噪聲密度分布、及判決電平如圖4.3所示。試求：（1）信道模型；（2）平均互信息；（3）信道容量。圖4.34.4 設(shè)有擾離散信道的輸入(shr)端是以等概率出現(xiàn)的A、B、C、D 4個字母。該信道的正確(zhngqu)傳輸概率為1/2，錯誤傳輸概率平均分布在其它3個字母上。驗證在該

10、信道上每個字母傳輸?shù)钠骄畔⒘繛?.208比特。4.5 信道及它的輸入(shr)、輸出如圖4.5所示。 1 1 1 0 0 圖4.5（1）求最佳輸入分布； （2）求=1/2時的信道容量；（3）求當(dāng)和時的最佳輸入分布值。 4.6 如圖4.6所示把個二元對稱信道串接起來，每個二元對稱信道的錯誤傳遞概率為。證明這個串接信道可以等效于一個二元對稱信道，其錯誤傳遞概率為，并證明，設(shè)或1。二元對稱信道二元對稱信道2二元對稱信道1 圖4.64.8 試畫出三元(sn yun)對稱信道在理想（無噪聲）和強噪聲（輸出不依賴于輸入）的情況下的信道(xn do)模型，設(shè)信道輸入等概率分布。4.9 串聯(lián)(chunlin

11、)信道如圖4.9所示，求總的信道矩陣。圖4.9 4.14 設(shè)某一信號的信息輸出率為5.6 kpbs，噪聲功率譜為mW/Hz，在帶寬=4 kHz的高斯信道中傳輸。試求無差錯傳輸需要的最小輸入功率是多少？4.15 判斷圖4.13中各信道是否對稱，如對稱，求出其信道容量。 （a） （b） （c） （d） （e） （f）圖4.134.16 一個快餐店只提供(tgng)漢堡包和牛排，當(dāng)顧客進店以后只需要向廚房喊一聲“B”或“Z”就表示他點的是漢堡包或牛排，不過通常80%的概率(gil)廚師可能會出錯。一般來說進店的顧客90%會點漢堡包，10%會點牛排。問：（1）這個(zh ge)信道的信道容量；（2）每

12、次顧客點菜時提供的信息；（3）在這個信道可不可以正確地傳遞顧客點菜的信息？4.17 求圖4.14中信道的信道容量及其最佳的輸入概率分布，并求當(dāng)或1/2時的信道容量值。圖4.14第五章5.1 設(shè)為一離散無記憶(jy)信源，其符號集合為，概率分布為，。令信源符號序列(xli)的長度為，假定對所有(suyu)只包含3個以下符號的序列編制長度為的非奇異二進制碼。求：（1）信源的熵及其冗余度；（2）的最小值應(yīng)該為多少？試比較和；（3）信源產(chǎn)生的序列沒有碼字與其對應(yīng)的概率。5.2 用數(shù)列的前8個非零元素構(gòu)成相應(yīng)的概率分布為，對于這樣一個概率分布存在著許多擁有不同碼長分布的最優(yōu)編碼方案。5.3 設(shè)為獨立的二

13、進制隨機變量，并且有，請給出聯(lián)合隨機變量的Huffman編碼，并求其平均碼長。5.4 下面以碼字集合的形式給出5種不同的編碼，第一個碼的碼符號集合為，其他4個碼都是二進制碼。對于上面列出的5種編碼，分別回答下述問題：此碼的碼長分布是否滿足Kraft-McMillan不等式？此碼是否是及時碼？如果不是，請給出反例。此碼是否是唯一可譯碼？如果不是，請給出反例。5.22 一個離散(lsn)無記憶信源，其樣本空間為，符號(fho)出現(xiàn)(chxin)的概率為0.99，出現(xiàn)的概率為0.01.（1）對此信源的二次擴展，求出信源符號序列的概率分布，找出相應(yīng)的Huffman編碼并求平均碼長。（2）對此信源的三次

14、擴展重復(fù)上一問。（3）計算信源的單符號熵并與上兩問中的單符號平均碼長進行比較。（4）要想使得單符號平均碼長只比單符號信源熵大出10%，請問擴展次數(shù)應(yīng)該是多少？5.25 已知離散無記憶信源如下，試求： （1）信源符號熵；（2）相應(yīng)的二元Huffman編碼及其編碼效率；（3）相應(yīng)的三元Huffman編碼及其編碼效率；（4）若要求，采用定長二元碼要求達到第（2）問中的編碼效率，至少需要多少信源符號一起編碼才能實現(xiàn)？第七章7.2 利用的性質(zhì)，畫出一般的曲線，并說明其物理意義？試問為什么是非負且非增的？7.4 令，設(shè)失真矩陣為 對于一個等概率分布的Bernoulli隨機變量，求對應(yīng)的定義域。7.5 令等

15、概率分布的Bernoulli隨機變量，其相應(yīng)的失真測度定義為，請找出使得(sh de)非平凡(pngfn)的；計算(j sun)。7.7 三元信源的概率分布為，失真函數(shù)為 試求：信息失真率；（2）若此信源用容量為1比特/符號和0.1比特/符號的信道傳輸，請分別計算出最小誤碼率。7.8 一個不對稱的失真測度定義為 ， 即：不允許用1來表示0。設(shè)隨機變量的概率分布為，并令表示基于的隨機變量的信息失真函數(shù)。（1）的值是多少？（2）使用的最小是多少？（3）在滿足條件的前提下，找出使得最小并且滿足的。（4）給出之上的信息率失真函數(shù)。7.9 信源遵循上的均勻分布。Hamming 失真定義為 請求出此信源的信息率失真函數(shù)。7.10 一個離散無記憶信源輸出符號等概率分布，失真(sh zhn)函數(shù)定義如