信息論編碼與基礎(chǔ)課后題(第二章)

信息論編碼與基礎(chǔ)課后題(第二章)第二章習(xí)題解答2-1、試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。設(shè)某班學(xué)生在一次考試中獲優(yōu)（A）、良（B）、中（C）、及格（D）和不及格（E）的人數(shù)相等。當(dāng)教師通知某甲：“你沒(méi)有不及格”，甲獲得了多少比特信息？為確定自己的成績(jī)，甲還需要多少信息？解：根據(jù)題意，“沒(méi)有不及格”或“pass”的概率為因此當(dāng)教師通知某甲“沒(méi)有不及格”后，甲獲得信息

在已知“pass”后，成績(jī)?yōu)椤皟?yōu)”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：為確定自己的成績(jī)，甲還需信息3、中國(guó)國(guó)家標(biāo)準(zhǔn)局所規(guī)定的二級(jí)漢字共6763個(gè)。設(shè)每字使用的頻度相等，求一個(gè)漢字所含的信息量。設(shè)每個(gè)漢字用一個(gè)的二元點(diǎn)陣顯示，試計(jì)算顯示方陣所能表示的最大信息。顯示方陣的利用率是多少？解：由于每個(gè)漢字的使用頻度相同，它們有相同的出現(xiàn)概率，即 因此每個(gè)漢字所含的信息量為 每個(gè)顯示方陣能顯示種不同的狀態(tài)，共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5)7、某一無(wú)記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求信源熵；(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1(3)計(jì)算(2)中序列的熵。解：(1)(2)(3)8、某地區(qū)的女孩中有25％是大學(xué)生，在女大學(xué)生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半數(shù)一半。假如我們得知“身高解：設(shè)A為女大學(xué)生，B為1.6米以上的女孩，則依題意有:，，，，所以信息量為=1.415比特9、設(shè)離散無(wú)記憶信源=，其發(fā)出的消息為（202120130213001203210110321010021032011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？解：(1)因?yàn)殡x散信源是無(wú)記憶的，所以發(fā)出的消息序列中各符號(hào)是無(wú)依賴且統(tǒng)計(jì)獨(dú)立的。因此，此消息的自信息就為該消息中各符號(hào)自信息之和。I（）=?logP（）=?log=1.415比特I（）=?logP（）=?log=2比特I（）=?logP（）=?log=2比特I（）=?logP（）=?log=3比特則此消息的自信息是：I=18I（）+13I（）+12I（）+6I（）181.415+132+122+6393.47比特(2)此消息中平均每個(gè)符號(hào)攜帶的信息量是：I=93.47491.91比特/符號(hào)10、從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7％，女性發(fā)病率為0.5％，如果你問(wèn)一位男同志：“你是否是紅綠色盲？”他的回答可能是“是”，可能是“否”，問(wèn)這二個(gè)答案中各含多少信息量？平均每個(gè)回答中含有多少信息量？如果你問(wèn)一位女同志，則答案中含有的平均自信息量是多少？解：（1）若男同志回答“是”：I＝log(1/7%)＝3.84bit回答“否”：I＝log(1/93%)＝0.1bit平均信息量為：I＝－7%log7%－93%log93%＝0.36bit（2）若問(wèn)女同志，平均信息量為：I＝－0.5%log0.5%－99.5%log99.5%＝0.045bit11、設(shè)信源求這信源的熵，并解釋為什么，不滿足信源熵的極值性。解：信源的熵為：bit/符號(hào)是因?yàn)榇诵畔⒌模粷M足信息熵極值性的條件。12、設(shè)離散無(wú)記憶信源，其符號(hào)集為，已知其相應(yīng)的概率分布為。設(shè)另一離散無(wú)記憶信源，其符號(hào)數(shù)為信源符號(hào)數(shù)的兩倍：，并且各符號(hào)的概率分布滿足：試求信源的信息熵與信源的信息熵的關(guān)系式。解：13、有一概率空間，其概率分布為{,,…,}，并有>。若取=，=，其中，其他概率不變。試證明由此所得新的概率空間的熵是增加的，并用熵的物理意義加以解釋。證明:開(kāi)因?yàn)閒(x)=-xlogx是∩型凸函數(shù)，根據(jù)∩型函數(shù)的性質(zhì)有：同理有：兩式相加，得：H()>H(X)物理意義：當(dāng)信源部分符號(hào)趨于等概分布時(shí)，信源的熵是增加的。14、（1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶?duì)比度，需要用5×105個(gè)像素和10個(gè)不同的亮度電平，求傳遞此圖像所需的信息率（比特/秒）。并設(shè)每秒要傳送30幀圖像，所有像素獨(dú)立變化，且所有亮度電平等概率出現(xiàn)。（2）設(shè)某彩電系統(tǒng)，除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外，還必須有30個(gè)不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率約是黑白系統(tǒng)的信息率的2.5倍。解：（1）因?yàn)槊繋瑘D象可以看成是離散的數(shù)字圖象，每個(gè)像素的亮度是隨機(jī)而且等概率出現(xiàn)的，則每個(gè)像素亮度信源的概率空間為：==1每個(gè)像素亮度含有的信息量為：H(X)=log2103.32比特/像素=1哈特/像素現(xiàn)在，所有的像素是獨(dú)立變化的，則每幀圖象可以看成是離散亮度信源的無(wú)記憶N次擴(kuò)展信源。故，每幀圖象含有的信息量是：H(XN)=NH(X)=5105log10=5105哈特/幀1.66106比特/幀而每秒傳送30幀圖象，則傳遞這個(gè)圖象所需要的信息率為R1=30H(XN)=1.5106哈特/秒4.98107比特/秒（2）證明：每個(gè)像素具有10個(gè)不同的亮度和30個(gè)色彩度。由上面的計(jì)算得亮度等概率出現(xiàn)的情況下，每個(gè)像素含有的信息量是：H(X)=log2103.32比特/像素。每個(gè)像素的色彩度也是等概率出現(xiàn)的，則色彩度信源的概率空間為：==1每個(gè)像素色彩度含有的信息量：H(Y)=log2304.91比特/像素而亮度和色彩度是相互獨(dú)立的，所以亮度和色彩度同時(shí)出現(xiàn)，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log3008.23比特/像素如果每幀所用的像素?cái)?shù)和每秒傳送的幀數(shù)都相同的情況下，傳輸這彩色系統(tǒng)的信息率與傳輸黑白系統(tǒng)的信息率之比就等于彩色系統(tǒng)每像素含有的信息量與黑白系統(tǒng)每像素含有的信息量之比：=2.5證畢。15、每幀電視圖像可以認(rèn)為是由5×105個(gè)像素組成，所有像素均是獨(dú)立變化，且每一像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問(wèn)每幀圖像含有多少信息量?現(xiàn)有一廣播員在約10000個(gè)漢字的字匯中選1000個(gè)字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴)?若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字?解:∵亮度電平等概率出現(xiàn)∴每個(gè)像素所含的信息量為H(X)=log128=7bit/像素。而每個(gè)像素均是獨(dú)立變化的∴每幀電視圖像所包含的信息量為H(X)=5×105H(X)=3.5×106bit∵假設(shè)漢字字匯是等概率分布∴每個(gè)漢字出現(xiàn)的概率均為從而每個(gè)漢字?jǐn)y帶的信息量為log10000=13.2877bit/字∵漢字間彼此無(wú)依賴，廣播員口述的1000個(gè)漢字所廣播的信息量為1000×13.2877=13287.7bit若要恰當(dāng)?shù)孛枋鰣D像，廣播員在口述中至少需要的漢字?jǐn)?shù)為≈2.63*10^5個(gè)漢字。16、為了傳輸一個(gè)由字母A、B、C、D組成的符號(hào)集，把每個(gè)字母編碼成兩個(gè)二元碼脈沖序列，以00代表A，01代表B，10代表C，11代表D。每個(gè)二元脈沖寬度為5ms。（1）不同字母等概率出現(xiàn)時(shí)，計(jì)算傳輸?shù)钠骄畔⑺俾?；?）若每個(gè)字母出現(xiàn)的概率分別為，試計(jì)算傳輸?shù)钠骄畔⑺俾?。解：?）由題可知，當(dāng)不同字母等概率出現(xiàn)時(shí)，平均自信息量為：H(x)=log4=2(比特/字母)又因?yàn)槊總€(gè)二元脈沖寬度為5ms，故一個(gè)字母的脈沖寬度為10ms則字母的傳輸速率為100字母/秒故傳輸?shù)钠骄畔⑺俾蕿椋?00比特/秒(2)當(dāng)每個(gè)字母分別以題中的概率出現(xiàn)時(shí)，平均自信息量為：H(x)=－∑P(ai)logP(ai)=(1/2)*log2+(1/4)*log4+2*(1/8)*log8=1.75(比特/字母)同樣字母的傳輸速率為100個(gè)/秒故傳輸?shù)钠骄畔⑺俾蕿椋?75比特/秒17、證明：。答案略。18、設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的消息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。(1)試問(wèn)這個(gè)信源是否是平穩(wěn)的？(2)試計(jì)算，及；(3)試計(jì)算并寫出信源中可能有的所有符號(hào)。解：(1)因?yàn)樾旁窗l(fā)出符號(hào)的概率分布與時(shí)間平移無(wú)關(guān)，而且信源發(fā)出的序列之間也是彼此無(wú)依賴的。所以這個(gè)信源是平穩(wěn)信源，是離散無(wú)記憶信源。(2)＝，計(jì)算H(X)≈0.971bit/符號(hào)因?yàn)樾旁词瞧椒€(wěn)無(wú)記憶信源，所以H(X2)=2H(X)≈1.942bit/兩個(gè)符號(hào)H(X3|X1X2)=H(X3)=H(X)≈0.971比特/符號(hào)===H(X)≈0.97bit/符號(hào)(3)H(X4)=4H(X)≈3.884bit/四個(gè)符號(hào)可能的所有16個(gè)符號(hào):000000010010001101000101011001111000100110101011110011011110111119、有一個(gè)二元無(wú)記憶信源，其發(fā)0的概率為，而約等于1，所以在發(fā)出的二元序列中經(jīng)常出現(xiàn)的是那些一串為0的序列（稱為高概率序列）。對(duì)于這樣的信源我們可以用另一新信源來(lái)代替，新信源中只包含這些高概率序列。這時(shí)新信源，共有n+1個(gè)符號(hào)，它與高概率的二元序列的對(duì)應(yīng)關(guān)系如下：二元序列：1,01,001,0001,…,00…01(n位),00…000(n位)新信源符號(hào)：（1）求；（2）當(dāng)時(shí)求信源的熵。解：依題意，因?yàn)槭嵌獰o(wú)記憶信源，在發(fā)出的二元序列中符號(hào)之間彼此是無(wú)依賴的，統(tǒng)計(jì)獨(dú)立的，所以有：1,2由此可得新信源Sn為：證明滿足完備性：因?yàn)樗?，則：20、有一信源，它在開(kāi)始時(shí)以，，的概率發(fā)出。如果為時(shí)，則為的概率為1/3；如果為，為的概率為1/3；如果為，為的概率為1/2，為的概率為0，而且后面發(fā)出的概率只與有關(guān)，又，。試?yán)民R爾可夫信源的圖示法畫出狀態(tài)轉(zhuǎn)移圖，并計(jì)算信源熵。解：由題可得，狀態(tài)轉(zhuǎn)移圖為：a:0.6a:0.6b:0.3c:0.1b:1/2a:1/2c:1/3a:1/3c:1/3a:1/3b:1/3b:1/3abcabcabcaE0E1E2E3E4E5E6E7E8E9E10E11b可見(jiàn)，狀態(tài)E1和E4、E7、E10的功能是完全相同的，狀態(tài)E2和E5、E8、E11的功能是完全相同的，狀態(tài)E3和E6、E12的功能是完全相同的。其中E0是過(guò)渡狀態(tài)，而E1、E2、E3組成一個(gè)不可約閉集，具有遍歷性。故有如下的狀態(tài)轉(zhuǎn)移圖A;由于此馬爾可夫信源的狀態(tài)必然會(huì)進(jìn)入這個(gè)不可約閉集，所以計(jì)算信源熵時(shí)，可以不考慮過(guò)渡狀態(tài)和過(guò)渡過(guò)程。由此，可得狀態(tài)E1、E2、E3的極限概率：Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E3)=1/3Q(E1)+1/3Q(E2)Q(E1)+Q(E2)+Q(E3)=1可得：Q(E1)=Q(E2)=3/8，Q(E3)=1/4c:1/3c:1/3c:1/3b:1/2b:1/3c:0.1b:0.3a:0.6c:1/3b:1/2a:1/3E2E3E0E1a:1/3圖A所以H∞=H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)=1.4388(比特/符號(hào))21、一階馬爾可夫信源的狀態(tài)圖如題圖2-21所示，信源的符號(hào)集為并定義。求信源平穩(wěn)后的概率分布；求此信源的熵；近似認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布等于平穩(wěn)分布。求近似信源的熵并與進(jìn)行比較；對(duì)一階馬爾可夫信源，取何值時(shí)取最大值？又當(dāng)時(shí)結(jié)果如何？解：（1），由圖可得于是得到整理計(jì)算得即據(jù)一階馬爾可夫信源的熵的表達(dá)式可得信源近似為無(wú)記憶信源，符號(hào)的概率分布等于平穩(wěn)分布，則此信源得到：由此計(jì)算結(jié)果可知求一階馬爾可夫信源的最大值。因?yàn)榍笃鋵?duì)p的一階導(dǎo)數(shù)令，得，所以，所以時(shí)，達(dá)到最大值；的最大值等。當(dāng)時(shí)當(dāng)時(shí)由此可以看出上面的結(jié)論是正確的。2-22一階馬爾可夫信源的狀態(tài)圖如題圖2-22所示，信源的符號(hào)集為{0,1,2}。求平穩(wěn)后信源的概率分布；求信源的熵；求當(dāng)=0和=1時(shí)信源的熵，并說(shuō)明其理由。解：（1）由圖可知一階馬爾可夫信源的狀態(tài)空間E=A={0,1,2}。平穩(wěn)后信源的概率分布就等于一階馬爾可夫信源狀態(tài)的極限分布，即Q(Ei)＝P(ai)i＝1,2,3Ei∈E,ai∈A,而E＝A從狀態(tài)圖中分析可知，這三個(gè)狀態(tài)都是正規(guī)常返態(tài)，所以此馬爾可夫鏈具有各態(tài)歷經(jīng)性，平穩(wěn)后狀態(tài)的極限分布存在?？傻脿顟B(tài)一步轉(zhuǎn)移矩陣，得Q(0)＝Q(1)＝Q(2)＝1/3則可得P(0)＝P(1)＝P(2)＝1/3(2)一階馬爾可夫信源的熵H∞＝H2＝∑I=13Q(Ei)H(X∣Ei)＝P(0)H(X∣E)+P(1)H(X∣1)+P(2)H(X∣2)＝1/3H(P1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)＝-P1㏒P1-P㏒P＝H(P)(3)當(dāng)P＝0,H∞＝0當(dāng)P＝1,H∞＝1因?yàn)樾畔㈧厥潜硎拘旁吹钠骄淮_定性，題中當(dāng)P=1或P=0時(shí)表明信源從某一狀態(tài)出發(fā)轉(zhuǎn)移到另一狀態(tài)的情況是一定發(fā)生或一定不發(fā)生，即是確定的事件。當(dāng)P=1時(shí)，從0狀態(tài)一定轉(zhuǎn)移到2狀態(tài)，2狀態(tài)一定轉(zhuǎn)移到1狀態(tài)，1狀態(tài)一定轉(zhuǎn)移到0狀態(tài)。所以不論從何狀態(tài)起信源輸出的序列一定是021021序列，完全確定的。當(dāng)P=0時(shí)，0狀態(tài)永遠(yuǎn)處于0狀態(tài)，1狀態(tài)永遠(yuǎn)處于1狀態(tài)，2狀態(tài)用于處于2狀態(tài)。信源輸出的符號(hào)序列也是確定的。所以當(dāng)P=1或P=0時(shí)，信源輸出什么符號(hào)不存在不確定性，完全是確定的，因此確定信源的信息熵等于零。23、設(shè)有一個(gè)馬爾可夫信源，它的狀態(tài)集為，符號(hào)集為，其在某狀態(tài)下發(fā)出符號(hào)的概率為，，如題圖2-23所示。題圖2-23求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號(hào)的極限概率。計(jì)算信源處在某一狀態(tài)下輸出符號(hào)的條件熵，。求出馬爾可夫信源熵。解:(1)此信源的狀態(tài)集不等于符號(hào)集，從狀態(tài)轉(zhuǎn)移圖可知狀態(tài)轉(zhuǎn)移矩陣:P=從圖可知此狀態(tài)馬爾可夫鏈?zhǔn)菚r(shí)齊的，狀態(tài)數(shù)有限的和是不可約閉集，所以其具有各態(tài)歷經(jīng)性，平穩(wěn)后狀態(tài)的極限概率分布存在。得到如下方程組：Q(s1)=Q(s3)Q(s2)=3/4Q(s1)+1/2Q(s2)Q(s3)=1/4Q(s1)+1/2Q(s2)Q(s1)+Q(s2)+Q(s3)=1解得：Q(s1)=2/7，Q(s2)=2/7，Q(s3)=3/7符號(hào)的極限概率P(ak)=所以P(a1)=Q(s1)P(a1|s1)+Q(s2)P(a1|s2)+Q(s3)P(a1|s3)=3/7，P(a2)=2/7，P(a3)=2/7(2)信源處于某一狀態(tài)下的輸出符號(hào)的條件熵 H(X|sj)=-j=1,2,3H(X|s1)=-P(a1|s1)logP(a1|s1)-P(a2|s1)logP(a2|s1)-P(a3|s1)logP(a3|s1)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5比特/符號(hào) H(X|s2)=H(0,1/2,1/2)=1比特/符號(hào) H(X|s2)=H(1,0,0)=0比特/符號(hào)（3）馬爾可夫信源熵H∞= =Q(s1)H(X|s1)+Q(s2)H(X|s2)+Q(s3)H(X|s3)=2/7×1.5+3/7×1+0=6/7比特/符號(hào)≈0.857比特/符號(hào)2-24黑白氣象傳真圖的消息只有黑色和白色兩種，即信源＝{黑，白}，設(shè)黑色出現(xiàn)的概率為P（黑）＝0.3，白色出現(xiàn)的概率為P（白）＝0.7。（1）假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；（2）假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P（白|白）＝0.9，P（黑|白）＝0.1，P（白|黑）＝0.2，P（黑|黑）＝0.8，求此一階馬爾可夫信源的熵；（3）分別求出上述兩種信源的剩余度，比較和的大小，并說(shuō)明其物理意義。解：（1）如果圖上黑白消息出現(xiàn)沒(méi)有關(guān)聯(lián)，則熵為：H（X）=H（0.7，0.3）=0.881bit/符號(hào)