第二章總結(jié)與習(xí)題

第二章總結(jié)(1)單符號(hào)離散信源①信息量自信息、條件自信息概念、性質(zhì)、計(jì)算互信息、條件互信息概念、性質(zhì)、計(jì)算互信息的三種表達(dá)方式（輸入端、輸出端、系統(tǒng)總體）②熵信息熵的概念、性質(zhì)、計(jì)算無(wú)條件熵、條件熵（信道疑義度、噪聲熵）平均互信息概念、性質(zhì)、計(jì)算平均互信息的三種表達(dá)方式平均互信息的凸函數(shù)性I(X;Y)是p(ai)的上凸函數(shù)I(X;Y)是p(bj/ai)的上凸函數(shù)③數(shù)據(jù)處理定理概念④理解各種熵之間的關(guān)系2/5/20231(2)多符號(hào)離散信源①離散平穩(wěn)無(wú)記憶信源概念、計(jì)算②離散平穩(wěn)有記憶信源概念、簡(jiǎn)單計(jì)算條件熵、極限熵概念、簡(jiǎn)單計(jì)算③馬爾可夫信源概念、極限熵計(jì)算④信源冗余度概念、通信效率與可靠性的關(guān)系(3)連續(xù)信源①概念、與離散信源的比較和區(qū)別、簡(jiǎn)單計(jì)算②理解最大連續(xù)熵定理③熵功率的概念(4)離散無(wú)失真信源編碼定理①定長(zhǎng)編碼定理②變長(zhǎng)編碼定理2/5/20232作業(yè)題12.1試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。

2/5/20233作業(yè)題22.2.一幅充分洗亂了的牌（含52張牌），試問(wèn)(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？2/5/20234作業(yè)題2解答：(1)任意排列共有種，則任一排列的自信息量為：(2)應(yīng)將點(diǎn)數(shù)相同花色不同的牌看作一類，則任意抽取的13張牌應(yīng)在13類種分別進(jìn)行。其概率為信息量為：2/5/20235作業(yè)題32.3.居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？

2/5/20236作業(yè)題3解答：設(shè)隨機(jī)變量X代表女孩子學(xué)歷:設(shè)隨機(jī)變量Y代表女孩子身高

Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.52/5/20237作業(yè)題3已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2/5/20238作業(yè)題42.4.設(shè)離散無(wú)記憶信源為:其發(fā)出的信息為:(202120130213001203210110321010021032011223210)求:(1)此消息的自信息量是多少？(2)此消息中平均每符號(hào)攜帶的信息量是多少？2/5/20239作業(yè)題4解(1)此消息總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因此此消息發(fā)出的概率是：此消息的信息量是：

(2)此消息中平均每符號(hào)攜帶的信息量是：

2/5/202310作業(yè)題52.5從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問(wèn)一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問(wèn)這兩個(gè)回答中各含多少信息量，平均每個(gè)回答中含有多少信息量？如果問(wèn)一位女士，則答案中含有的平均自信息量是多少？2/5/202311作業(yè)題5解：男士發(fā)病的分布：2/5/202312作業(yè)題5解：女士發(fā)病的分布：2/5/202313作業(yè)題62/5/202314作業(yè)題62/5/202315作業(yè)題72.7.同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時(shí)出現(xiàn)”這事件的自信息量；(2)“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合(無(wú)序?qū)?的熵或平均信息量；(4)兩個(gè)點(diǎn)數(shù)之和(即構(gòu)成的子集)的熵；(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。2/5/202316作業(yè)題72/5/202317作業(yè)題72/5/202318作業(yè)題72/5/202319作業(yè)題82.8.證明：H(X1X2

…Xn)≤H(X1)+H(X2)+…+H(Xn)。證明：2/5/202320作業(yè)題92.9證明：H(X3/X1X2)≤H(X3/X1)，并說(shuō)明等式成立的條件。證明：2/5/202321作業(yè)題91離散時(shí)間隨機(jī)過(guò)程。該過(guò)程中，在給定當(dāng)前知識(shí)或信息的情況下，過(guò)去（即當(dāng)期以前的歷史狀態(tài)）對(duì)于預(yù)測(cè)將來(lái)（即當(dāng)期以后的未來(lái)狀態(tài)）是無(wú)關(guān)的2/5/202322作業(yè)題102.10對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下：

2/5/202323作業(yè)題10若把這些頻度看作概率測(cè)度，求:(1)忙閑的無(wú)條件熵；(2)天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熵；(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解：設(shè)X、Y、Z分別表示{忙閑}、{晴雨}和{冷暖}，(1)先求忙閑的概率分布2/5/202324作業(yè)題10(2)2/5/202325作業(yè)題10(3)=0.105比特/符號(hào)2/5/202326作業(yè)題112.11有兩個(gè)二元隨機(jī)變量，它們的聯(lián)合概率為并定義另一隨機(jī)變量Z=XY(一般乘積)。試計(jì)算：(1)(2)(3)YX

x1=0x2=1y1=0y2=11/83/83/81/8和

2/5/202327作業(yè)題112/5/202328作業(yè)題112/5/202329作業(yè)題112/5/202330作業(yè)題112/5/202331作業(yè)題112/5/202332作業(yè)題11(3)2/5/202333作業(yè)題122.12有兩個(gè)隨機(jī)變量X和Y，其和為Z=X+Y（一般加法），若X和Y相互獨(dú)立，求證：H(X)≤H(Z),H(Y)≤H(Z)。

由對(duì)離散型,值不同,但概率一樣.2/5/202334作業(yè)題132.13設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。(1)試問(wèn)這個(gè)信源是否是平穩(wěn)的？(2)試計(jì)算H(X2),H(X3/X1X2)及H∞；(3)試計(jì)算H(X4)并寫(xiě)出X4信源中可能有的所有符號(hào)。2/5/202335作業(yè)題13(3)2/5/202336作業(yè)題142.14設(shè)X=X1,X2,…,XN是平穩(wěn)離散有記憶信源，試證明：P44略2/5/202337作業(yè)題152.15某一無(wú)記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵；(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1”）的自信息量的表達(dá)式；(3)計(jì)算(2)中序列的熵。2/5/202338作業(yè)題152/5/202339作業(yè)題162.162/5/202340作業(yè)題16(1)2/5/202341作業(yè)題162/5/202342作業(yè)題172.17.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑,白}。設(shè)黑色出現(xiàn)的概率為P(黑)=0.3，白色的出現(xiàn)概率P(白)=0.7。(1)假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵H(X)；(2)假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2(X)；(3)分別求上述兩種信源的剩余度，比較和的大小，并說(shuō)明其物理意義。2/5/202343作業(yè)題172/5/202344作業(yè)題17(2)H2(X)2/5/202345作業(yè)題17(3)2/5/202346作業(yè)題182.18每幀電視圖像可以認(rèn)為是由3105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？2/5/202347作業(yè)題182/5/202348作業(yè)題192.192/5/202349作業(yè)題19其中因?yàn)?/5/202350作業(yè)題19正態(tài)2/5/202351作業(yè)題202.202/5/202352作業(yè)題202/5/202353作業(yè)題202/5/202354作業(yè)題202/5/2023