北航信息科學(xué)基礎(chǔ)答案離散信源

3.1設(shè)有一離散無(wú)記憶信源，其概率空間為XP(X)X1=0X2=1X3=2X4XP(X)3/81/41/41/8該信源發(fā)出的信息序列為。求：此消息的自信息量是多少？此消息中平均每符號(hào)攜帶的信息量是多少？解：(1)此消息總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因此消息發(fā)出的概率是：848此消息的信息量是：I--logp=87.811bit⑵此消息中平均每符號(hào)攜帶的信息量是：I/n二87.811/45=1.951bit3.2某一無(wú)記憶信源的符號(hào)集為｛0,1｝，已知信源的概率空間為PLPLPL01PL011/43/4求信息符號(hào)的平均熵；⑵由100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列(例如有m個(gè)“0”和(100-m個(gè)“1”)的自信息量的表達(dá)式；⑶計(jì)算⑵中序列的熵。解：(1)H(X)H(X)=-'p(Xi)logp(x)H(X)=-'p(XH(X)=-'p(Xi)logp(x)^log--log-^-0.811bit4444I(xj二-logp(G二-log10^=41.51.585mbit4H(X100)=100H(X)=1000.811=81.1bit3.5某信源的消息符號(hào)集的概率分布和二進(jìn)制代碼如題表3.2所列題表3.2

信源UoU1U2U3P1/21/41/81/8代碼010110111求信息的符號(hào)熵；求每個(gè)消息符號(hào)所需要的平均二進(jìn)制碼的個(gè)數(shù)或平均代碼長(zhǎng)度。進(jìn)而用這一結(jié)果求碼序列中的一個(gè)二進(jìn)制碼的熵；當(dāng)消息是由符號(hào)序列組成時(shí)，各符號(hào)之間若相互獨(dú)立，求其對(duì)應(yīng)的二進(jìn)制碼序列中出現(xiàn)0和1的無(wú)條件概率Po和Pi，求相鄰碼間的條件概率Po/1、P1/0、Pi/1、Po/o。解：(1)TOC\o"1-5"\h\zL(1111111H(X)-p(xjlogp(xjloglogloglog1.75bit^22448888)⑵1111L=E(lJ八p(xi)li12—3—3=1.75248811Hn(X)H(X)H(X)=1bitNL設(shè)消息序列長(zhǎng)為設(shè)消息序列長(zhǎng)為設(shè)消息序列長(zhǎng)為N，則設(shè)消息序列長(zhǎng)為N，則Lb、U1、U2、U3的個(gè)數(shù)分別為N/2,N/4,N/8,N/8個(gè)。而1的個(gè)數(shù)為N0N1而1的個(gè)數(shù)為N0N1N2一3=7—2因而Po=P1=0.51Po/1二P10/P1二彳Po/o二Poo/Po則0的個(gè)數(shù)為—1—1一1一0=——11P1/1=P11P1/1=P11/P1P1/1=P11/P1P1/0=P01/P1=4888123.7設(shè)有一個(gè)信源，它產(chǎn)生0,1序列的信息。該信源在任意時(shí)間而且不論以前發(fā)生過(guò)什么消息符號(hào)，均按P(0)P1/1=P11/P14888(1)試問(wèn)這個(gè)信源是否是平穩(wěn)的；

⑵試計(jì)算H(W),H(%/XiXO及吐；試計(jì)算出乂)并寫出乂信源中可能有的所有符號(hào)。解：(1)這個(gè)信源是平穩(wěn)無(wú)記憶信源。因?yàn)橛羞@些詞語(yǔ)：“它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)⑵H(X2)=2H(X)—2(0.4log0.40.6log0.6)=1.942bitH(X3/X!X2)=H(X3)=p(xjlogp(xj(0.4log0.40.6log0.6)=0.971bitiH一一=limH(Xn/X.X2...XNJ二H(Xn)=0.971bit-N⑶H(X4)=4H(X)—4(0.4log0.40.6log0.6)=3.884bitX4的所有符號(hào):0000000100100011010001010000000100100011010001010100010101100111100001000101011001111000100011003.11有一馬爾可夫信源，已知轉(zhuǎn)移概率為p(S!/S100011003.11有一馬爾可夫信源，已知轉(zhuǎn)移概率為p(S!/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，3.11有一馬爾可夫信源，已知轉(zhuǎn)移概率為p(S!/S1)=2/3，3.11有一馬爾可夫信源，已知轉(zhuǎn)移概率為p(S!/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，P0/S2)=0。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。解：；p(S)=p(s)p(s/S)十p(S2)p(S/S2)?P(S2)=P(S2)P(S2/S2)+P(S)P(S2/S)「2p(SJ=：p(S)+p(S2)?31P(S2)=3p(S1)L-3彳P(S2)=￡P(guān)(S1)P(S1)p(S2)=1「P(S1)=3/4用2)=1/4=-EEp(S)P(Sj/S)logp(Sj/S)ij22311loglog33433=0.689bit3.21黑白傳真機(jī)的信息元只有黑色和白色兩種X=｛黑，白｝，一般氣象圖上黑色出現(xiàn)的概率為P（黑）=0.3，白色出現(xiàn)的概率為P（白）=0.7，黑白消息前后沒(méi)有關(guān)聯(lián)，其轉(zhuǎn)移概率為P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8。求該一階馬爾可夫信源的不確定性H（X/X），并畫出該信源的狀態(tài)轉(zhuǎn)移圖。解：3.21黑白傳真機(jī)的信息元只有黑色和白色兩種X=｛黑，白｝，一般氣象圖上黑色出現(xiàn)的概率為P（3.21黑白傳真機(jī)的信息元只有黑色和白色兩種X=｛黑，白｝，一般氣象圖上黑色出現(xiàn)的概率為P（黑）=0.3，白色出現(xiàn)的概率為P（白）=0.7，黑白消息前后沒(méi)有關(guān)聯(lián)，其轉(zhuǎn)移概率為P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8。求該一階馬爾可夫信源的不確定性H（X/X），并畫出該信源的狀態(tài)轉(zhuǎn)移圖。解：門)*(3)卩心/3)+P(S2)P(S/S2)f(S2)=P(S2)P(S2/S2)+p(Sl)P(S2/Sl)/(SJ=0.8p(S)+0.1p(S2)f(S2)=0.9p(￡)+0.2p(SJ；p(S2)=2p(SJiP(S**81)+p(S2)=〔「PG)=1/3f(S2)=2/3H：：-八-p(S」p(Sj/Si)logp(Sj/S)ij11223333p黑/黑)=0.8=0.553bit3.23設(shè)信源產(chǎn)生A,B,C三種符號(hào)p(B/B)=1/2，p(A/B)=p(C/B)=1/4，p(A/A)=5/8，p(B/A)=1/4，p(C/A)=1/8，p(C/C)=5/8，p(B/C)=1/4，p(A/C)=1/8。試計(jì)算冗余度。解：”P(Sa)=P(Sb)=P(Sc)jP(Sa)+p(Sb)+p(Sc)=1P(Sa)=1/3P(sb)=1/3P(Sc)=1/3TOC\o"1-5"\h\z333H^=—送送瓦p(e)p(ej/e)logp(ej/ejjk155111111loglogplog-IL38834438811,111,111,1+Xlog+Xlog+Xlog344322344111111155logloglog388344388=1.366bitr=1—H1-1.366=0.138Holog33.26一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號(hào)集為{0,1,2}（1）求平穩(wěn)后信源的概率分布；⑵求信源的熵比。P（P（S1）“P（S2）P（S3）(1)TOC\o"1-5"\h\z1p(sj-p(S3)41P6)-P($)413P(S2)P(S3)34

p(Si)=p(S3)TOC\o"1-5"\h\z\3P(S2)P(Si)L4P(Si)P(S2)=4/11=3/11p(S3)=4/11⑵TOC\o"1-5"\h\z333H：：-八、、'p(e)p(ej/e)logp(ej/e)i