信號與系統(tǒng)習題(1)

1、1,某系統(tǒng)(7,4)碼c(C6C5C4C3C2CiCo)與信息位的關系為：(1)求對應的生成矩陣和校驗矩陣；(2)計算該碼的最小距離；(3)列出可糾過失圖案和對應的伴隨式；(4)假設接收碼字R=1110011,求發(fā)碼.(m3m2m1m0c2C1c0)其三位校驗位解：(1)G1000110010001100101110001101101110011100100111001(2) dmin=3(3)SE00000000000010000001010000001010000001001010001000111001000001101000001101000000(4).RHT=001接收出錯E=00

2、00001R+E=C=1110010(發(fā)碼)X0101/31/3101/32.X,Y的聯合概率px,y為：求HX,HY,HX,Y,IX;Y解：p(x0)2/3p(x1)1/3HXHYH(1/3,2/3)0.918bit/symbolHX,YH(1/3,1/3,1/3)=1.585bit/symbolIX;YH(X)H(Y)H(X,Y)0.251bit/symbol3.一階齊次馬爾可夫信源消息集X31,32,33),狀態(tài)集SS1,S2,S3,且令Siai,i1,2,3,條件轉移概率為141412P(aJ§(1)畫出該馬氏鏈的狀態(tài)轉移圖;(2)計算信源的極限:解

3、：(1)(2)3W2iw23W23W3w2WiW2W30.40.30.3H(X|S1)=H(1/4,1/4,1/2)=1.5比特/符號H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符號H(X|S3)=H(2/3,1/3)=0.918比特/符號3w.H1iX|Si0.41.50.31.5850.30.9181.351比特/符號4.假設有一信源X1X20.80.2,每秒鐘發(fā)出2.55個信源符號.將此信源的輸出符號送入某一個二元信道中進行傳輸(假設信道是無噪無損的,容量為1bit/二元符號),而信道每秒鐘只傳遞2個二元符號.(1)試問信源不通過編碼(即X10,X21在信道中傳輸)(2

4、)(3)能否直接與信道連接？假設通過適當編碼能否在此信道中進行無失真?zhèn)鬏?(4)(5)解：試構造一種口夫曼編碼(兩個符號一起編碼),使該信源可以在此信道中無失真?zhèn)鬏?(1)不能,此時信源符號通過0,1在信道中傳輸,2.55二元符號/s>2二元符號/s(2)從信息率進行比擬,2.55*H(0.8,0.2)=1.84<1*2可以進行無失真?zhèn)鬏擾4(3)KpiKi0.640.16*20.2*3i11.56二元符號/2個信源符號此時1.56/2*2.55=1.989二元符號/s<2二元符號/s5.兩個BSC信道白J級聯如右圖所示:(1WPs0.64k0.64(2求這個信道的信道容量.

5、01解:6.設11(1)100遁機變量101*0.64011X1X20.16、<0.q10.36JX2X10.10*0.161X1,X2°0,1和Y(y1,y20,1的聯合概率空間為X2X20.041定義一個新的隨機變量ZXY(普通乘積)(1) 計算婿H(X),H(Y),H(Z),H(XZ),H(YZ),以及H(XYZ);(2) 計算條件婿H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),(3)H(Y|XZ)以及H(Z|XY);計算平均互信息量I(X;Y)I(X:Z),I(Y:Z),I(X;Y|Z),I(Y;Z|X)以及I(X:

6、,Z|Y).解：(1)(2)7.設二元對稱信道的輸入概率分布分別Px3/41/4,轉移矩陣為R|x2/31/31/32/3XY0101/83/81/213/81/81/21/21/2(1)求信道的輸入輸出！W,平均互信息量;(2)求信道容量和最正確輸入分布；(3)求信道剩余度.解：(1)信道的輸入:WH(X)3/4log2(4/3)1/4log24；XZ0101/201/213/81/81/27/81/8YZ0101/201/213/81/81/27/81/8(2)最正確輸入分布為Px1/21/2,此時信道的容量為C1H(2/3,1/3)信道的剩余度：CI(X;Y)8.Px0.50.250.2

7、5,試確定最正確譯碼規(guī)那么和極大似然譯碼規(guī)那么,并計算出相應的平均過失率.解：Pxy1/41/61/121/241/81/121/121/241/8F(b)a1最正確譯碼規(guī)那么:F(b2)a1,平均過失率為1-1/4-1/6-1/8=11/24;F(b3)a3F(bJa1極大似然規(guī)那么:F(b2)a2,平均過失率為1-1/4-1/8-1/8=1/2FM)a39.設有一批電阻,按阻值分70%是2kQ,30%是5kQ;按功耗分64%是1/8W,36%是1/4W.現2kQ電阻中80%是1/8W,假設得知5kQ電阻的功耗為1/4W,問獲得多少信息量.r12kr25k解：根據題意有R,W0.70.3w1

8、1/8w21/40.640.36p(w1/r1)0.8由p(w1)p(r1)p(w1/r1)p(r2)p(w1/r2)p(w1/r2)4/15所以p(w2/r2)1p(w1/r2)11/15得知5kQ電阻的功耗為1/4W,獲得的自信息量為lb(p(w2/r2)0.448bit10.6符號離散信源的出現概率為a3a4a5a611118163232試計算它的！W、Huffman編碼和費諾編碼的碼字、平均碼長及編碼效率.解：該離散信源的！W為H(x)6pilb(pi)i1111-lb2-lb4-lb8248111cclb16lb32lb32163232=1.933bit/符號11在圖片傳輸中,每幀約

9、有2106個像素,為了能很好地重現圖像,每像素能分度電平等概分布.試計算每分鐘傳送兩幀圖片所需信道的帶寬(信噪功率比為256個亮度電平,并假設亮30dB).解:每個像素點對應的：WHlog2nlog2256bit/點2幀圖片的信息量I2*N*H2*2*106*83.2*107bit單位時間需要的信道容量Ct3.2*107由香農信道容量公式CtWlog2(1SNR)60Ct5.3*105bit/s5.3*1055.35*104Hzlog2(1SNR)log2(11000)12.求右圖所示的信道的容量及到達信道容量時的輸入分布.解:由右圖可知,該信道的轉移概率矩陣為P1/21/2可以看到,當該信道

10、的輸入分布取P(X)XYa1a?a31/2時,1/2P(Y)thb21/21/2此時I(X2a1；Y)p(bj/a1)logj1p(bj/a1)p(bj)lb2,同理可得I(Xa3：Y)lb2工I(xi；Y)lb2而I(Xa2；Y)0,此分布滿足i2I(Xi；Y)0pipi0=,.因此這個信道的容量為0C=lb2=1(bit/符號),而到達信道容量的輸入分布可取P(X)aia2a31/201/24Dmax=minPidij,由于Pi和dj具有對稱性,每個和式結果都為j1I2,3I4i11/2,因此Dmax=1/2,13.設離散信源UP(u)U1U2U3U41111(其中pP(1P)(1P)P2

11、222一)和接收變量V=v1,v2,v3,2v4,失真矩陣為D00.50.510.5010.5,求Dmin,Dmax、R(Dmin)、R(Dmax)、到達Dmin和0.5100.510.50.50Dmax時的編碼器轉移概率矩陣P.解:由于失真矩陣每行每列都只有一個最小值0,所以可以到達Dmin=0,此時對應的信道轉移概率矩陣應使1000口八一,0100得信源的每個輸出經過信道轉移后失真為0,即選擇P00100001R(Dmin)=R(0)=H(U)=1-p*logp1-p)*log(1-p)=1+H(p)o對應的轉移概率矢巨陣可取任意1列為全1,1000人1000如P,止匕時R(Dmax)=R

12、(1/2)=0.1000100014 .設有一個二進制一階馬爾可夫信源,其信源符號為XG(0,1),條件概率為p(0/0)=p(1/0)=0.5p(1/1)=0.25p(0/1)=0.75畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率.(15分)0.2515 .設輸入符號與輸出符號為X=YG0,1,2,3,且輸入符號等概率分布.設失真函數為漢明失真.求Dmax和Dmin及R(Dmax)和R(Dmin)(20分)"1斛：pXopXipx2px3一4失真矩陣的每一行都有0,因此Dmin=016 .設隨機變量XX1,X20,1和Yyi,y20,1的聯合概率空間為定義一個新的隨機變量計算婿H(X),H(Y)

13、計算條件婿H(X|Y),及H(Z|XY);ZX丫(普通乘積),H(Z),H(XZ),H(YZ),以及H(XYZ；H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)以解：(1)2)最正確輸入分布為pX1/21/2,此時信道的容量為C1H(2/3,1/3)計算平均互信息量I(X;Y),I(X:Z),I(Y:Z),I(X;Y|Z),I(Y;Z|X)以及I(X:,Z|Y).(3)信道的剩余度：CI(X;Y)設有DMC,其轉移矩陣為PY|X1/21/31/61/61/21/3,假設信道輸入概率為1/31/61/2PX0.50.250.25,試確定最正確譯

14、碼規(guī)那么和極大似然譯碼規(guī)那么,并計算出相應的平均過失率.最正確譯碼規(guī)那么:F(bJa1F(b2)a1,平均過失率為F(b3)a31/41/61/12解：PXY1/241/81/121/121/241/81-1/4-1/6-1/8=11/24;F(b1)a1極大似然規(guī)那么:F(b2)a2,平均過失率為1-1/4-1/8-1/8=1/2F(b3)a3一、概念簡做題1 .什么是平均自信息量與平均互信息,比擬一下這兩個概念的異同？2 .簡述最大離散燧定理.對于一個有m個符號的離散信源,其最大燧是多少？3 .解釋信息傳輸率、信道容量、最正確輸入分布的概念,說明平均互信息與信源的概率分布、信道的傳遞概率間

15、分別是什么關系？4 .對于一個一般的通信系統(tǒng),試給出其系統(tǒng)模型框圖,并結合此圖,解釋數據處理定理.5 .寫出香農公式,并說明其物理意義.當信道帶寬為5000Hz,信噪比為30dB時求信道容量.6 .解釋無失真變長信源編碼定理.7 .解釋有噪信道編碼定理.8.什么是保真度準那么？對二元信源失真函數的0M和?9 .簡述離散信源和連續(xù)信源的最大燧定理.10 .解釋等長信源編碼定理和無失真變長信源編碼定理,說明對于等長碼和變長碼,最正確碼的每符號平均碼長最小為多少？編碼效率最高可達多少？11 .解釋最小錯誤概率譯碼準那么,最大似然譯碼準那么和最小距離譯碼準那么,說明三者的關系.12 .設某二元碼字C=

16、111000,001011,010110,101110,假設碼字等概率分布,計算此碼的編碼效率？采用最小距離譯碼準那么,當接收序列為110110時,應譯成什么碼字?13.一平穩(wěn)二元信源,它在任意時間,不管以前發(fā)出過什么符號,都按發(fā)出符號,求和平均符號:w14.分別說明信源的概率分布和信道轉移概率對平均互信息的影響,說明平均互信息萬信道容量的關15 .二元無記憶信源,有求:(1)某一信源序列由100個二元符號組成,其中有m個“1,求其自信息量？(2)求100個符號構成的信源序列的：W.16 .求以下三個信道的信道容量：17 .一3,1,3卷積碼編碼器,輸入輸出關系為:試給出其編碼原理框圖.18

17、.簡述信源的符號之間的依賴與信源冗余度的關系.19 .簡述香農第一編碼定理的物理意義20 .什么是最小碼距,以及它和檢錯糾錯水平之間的關系.21 .簡述信息的特征22 .簡單介紹哈夫曼編碼的步驟一、概念簡做題每題5分,共40分二、1.答：平均自信息為表示信源的平均不確定度,也表示平均每個信源消息所提供的信息量.“抵F-這叩/%平均互信息blTPj表示從丫獲得的關于每個X的平均信息量,也表示發(fā)X前后丫的平均不確定性減少的量,還表示通信前后整個系統(tǒng)不確定性減少的量.2 .答：最大離散燧定理為：離散無記憶信源,等概率分布時燧最大.最大婿值為皿改62O3 .答：信息傳輸率R指信道中平均每個符號所能傳送

18、的信息量.信道容量是一個信道所能到達的最大信息傳輸率.信息傳輸率到達信道容量時所對應的輸入概率分布稱為最正確輸入概率分布.平均互信息是信源概率分布的n型凸函數,是信道傳遞概率的u型凸函數.4 .答：通信系統(tǒng)模型如下：數據處理定理為：串聯信道的輸入輸出X、Y、Z組成一個馬爾可夫鏈,且有,區(qū)幻“匕？.說明經數據處理后,一般只會增加信息的損失5.答：香農公式為bit/s,它是高斯加性白噪聲信道在單位時間內的信道容量,其值取決于信噪比和帶寬.P103g肌斯dBP得麗-100Ct=50001og2(l+1000)=49836拉小6.答:只要,當N足夠長時,一定存在一種無失真編碼.7.答:8.答:1保真度

19、準那么為：平均失真度不大于允許的失真度.2由于失真矩陣中每行都有一個0,所以有1111n,而通火口'當R<C時,只要碼長足夠長,一定能找到一種編碼方法和譯碼規(guī)那么,使譯碼錯誤概率無窮小.9 .答：離散無記憶信源,等概率分布時燧最大.連續(xù)信源,峰值功率受限時,均勻分布的燧最大.平均功率受限時,高斯分布的燧最大.均值受限時,指數分布的燧最大.10.答：等長信源編碼定理：對于任意,那么當L足夠長時必可使譯碼過失變長信源編碼定理：只要,一定存在一種無失真編碼.等長碼和變長碼的最小平均碼長均為,編碼效率最高可達100%11 .答：最小錯誤概率譯碼準那么下,將接收序列譯為后驗概率最大時所對應

20、的碼字.最大似然譯碼準那么下,將接收序列譯為信道傳遞概率最大時所對應的碼字.最小距離譯碼準那么下,將接收序列譯為與其距離最小的碼字.三者關系為：輸入為等概率分布時,最大似然譯碼準那么等效于最小錯誤概率譯碼準那么.在二元對稱無記憶信道中,最小距離譯碼準那么等效于最大似然譯碼準那么.12 .答：1)2令接收序列為,故接收序列應譯為01011013 .答:14 .答：平均互信息相對于信源概率分布為上凸函數,相對于信道傳遞概率分布為下凹函數.平均互信息的最大值為信道容量.15 .答：1)2)16.答：P1為一一對應確定信道,因此有P2為具有歸并性能的信道,因此有P3為具有發(fā)散性能的信道,因此有.17.

21、答：18 .當信源的符號之間有依賴時,信源輸出消息的不確定性減弱.而信源冗余度正是反映信源符號依賴關系的強弱,冗余度越大,依賴關系就越大.19 .答：無失真信源編碼,編碼后盡可能等概率分布,使每個碼元平均信息量最大.從而使信道信息傳輸率R到達信道容量C,實現信源與信道理想的統(tǒng)計匹配.20 .某一碼書C中,任意兩個碼字之間漢明距離的最小值稱為該碼的最小碼距Dmin.當某線性分組碼的最小漢明距離為Dmin,那么這組碼最多能檢測出e=Dmin-1個碼元錯誤,最多能糾正t=(Dmin-1)/2個碼元錯誤.21 .答：信息的根本概念在于它的不確定性,任何已確定的事物都不含信息.接收者在收到信息之前,對它

22、的內容是不知道的,所以信息是新知識、新內容.信息是能使熟悉主體對某一事物的未知性或不確定性減少的有用知識.信息可以產生,也可以消失,同時信息可以被攜帶、貯存及處理.信息是可以量度的,信息量有多少的差異.22.將信源消息符號按其出現的概率大小依次排列PXl>pX2>->pxn取兩個概率最小的符號分別配以0和1,并將這兩個概率相加作為一個新符號的概率,與未分配碼元的符號重新排隊.對重排后的兩個概率最小符號重復步驟2的過程. 繼續(xù)上述過程,直到最后兩個符號配以0和1為止. 從最后一級開始,向前返回得到各個信源符號所對應的碼元序列,即相應的碼字.二、綜合題每題10分,共60分1 .黑

23、白氣象圖的消息只有黑色和白色兩種,求：1黑色出現的概率為0.3,白色出現的概率為0.7.給出這個只有兩個符號的信源X的數學模型.假設圖上黑白消息出現前后沒有關聯,求嫡H£；2假設黑白消息出現前后有關聯,其依賴關系為：只臼伯0.9,尸I第白-0,嚴自/黑0.2,九孫黑一.同,求其婿也?劃.3分別求上述兩種信源的冗余度,比擬它們的大小并說明其物理意義.工1=0澗、為=02 .二元對稱信道如圖.心=即尸3=1；1假設敢0>11,卜V,求和2求該信道的信道容量和最正確輸入分布.3.信源空間為si%鼻%0.40.20.10.10,050.05%0.050.05,試分別構造二元和三元霍夫曼

24、碼,計算其平均碼長和編碼效率.4.設有一離散信道,其信道傳遞矩陣為試分別按最小錯誤概率準那么與最大似然譯碼準那么確定譯碼規(guī)那么,并計算相應的平均錯誤概率.5.一(8,5)線性分組碼的生成矩陣為010D010C001000100CO10001ODODiri求：1)輸入為全00011和10100時該碼的碼字；2)最小碼距.6 .設某一信號的信息傳輸率為5.6kbit/s,在帶寬為4kHz的高斯信道中傳輸,噪聲功率譜NO=5X10-6mw/Hz)試求：(1)無過失傳輸需要的最小輸入功率是多少？(2)此時輸入信號的最大連續(xù)燧是多少？寫出對應的輸入概率密度函數的形式.7 .二元平穩(wěn)馬氏鏈,P(0/0)=

25、0.9,P(1/1)=0.8,求：(1)求該馬氏信源的符號婿.(2)每三個符號合成一個來編二進制Huffman碼,試建立新信源的模型,給出編碼結果.(3)求每符號對應的平均碼長和編碼效率.8 .設有一離散信道,其信道矩陣為11)最正確概率分布?(2)當時,求平均互信息信道疑義度(3)輸入為等概率分布時,試寫出一譯碼規(guī)那么,使平均譯碼錯誤率最小,并求此8.1 設線性分組碼的生成矩陣為1止匕n,k碼的n=?k=?,寫出此n,k碼的所有碼字.2求其對應的一致校驗矩陣Ho3確定最小碼距,問此碼能糾幾位錯？列出其能糾錯的所有錯誤圖樣和對應的伴隨式.4假設接收碼字為000110,用伴隨式法求譯碼結果.9.

26、2設一線性分組碼具有一致監(jiān)督矩陣H0110011010111求此分組碼門=卜=共有多少碼字？2求此分組碼的生成矩陣Go3寫出此分組碼的所有碼字.4假設接收到碼字101001,求出伴隨式并給出譯結果.度為1500二元符號/秒,設信源為等概率分布,信源消息序列共有13000個二元符號,問：(1)試計算能否在10秒內將信源消息序列無失真?zhèn)魉屯辏?求無失真?zhèn)魉鸵陨?2)假設信源概率分布為信源消息序列至少需要多長時間?(1)求該碼的編碼效率?(2)求其對應的一致校驗多項式(3)寫出該碼的生成矩陣,校驗矩陣(4)假設消息碼式為,求其碼字.12 .證實：平均互信息量同信息婿之間滿足I(X;丫尸H(X)+H(

27、Y)-H(XY)13 .居住在某地區(qū)的女孩中有25%是大學生,在女大學生中有75%M身高1.6米以上的,而女孩中身高1.6米以上的占總數的一半.假設我們得知“身高1.6米以上的某女孩是大學生的消息,問獲得多少信息量？14 .有兩個二元隨機變量X和Y,它們的聯合概率為VX1=0X2=1y1=01/83/8y2=13/81/8定義另一隨機變量Z=XY(一般乘積),試計算H(Z)=15 .求以下二個信道的信道容量:16.一個高斯信道,輸入信噪比比率為3.頻帶為3kHz,求最大可能傳送的信息率.假設信噪比提升到15,理論上傳送同樣的信息率所需的頻帶為多少？Xx1x217 .設信源為,試求1信源的嫡、信

28、息含量效率以及冗余度；Px1/43/42求二次擴展信源的概率空間和嫡.18 .什么是損失嫡、噪聲:W?什么是無損信道和確定信道？如輸入輸出為rs,那么它們的分別信道容量為多少？19 .信源編碼的和信道編碼的目的是什么？20 .什么是香農容量公式？為保證足夠大的信道容量,可采用哪兩種方法？21 .什么是限失真信源編碼？二、綜合題k1V黑巴二白1 .答：1信源模型為0-33)/網33的網力/.0.5533加"符號H(X)0.119(1分)(1分)10g22H(X)0.44710g221.說明：當信源的符號之間有依賴時,信源輸出消息的不確定性減弱.而信源冗余度正是反映信源符號依賴關系的強弱

29、,冗余度越大,依賴關系就越大.2分2 .答：1修制.團13如喈號27=0.082加/符號,最正確輸入概率分布為等概率分布.3.答：1二元碼的碼字依序為：10,11,010,011,1010,1011,1000,1001平均碼長G-26如/符號,編碼效率%2三元碼的碼字依序為：1,00,02,20,21,22,010,011.平均碼長077加/符號,編碼效率哂°*36三均*產值溝1_弓三4.答：1最小似然譯碼準那么下,有乂=苴,2最大錯誤概率準那么下,有2)6.答：1無錯傳輸時,有Ol)=限Fg=闞£47=用1.甌1+上一珞砰5.6xlOJ=4xW3log2(l+SxlOx4

30、xlQ貝u0.03282)在P-0.0328加w時,最大：WHe=?四式加吟=-5.4萬"自由度7.答：1由得極限概率:那么符號嫡為2新信源共8個序列,各序列的概率為信源模型為一種編碼結果依信源模型中的序列次序為0,11,1001,1010,1011,10000,100010,1000113)8.答：1是準對稱信道,因此其最正確輸入概率分布為2當時,有3此時可用最大似然譯碼準那么,譯碼規(guī)那么為且有9.1 答：1)n=6,k=3,由C=mGT得所有碼字為：000000,001011,010110,011101,100101,101110,110011,1110002此碼是系統(tǒng)碼由G知3由H可知,其任意2列線性無關,而有3列線性相關,故有,能糾一位錯錯誤圖樣100000010000001000000100000010000001E伴隨式1011100111000100014由知E=010000,那么9.2 解：1n=6,k=3,共有8個碼字.3分2設碼字CC5c4c3c2C1C0由HCt0T得C2CiC00C4C3C00C5C3CiC003分令監(jiān)督位為C2ClC0,那么有C2CiC0C5C5C4C3C4C