《信息論和編碼技術(shù)》復(fù)習(xí)提綱復(fù)習(xí)題

精選優(yōu)質(zhì)文檔-----傾情為你奉上精選優(yōu)質(zhì)文檔-----傾情為你奉上專(zhuān)心---專(zhuān)注---專(zhuān)業(yè)專(zhuān)心---專(zhuān)注---專(zhuān)業(yè)精選優(yōu)質(zhì)文檔-----傾情為你奉上專(zhuān)心---專(zhuān)注---專(zhuān)業(yè)《信息論與編碼技術(shù)》復(fù)習(xí)提綱復(fù)習(xí)題綱第0章緒論題綱：什么是信息？什么是信息論？什么是信息的通信模型？什么是信息的測(cè)度？自信息量的定義、含義、性質(zhì)需掌握的問(wèn)題：信息的定義是什么？（廣義信息、狹義信息——Shannon信息、概率信息）Shannon信息論中信息的三要素是什么？通信系統(tǒng)模型圖是什么？每一部分的作用的是什么？什么是信息測(cè)度？什么是樣本空間、概率空間、先驗(yàn)概率、自信息、后驗(yàn)概率、互信息？自信息的大小如何計(jì)算？單位是什么？含義是什么（是對(duì)什么量的度量）？第1章信息論基礎(chǔ)㈠《離散信源》題綱：信源的定義、分類(lèi)離散信源的數(shù)學(xué)模型熵的定義、含義、性質(zhì)，聯(lián)合熵、條件熵離散無(wú)記憶信源的特性、熵離散有記憶信源的熵、平均符號(hào)熵、極限熵馬爾科夫信源的定義、狀態(tài)轉(zhuǎn)移圖信源的相對(duì)信息率和冗余度需掌握的問(wèn)題：信源的定義、分類(lèi)是什么？離散信源的數(shù)學(xué)模型是什么？信息熵的表達(dá)式是什么？信息熵的單位是什么？信息熵的含義是什么？信息熵的性質(zhì)是什么？單符號(hào)離散信源最大熵是多少？信源概率如何分布時(shí)能達(dá)到？信源的碼率和信息率是什么，如何計(jì)算？什么是離散無(wú)記憶信源？什么是離散有記憶信源？離散無(wú)記憶信源的數(shù)學(xué)模型如何描述？信息熵、平均符號(hào)熵如何計(jì)算？離散有記憶多符號(hào)離散平穩(wěn)信源的平均符號(hào)熵、極限熵、條件熵（N階熵）的計(jì)算、關(guān)系和性質(zhì)是什么？什么是馬爾科夫信源？馬爾科夫信源的數(shù)學(xué)模型是什么？馬爾科夫信源滿足的2個(gè)條件是什么？馬爾科夫信源的狀態(tài)、狀態(tài)轉(zhuǎn)移是什么？如何繪制馬爾科夫信源狀態(tài)轉(zhuǎn)移圖？馬爾科夫信源的穩(wěn)態(tài)概率、穩(wěn)態(tài)符號(hào)概率、穩(wěn)態(tài)信息熵如何計(jì)算？信源的相對(duì)信息率和冗余度是什么？如何計(jì)算？㈡《離散信道》題綱：信道的數(shù)學(xué)模型及分類(lèi)典型離散信道的數(shù)學(xué)模型先驗(yàn)熵和后驗(yàn)熵互信息的定義、性質(zhì)平均互信息的定義、含義、性質(zhì)、維拉圖信道容量的定義特殊離散信道的信道容量需掌握的問(wèn)題：信道的定義是什么？信道如何分類(lèi)？信道的數(shù)學(xué)模型是什么？二元對(duì)稱(chēng)信道和二元?jiǎng)h除信道的信道傳輸概率矩陣是什么？對(duì)稱(chēng)信道的信道傳輸概率矩陣有什么特點(diǎn)？根據(jù)信道的轉(zhuǎn)移特性圖，寫(xiě)出信道傳輸概率矩陣。先驗(yàn)熵、后驗(yàn)熵的區(qū)別？聯(lián)合熵、條件熵和信息熵的關(guān)系?；バ畔⒌拇笮∪绾斡?jì)算？互信息的性質(zhì)是什么？聯(lián)合互信息、條件互信息、互信息之間的關(guān)系是什么？平均互信息的定義是什么？平均互信息的含義？平均互信息的性質(zhì)？聯(lián)合平均互信息、條件平均互信息和平均互信息的關(guān)系？損失熵和噪聲熵的含義是什么？維拉圖表示了哪些關(guān)系式？信道的傳碼率和傳信率（信息率）的計(jì)算方法是什么？信道容量的定義是什么？信道容量的含義如何理解？無(wú)噪無(wú)損信道、有噪無(wú)損信道、無(wú)噪有損信道、對(duì)稱(chēng)信道的信道容量如何計(jì)算？㈢《連續(xù)信源和波形信道》題綱：連續(xù)信源的定義、數(shù)學(xué)模型、絕對(duì)熵、相對(duì)熵給定條件下，連續(xù)信源的最大熵熵功率連續(xù)信道和波形信道的信道容量需掌握的問(wèn)題：連續(xù)信源定義、數(shù)學(xué)模型是什么？連續(xù)信源熵的表達(dá)式是什么？相對(duì)熵和絕對(duì)熵的區(qū)別是什么？如何計(jì)算均勻分布、正態(tài)分布連續(xù)信源的最大熵？什么是波形信道？了解波形信道互信息、信道容量的求解思路。香農(nóng)公式是什么？物理意義是什么？第2章無(wú)失真信源編碼題綱：基本概念編碼二元碼等長(zhǎng)碼變長(zhǎng)碼碼的N次擴(kuò)展碼唯一可譯碼等長(zhǎng)碼變長(zhǎng)碼無(wú)失真信源編碼定理編碼方法香農(nóng)編碼費(fèi)諾編碼霍夫曼編碼需掌握的問(wèn)題：編碼的定義及編碼相關(guān)術(shù)語(yǔ)。信源編碼的定義及目的是什么？解釋二元碼、等長(zhǎng)碼、變長(zhǎng)碼、唯一可譯碼。變長(zhǎng)碼和定長(zhǎng)碼的區(qū)別是什么？用碼樹(shù)描述二者的差異，能夠說(shuō)明變長(zhǎng)碼和定長(zhǎng)碼各自的優(yōu)劣。描述香農(nóng)第一定理及意義。掌握香農(nóng)編碼、費(fèi)諾編碼、霍夫曼編碼的步驟及特點(diǎn)，會(huì)計(jì)算編碼效率。了解游程編碼和算術(shù)編碼的思路。第3章信道編碼題綱：檢錯(cuò)、糾錯(cuò)原理及方法、能力差錯(cuò)控制理論譯碼規(guī)則2種準(zhǔn)則下的錯(cuò)誤概率信道編碼定理編碼方法簡(jiǎn)單的檢錯(cuò)、糾錯(cuò)碼線性分組碼循環(huán)碼需掌握的問(wèn)題：信道編碼的定義及目的是什么？檢錯(cuò)原理是什么？差錯(cuò)控制方法有哪些？如何確定一種編碼的檢錯(cuò)、糾錯(cuò)能力？漢明距離是什么？漢明重量是什么？最小碼距是什么？信道編碼的效率如何確定？奇偶校驗(yàn)碼的編碼規(guī)則是什么？檢錯(cuò)、糾錯(cuò)能力如何？譯碼規(guī)則的定義是什么？最大后驗(yàn)準(zhǔn)則是什么？極大似然準(zhǔn)則是什么？這兩種準(zhǔn)則下如何計(jì)算錯(cuò)誤概率？錯(cuò)誤概率與損失熵之間的關(guān)系是什么？描述香農(nóng)第二定理及意義。線性分組碼的編碼原理和校驗(yàn)原理是什么？循環(huán)碼的編碼原理和校驗(yàn)原理是什么？了解循環(huán)冗余校驗(yàn)碼和卷積碼的編碼思路。第4章信息率失真函數(shù)題綱：失真度平均失真度信息率失真函數(shù)信息率失真函數(shù)的性質(zhì)限失真信源編碼定理需掌握的問(wèn)題：失真度如何表示？四種常見(jiàn)失真度的形式分別是什么？分別用于什么場(chǎng)合？平均失真度如何計(jì)算？什么是保真度準(zhǔn)則？什么是試驗(yàn)信道？信息率失真函數(shù)的定義是什么？信息率失真函數(shù)和信道容量的區(qū)別和聯(lián)系是什么？信息率失真函數(shù)的性質(zhì)是什么？定義域Dmin,Dmax，以及相應(yīng)的R(Dmin),R(Dmax)如何計(jì)算？描述香農(nóng)第三定理及意義。了解預(yù)測(cè)編碼和變換編碼的思路。填空題設(shè)信源X包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)__1/4___時(shí)，信源熵達(dá)到最大值，為_(kāi)_2__，此時(shí)各個(gè)消息的自信息量為_(kāi)_2__。2.如某線性分組碼的最小漢明距dmin=4，則該碼最多能檢測(cè)出___3____個(gè)隨機(jī)錯(cuò)，最多能糾正__1____個(gè)隨機(jī)錯(cuò)。3.克勞夫特不等式是唯一可譯碼___存在___的充要條件。4.平均互信息量I(X;Y)與信源熵和條件熵之間的關(guān)系是___(X;Y)=H(X)-H(X/Y)___。_信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__編碼的目的是保證通信的安全性。6.信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。7.設(shè)信源X包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)_1/8__時(shí)，信源熵達(dá)到最大值，為_(kāi)__3____。8.自信息量表征信源中各個(gè)符號(hào)的不確定度，信源符號(hào)的概率越大，其自信息量越_小___。9.信源的冗余度來(lái)自?xún)蓚€(gè)方面，一是信源符號(hào)之間的__相關(guān)性__，二是信源符號(hào)分布的__不均勻性__。10.最大后驗(yàn)概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯碼估值，即令=maxP(|r)___。11.常用的檢糾錯(cuò)方法有__前向糾錯(cuò)___、反饋重發(fā)和混合糾錯(cuò)三種。單項(xiàng)選擇題1.下面表達(dá)式中正確的是（A）。A.B.C.D.2.彩色電視顯像管的屏幕上有5×105個(gè)像元，設(shè)每個(gè)像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（C）。A.50106B.75106C.125106D.2501063.已知某無(wú)記憶三符號(hào)信源a,b,c等概分布，接收端為二符號(hào)集，其失真矩陣為d=,則信源的最大平均失真度為（D）。A.1/3B.2/3C.3/3D.4/34.線性分組碼不具有的性質(zhì)是（C）。A.任意多個(gè)碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗(yàn)矩陣的乘積cmHT=05.率失真函數(shù)的下限為（B）。A.H(U)B.0C.I(U;V)D.沒(méi)有下限6.糾錯(cuò)編碼中，下列哪種措施不能減小差錯(cuò)概率（D）。A.增大信道容量B.增大碼長(zhǎng)C.減小碼率D.減小帶寬7.一珍珠養(yǎng)殖場(chǎng)收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量?jī)H有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說(shuō)他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（A）。A.0bitB.log6bitC.6bitD.log240bit8.下列陳述中，不正確的是（D）。A.離散無(wú)記憶信道中，H（Y）是輸入概率向量的凸函數(shù)B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說(shuō)，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)D.滿足格拉夫特不等式的信源是惟一可譯碼9.一個(gè)隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對(duì)熵為（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit10.下列離散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)11.下列不屬于消息的是（B）。A.文字B.信號(hào)C.圖像D.語(yǔ)言12.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（A）。A.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣D.對(duì)多組信息進(jìn)行交織處理13.最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是（D）。A.離散無(wú)記憶信道B.無(wú)錯(cuò)編碼C.無(wú)擾信道D.消息先驗(yàn)等概14.下列說(shuō)法正確的是（C）。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個(gè)全0碼字15.二進(jìn)制通信系統(tǒng)使用符號(hào)0和1，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件，u0:一個(gè)0發(fā)出u1:一個(gè)1發(fā)出v0:一個(gè)0收到v1:一個(gè)1收到則已知收到的符號(hào)，被告知發(fā)出的符號(hào)能得到的信息量是（A）。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)16.同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12，則得到的自信息為（B）。A.－log36bitB.log36bitC.－log(11/36)bitD.log(11/36)bit17.下列組合中不屬于即時(shí)碼的是（A）。A.{0，01，011}B.{0，10，110}C.{00，10，11}D.{1，01，00}18.已知某（6，3）線性分組碼的生成矩陣，則不用計(jì)算就可判斷出下列碼中不是該碼集里的碼是（D）。A.B.C.D.19.一個(gè)隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對(duì)熵為（C）。A.0.5bit/符號(hào)B.0.72bit/符號(hào)C.1bit/符號(hào)D.1.44bit/符號(hào)20.設(shè)有一個(gè)無(wú)記憶信源發(fā)出符號(hào)A和B，已知，發(fā)出二重符號(hào)序列消息的信源，無(wú)記憶信源熵為（A）。A.0.81bit/二重符號(hào)B.1.62bit/二重符號(hào)C.0.93bit/二重符號(hào)D.1.86bit/二重符號(hào)判斷題1.確定性信源的熵H(0,0,0,1)=1。（錯(cuò)）2.信源X的概率分布為P(X)={1/2,1/3,1/6}，對(duì)其進(jìn)行哈夫曼編碼得到的碼是唯一的。 （錯(cuò)）離散無(wú)記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。（對(duì)）4.非奇異的定長(zhǎng)碼一定是唯一可譯碼。（錯(cuò)）5.信息率失真函數(shù)R(D)是在平均失真不超過(guò)給定失真限度D的條件下，信息率容許壓縮的最小值。 （對(duì)）6.信源X的概率分布為P(X)={1/2,1/3,1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，則信源X和Y的熵相等。（對(duì)）7.互信息量I(X;Y)表示收到Y(jié)后仍對(duì)信源X的不確定度。（對(duì)）8.對(duì)信源符號(hào)X={a1,a2,a3,a4}進(jìn)行二元信源編碼，4個(gè)信源符號(hào)對(duì)應(yīng)碼字的碼長(zhǎng)分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長(zhǎng)組合的碼一定是唯一可譯碼。 （錯(cuò)）9.DMC信道轉(zhuǎn)移概率矩陣為，則此信道在其輸入端的信源分布為P(X)={1/2,1/2}時(shí)傳輸?shù)男畔⒘窟_(dá)到最大值。（錯(cuò)）10.設(shè)C={,,,,,,,}是一個(gè)二元線性分組碼，則該碼最多能檢測(cè)出3個(gè)隨機(jī)錯(cuò)誤。（錯(cuò)）四、名詞解釋1.極限熵:2.信道容量:3.平均自信息量:五、計(jì)算題1.設(shè)離散無(wú)記憶信源其發(fā)生的消息為（0），根據(jù)“離散無(wú)記憶信源發(fā)出的消息序列的自信息等于消息中各個(gè)符號(hào)的自信息之和”，求此消息的自信息量；（2）在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？2.已知一個(gè)二元信源連接一個(gè)二元信道，如圖所示。其中，。試求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。設(shè)輸