信息論與編碼總結(jié)

信息論與編碼通信系統(tǒng)模型信源一信源編碼一加密一信道編碼一信道一信道解碼一解密一信源解碼一信宿|||(加密密鑰)干擾源、竊聽者 (解密秘鑰)信源：向通信系統(tǒng)提供消息的人或機(jī)器信宿：接受消息的人或機(jī)器信道：傳遞消息的通道，也是傳送物理信號的設(shè)施干擾源：整個(gè)系統(tǒng)中各個(gè)干擾的集中反映，表示消息在信道中傳輸受干擾情況信源編碼：編碼器：把信源發(fā)出的消息變換成代碼組，同時(shí)壓縮信源的冗余度，提高通信的有效性(代碼組=基帶信號；無失真用于離散信源，限失真用于連續(xù)信源)譯碼器：把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式基本途徑：一是使各個(gè)符號盡可能互相獨(dú)立，即解除相關(guān)性；二是使各個(gè)符號出現(xiàn)的概率盡可能相等，即概率均勻化信道編碼：編碼器：在信源編碼器輸出的代碼組上增加監(jiān)督碼元，使之具有糾錯(cuò)或檢錯(cuò)的能力，提高通信的可靠性譯碼器：將落在糾檢錯(cuò)范圍內(nèi)的錯(cuò)傳碼元檢出或糾正基本途徑：增大碼率或頻帶，即增大所需的信道容量自信息：I(x)=-logP(x)，或I(x)二一logP(x)Xi i表示隨機(jī)事件的不確定度，或隨機(jī)事件發(fā)生后給予觀察者的信息量。條件自信息：I(x/y)二—logP(x/y)X/Yij X/Yij聯(lián)合自信息：J(xi，j二一陀PXY3.互信息:I(x;y)二logX3.互信息:I(x;y)二logX；Y ijP(x/y) ii—P(x)i二logP(xy)

丄jP(x)P(y)ij信源的先驗(yàn)概率與信宿收到符號消息后計(jì)算信源各消息的后驗(yàn)概率的比值，表示由事件y發(fā)生所得到的關(guān)于事件x的信息量。4.信息熵：H(X)p(x)logp(x)i ii表示信源的平均不確定度，或信源輸出的每個(gè)信源符號提供的平均信息量，或解除信源不確定度所需的信息量。條件熵：H(X/Y)二一工P(xy)logP(x/y)ijij聯(lián)合熵：H(XY)且P(^/ogP(孕丿5.平均互信息:I(X;Y)=2p(xy)logijp(xy)

p(x)p(y)

z5.平均互信息:I(X;Y)=2p(xy)logij表示由知道Y得到的關(guān)于X的平均信息量。信源符號集合X,信宿符號集合Y,I(X;Y)表示收到Y(jié)后獲得的關(guān)于X的平均信息量,或發(fā)X前后Y的平均不確定性減少的量，或通信前后整個(gè)系統(tǒng)不確定性減少的量。收發(fā)兩端的熵關(guān)系：全損離散信道：I(X;Y)=0，H(X/Y)=H(X) 無擾離散信道：I(X;Y)=H(X)，H(X/Y)=O6.數(shù)據(jù)處理定理：I(X;Z)<I(X;Y),I(Z;X)<I(Z;Y)消息通過多級處理器時(shí)，隨著處理器數(shù)量增多，輸入與輸出消息之間的平均互信息量趨于變??；即數(shù)據(jù)處理過程中只會失掉信息，而不會創(chuàng)造出新的信息(信息不增性)。離散信源最大熵定理：離散無記憶信源有M個(gè)不同的信息符號，當(dāng)且僅當(dāng)各個(gè)符號出現(xiàn)概率相等時(shí)熵最大連續(xù)信源的熵為無窮大，公式給出的熵只有相對意義而非絕對值一一矛盾的原因是逼近時(shí)所取的口x不一致。限峰功率最大熵定理：對于定義域有限的隨機(jī)矢量X,均勻分布時(shí)有最大熵。限平均功率最大熵定理：對于相關(guān)矩陣一定的隨機(jī)矢量X,正態(tài)分布時(shí)有最大熵。為什么通信系統(tǒng)中以高斯白噪聲作為設(shè)計(jì)標(biāo)準(zhǔn)？根據(jù)限平均功率最大熵定理，高斯白噪聲是平均功率受限時(shí)最有害的干擾，以此為標(biāo)準(zhǔn)是考慮了干擾最惡劣的情況；實(shí)際噪聲的幅度譜也接近于高斯分布。N次擴(kuò)展源平均符號熵：H(X) H(Xn) H(XX...X)N N N1 2N信源X信源X的極限符號熵:H(X)=limH(X)馬爾可夫信源使馬氏鏈最后穩(wěn)定且遍歷，必須有不可約性和非周期性不可約性：任意一對i和j,都存在至少一個(gè)k>0,使得P(k)>0ij非周期性：所有的P(n)>0,n中沒有比1大的公因子ii求解平穩(wěn)分布：WP=W,w=1

馬爾可夫信源的熵：H(X)=H(XIXX...X)=工p(s)H(X/s)g m+112m i ii冗余度：信源符號間的相關(guān)性；信源符號分布的不均勻性。當(dāng)信源的符號之間有依賴時(shí)，信源輸出消息的不確定性減弱，信源熵減小。而信源冗余度能反映信源符號依賴關(guān)系的強(qiáng)弱，依賴關(guān)系越大，冗余度就越大。-”1-3H(X)m極限熵H(X)——去關(guān)聯(lián)，等概化一一最大熵H(X)TOC\o"1-5"\h\zg 0K11.定長編碼：logm>H(X)+￡L L只要碼字所能攜帶的信息量大于信源序列輸出的信息量，就可以使傳輸幾乎無失真變長編碼：H(X)<K<H(X)+￡L L L只有分組碼才有碼表；分組碼>非奇異碼>唯一可譯碼>即時(shí)碼定長編碼需要的信源序列長，使得碼表很大，且通常都存在譯碼差錯(cuò)用定長碼編碼時(shí)，即使在編碼效率和譯碼差錯(cuò)要求不十分苛刻的情況下，就要對很長的信源序列一起進(jìn)行編碼，對存儲或處理技術(shù)的要求太高；用變長碼編碼時(shí)，一起進(jìn)行編碼的信源序列不需要很長就可達(dá)到相當(dāng)高的編碼效率，而且可實(shí)現(xiàn)無失真編碼。12.最佳編碼思想：考慮信源的統(tǒng)計(jì)特性，概率大的符號編短碼，概率小的符號編長碼，使平均碼長最短香農(nóng)編碼：有唯一、系統(tǒng)的編碼方法費(fèi)諾編碼：更適合于對分組概率相等或接近的信源編碼哈夫曼編碼：綜合性能最優(yōu)把新節(jié)點(diǎn)向大概率端壓的原因：減小再次被編碼的機(jī)會，充分利用短碼，使碼長方差小，減小處理碼字時(shí)存儲器溢出或取空的概率。碼率：R二耳13.編碼效率：一腎 碼的剩余度"114.失真函數(shù)：d(u,v.)，信源發(fā)出ui,碼率：R二耳ZJ在適當(dāng)?shù)氖д婧瘮?shù)下規(guī)定允許失真D,在該失真條件下有最小信息率R(D)R(D)能在數(shù)據(jù)壓縮中衡量壓縮程度隨著允許失真的增大，傳信率可以壓縮的程度增大，D最小時(shí)不能壓縮，D最大時(shí)不用發(fā)送限失真信源編碼定理：R>R(D)計(jì)算D計(jì)算Dmax，R%，R(Dmax)及對應(yīng)轉(zhuǎn)移概率15?信道容量：C二maXp(X){I(X，Y)}反應(yīng)信道最大信息傳輸能力，是信道的特征參數(shù)香農(nóng)公式:0=Wlog(1香農(nóng)公式:0=Wlog(1+SNR)受加性高斯白噪聲干擾的帶限波形信道的容量，是非高斯波形信道容量的下限值。有擾信道編碼定理：R<C信源與信道的匹配：一般通信系統(tǒng)中，把信源發(fā)出的符號變成能在信道中傳輸?shù)姆?，在傳輸時(shí)，要能夠盡量用較少的符號表示信息，這樣就可以提高信息的傳輸率，從而提高信道的利用率。無失真信源編碼就是將信源輸出的消息變換成適合信道傳輸?shù)男滦旁吹南韨鬏?，而使新信源的符號接近等概率分布，新信源的熵接近最大熵。這樣，信源傳輸?shù)男畔⒘窟_(dá)到最大，信道剩余度接近于零，信源與信道達(dá)到匹配。差錯(cuò)控制的途徑途徑一：從信道編碼定理出發(fā)1?增加信道容量1） 擴(kuò)展帶寬2） 增加功率3） 降噪R二Klogq減小碼率——N—1） 減小K降低信息源速率。2） 增加N,提高波特率，占用更大帶寬3） 減小q,減小信道的符號集，提高信號間的區(qū)分度增加碼長加大碼字間的距離，同時(shí)使差錯(cuò)概率符合統(tǒng)計(jì)規(guī)律。途徑二：利用糾錯(cuò)1） 利用冗余度?？梢岳脮r(shí)間，頻帶，功率，設(shè)備復(fù)雜度。2） 噪聲均化?？梢岳迷黾哟a長，卷積，交織。交織的作用：通過對編碼器輸出的碼流與信道上的符號流作順序上的變換，將突發(fā)噪聲的影響分?jǐn)偟蕉鄠€(gè)碼字上，使得對每個(gè)碼字的影響都在糾檢錯(cuò)能力范圍內(nèi)。增加碼長N的好處：根據(jù)P<e-NE（R），減小差錯(cuò)概率需要增大N和E（R）,同時(shí)N增大使碼率下降，也就e使可靠性函數(shù)E（R）增大；均化噪聲，使每個(gè)碼字中誤碼元的比例接近統(tǒng)計(jì)平均值；增大碼字間空間，可能增加碼間距離，從而提高碼的糾檢錯(cuò)能力。譯碼方法與誤碼率最佳譯碼/最大后驗(yàn)概率譯碼最大似然譯碼：輸入與輸出等概分布時(shí)就是最佳譯碼最小漢明距離譯碼：BSC信道的最大似然譯碼，發(fā)送的碼字獨(dú)立等概則是最佳譯碼最小距離dmin與糾檢錯(cuò)能力：1） 檢l個(gè)錯(cuò)誤：d=1+1min2） 糾t個(gè)錯(cuò)誤：d=It+1min3)檢l個(gè)錯(cuò)誤，糾t個(gè)錯(cuò)誤：d.=1+t+1min17.生成矩陣：17.生成矩陣：G=[Ik*k1Pk*(n-k)]監(jiān)督矩陣：H二[PlJ1(n-k)g]極大最小距離碼：d=n-k+1min伴隨式：S二RHt=EHt17.循環(huán)碼h*(x)m) xh*(x)H(x)二xn-kh*(x)m) xh*(x)H(x)二xn