z第五章 信源編碼

第1章：概述第2章：信源熵第3章：信道容量第5章：信源編碼第7章：密碼體制的安全性測度信源編碼信源編碼是以提高通信的有效性為目的編碼。通常通過壓縮信源的冗余度來實現(xiàn)。采用的一般方法是壓縮每個信源符號的平均比特數(shù)或信源的碼率。同樣多的信息用較少的碼率來傳送，使單位時間內(nèi)傳送的平均信息量增加，從而提高通信的有效性。信源編碼的基本途徑有兩個：使序列中的各個符號盡可能地互相獨立，即解除相關(guān)性；使編碼中各個符號出現(xiàn)的概率盡可能地相等，即概率均勻化。5.1.2香農(nóng)編碼設(shè)有離散無記憶信源1234香農(nóng)編碼方法的步驟按信源符號的概率從大到小的順序排隊不妨設(shè)例設(shè)有一單符號離散無記憶信源試對該信源編二進制香農(nóng)碼。編碼過程（1）5.1.2費諾編碼對概率按m進行分組，使每組概 率盡可能相等給每個分組分配一個碼元對每個分組重復(fù)2、3步，直到不可分為止1234按信源符號的概率從大到小的順序排隊不妨設(shè)設(shè)有一單符號離散無記憶信源試對該信源編二進制費諾碼。例編碼過程費諾碼比較適合于每次分組概率都很接近的信源。將信源符號按概率由大到小順序排隊；給兩個概率最小的符號各分配一個碼位，將其概率相加后合并作為一個新的符號，與剩下的符號一起，稱為縮減信源；將縮減信源符號仍按概率由大到小順序排隊；重復(fù)步驟2、3直至概率和為1。21435.1.3赫夫曼編碼設(shè)有一單符號離散無記憶信源試對該信源編二進制哈夫曼碼。例編碼過程設(shè)有離散無記憶信源用兩種不同的方法對其編二進制huffman碼例方法一方法二信源符號ai概率p(ai)碼字Wi1碼長Ki1碼字Wi2碼長K’i2a10.411002a20.2012102a30.20003112a40.1001040103a50.1001140113兩種不同的編碼方法得到的碼字和碼長的對比平均碼長和編碼效率兩種編碼方法編出的碼字的碼長方差比較結(jié)論：進行赫夫曼編碼時，為得到碼方差最小的碼，應(yīng)使合并的信源符號位于縮減信源序列盡可能高的位置上，以減少再次合并的次數(shù)，充分利用短碼。

5.1.5游程編碼

游程：指數(shù)字序列中連續(xù)出現(xiàn)相同符號的一段。在二元信源中，連續(xù)的一段‘0’稱為一個‘0’游程，‘0’的個數(shù)稱為此游程的長度，同樣，也有‘1’游程。

游程序列：用交替出現(xiàn)的‘0’游程、‘1’游程的長度，來表示任意二元序列而產(chǎn)生的一個新序列。它和二元序列是一個一一對應(yīng)的變換。000101110010001……31132131……若已知二元序列以0起始，從游程序列很容易恢復(fù)成原來的二元序列游程序列是多元序列，各長度可按赫夫曼編碼或其它方法處理以達到壓縮碼率的目的。

游程編碼只適用于二元序列，對于多元信源，一般不能直接利用游程編碼

因為游程變換是一一對應(yīng)的可逆變換，所以游程變換后，熵不變。組合編碼可獲得較高的編碼效率：游程編碼赫夫曼編碼冗余位信源序列中不攜帶信息的符號。多元信源序列：冗余位上面二元1表示信息位，0表示冗余位

5.1.6冗余位編碼冗余位序列游程編碼信息序列赫夫曼編碼

分幀傳送冗余位序列的編碼方法。N個符號為一幀，編成一個L-D碼字，每個碼字含有兩個數(shù)：Q和T。Q：本幀內(nèi)信息位的數(shù)目。T：信息位的位置信息。L-D編碼第個信息位的位置序號。例001000000010000，N=15,編L-D碼。編碼。編碼位數(shù)：Q的位數(shù)T的位數(shù)1T=47。、計算出00100101111譯碼。T=47適用：冗余位和信息位數(shù)目相差較大的情況。2§5.1離散信源編碼§5.2連續(xù)信源編碼

§5.3相關(guān)信源編碼

§5.4變換編碼5.2.1最佳標(biāo)量量化5.2.2矢量量化搜索信道碼書碼書采樣量化、編碼檢索預(yù)測編碼：利用信號序列的時間相關(guān)性，通過預(yù)測以減少信息冗余后再進行編碼；5.3相關(guān)信源編碼變換編碼：引入某種變換，將信號序列變換為另一個域上彼此獨立或者相關(guān)程度較低的序列，同時將能量集中在部分樣值上，再對這個新序列進行編碼。如傅立葉變換、余弦變換、哈達瑪變換、變換、小波變換等。5.4變換編碼小結(jié)香農(nóng)編碼、費諾編碼、霍夫曼編碼最佳