信源編碼的基本原理及其應(yīng)用

信源編碼的基本原理及其應(yīng)用 課程名稱 通信原理 專 業(yè) 通信工程 班 級(jí) * 學(xué)號(hào) * 學(xué)生姓名 * 論文成績(jī) 指導(dǎo)教師 * *信源編碼的基本原理及其應(yīng)用 信息論的理論定義是由當(dāng)代偉大的數(shù)學(xué)家美國貝爾實(shí)驗(yàn)室杰出的科學(xué)家香農(nóng)在他1948 年的著名論文通信的數(shù)學(xué)理論所定義的，它為信息論奠定了理論基礎(chǔ)。后來其他科學(xué)家，如哈特萊、維納、朗格等人又對(duì)信息理論作出了更加深入的探討。使得信息論到現(xiàn)在形成了一套比較完整的理論體系。信息通過信道傳輸?shù)叫潘薜倪^程即為通信，通信中的基本問題是如何快速、準(zhǔn)確地傳送信息。要做到既不失真又快速地通信，需要解決兩個(gè)問題：一是不失真或允許一定的失真條件下，如何提高信息傳輸速度（如何用盡可能少的符號(hào)來傳送信源信息）；二是在信道受到干擾的情況下，如何增加信號(hào)的抗干擾能力，同時(shí)又使得信息傳輸率最大（如何盡可能地提高信息傳輸?shù)目煽啃裕?。這樣就對(duì)信源的編碼有了要求，如何通過對(duì)信源的編碼來實(shí)現(xiàn)呢？通常對(duì)于一個(gè)數(shù)字通信系統(tǒng)而言，信源編碼位于從信源到信宿的整個(gè)傳輸鏈路中的第一個(gè)環(huán)節(jié)，其基本目地就是壓縮信源產(chǎn)生的冗余信息，降低傳遞這些不必要的信息的開銷，從而提高整個(gè)傳輸鏈路的有效性。在這個(gè)過程中，對(duì)冗余信息的界定和處理是信源編碼的核心問題，那么首先需要對(duì)這些冗余信息的來源進(jìn)行分析，接下來才能夠根據(jù)這些冗余信息的不同特點(diǎn)設(shè)計(jì)和采取相應(yīng)的壓縮處理技術(shù)進(jìn)行高效的信源編碼。簡(jiǎn)言之，信息的冗余來自兩個(gè)主要的方面：首先是信源的相關(guān)性和記憶性。這類降低信源相關(guān)性和記憶性編碼的典型例子有預(yù)測(cè)編碼、變換編碼等；其次是信宿對(duì)信源失真具有一定的容忍程度。這類編碼的直接應(yīng)用有很大一部分是在對(duì)模擬信源的量化上，或連續(xù)信源的限失真編碼?？梢园研旁淳幋a看成是在有效性和傳遞性的信息完整性（質(zhì)量）之間的一種折中有段。信源編碼的基本原理： 信息論的創(chuàng)始人香農(nóng)將信源輸出的平均信息量定義為單消息（符號(hào)）離散信源的信息熵：香農(nóng)稱信源輸出的一個(gè)符號(hào)所含的平均信息量為 為信源的信息熵。通信原理中對(duì)信源研究的內(nèi)容包括3個(gè)方面：(1)信源的建模 信源輸出信號(hào)的數(shù)學(xué)描述已有成熟的理論隨機(jī)過程，一般的隨機(jī)過程理論并不涉及和討論信號(hào)中所攜帶的信息，而通信原理所關(guān)心的中心內(nèi)容則是信號(hào)中攜帶的信息。發(fā)射器發(fā)送1和發(fā)送0的概率是不相等的，因此需要討論發(fā)送1和發(fā)送0的不同概率。(2)信源輸出信號(hào)中攜帶信息的效率的計(jì)算 在通信原理中，信源輸出信號(hào)所攜帶信息的效率是用熵率或冗余度來表示的。(3)信源輸出信息的有效表示 一般地，信源輸出信號(hào)中攜帶信息的效率并不很高，如何用適當(dāng)?shù)男盘?hào)有效地表示信源輸出的信息是人們感興趣的問題，這就是信源編碼的問題。信源編碼的方式：一、模數(shù)轉(zhuǎn)化：脈沖編碼調(diào)制和增量編碼調(diào)制PCM/DM二、離散無記憶信源編碼DMS，包括有Huffman編碼和等長(zhǎng)編碼三、線性預(yù)測(cè)編碼LPC，將信源等效地視為在一個(gè)適當(dāng)輸入信號(hào)激勵(lì)下的線性系統(tǒng)輸出。用線性系統(tǒng)的參數(shù)及伴隨的輸入激勵(lì)信號(hào)進(jìn)行編碼。 一、脈沖編碼調(diào)制1.1低通信號(hào)的抽樣定理Nyquist抽樣定理（均勻采樣定理） 一個(gè)帶限于（0，fm）Hz內(nèi)的連續(xù)時(shí)間信號(hào)f(t)，如果以Ts1/2fm秒的時(shí)間間隔進(jìn)行抽樣，則f(t)將由得到的抽樣值f(kTt)完全確定。Nyquist抽樣速率：Nyquist最大時(shí)間間隔：低通信號(hào)的抽樣示意圖： 1.2量化：1.2.1均勻量化 在整個(gè)輸入信號(hào)的幅度范圍內(nèi)各量化分級(jí)間隔相等的量化方式即為均勻量化。其原理圖為： 在滿足信噪比要求的輸入信號(hào)取值范圍內(nèi)進(jìn)行均勻量化時(shí)，信號(hào)動(dòng)態(tài)范圍將受到較大的限制。因此均勻量化的缺陷十分明顯。1.2.2非均勻量化 為克服均勻量化的缺點(diǎn)，使小信號(hào)的量化臺(tái)階減小，大信號(hào)的量化臺(tái)階增大，而形成的量化方式為非均勻量化。即根據(jù)信號(hào)的不同區(qū)間確定間隔。（1）方法：壓擴(kuò)處理，在發(fā)送端進(jìn)行壓縮，在接收端進(jìn)行擴(kuò)張。（2）非均勻量化框圖：1.2.3優(yōu)點(diǎn)（1）當(dāng)輸入量化器的信號(hào)具有非均勻的概率密度時(shí)，非均勻量化器的輸出端可以得到較高的平均信噪比；（2）非均勻量化時(shí)，量化噪聲功率的均方根值基本與信號(hào)抽樣值成正比，從而改善了小信號(hào)的信噪比；可以做到在不增大量化級(jí)數(shù)N的條件下，使信號(hào)在較寬的動(dòng)態(tài)范圍內(nèi)的(S/Nq)dB達(dá)到指標(biāo)的要求。 1.3非均勻量化的生活中應(yīng)用：A律13折線壓擴(kuò)技術(shù)（我國現(xiàn)在使用） 目前應(yīng)用較多的是以數(shù)字電路方式實(shí)現(xiàn)的A律特性折線近似。具體實(shí)現(xiàn)：1.對(duì)x軸在01(歸一化)范圍內(nèi)以1/2遞減規(guī)律分成8個(gè)不均勻段，其分段點(diǎn)是1/2，1/4，1/8，1/16，1/32，1/64和1/128；2.對(duì)y軸在01(歸一化)范圍內(nèi)以均勻分段方式分成8個(gè)均勻段，其分段點(diǎn)是1/8，2/8，3/8，4/8，5/8，6/8，7/8和1。3.將x軸和y軸對(duì)應(yīng)的分段線在x-y平面上的相交點(diǎn)相連接的折線就是有8個(gè)線段的折線。1.4DM增量編碼調(diào)制 DM：把過去的信號(hào)樣值作為預(yù)測(cè)值的單純預(yù)測(cè)編碼的方式。40年代提出的，是脈沖編碼的一種特殊形式，是模擬信號(hào)數(shù)字化的另一種基本方法。它的編碼設(shè)備比較簡(jiǎn)單。二、離散無記憶信源編碼DMS 在DMS編碼中，我們給每個(gè)符號(hào)賦予一定長(zhǎng)度的代碼表示。因此假設(shè)，信源的輸出來自一個(gè)由有限個(gè)符號(hào)組成的集合， 表示符號(hào)出現(xiàn)的概率，則：調(diào)整平均數(shù)據(jù)速率。由此可以看出，在賦予一定長(zhǎng)度的代碼時(shí)，每個(gè)符號(hào)的二進(jìn)制代碼平均長(zhǎng)度最短不應(yīng)小于信源的熵。我們對(duì)信源編碼的要求是：不僅要使傳遞編碼序列的信息速率盡量變小，還要從該編碼序列能無失真的恢復(fù)出源信號(hào)的輸出符號(hào)即能正確的進(jìn)行反變換或者譯碼，稱此信源編碼為無失真離散信源編碼。2.1等長(zhǎng)編碼：信源編碼原理圖為：等長(zhǎng)編碼又稱為均勻編碼，即不管符號(hào)出現(xiàn)的概率如何，每個(gè)符號(hào)都用N位二進(jìn)制代碼表示。碼長(zhǎng)為：編碼效率為：它表示信源的平均每個(gè)符號(hào)的信息熵 與信源平均每個(gè)符號(hào)的編碼長(zhǎng)度R之比值。 若信源編碼器用不同長(zhǎng)度的符號(hào)來表示信源的輸出符號(hào)，則稱為變長(zhǎng)編碼。 變長(zhǎng)編碼的思路是根據(jù)信源輸出符號(hào)出現(xiàn)概率的不同來選擇碼字，出現(xiàn)概率大的用短碼表示，出現(xiàn)概率小的用長(zhǎng)碼，使平均編碼長(zhǎng)度最短，因而可提高編碼效率。變長(zhǎng)編碼可以無失真編碼，無差錯(cuò)編碼。使用變長(zhǎng)編碼可以達(dá)到相當(dāng)高的編碼效率。一般，變長(zhǎng)碼所要求的信源消息序列長(zhǎng)度L比等長(zhǎng)編碼的小得多。其特點(diǎn)是：1.當(dāng)L為2的整數(shù)次冪且等概出現(xiàn)時(shí)，編碼效率為100%；2.當(dāng)符號(hào)等概出現(xiàn)，但L不是2的整數(shù)次冪時(shí)，編碼效率下降，符號(hào)平均信息量與碼長(zhǎng)N之間最多可相差1比特；3.L較小時(shí)，編碼效率較低，因此，可以采用擴(kuò)展編碼的方法，即將連續(xù)J個(gè)符號(hào)進(jìn)行統(tǒng)一編碼，則： 取整即：也就是說，每個(gè)符號(hào)所增加的1比特下降到1/J比特，編碼效率增加。2.2哈夫曼編碼 在信源編碼的變長(zhǎng)編碼中哈夫曼編碼（Huffman）是無前綴的變長(zhǎng)編碼，它沒有一個(gè)碼字是其他碼字的前綴，以確保唯一可以碼。它能夠提供信源熵的編碼序列，其編碼效率高，且能無失真的編譯碼。哈夫曼編碼步驟： （1）將信源消息符號(hào)按其出現(xiàn)的概率大小依次排列P1 P2 Pn 。 （2）取兩個(gè)概率最小的字母分別配以0和1兩個(gè)碼元，并將這兩個(gè)概率相 加作為一個(gè)新的字母的概率，與未分配的二進(jìn)制符號(hào)的字母重新排隊(duì)。（3） 對(duì)重排后的兩個(gè)概率最小符號(hào)重復(fù)步驟（2）的過程。（4） 不斷繼續(xù)上述過程，直到最后兩個(gè)符號(hào)配以0和1為止。（5） 從最后一級(jí)開始，向前返回得到各個(gè)信源符號(hào)所對(duì)應(yīng)的碼元序列，即 相應(yīng)的碼字平均編碼效率：哈夫曼編碼的主要特點(diǎn)：1.哈夫曼編碼構(gòu)造的碼字不唯一；2.哈夫曼編碼是變長(zhǎng)編碼，硬件實(shí)現(xiàn)比較困難；3.采用哈夫曼編碼，要傳送編碼表，占用傳送時(shí)間；4.哈夫曼編碼是變長(zhǎng)編碼，出錯(cuò)時(shí)難以識(shí)別；哈夫曼編碼方法不唯一，因?yàn)榫幋a時(shí)的0和1是任意給的，另外在兩個(gè)符號(hào)有相同概率時(shí)的編碼過程不唯一，造成編碼結(jié)果不同，但平均碼長(zhǎng)相同。其次：對(duì)信源進(jìn)行縮減時(shí)兩個(gè)概率最小的符號(hào)合并后的概率與其他信源符號(hào)的概率相同時(shí)，這兩者在縮減信源中進(jìn)行概率排序，其位置放置次序是可以任意的，故會(huì)得到不同的哈夫曼碼此時(shí)將影響碼字的長(zhǎng)度，一般將合并的概率放在上面，這樣可以獲得較小的碼方差。對(duì)于多進(jìn)制哈夫曼編碼，為了提高編碼效率，就要使長(zhǎng)碼的符號(hào)數(shù)量盡量少、概率盡量小，所以信源符號(hào)數(shù)最好滿足,其中r為進(jìn)制數(shù)，n為縮減的次數(shù)。例如，要進(jìn)行三進(jìn)制編碼，那么最好信源有7個(gè)符號(hào)，第1次合并后減少2個(gè)成為5個(gè)，第2次合并后又減少2個(gè)成為3個(gè)，這樣給每一步賦予三進(jìn)制符號(hào)就沒有浪費(fèi)了。但如果信源只有6個(gè)符號(hào)時(shí)，為了盡量減少最長(zhǎng)碼的數(shù)量，則應(yīng)該在第1次合并時(shí)添置概率為零的虛擬符號(hào)1個(gè)，事實(shí)上只合并2個(gè)概率最小的符號(hào)，后面每次合并三個(gè)，就可以使得最長(zhǎng)碼的符號(hào)數(shù)量最少，也就是長(zhǎng)碼的概率最小，從而得到最高的編碼效率。哈夫曼編碼現(xiàn)已廣泛應(yīng)用于各類圖像編碼中，然而應(yīng)用最早、最為有效的則是在傳真編碼中。在傳真編碼中應(yīng)用的是游程編碼，它是一類基于哈夫曼編碼的推廣。 哈夫曼編碼被稱為最優(yōu)的變長(zhǎng)信源編碼，但是這一最佳性能是建立在穩(wěn)定、確知的概率統(tǒng)計(jì)特性的基礎(chǔ)上，一旦統(tǒng)計(jì)特性不穩(wěn)定或發(fā)生變化或不完全確知，變長(zhǎng)編碼將失去統(tǒng)計(jì)匹配的前提，其性能必然引起惡化，實(shí)際信源往往不可能提供很穩(wěn)定、確知的概率特性，因此人們開始研究比較穩(wěn)健、適應(yīng)性比較強(qiáng)的準(zhǔn)最佳信源編碼。而且哈夫曼編碼仍然存在一些分組碼所具有的缺點(diǎn)。例如概率特性必須得到精確地測(cè)定，它若略有變化，還需要換碼表，以及對(duì)于二元信源，常需要多個(gè)符號(hào)合起來編碼，才能取得好的效果，但當(dāng)合并的符號(hào)數(shù)不大時(shí)，編碼效率提高不多，尤其對(duì)于相關(guān)信源，不能令人滿意，而合并的符號(hào)數(shù)增大時(shí)，碼表中的碼字?jǐn)?shù)很多，設(shè)備將越來越復(fù)雜。 當(dāng)容量設(shè)定后，隨著時(shí)間的增長(zhǎng)，存儲(chǔ)器溢出和取空的的概率都將增。當(dāng)T 很大時(shí)，幾乎一定會(huì)溢出或損失；由此可見，對(duì)于無線長(zhǎng)的信息，很難采用變長(zhǎng)碼而不出現(xiàn)錯(cuò)誤。一般來說，變長(zhǎng)碼只適用于有限碼的傳輸；即送出一段信息后，信源就停止輸出，例如傳真機(jī)送出一張紙上的信息后停止。對(duì)于長(zhǎng)信息在實(shí)際使用時(shí)可把長(zhǎng)信息分段送出，也可通過檢測(cè)存儲(chǔ)器的狀態(tài)調(diào)節(jié)信源輸出即發(fā)現(xiàn)存儲(chǔ)器將要溢出就停止信源輸出；發(fā)現(xiàn)存儲(chǔ)器將要被取空就在信道上插上空閑標(biāo)志，或加快信源輸出。 變長(zhǎng)碼可以無失真的譯碼，這是理想情況。如果這種變長(zhǎng)碼是由信道輸入的，一個(gè)碼子前面有一個(gè)碼元錯(cuò)了，就可能誤認(rèn)為是另一個(gè)碼字而斷點(diǎn)，結(jié)果后面一系列的碼字也會(huì)譯錯(cuò)，這常稱為差錯(cuò)的擴(kuò)散。當(dāng)然也可以采用某些措施，使碼元錯(cuò)了一段以后，能恢復(fù)正常的碼字分離和譯碼，這一般要求在傳輸過程中差錯(cuò)很少，或者加糾錯(cuò)用的監(jiān)督碼位，但是這樣一來又增加了信息率。 此外，當(dāng)信源有記憶時(shí)，用單個(gè)符號(hào)編碼不可能是編碼效率接近于1，因此信息率只能接近一維熵H1，而H一定小于H1 。此時(shí)仍需要多個(gè)符號(hào)一起編碼，才能提高編碼效率。但導(dǎo)致碼表長(zhǎng)，存儲(chǔ)器多。三、線性預(yù)測(cè)編碼LPC預(yù)測(cè)編碼：根據(jù)過去的信號(hào)樣值預(yù)測(cè)下一個(gè)樣值，并僅把預(yù)測(cè)值與當(dāng)前樣值之差（預(yù)測(cè)誤差）加以量化編碼再傳輸?shù)姆绞健?.1基本思想 用一個(gè)階梯波逼近模擬信號(hào)，只用一位二進(jìn)制編碼表示抽樣時(shí)刻波形的變化趨向。3.2基本原理 首先根據(jù)信號(hào)的幅度大小和抽樣頻率(注意抽樣頻率大于等于2fm）去規(guī)定階梯信號(hào)的臺(tái)階，在抽樣時(shí)刻ti把信號(hào)f(ti)與前一時(shí)刻的階梯波形值進(jìn)行比較，確定該時(shí)刻的輸出碼字。經(jīng)過預(yù)測(cè)編碼就可以解除信源的相關(guān)性，然后對(duì)信源進(jìn)行編碼就不再是記憶的了。 以上就是信源編碼的基本原理了，而在移動(dòng)通信中的信源編碼又是又是如何呢。其實(shí)，移動(dòng)通信中的信源編碼與有線通信不同，它不僅需要對(duì)信息傳輸有效性進(jìn)行保障，還應(yīng)該與其他一些系統(tǒng)指標(biāo)密切相關(guān)，例如容量、覆蓋和質(zhì)量。以GSM為例說明。以GSM系統(tǒng)中普通的全速率和版速率話音編碼來說，其速率分別為9.6kbps和4.8kbps，前者的話音質(zhì)量好于后者，但占用的系統(tǒng)資源是后者的兩倍左右。當(dāng)系統(tǒng)的覆蓋不是限制因素時(shí)，使用半速率編碼可以犧牲質(zhì)量換取倍增的容量，即提高系統(tǒng)的有效性。而當(dāng)系統(tǒng)的容量相對(duì)固定時(shí)，可以通過使用半速率編碼犧牲質(zhì)量換取覆蓋的增加，因?yàn)榘胨俾示幋a對(duì)于接收信號(hào)質(zhì)量的要求降低了。除此之外，移動(dòng)通信中的信源編碼的設(shè)計(jì)和實(shí)現(xiàn)還要考慮其他一些因素。由于移動(dòng)終端是由電池供電，其運(yùn)算處理能力悠閑，因此信源編碼就要在保證質(zhì)量的前提下盡可能地降低復(fù)雜度。另外考慮到信宿處理能力的差異，編碼后的數(shù)據(jù)流量應(yīng)該也包含不同質(zhì)量的信息，以適應(yīng)不同終端的需求?？紤]到移動(dòng)通信信道的差錯(cuò)特性和一些話音、多媒體業(yè)務(wù)的實(shí)時(shí)性，這類業(yè)務(wù)通常要求移動(dòng)通信中的信源編碼能夠容忍一定的差錯(cuò)而無需復(fù)雜的傳播。2G/3G中的話音信源編碼的基本原理是相同的，都采用了矢量量化和參數(shù)編碼的方式。1. IS-95中的變速率碼激勵(lì)線性預(yù)測(cè)編碼（CELP） IS-95中的CELP技術(shù)通過四個(gè)等級(jí)的變速率編碼實(shí)現(xiàn)話音激活，即使用者發(fā)聲時(shí)進(jìn)行全速率（9.6kbps）編碼，而不發(fā)聲時(shí)僅僅傳遞八分之一（1.2kbps）的背景噪聲，以降低功耗和對(duì)其他用戶的干擾。2. GPRS/WCDMA中的自適應(yīng)多速率編碼（AMR） 數(shù)字蜂窩系統(tǒng)自適應(yīng)多碼率語音傳輸解編碼器（Adaptive MultiRate Speech Codec:AMR）是歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)（ETSI）下屬的SMG11（Special Mobile Group11）制定的語音編解碼標(biāo)準(zhǔn)，提供了一種自適應(yīng)的解決方法來跟蹤快速變化的無線信道情況和本地流量情況。AMR編碼器實(shí)時(shí)根據(jù)信道類型（全速率或半速率）選擇多種碼率中的一種，從而達(dá)到語音編碼和信道編碼的最優(yōu)組合以滿足瞬時(shí)的無線信道條件和本地容量需求。AMR提供了從4.75kbits/s到12.2kbits/s的多種碼率選擇。AMR憑借其優(yōu)異的性能成為UMTS和ITU第三代系統(tǒng)的語音編碼方案之一。ARM語音編碼器的原理：ARM編碼器由多個(gè)固定速率的語音編碼器、信源控制器的速率方式、能夠有效克服傳輸錯(cuò)誤和丟包的錯(cuò)誤對(duì)消器組成。多速率的語音編碼器是一種單個(gè)集成的，它有8個(gè)固定的信源速率模式，從4.75kbps 到12.2kbps, 此編碼器能夠根據(jù)命令在每20MS語音幀中改變它的速率.語音仍然是第三代移動(dòng)通信系統(tǒng)中最重要的業(yè)務(wù)之一，問題在于:如何在優(yōu)化頻譜資源的同時(shí)增強(qiáng)靈活性和語音質(zhì)量，尤其是在用戶密集的區(qū)域。一個(gè)好的解決方案必須能夠在無噪信道條件下提供最好的質(zhì)量，而且能夠在干擾嚴(yán)重的信道條件下保持較好的質(zhì)量。WCDMA采用的自適應(yīng)多速率（AMR）語音編解碼器，能夠根據(jù)通信信道的改變而動(dòng)態(tài)地在信源編碼和信道編碼之間調(diào)整比特分配。3. CDMA2000演進(jìn)系統(tǒng)中的可選擇模式語音編碼（SMV）SMV用于CDMA2000演進(jìn)系統(tǒng)中，其基本原理與前述兩種基本相同，它也是可變速率的，從速率等級(jí)上看與IS-95中的CELP一樣，有9.6kbps、4.8kbps、2.4kbps、1.2kbps四種，不同的是SMV允許有四種模式供系統(tǒng)側(cè)選擇，即MODE0（高品質(zhì)模式）、MODE1（標(biāo)準(zhǔn)模式）、MODE2（經(jīng)濟(jì)模式）、MODE3（容量節(jié)省模式），不同的模式實(shí)現(xiàn)不同程度的話音質(zhì)量和平均速率的折中，通過調(diào)整不同等級(jí)速率所占的比例實(shí)現(xiàn)不同的模式，從而調(diào)整平均數(shù)據(jù)速率。4.3G系統(tǒng)中的視頻信源編碼H.264