現(xiàn)代通信理論第三講 信源編碼

第三

講

信源編碼現(xiàn)代通信理論概述：

編碼理論包括3個(gè)方面的內(nèi)容：提高數(shù)字信息傳輸、存儲處理的有效性為宗旨的信源編碼，即用盡可能最少的信息比特來表示信源。保證數(shù)字信號傳輸和處理的可靠性為目的的差錯(cuò)控制編碼—信道編碼，通過在待傳信息中加入冗余比特來達(dá)到差錯(cuò)控制的目的。增加數(shù)字信息傳輸、存儲處理的為目標(biāo)數(shù)字加密編碼。

通信的目的就是把信源產(chǎn)生的信息送到目的地，信源有聲音、音樂、視頻。將信源輸出轉(zhuǎn)換為數(shù)字形式的過程稱為信源編碼。利用信源的統(tǒng)計(jì)特性解除信源的相關(guān)性，去掉信源多余的冗余信息，可以達(dá)到壓縮信源信息速率（在保證一定聲音或圖象質(zhì)量）的條件下，以最小的數(shù)據(jù)率來表達(dá)和傳送聲音（或圖象）數(shù)據(jù)。模數(shù)轉(zhuǎn)換（A/D）和信源的壓縮編碼信源編碼的兩個(gè)主要過程為：數(shù)據(jù)能夠壓縮的可能性在于：1.原始數(shù)據(jù)中存在著大量的冗余信息(時(shí)間、空間和統(tǒng)計(jì)冗余）

時(shí)間冗余：在一般的情況下，聲音的幅度是逐漸變化的，因而對聲音波形采樣后，相鄰樣值之間存在著很強(qiáng)的相關(guān)性，同樣對每秒顯示25幅圖像的視頻信號，前后相鄰的圖像之間一般也有很強(qiáng)的相關(guān)性，既表現(xiàn)為時(shí)間上的冗余?？臻g冗余:

圖像的相鄰像素之間也存在著相關(guān)性，相關(guān)的像素所攜帶的信息中存在著冗余，這通常稱之為空間冗余。統(tǒng)計(jì)冗余：當(dāng)信號中的時(shí)間和空間冗余信息完全去除后，由信息論可知只要這些離散幅值出現(xiàn)的概率不相等，就還有冗余（稱為統(tǒng)計(jì)冗余）因而就存在著壓縮的可能性。2.掩蓋效應(yīng)

視頻和音頻的最終接收者是人，人視覺和聽覺器官都有某種不敏感性，對圖象或聲音的影響很小，在有些情況下甚至可以忽略不計(jì)，即：掩蓋效應(yīng)。時(shí)間遮蓋效應(yīng):

在場景突然變化的瞬間，對新景物的分辨率很低另外人可聽到的聲音頻率有一定的范圍，人眼對過高或過低空間頻率的亮度變化不能察覺?？臻g掩蓋效應(yīng):

人眼所能觀察到的亮度和色彩變化也有一定的限度，對亮度細(xì)節(jié)的分辨率比對色彩的高，在細(xì)節(jié)豐富的區(qū)域內(nèi)不容易察覺噪聲。

第一部分

信源的數(shù)學(xué)模型與信息度量

信源產(chǎn)生的輸出都是隨機(jī)的，因此需要用統(tǒng)計(jì)方法去定性描述

一、

離散信源的統(tǒng)計(jì)特性

[1].信源的輸出是隨機(jī)的；

[2].離散信源是由有限個(gè)字符集組成的序列；

[4].若信源輸出符號是統(tǒng)計(jì)獨(dú)立的，離散無記憶信源；

若信源輸出符號之間有關(guān)聯(lián)性，離散有記憶信源;[3].每個(gè)字符得出現(xiàn)都有一定概率：二、離散信息的對數(shù)度量1.信息量對接收者來說，事件愈不可能，愈使人感到意外，則信息量愈大定義

I=㏒a[1/P(x)]=－㏒aP

(x)

當(dāng)a=2時(shí)，單位為bit（比特）二進(jìn)制信號，若0、1等概出現(xiàn)，每個(gè)符號所攜帶的信息量為1bitM進(jìn)制信號，如每個(gè)符號等概出現(xiàn)，每個(gè)符號所攜帶的信息量為2.離散信源平均信息量(熵)

若信源的各個(gè)符號是統(tǒng)計(jì)獨(dú)立的，則：3.

條件平均信息量若信源輸出的符號具有一定關(guān)聯(lián)性，則：[2].當(dāng)離散信源中每個(gè)符號等概出現(xiàn)，且各符號的出現(xiàn)統(tǒng)計(jì)獨(dú)立時(shí)，該信源的平均信息量最大：[3].信源編碼的任務(wù)就是減少或消除符號間的關(guān)聯(lián)性，并使各符號的出現(xiàn)趨于等概，從而以最小的符號數(shù)傳遞最大的信息量.結(jié)論:[1].符號間統(tǒng)計(jì)獨(dú)立的熵大于統(tǒng)計(jì)相關(guān)時(shí)的熵；三、連續(xù)信源的信息度量連續(xù)消息源的最大熵的條件取決于信息源輸出值上所受到的限制把連續(xù)消息看成離散消息的極限情況，若連續(xù)消息在每個(gè)抽樣點(diǎn)上的取值是一個(gè)連續(xù)的隨即變量，其一維概率密度函數(shù)為。定義連續(xù)消息的平均信息量：均方值受限時(shí)最佳概率分布為正態(tài)分布，最大熵為:峰值受限時(shí)最佳概率分布為均勻分布，最大熵為:結(jié)論:

將連續(xù)信源的概率密度函數(shù)變換為最佳概率分布以得到最大熵，同樣是信源編碼所要解決的題。四、信道容量由于信道中存在著干擾，在這種信道中信息傳輸?shù)淖畲笾捣Q為信道容量。在高斯白噪聲信道中的信道容量由香農(nóng)公式給出：香農(nóng)公式說明，在帶寬受限和信噪比受限的信道中，信息傳輸?shù)淖罡咚俾室矊⑹艿较拗啤?)

提高信號與噪聲功率之比能增加信道容量；2)

在無干擾的信道（噪聲功率為0）中，信道容量為無限大；3)

增加帶寬B并不能使信道容量無限制增大；4)

當(dāng)信道容量一定時(shí)帶寬和信噪比可以互換，即帶寬換取功率。第二部分熵編碼電平出現(xiàn)概率電平S1S2S3S4出現(xiàn)概率1/21/41/81/8等長碼00011011霍夫曼碼010110111

例如：

熵編碼旨在去除信源的統(tǒng)計(jì)冗余信息，霍夫曼編碼是最常見的熵編碼方法?；舴蚵a的基本思想是：對出現(xiàn)概率較大的符號(電平)取較短的碼，而對出現(xiàn)概率較小的符號取較長的碼，因此它是一種變長碼。原信源輸出的序列：S1S2S1S3S2S1S1S4等長編碼序列：

0001001001000011霍夫曼編碼序列：

01001101000111

等長編碼需要16bit，而霍夫曼碼只要14bit①等長編碼：把信源輸出的符號編成碼元數(shù)目相等的碼字;②非定長編碼：把信源輸出的符號編成碼元數(shù)目不相等的碼字。首先是無失真的，其次要使編成的碼字的平均碼元數(shù)(碼長)最短(最佳非定長編碼)?；舴蚵幋a(熵編碼)：

它是基于信源符號概率的非等長編碼方法。要求：(a)

把信源中出現(xiàn)概率大的消息符號編成短碼，反之編成長碼。(b)要求所編出的碼字是單義可譯碼，即任意一個(gè)有限長的碼字序列只能唯一地分割成一個(gè)碼字的碼(異字頭碼)。對(b)來說，如果所編的碼字是異字頭碼：即所有碼字集合中任何一個(gè)碼字都不是另一個(gè)碼字的字頭，或者說任何一個(gè)碼字都不是由另一個(gè)碼字加上幾個(gè)碼位所構(gòu)成，稱為異字頭碼，它能保證譯碼的唯一性?；舴蚵幋a舉例：

方法1:0111111000000.650.350.150.050.01平均碼長為，而等長編碼需要3bit方法20111111000000.650.350.150.050.0101111000011001011101110111樹圖構(gòu)成第三部分模擬信號的數(shù)字傳輸一、模擬信號的采樣--采樣定理1.低通信號的采樣定理：一個(gè)頻帶限制在（0，）內(nèi)的時(shí)間連續(xù)信號，如果對它以，或等間隔進(jìn)行采樣，則該信號將被所得到的抽樣值完全地確定。

抽樣的時(shí)域和頻域描述時(shí)域頻域

2.

帶通型信號的抽樣定理：若模擬信號m

(t)是帶通信號，頻率限制在f

L和fH之間，帶寬B=f

H–fL,則:原因：經(jīng)過采樣的信號仍然是模擬信號，它的取值仍有無窮多個(gè)，因此還必須對其取值進(jìn)行量化；方法：利用預(yù)先規(guī)定的有限個(gè)電平來表示模擬的抽樣值；抽樣是把一個(gè)時(shí)間連續(xù)信號變換成時(shí)間離散的信號，而量化則是將取值連續(xù)的抽樣變成取值離散的抽樣。二、模擬信號的量化1.均勻量化量化間隔最大量化誤差a:

信號最小值，b:

最大值，M：量化級數(shù)不足：均勻量化時(shí)大小信號的量化信噪比不同，因此影響了滿足信噪比要求的輸入信號取值范圍（動態(tài)范圍）量化誤差(量化噪聲)＝抽樣值－量化電平值量化性能：量化信噪比量化電平抽樣值

2.非均勻量化：利用壓擴(kuò)技術(shù)來實(shí)現(xiàn)非均勻量化利用非線性函數(shù)先對抽樣值進(jìn)行壓縮，然后再進(jìn)行均勻量化，相當(dāng)于對輸入信號進(jìn)行了非均勻量化，收端經(jīng)過相反的過程－擴(kuò)張，恢復(fù)信號的。μ律壓縮北美、日本標(biāo)準(zhǔn)A律壓縮中國、歐洲標(biāo)準(zhǔn)用13折線逼近A律壓縮曲線各折線段的斜率：用15折線逼近μ律壓縮曲線段落起始電平段落

1234567801632641282565121024起始電平量化間隔11248163264三、脈沖編碼調(diào)制(PCM)

系統(tǒng)組成將模擬信號的抽樣值量化并轉(zhuǎn)化成相應(yīng)的代碼的過程。就完成了模擬信號到數(shù)字信號的轉(zhuǎn)換，這種對模擬信號進(jìn)行抽樣、量化、編碼的調(diào)制方式稱為脈沖編碼調(diào)制(PCM)。.抽樣量化編碼譯碼低通PCM系統(tǒng)組成13折線的編碼的實(shí)現(xiàn)碼型的選擇：自然二進(jìn)碼、折疊二進(jìn)碼碼長的選擇可懂度:3~4位非線性編碼清晰度:7~8位非線性編碼第四部分信源壓縮編碼語音PCM編碼的速率為：圖像PCM編碼，若采用8位編碼（1個(gè)亮度信號，2個(gè)色差信號2個(gè)）三種方法：

1.波形編碼

2.參數(shù)編碼

3.變換域編碼每路電話可以壓縮到2.4k～4.8k，仍可保證長途質(zhì)量HDTV：15～25Mbps，會議電視：128k～2048k，常規(guī)電視：1.5～12M，電視電話：9.6～64k一、

波形編碼：DPCM及ADPCM提出：語音或圖像信號波形具有相關(guān)性，經(jīng)過取樣后的幾個(gè)樣值仍有相關(guān)性，其中相關(guān)部分是可以預(yù)測的，它由過去的一些樣值經(jīng)過加權(quán)后得到，稱為預(yù)測值，非相關(guān)部分是不可預(yù)測的，這時(shí)實(shí)際傳送信號是樣值與預(yù)測值之差值，因此只要對預(yù)測誤差進(jìn)行量化編碼就可以大大地壓縮編碼速率（差值信號動態(tài)范圍大大的減?。?，這就是DPCM的原理。

ADPCM是DPCM基礎(chǔ)上發(fā)展起來的，主要是改進(jìn)量化器和預(yù)測器，均采用自適應(yīng)方式，即量化器和預(yù)測器的參數(shù)能根據(jù)輸入信號的統(tǒng)計(jì)特性自適應(yīng)于最佳或接近于最佳參數(shù)狀態(tài)。DPCM系統(tǒng)框圖數(shù)字信道量化器預(yù)測器編碼解碼預(yù)測器+++_++S(k)Se(k)d(k)dq(k)Sr(k)I(k)I’(k)dq(k)Se(k)Sr(k)DPCM碼流編碼器解碼器++d

(Z)S

e(Z)Sr(Z)接收端H(Z)+_S(Z)Se(Z)d

(Z)Sr(Z)發(fā)送端++極點(diǎn)預(yù)測器DPCM系統(tǒng)發(fā)送端+_S(Z)Se(Z)d

q

(Z)量化器+_Sr(Z)d

q

(Z)H(z)接收端零點(diǎn)預(yù)測器：零點(diǎn)預(yù)測DPCM系統(tǒng)零點(diǎn)預(yù)測器極點(diǎn)預(yù)測器d

q

(k)Se(k)Sr(k)+_S(k)Se(k)d

q

(k)量化器極點(diǎn)預(yù)測器零點(diǎn)預(yù)測器d

(k)Sr(k)發(fā)送端接收端零極點(diǎn)預(yù)測器DPCM系統(tǒng)1.

極點(diǎn)系統(tǒng)存在不穩(wěn)定，尤其在自適應(yīng)預(yù)測器在系數(shù)更新時(shí)會引起系統(tǒng)不穩(wěn)定，其次重建濾波器是無限沖擊響應(yīng)系統(tǒng)，即輸出對輸入的反饋，將會使誤差積累；

2.

全零點(diǎn)預(yù)測系統(tǒng)不存在穩(wěn)定問題，且系統(tǒng)是非遞歸的，不會產(chǎn)生誤差積累，但是在理想信道的條件下，預(yù)測性能不如全極點(diǎn)預(yù)測器；

3.極零點(diǎn)預(yù)測系統(tǒng)的傳輸函數(shù)是無限沖擊響應(yīng)系統(tǒng)，預(yù)測器記憶長度較長，在無誤碼情況有利于保證語音質(zhì)量，但是在有誤碼情況下，反而影響傳輸質(zhì)量，但是零點(diǎn)的存在可減緩這一矛盾。4.在DPCM系統(tǒng)中，階數(shù)高預(yù)測性能好，但過大的延時(shí)會增大影響其它樣本的預(yù)測性能，零點(diǎn)階數(shù)M選擇6～10階，極點(diǎn)階數(shù)N選擇2～4階。預(yù)測誤差：均方誤差：令或根據(jù)N個(gè)線性方程，可解出預(yù)測系數(shù)使預(yù)測誤差最小。極點(diǎn)預(yù)測算法：設(shè)信號樣值序列為，k時(shí)刻的信號值用過去的N個(gè)信號的線性組合來預(yù)測：----預(yù)測系數(shù)自相關(guān)函數(shù)可通過下面估算：PCM/線性碼自適應(yīng)量化器自適應(yīng)逆量化器自適應(yīng)預(yù)測器定標(biāo)因子自適應(yīng)自適應(yīng)速度控制++ADPCM

碼輸出d

q

(k)S

r

(k)S

e

(k)32KbpsADPCM編碼器原理圖二、參數(shù)編碼：聲碼器提出：單獨(dú)利用ADPCM進(jìn)行壓縮編碼，對于語音信號來說只能將64kb/s降低到32kb/s。聲碼器是利用人的發(fā)聲機(jī)理提取和傳送基本參數(shù)，接收端再利用這些參數(shù)還原出語音，用2.4kb/s仍可傳輸高質(zhì)量的語音。其產(chǎn)生模型如下：

此模型包括三個(gè)部分：激勵(lì)源、聲道模型和輻射模型。激勵(lì)源分濁音和清音兩個(gè)分支，按照濁音/清音開關(guān)所處的位置來決定產(chǎn)生的語音是濁音還是清音。濁音由準(zhǔn)周期脈沖激勵(lì)產(chǎn)生，其周期稱為基音周期，而清音由隨機(jī)噪聲激勵(lì)產(chǎn)生。在濁音情況下，激勵(lì)源由一個(gè)周期脈沖發(fā)生器產(chǎn)生;為了使?jié)嵋舻募?lì)信號具有聲門氣流脈沖的實(shí)際波形，還需要使上述的沖擊序列通過一個(gè)聲門脈沖模型濾波器;聲道模型H

(z)給出了離散時(shí)域的聲道傳遞函數(shù)，在大多數(shù)情況下它是一個(gè)全極點(diǎn)函數(shù)。則H

(z)可以表示為：

聲門氣流、聲道以及唇輻射的聯(lián)合作用由此時(shí)變數(shù)字濾波器H(z)表示。

當(dāng)發(fā)音時(shí)，激勵(lì)和聲道形狀都是隨時(shí)間而改變的，將預(yù)測系數(shù)、清/濁判別，基音周期和增益G做為傳輸函數(shù)進(jìn)行編碼，接收端可恢復(fù)（合成）出原始語音信號，但語音信號隨時(shí)間的改變是非常緩慢的，大致可以認(rèn)為在每10～30ms短時(shí)間間隔內(nèi)語音信號的特性基本上是固定不變的。因此若每20ms為一幀傳輸一組參量，從而大大降低了比特率。

發(fā)送端一般需要提取并傳送15個(gè)基本參量，基因周期P(6bit)，清濁音判決U/V(1bit)，語音增益G(5bit)，12個(gè)線性時(shí)變合成語音濾波器系數(shù){a

i}(每個(gè)系數(shù)量化11bit)，共需144bit，對于20ms的語音幀，相當(dāng)于7.2Kbps。[1].采用反射系數(shù)格型算法，可將系數(shù)量化從11bit壓縮至

3～6bit；[2].采用矢量量化技術(shù)