信息處理編碼信源編碼

第五章信源編碼

目的：提高通信系統(tǒng)有效性，實(shí)現(xiàn)信源與通信系統(tǒng)間的統(tǒng)計(jì)匹配。

§５－１無(wú)失真信源編碼

一〕首先，我們研究離散、無(wú)失真、無(wú)記憶信源編碼的一般模型：假設(shè)不考慮信源統(tǒng)計(jì)特性：應(yīng)滿(mǎn)足：相互矛盾！由 ----①

〔一〕離散、無(wú)失真、無(wú)記憶信源編碼的一般模型〔續(xù)〕結(jié)論：①當(dāng)n=m時(shí)，K≥L不有效。②當(dāng)K=L時(shí)，m≥n，亦不滿(mǎn)足有效性。解決方法：引入信源統(tǒng)計(jì)特性?？紤]信源統(tǒng)計(jì)特性：即無(wú)需對(duì)全部組合的n的L次方種信息一一編碼，而僅需對(duì)其中少數(shù)大概率事件集合中元素進(jìn)行編碼即可。這時(shí)，我們可以修改①式為：K/L≥H(U)/logm----②即考慮信源不等概率，而碼字為等概率，這就是等長(zhǎng)碼的仙農(nóng)無(wú)失真信源編碼定理：對(duì)離散，無(wú)記憶、平穩(wěn)、遍歷信源其符號(hào)序列：U=(U1,U2…..UL)，可用K個(gè)符號(hào)C=(C1,C2….Ck)進(jìn)行等長(zhǎng)編碼，對(duì)任意ε>0,δ>0，只要滿(mǎn)足：(K/L)logm≥H(U)+ε----③那么當(dāng)L足夠大時(shí)，可使譯碼過(guò)失小于δ，反之，當(dāng)(K/L)logm≤H(U)-2ε----④時(shí)，譯碼一定出錯(cuò)。這就是等長(zhǎng)碼信源編碼定理?！惨弧畴x散、無(wú)失真、無(wú)記憶信源編碼的一般模型〔續(xù)〕〔一〕離散、無(wú)失真、無(wú)記憶信源編碼的一般模型〔續(xù)〕定理證明,主要引用了序列信源中的隨機(jī)序列的漸近等同分割A(yù).E.P特性.所謂A.E.P是指任何一個(gè)離散隨機(jī)序列信源當(dāng)序列長(zhǎng)度Ｌ→∝時(shí),信源序列會(huì)產(chǎn)生兩極分化.大概率事件集合與小概率事件集合,即nL=∪對(duì)于有性質(zhì):①

②

(信源熵)(大概率事件熵)③

(等概率)對(duì)于有性質(zhì):〔一〕離散、無(wú)失真、無(wú)記憶信源編碼的一般模型〔續(xù)〕由此可見(jiàn)，信源編碼只需對(duì)信源中少數(shù)落入典型大概率事件的集合的符號(hào)進(jìn)行編碼即可。而對(duì)大多數(shù)屬于非典型小概率事件集合中的信源符號(hào)無(wú)需編碼，且。由A.P.E推出的輔助不等式：

選典型序列中個(gè)u編碼，即

為此,有以下變長(zhǎng)碼熵匹配編碼定理形式:其次，再討論變長(zhǎng)碼，這時(shí)公式②可進(jìn)一步修改為:

〔一〕離散、無(wú)失真、無(wú)記憶信源編碼的一般模型〔續(xù)〕-------⑤

對(duì)于二進(jìn)制,可進(jìn)一步簡(jiǎn)化為：

-------⑥故稱(chēng)它為熵匹配編碼。它就是變長(zhǎng)碼信源編碼定理?？梢?jiàn)，上述無(wú)失真信源編碼定理，不僅是存在性定理，而且是構(gòu)造性定理。

例：設(shè)有一簡(jiǎn)單離散信源：L=1,n=4對(duì)其進(jìn)行近似于無(wú)失真的等長(zhǎng)編碼，假設(shè)要求其編碼效率為95%，過(guò)失率低于10-6，試求符號(hào)聯(lián)合編碼長(zhǎng)度L=？解：,σ2=0.6875bit2由編碼效率：

即：可見(jiàn),需要100萬(wàn)個(gè)信源符號(hào)聯(lián)合編碼,才能到達(dá)上述要求,這顯然是不現(xiàn)實(shí)的.下面,假設(shè)進(jìn)行變長(zhǎng)編碼又如何呢?再由:變長(zhǎng)碼010110111

可見(jiàn)，假設(shè)采用變長(zhǎng)編碼，逐位〔L=1〕即可到達(dá)100%效率，當(dāng)然這里僅是一個(gè)特例，不過(guò)它已足以說(shuō)明變長(zhǎng)碼的優(yōu)越性。如何譯碼？有兩類(lèi)方法：①加標(biāo)志信息②尋找內(nèi)在規(guī)律下面，我們給出幾種類(lèi)型的信源編碼：其中編碼Ⅰ為等長(zhǎng)碼，碼長(zhǎng)K=2，但與pi不匹配，編碼Ⅱ至Ⅴ為變長(zhǎng)碼，但是編碼Ⅱ的U1和U2均編為“0〞，編碼不單義〔奇異〕不能用；信源概率pi編碼Ⅰ編碼Ⅱ編碼Ⅲ編碼Ⅳ編碼ⅤU11/2000000U21/401011001U31/810100110011U41/81110111110111編碼

Ⅲ，發(fā)（編碼）單義，但是收（譯碼）不單義，比如收到“00”可能譯為亦不能用。編碼Ⅳ與Ⅴ，收、發(fā)均滿(mǎn)足單義，故可用，但是兩者是有差別的。雖然都是唯一可譯碼，但是編碼Ⅳ是一類(lèi)實(shí)時(shí)唯一可譯碼，又稱(chēng)為異前置碼或非延長(zhǎng)碼。

所謂異前置是指某一碼組的后面向前面看：比方u4=111，被采用后，其前面的任意組合比方11，或1均不能再采用；所謂非延長(zhǎng)碼，那么是某一碼組的前面向后面看：比方u1=0，被采用后，那么從0以后的任何延長(zhǎng)出去組合，比方00、01、001等均不能再用。它是最正確變長(zhǎng)碼。編碼Ⅴ也是滿(mǎn)足唯一可譯性，但不滿(mǎn)足異前置或非延長(zhǎng)特性，譯碼時(shí)，需要延時(shí)判決，所以它不是實(shí)時(shí)可譯碼。比方收到“0〞不立即判決，而是延遲一位，根據(jù)收到的第二位在判決第一位假設(shè)為“00〞那么判第一位為0，即u1；假設(shè)為“01〞仍不能判，再觀(guān)察第三位，假設(shè)為“010〞，那么判“01〞為u2，假設(shè)為“011〞再觀(guān)察第四位，假設(shè)為“0110〞判為“011〞為u3，假設(shè)為“0111〞判為u4。下面，進(jìn)一步研究實(shí)時(shí)唯一可譯碼的碼字可別離條件，它可引用很直觀(guān)的“碼樹(shù)〞概念來(lái)說(shuō)明：將變長(zhǎng)碼與碼樹(shù)建立“一一對(duì)應(yīng)〞關(guān)系：樹(shù)根碼字起點(diǎn)樹(shù)枝數(shù)碼的進(jìn)制數(shù)節(jié)點(diǎn)碼字或碼字的一局部終止節(jié)點(diǎn)碼字節(jié)數(shù)碼長(zhǎng)非滿(mǎn)樹(shù)變長(zhǎng)碼滿(mǎn)樹(shù)等長(zhǎng)碼下面，我們尋找一種與上述“樹(shù)圖〞等效的解析式表達(dá)式----Kraft不等式。分析起來(lái)特別對(duì)含有很多符號(hào)種類(lèi)的復(fù)雜信源更方便。定理：長(zhǎng)度為Ki〔i=1,2,…,n〕的m進(jìn)制異前置碼存在的充要條件為：----⑦。證明，下面僅給出必要性證明，充分性見(jiàn)書(shū)，若設(shè)碼樹(shù)共有K節(jié)，則總碼枝數(shù)為mk個(gè)。若某個(gè)長(zhǎng)度為Ki的碼枝被選用，則自該支第Ki節(jié)點(diǎn)以后所有碼枝不能再選用，即有碼枝不能再選用。由于Ki中i是任意的（i=1,2,…,n），所以全樹(shù)中不能再選用的總碼枝數(shù)應(yīng)為：

，顯然其值一定要小于全樹(shù)總碼枝數(shù)mk，即有

編碼規(guī)那么：1)

將信源消息U按概率大小排序〔由大至小〕。2)從最小兩個(gè)概率開(kāi)始編碼，并賦予一定規(guī)那么，如下支路小概率為“1〞，上支路大概率為“0〞。假設(shè)兩支路概率相等，仍為下支為“1〞上支為“0〞。3)將已編碼兩支路概率合并，重新排隊(duì)，編碼。4)重復(fù)步驟3〕直至合并概率歸一時(shí)為止。5)從概率歸一端沿樹(shù)圖路線(xiàn)逆行至對(duì)應(yīng)消息編碼，如U3為“110〞。例2〔續(xù)〕例三〔續(xù)〕可見(jiàn)，編成的碼C和C’不一樣，這說(shuō)明哈夫曼編碼并不唯一，這是由于哈夫曼編碼是與信源統(tǒng)計(jì)特性相匹配的編碼，而不是某個(gè)信源固定特性相匹配，不唯一性是明顯的，但是只要在編碼和譯碼過(guò)程中遵守同一規(guī)則，譯碼是唯一的。雖然C和C’不一樣，但是兩者都是哈夫曼編碼，并且碼長(zhǎng)相等。

Kc’=0.4×1+0.2×2+0.2×3+2×0.1×4=2.2Kc=0.4×2+0.2×2×2+0.1×3×2=2.2但是，若從二階矩來(lái)看，即方差來(lái)看，C’的方差大，C的方差小，所以C優(yōu)于C’例三〔續(xù)〕下面討論哈夫曼編碼應(yīng)用中的一些問(wèn)題：1)首先討論誤差擴(kuò)散：哈夫曼編碼是一種無(wú)失真信源最正確編碼，但是在實(shí)際信道中是有失真的。噪聲的引入必然要破壞長(zhǎng)碼結(jié)構(gòu)，而且是變長(zhǎng)碼，錯(cuò)誤不但影響受干擾位，還要進(jìn)一步擴(kuò)散。目前對(duì)擴(kuò)散還沒(méi)有很有效的方法，工程上克服方法有兩種：一是限制哈夫曼碼僅能應(yīng)用于優(yōu)質(zhì)信道〔<=10-6〕以限制擴(kuò)散的可能性；二是采用定期清洗，防止擴(kuò)散區(qū)域增大。但是它是靠犧牲有效性換取的。2)其次是速率匹配問(wèn)題：由于絕大多數(shù)信源是不等概率的，由它編成的碼長(zhǎng)度與速率是可變的。然而實(shí)際信道那么要求其輸入端速率是固定的。所以信源與信道之間還存在一個(gè)速率匹配問(wèn)題。在工程上解決這一問(wèn)題的方法是在兩者之間加一個(gè)類(lèi)似與水庫(kù)的緩存器，它變速入，恒速出，以解決兩者速率的匹配。3)第三是與信源統(tǒng)計(jì)特性匹配的問(wèn)題。其中：〔1〕、小消息〔符號(hào)〕集信源不易匹配可采用信源消息集不斷擴(kuò)展的方法來(lái)解決，但是太復(fù)雜。〔2〕、信源統(tǒng)計(jì)特性未知時(shí)，怎么辦？可采用所謂通用編碼的方法來(lái)解決。上一節(jié)我們利用樹(shù)圖的理論尋找出一類(lèi)唯一可譯的變長(zhǎng)碼的編譯碼方法。即：〔同構(gòu)〕樹(shù)的生成結(jié)構(gòu)規(guī)律唯一可譯碼變長(zhǎng)〔樹(shù)圖理論〕〔一一對(duì)應(yīng)〕編、譯碼方法這一節(jié)中我們利用數(shù)學(xué)中最簡(jiǎn)單的算術(shù)規(guī)律來(lái)構(gòu)造一類(lèi)無(wú)失真的信源編碼。 〔同構(gòu)〕算術(shù)規(guī)律 非分組的信源編碼〔一一對(duì)應(yīng)〕算術(shù)編碼

下面，首先從一個(gè)PCM編碼例子入手：

000→0×20+0×21+0×22→0→0→0×2–1+0×2-2+0×2-3001→1×20+0×21+0×22→1→1/8→0×2–1+0×2–2+1×2–3010→0×20+1×21+0×22→2→2/8→0×2–1+1×2–2+0×2–3011→1×20+1×21+0×22→3→3/8→0×2–1+1×2–2+1×2–3100→0×20+0×21+1×22→4→4/8→1×2–1+0×2–2+0×2–3101→1×20+0×21+1×22→5→5/8→1×2–1+0×2–2+1×2–3110→0×20+1×21+1×22→6→6/8→1×2–1+1×2–2+0×2–3111→1×20+1×21+1×22→7→7/8→1×2–1+1×2–2+1×2-3PCM碼編碼公式對(duì)應(yīng)量化層歸一化編碼公式上面例子是一個(gè)簡(jiǎn)單的三位PCM的例子其編碼可表示為：〔簡(jiǎn)單算術(shù)表達(dá)式〕⑧

三位碼共有八層:

……

可見(jiàn)，這時(shí)信源編碼過(guò)程就可以看作是上述對(duì)應(yīng)二進(jìn)制小數(shù)作移位相加的過(guò)程。故稱(chēng)它為算術(shù)編碼。

仔細(xì)分析，上述例子僅是一個(gè)特例，因?yàn)樗鼪](méi)有考慮信源的統(tǒng)計(jì)特性，〔它認(rèn)為信源是遵從等概率分布的〕所以編出的碼字是等長(zhǎng)碼，而對(duì)應(yīng)的算術(shù)運(yùn)算那么是簡(jiǎn)單的整數(shù)項(xiàng)相加?！布碖i為整數(shù)〕。為了解決對(duì)一般的具有統(tǒng)計(jì)特性的信源的算術(shù)編碼問(wèn)題，需要將上述算術(shù)編碼方式進(jìn)一步拓廣，并要解決信源統(tǒng)計(jì)特性與編出的碼字相匹配。其中最關(guān)鍵的是要將算術(shù)編碼與信源的符號(hào)概率及累積概率建立一一對(duì)應(yīng)關(guān)系。算術(shù)編碼就是基于這一思路。不過(guò)，在引入統(tǒng)計(jì)特性后的算術(shù)編碼中，每次移位的位數(shù)可以是非整數(shù)〔精度有限的有理數(shù)〕，正是由于這種非整數(shù)的引入使算數(shù)編碼變成了非分組碼。更確切地說(shuō)，在每步編碼運(yùn)算中除了實(shí)際移動(dòng)的某一整數(shù)位以外，還以?xún)?nèi)部狀態(tài)形式保存了應(yīng)該移動(dòng)的“分?jǐn)?shù)〞位，并將其累積到下一步編碼運(yùn)算中。這樣，只要非整數(shù)的精度足夠高，那么就可以與信源消息匹配到任意良好的程度。下面，從一個(gè)單消息〔符號(hào)〕信源入手，簡(jiǎn)述算術(shù)編碼原理及編碼方程的建立：設(shè)信源序列為:S=S1S2…Si…其中Si∈{1,2,…,j,…,N},即有N種類(lèi)型,下面,首先將信源符號(hào)按對(duì)應(yīng)概率大小排隊(duì):S1S2…Sj…SN即:對(duì)應(yīng)累計(jì)概率=由于信源是由單個(gè)符號(hào)組成并相互獨(dú)立,假設(shè)設(shè)信源序列為：S=S1S3S2S3=S’S3P(S)=p(S1)+p(S1)p(S3)+p(S1)p(S3)p(S2)+p(S1)p(S3)p(S2)p(S3)=p(S1S2S3)+p(S1)p(S3)p(S2)p(S3)=p(S’)+p(S’)p(S3)---------⑨其中p(S’)=p(S1)p(S3)p(S2)=[p(S1)p(S3)]·p(S2)推廣之:p(S)=[p(S1)p(S3)p(S2)]·p(S3)=p(S’)·p(S3)----------⑩這樣，將一定精度數(shù)值作為序列的算術(shù)編碼，完全可類(lèi)似于上述歸一化分層的整數(shù)算術(shù)編碼。在數(shù)學(xué)上看，它實(shí)質(zhì)上是一個(gè)分割單位區(qū)間的過(guò)程。完成它必須兩個(gè)遞推過(guò)程：一個(gè)代表碼字C(·),另一個(gè)代表狀態(tài)空間A(·).假設(shè)采用累積概率Ps表示碼字C(s),符號(hào)概率P(s)表示狀態(tài)區(qū)間A(s),由公式⑨⑩可求得：其中sx表示s的后續(xù)〔增長(zhǎng)〕序列。公式⑾的遞推公式是算術(shù)編碼的根底。----------------⑾

例：假設(shè)有一單消息〔符號(hào)〕信源，含四種符號(hào)：a、b、c、d，構(gòu)成一序列S=abda且：。試說(shuō)明算術(shù)編碼及其具體編、譯碼過(guò)程。解：假設(shè)起始狀態(tài)為空序列Ф，且令A(yù)(Ф)=1,C(Ф)=0下面，首先給出以下符號(hào)，符號(hào)概率pi，累積概率Pj如下：由上述概率表與公式⑾，可計(jì)算出以下一系列數(shù)值：符號(hào)符號(hào)概率pi符號(hào)累積概率Pjabcd0.100(1/2)0.010(1/4)0.001(1/8)0.001(1/8)0.0000.1000.1100.111C(Φa)=C(Φ)+A(Φ)Pa=0+1×0=0A(Φa)=A(Φ)pa=1×0.1=0.1C(ab)=C(a)+A(a)Pb=0+0.1×0.1=0.01A(ab)=A(a)pb=0.1×0.01=0.001C(abd)=C(ab)+A(ab)Pd=0.01+0.001×0.111=0.010111A(abd)=A(ab)pd=0.001×0.001=0.000001C(abda)=C(abd)+A(abd)Pa=0.010111+0.00001×0=0.010111A(abda)=A(abd)pa=0.000001×0.1=0.0000001上面，我們給出了整個(gè)編碼過(guò)程，實(shí)際上它可以看作是對(duì)以下單位區(qū)間的劃分過(guò)程：算術(shù)編碼的譯碼過(guò)程如下：根據(jù)編碼后的數(shù)值大小比較來(lái)進(jìn)行，即判斷碼字C〔s〕落在哪一個(gè)區(qū)間就可以得出一個(gè)相應(yīng)的符號(hào)序列。具體步驟如下：1.

C〔abda〕=0.010111<0.1

可譯出第一符號(hào)為a；2.

去掉被乘概率加權(quán)因子：C〔abda〕×2=0.010111×10=0.10111在[0.1，0.11]

間，第二個(gè)符號(hào)譯為b；3.

去掉累積概率后再去掉被乘加權(quán)因子：0.10111-0.1=0.001110.00111×4=0.00111×100=0.111在[0.111，1]之間，第三個(gè)符號(hào)譯為d；4．同上0.111-0.111=0.000.00×8=0.00×1000=0.00在[0，0.1]之間，第四個(gè)符號(hào)譯為a。綜上所述，譯碼后的總輸出為：S*=abda=S〔發(fā)送的原序列〕在實(shí)際應(yīng)用時(shí)，信源不是簡(jiǎn)單的單消息〔符號(hào)〕信源，而是符號(hào)序列信源，這時(shí)上述遞推公式⑾應(yīng)修改為：并設(shè)所有序列從空序列開(kāi)始，即A（）=1，C（）=L（）=0若x表示子序列S后面的待編碼符號(hào)。若P（x/S）<1/2稱(chēng)為小概率符號(hào)，且記x為l，否則記x=h

公式中L表示碼長(zhǎng),[]表示截短后的有限精度.矢量量化是一維標(biāo)量量化的拓廣,是對(duì)多個(gè)樣值進(jìn)行的聯(lián)合量化.標(biāo)量量化是對(duì)逐個(gè)樣點(diǎn)值進(jìn)行的量化,而矢量量化那么是對(duì)每K個(gè)樣點(diǎn)值為一組進(jìn)行的多維聯(lián)合量化處理.它在數(shù)學(xué)上可看作K維空間中的映射:矢量量化編碼

其中u為K維空間(歐氏)中的一個(gè)連續(xù)矢量,ul為K維空間(歐氏)中的一個(gè)離散量化矢量.對(duì)于每個(gè)l，在K維空間中有一個(gè)區(qū)域Cl，它作為K維空間劃分的一個(gè)子空間.且當(dāng)u∈Cl就判別它為ul,人們稱(chēng)這種分割矢量空間的方法為Voroni(胞腔)子空間法。可見(jiàn)，矢量量化可以理解為K維歐氏空間Rk中的一種映射變換。它將Rk中的連續(xù)矢量u變換成離散的量化矢量ul，且稱(chēng)量化矢量ul為碼本和重建碼本，而l=1,2,……,L，L那么表示碼本的尺寸〔大小〕。Log2L為碼本信息量，即碼本的二進(jìn)制碼元數(shù)，對(duì)于矢量量化：可以實(shí)現(xiàn)，這點(diǎn)在一維標(biāo)量量化時(shí)是不可能到達(dá)的，主要原因是由于矢量量化充分利用了信源樣點(diǎn)間統(tǒng)計(jì)關(guān)聯(lián)特性。顯然有:

⒀為了便于理解，可將上述矢量量化過(guò)程按以下圖形分解為編、譯碼兩個(gè)子過(guò)程如下：ulullu編碼器（u）理想信道譯碼器（l）l重建碼本碼本圖中的碼本是按照一定的失真度量準(zhǔn)那么，通過(guò)事先進(jìn)行大量的訓(xùn)練而建立，并含有所有可能量化矢量值ul，l=1,2……L，這時(shí)，信道既不直接傳送Ｋ維連續(xù)樣值ｕ，也不傳送離化量化矢量ｕl，傳送的是在碼本中挑選失真最小的那個(gè)量化矢量的編號(hào)值l，接收端，由l通過(guò)譯碼器在重建碼本中再挑選失真最小量化矢量ｕl作為恢復(fù)矢量值。即：QK：ｕl＝β(l)＝β[(ｕ)] ⒁在某種失真準(zhǔn)那么下，可以認(rèn)為：β·α＝１那么：ｕl＝β[α(u)]＝ｕ顯然當(dāng)K＝１時(shí)，即為簡(jiǎn)單的標(biāo)量量化。⒂

1)

矢量度量準(zhǔn)那么的選取2)

多維空間的劃分3)

最正確量化器的設(shè)計(jì)4)

算法研究矢量量化中的幾個(gè)主要問(wèn)題是：下面，我們給出一類(lèi)典型矢量量化實(shí)現(xiàn)方案：

碼本序號(hào)l訓(xùn)練數(shù)據(jù)群聚迭代建立碼本碼本矢量量化編碼輸入連續(xù)矢量u

ul可見(jiàn)，矢量量化器發(fā)送端主要包括兩局部：碼本設(shè)計(jì)與矢量量化編碼。碼本設(shè)計(jì)需要大量的反復(fù)的輸入訓(xùn)練數(shù)據(jù)進(jìn)行群聚迭代設(shè)計(jì)，反復(fù)計(jì)算質(zhì)心，因此要消耗大量的時(shí)間，然而碼本設(shè)計(jì)并不要求實(shí)時(shí)，它可以事先預(yù)制。矢量量化編碼那么嚴(yán)格要求實(shí)時(shí)實(shí)現(xiàn)。因此在量化器中的運(yùn)算量以及決定它的算法，就變得極為關(guān)鍵，這就是說(shuō)，矢量量化器能否實(shí)際應(yīng)用關(guān)鍵在于算法。近些年來(lái)算法研究進(jìn)展很大，各種類(lèi)型最正確全搜索快速算法以及準(zhǔn)最正確的各類(lèi)快速算法不斷提出，同時(shí)，由于大規(guī)模集成電路技術(shù)的飛速開(kāi)展，促使矢量量化技術(shù)已逐步走向?qū)嵱没?。它是一?lèi)有記憶信源的限失真編碼。有記憶信源最主要的是解除信源的相關(guān)性，而預(yù)測(cè)編碼主要是從時(shí)域來(lái)解除相關(guān)性，壓縮信息率。預(yù)測(cè)編碼

〈一〉預(yù)測(cè)編碼的根本原理信源輸出預(yù)測(cè)器量化編碼輸出它不直接對(duì)信源輸出ui進(jìn)行量化編碼，而是對(duì)其差值:進(jìn)行量化編碼。其中為預(yù)測(cè)值。

由信息論：

差值熵：

由信源熵匹配編碼有：(16)

其中表示預(yù)測(cè)前信源編碼平均碼長(zhǎng)其中表示預(yù)測(cè)后信源編碼平均碼長(zhǎng)從概率觀(guān)點(diǎn)看，預(yù)測(cè)可理解為：

由于信息熵是概率分布的泛函數(shù)，預(yù)測(cè)前，信源分布越不均勻，熵越大；預(yù)測(cè)后，預(yù)測(cè)越準(zhǔn)確，分布越集中，熵值就越小。即。通過(guò)預(yù)測(cè)后，信源數(shù)據(jù)壓縮的倍數(shù)就越大。實(shí)現(xiàn)預(yù)測(cè)編碼要進(jìn)一步研究如下三個(gè)問(wèn)題：１〕

預(yù)測(cè)函數(shù)的選取；２〕

預(yù)測(cè)誤差準(zhǔn)那么的選取；３〕

預(yù)測(cè)器輸入數(shù)據(jù)源的選取。第２〕個(gè)問(wèn)題決定預(yù)測(cè)器質(zhì)量的標(biāo)準(zhǔn)，第１〕、３〕兩個(gè)問(wèn)題那么主要決定預(yù)測(cè)質(zhì)量的好壞。下面，我們首先討論預(yù)測(cè)函數(shù)的選取：

在工程上一般是采用容易實(shí)現(xiàn)的線(xiàn)性預(yù)測(cè)，這時(shí)：可見(jiàn)，當(dāng)預(yù)測(cè)函數(shù)f確定為線(xiàn)性函數(shù)以后，預(yù)測(cè)精度主要決定于K值大小：K越大，預(yù)測(cè)越準(zhǔn)確，但設(shè)備也越復(fù)雜；

K越小，預(yù)測(cè)越不準(zhǔn)確，設(shè)備也就越簡(jiǎn)化。

其次，討論預(yù)測(cè)誤差準(zhǔn)那么的選取:目前大致有以下四種類(lèi)型：MMSE〔最小均方誤差〕準(zhǔn)那么；PSEM〔功率包絡(luò)匹配〕準(zhǔn)那么；PCIV〔預(yù)測(cè)系數(shù)不變性〕準(zhǔn)那么；ME〔最大誤差〕準(zhǔn)那么。其中最常用的是MMSE準(zhǔn)那么，PCIV主要特點(diǎn)是與輸入信號(hào)統(tǒng)計(jì)特性無(wú)關(guān)，它可對(duì)多種混合信號(hào)進(jìn)行有效預(yù)測(cè)。而ME準(zhǔn)那么那么主要用于遙測(cè)數(shù)據(jù)壓縮。最后,討論預(yù)測(cè)器輸入數(shù)據(jù)流的選取,它可以劃分為三類(lèi):<二>預(yù)測(cè)編碼的根本類(lèi)型1〕△PCM型ui-1ui-2…ui-Kα1α2αk…量化編碼器DPCM中預(yù)測(cè)系數(shù)的計(jì)算線(xiàn)性預(yù)測(cè)值為，為過(guò)去p個(gè)樣值的線(xiàn)性組合，為預(yù)測(cè)系數(shù)假設(shè)選擇均方誤差準(zhǔn)那么假設(shè)信源輸出廣義平穩(wěn)r(m)為樣值un的相關(guān)函數(shù)，上式對(duì)ai求偏導(dǎo)r(m)可通過(guò)估算將r(m)代入，可得ai求預(yù)測(cè)系數(shù)的線(xiàn)性方程稱(chēng)作正態(tài)方程，Yule－Walker方程。Levinson和Durbin提出一種算法能有效的解上述方程。Levinson-Durbin算法Levinson-Durbin算法是一種用來(lái)確定線(xiàn)性方程組解的階遞歸算法。其中是一個(gè)階Toeplitz矩陣。是預(yù)測(cè)器系數(shù)向量，可表示為是一個(gè)p維向量，其元素為對(duì)于一階()預(yù)測(cè)器，我們得解一階預(yù)測(cè)器的剩余均方誤差(MSE)為一般的，可以用m-1階預(yù)測(cè)器的系數(shù)來(lái)表示m階預(yù)測(cè)器系數(shù)的解。于是，把表示為兩個(gè)向量之和，即式中，向量和標(biāo)量待定。于是，還可以表示為式中，剛好是反序的向量現(xiàn)在由上式可以得到兩個(gè)方程。第一個(gè)方程為如下矩陣方程從而上式可以簡(jiǎn)化為這個(gè)方程的解為剛好是反序。從而，上式的解就是反序的乘以，即(1)由前式得到的第二個(gè)方程為如下標(biāo)量方程利用前式(1)，可從上式消去。結(jié)果的方程給出，即式中是剩余MSE，由下式確定用前式(1)代替最小MSE也可以遞歸計(jì)算，于是得到如下遞歸關(guān)系及在上式中利用遞歸關(guān)系，得到上式中方括號(hào)內(nèi)的項(xiàng)就是前式中的分子，因此它可簡(jiǎn)化為

量化…線(xiàn)性預(yù)測(cè)器線(xiàn)性預(yù)測(cè)器uiyi

xi

ei

這是一類(lèi)最簡(jiǎn)單的線(xiàn)性預(yù)測(cè)器。其預(yù)測(cè)器輸入直接來(lái)自信源輸出，預(yù)測(cè)函數(shù)為線(xiàn)性加權(quán)和，其預(yù)測(cè)精度主要決定于預(yù)測(cè)項(xiàng)數(shù)K。其主要缺點(diǎn)是量化噪聲較大。

1〕△PCM型〔續(xù)〕2〕DPCM型：uieixi量化器線(xiàn)性預(yù)測(cè)器線(xiàn)性預(yù)測(cè)器yiDPCM與△PCM比較，不同點(diǎn)有：①線(xiàn)性預(yù)測(cè)器的輸入數(shù)據(jù)源來(lái)自輸出反響端②對(duì)于量化器而言，△PCM是開(kāi)環(huán)型而DPCM是閉環(huán)型。可利用反響環(huán)進(jìn)一步壓低量化誤差。從而進(jìn)一步提高DPCM的預(yù)測(cè)性能。<二>預(yù)測(cè)編碼的根本類(lèi)型〔續(xù)〕--延時(shí)延時(shí)濾波DPCM的特例ΔM:

2〕DPCM型〔續(xù)〕若將量化等級(jí)定為2,即差值為正時(shí),用”1”代表;差值為負(fù)時(shí),用”0”代表;而每個(gè)差值只需1比特,這時(shí)DPCM即為ΔM，又稱(chēng)它為增量調(diào)制.為了減少量化誤差,一般要增加取樣頻率,不能再來(lái)用常用的最高頻率的2倍，即

>2fm.在收端，譯碼是編碼的反變換，即規(guī)定一個(gè)增量Δ值，當(dāng)收到一個(gè)“1”則在前一個(gè)值中加一個(gè)Δ，收到一個(gè)“0”，則減去一個(gè)Δ值。2〕DPCM型〔續(xù)〕3〕噪聲反響編碼(NFC)<二>預(yù)測(cè)編碼的根本類(lèi)型〔續(xù)〕NFC是吸取△PCM與DPCM的優(yōu)點(diǎn)，即在△PCM結(jié)構(gòu)簡(jiǎn)單的根底上,改進(jìn)其量化噪聲大的缺點(diǎn)，將量化器設(shè)計(jì)在另外增加的一個(gè)反響環(huán)內(nèi),以到達(dá)進(jìn)一步壓減量化誤差的目標(biāo)。這一點(diǎn)上類(lèi)似于DPCM.可見(jiàn)NFC是△PCM與DPCM的混合改進(jìn)型.<二>預(yù)測(cè)編碼的根本類(lèi)型〔續(xù)〕4)預(yù)測(cè)誤差門(mén)限型(非線(xiàn)形)

設(shè)信源輸出序列為:若僅采用前一位作為后一樣值的預(yù)測(cè)值,則預(yù)測(cè)誤差若,不傳送;

若,傳送.4)預(yù)測(cè)誤差門(mén)限型(非線(xiàn)形)〔續(xù)〕其中是允許誤差的門(mén)限值,即可接受的最大誤差,在上述圖形中雖然有，前四個(gè)應(yīng)傳送，不傳送。若選擇的預(yù)測(cè)值不僅僅是前一位，而是前n位的線(xiàn)性加權(quán)和，則可構(gòu)成高階預(yù)測(cè)誤差門(mén)限型，其原理同上，實(shí)現(xiàn)方框圖如下：

顯然這一類(lèi)型中線(xiàn)性預(yù)測(cè)器與前三類(lèi)是一致的，但是由于引入了非線(xiàn)性門(mén)限比較器，所以它實(shí)質(zhì)上是一類(lèi)非線(xiàn)性預(yù)測(cè)器。<二>預(yù)測(cè)編碼的根本類(lèi)型〔續(xù)〕下面我們給出四種類(lèi)型中最常用的一種DPCM的性能分析：線(xiàn)性預(yù)測(cè)可表示為：

其Z變換為：可見(jiàn)線(xiàn)性預(yù)測(cè)器的響應(yīng)為：

式中αj為第i項(xiàng)加權(quán)系數(shù)，N為預(yù)測(cè)階次。由DPCM接收部分框圖?？汕蟮茫汗剩?/p>

<二>預(yù)測(cè)編碼的根本類(lèi)型〔續(xù)〕可見(jiàn)，線(xiàn)性預(yù)測(cè)器為一全極點(diǎn)濾波器。故又稱(chēng)為全極點(diǎn)模型。下面再分析一下DPCM的幾個(gè)主要關(guān)系式：

預(yù)測(cè)誤差：經(jīng)量化后：其中qi為量化噪聲引入的誤差。經(jīng)無(wú)過(guò)失傳輸后接受端恢復(fù)后的重建信號(hào)為：可見(jiàn)，進(jìn)一步性能分析可參見(jiàn)教材。

變換編碼是從廣域頻域〔或空域〕解除信源相關(guān)性的一種有效的手段。主要數(shù)學(xué)工具是正交和準(zhǔn)正交變換。變換編碼下面，首先從一維信源輸出開(kāi)始分析：設(shè)信源輸出：，變換后輸出：則有：由正交性有：如果，通過(guò)正交變換只傳送M<ｎ個(gè)樣值，而將ｎ－Ｍ個(gè)較小樣值丟棄。于是有：這時(shí)接收端恢復(fù)的信號(hào)為：

變換編碼〔續(xù)〕這里，所以問(wèn)題可以歸結(jié)為如何選擇正交矩陣Ａ，使經(jīng)正交變換后Ｍ值較小，且被丟棄的ｎ－Ｍ個(gè)值是足夠小的。為了更清晰，我們進(jìn)一步引入二維分析：

其中為的協(xié)方差矩陣。為的數(shù)學(xué)期望。為ｘ的協(xié)方差。則：

變換編碼〔續(xù)〕可見(jiàn)經(jīng)正交矩陣Ａ變換后，使信源的協(xié)方差矩陣變換成純對(duì)角線(xiàn)矩陣，且對(duì)角線(xiàn)上元素能按順序由大到小排列。下面，我們首先尋求正交變換|A|矩陣形式，即在最小均方誤差下準(zhǔn)則MMSE下尋求最佳的正交變換。即:

變換編碼〔續(xù)〕首先求最正確bi值：求得：此取bi為xi的數(shù)學(xué)期望值，其次再求最佳a(bǔ)i值：

求得：或

變換編碼〔續(xù)〕最后求得：

,其中

此為一理想對(duì)角線(xiàn)矩陣，它完全消除了信源的相關(guān)性，稱(chēng)它為Karhunan-loeve(K-L)變換，這時(shí),最小均方誤差值為:最小項(xiàng).變換編碼〔續(xù)〕上述最正確的K-L變換實(shí)際上很少應(yīng)用而僅將它作為理論上最優(yōu)值得一個(gè)參數(shù)標(biāo)準(zhǔn),其原因有1.最正確A矩陣顯然與信源統(tǒng)計(jì)特性φ密切相關(guān),不同的φ值應(yīng)有不同的最正確A矩陣,這顯然是不現(xiàn)實(shí)的.2.K-L變換目前尚沒(méi)找到相應(yīng)的快速算法.正因?yàn)閷?shí)現(xiàn)最正確不現(xiàn)實(shí),因此人們將眼光轉(zhuǎn)向準(zhǔn)最正確變換,何謂準(zhǔn)最正確變換并沒(méi)有確切的定義,而只是指能找到一類(lèi)在數(shù)學(xué)上經(jīng)線(xiàn)行代數(shù)中相似變換后的Jordan標(biāo)準(zhǔn)型.即:變換編碼〔續(xù)〕在上,下對(duì)角線(xiàn)區(qū)域內(nèi)僅會(huì)有少數(shù)不為0得元素1.目前已找到一批滿(mǎn)足上述特性的準(zhǔn)最正確變換(不唯一).大致可以劃分為兩類(lèi)：變換編碼〔續(xù)〕可見(jiàn)，由線(xiàn)性代數(shù)理論，由相似變換，總能找到一非奇異矩陣A，使，并稱(chēng)與相似，同時(shí)由于變換后的Jordan型無(wú)確切定義，因此可以找到一批滿(mǎn)足上述標(biāo)準(zhǔn)最佳變換。

下面將分別介紹這些準(zhǔn)最正確變換，設(shè)U為信源消息矩陣，X為經(jīng)變換后的信號(hào)矩陣，在一般情況下有：原那么上，A與B可以是不同類(lèi)型矩陣，實(shí)際上差不多都是同一類(lèi)型、同一階次矩陣，即A=B。由于上述變換是隨機(jī)矩陣變換，所以通常給出其二階矩陣形式的協(xié)方差矩陣的等效形式：變換編碼〔續(xù)〕1〕離散付氏變換DFT:這里：其中下面討論不同形式A:變換編碼〔續(xù)〕變換編碼〔續(xù)〕變換編碼〔續(xù)〕例：以n=4DFT為例；假設(shè)顯然，它是一個(gè)非常好的準(zhǔn)最正確變換，互相關(guān)均為零，自相關(guān)由大而小遞降型。但是，也可以看出，ADF與Φu密切相關(guān)，假設(shè)換一個(gè)Φu類(lèi)型，就不會(huì)有這么好的結(jié)果。2〕離散沃爾什—哈德瑪變換WHT由于沃爾什—哈德瑪矩陣由許多類(lèi)似之處,比方他們都是以1和-1為元素，其變換運(yùn)算只有加減而沒(méi)有乘除，且兩類(lèi)矩陣之間的關(guān)系是簡(jiǎn)單的初等變換關(guān)系。所以我們將兩者歸為一類(lèi)來(lái)研究。并首先從Hardmard矩陣開(kāi)始：這里：

5〕離散余弦變換DCT：由于前面在付氏變換中引入了復(fù)數(shù)，帶來(lái)了運(yùn)算上的不方便，DCT正是針對(duì)這一缺點(diǎn)而進(jìn)行的改進(jìn)。根據(jù)離散付氏變換的公式，只需將信源數(shù)據(jù)長(zhǎng)度再擴(kuò)張一倍，并保證對(duì)稱(chēng)性即可求得DCT。DCT根據(jù)對(duì)稱(chēng)性不同還可劃分為兩類(lèi)，〔奇〕ODCT與〔偶〕EDCT，前者將數(shù)據(jù)擴(kuò)展為2N-1并以M=0為中心點(diǎn)，兩側(cè)各N-1個(gè)；后者將數(shù)據(jù)擴(kuò)展為2N，并以M=0與M=1之間為中心點(diǎn)。且：

以上各類(lèi)離散準(zhǔn)最正確變換編碼各具特色。如果僅從解除相關(guān)性的性能上看：KLT>DCT〔平穩(wěn)馬氏鏈〕>DFT>WHT>HrTST但是如果從復(fù)雜性,計(jì)算復(fù)雜度上來(lái)看,上述順序正好相反:HrT>WHT>DFT>DCT>KLTST通用編碼Huffman編碼能產(chǎn)生最優(yōu)信源編碼，但需要知道所有信源符號(hào)的發(fā)生概率。在有記憶離散信源情況下，那么Huffman編碼必須知道所有長(zhǎng)度n≧2的所有信源符號(hào)組合的聯(lián)合概率。對(duì)于實(shí)際信源，聯(lián)合概率的計(jì)算復(fù)雜度非常高，結(jié)果Huffman編碼在許多實(shí)際的有記憶信源中往往無(wú)法實(shí)現(xiàn)。Lampel-Ziv(LZ)通用信源編碼與Huffman編碼不同，LZ編碼算法與信源統(tǒng)計(jì)特性無(wú)關(guān)，屬于通用信源編碼范疇，是一種將變長(zhǎng)碼段映射為等長(zhǎng)碼字的算法，編碼方法可以描述為：在LZ算法中，離散信源的輸出序列分解成長(zhǎng)度可變的分組，稱(chēng)為碼段(phrases)。每當(dāng)信源輸出字符組在最后位置加上一個(gè)字符后與前面的已有碼段都不相同時(shí)，把它作為一種新的碼段引入。將這些碼段列入一個(gè)位置字典，用來(lái)記載已有碼段的位置。在對(duì)一個(gè)新的碼段編碼時(shí)，只要指出字典中現(xiàn)有碼段的位置，把新字符附在后面即可。LZ算法舉例：考慮二進(jìn)制序列

按上述編碼方式序列可以分解為如下碼段：1,0,10,11,01,00,100,111,010,1000,011,001,110,101,10001,1011序列中的每一個(gè)碼段是前面某一個(gè)碼段加上一個(gè)新的信源輸出字符構(gòu)成的。為了編碼，需要構(gòu)造位置字典。字典位置

字典內(nèi)容

碼字

100011000012001000000030011100001040100110001150101010010160110000010070111100001108100011101001LZ算法的字典LZ算法的字典(續(xù))910010100101010101010000111011101101101011121100001011011311011100100014111010100111151111100011010116101111101LZ算法的信源譯碼器是編碼的逆過(guò)程，根據(jù)碼字的特點(diǎn)，首先可以構(gòu)造出編碼字典，然后對(duì)接收序列作相應(yīng)的解碼。需要指出，上述例如中，將44位信源比特編碼成16個(gè)碼字，每個(gè)碼字5比特，總共是80位碼字。因此這種算法沒(méi)有提供任何數(shù)據(jù)壓縮。本例編碼效率低下的原因是由于所考慮的序列非常短。隨著序列長(zhǎng)度的增加，LZ算法的效率越來(lái)越高，可以實(shí)現(xiàn)信源輸出序列的壓縮。如何選擇字典列表的總長(zhǎng)度是LZ算法實(shí)際應(yīng)用的重要問(wèn)題。一般而言，無(wú)論表有多大，總有可能溢出。為了解決溢出問(wèn)題，信源編譯碼器必須協(xié)調(diào)一致，將無(wú)用的碼段從各自的字典中刪除，在它們留下的位置上換上新的碼段。Ziv和Lampel證明，將LZ編碼應(yīng)用于遍歷平穩(wěn)離散信源時(shí)，其壓縮比可以以概率1收斂于該信源的仙農(nóng)信息熵。LZ編碼壓縮比可以到達(dá)信源熵率這一結(jié)論一方面說(shuō)明LZ編碼的有效性，但也說(shuō)明通用編碼不能做的比Huffman編碼更好。LZ算法已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)文件的壓縮。Unix操作系統(tǒng)中的“compress〞、“uncompress〞以及Windows操作系統(tǒng)中的Winzip、Winrar等文件壓縮軟件中采用的算法就是LZ算法的不同變種。實(shí)用化與純理論上的要求之間存在著一定差異：首先：實(shí)際比理論要復(fù)雜，理論分析時(shí)往往認(rèn)為信源平穩(wěn)遍歷的，是遵從某一個(gè)分布特征，……等等，實(shí)際上是辦不到的，最多是近似上大致滿(mǎn)足;其次：理論上追求是性能越優(yōu)良越好，追求最正確，實(shí)際上是要更側(cè)重可實(shí)現(xiàn)性，追求性能與可實(shí)現(xiàn)性之間的折衷，追求準(zhǔn)最正確。第三：理論上往往分析各種單一最正確化方法與性能，實(shí)際上往往是實(shí)用主義，采用多種組合準(zhǔn)最正確化。這一點(diǎn)，以后在圖像信源編碼中表達(dá)更明顯。實(shí)用型信源編碼

下面，我們分別討論三類(lèi)代表性信源：1〕文件信源〔無(wú)失真信源編碼〕；2〕語(yǔ)音信源〔限失真信源編碼〕3〕圖像信源〔限失真信源編碼〕實(shí)用型信源編碼〔續(xù)〕1>文件傳真信源編碼：關(guān)于文件傳真的一些有關(guān)知識(shí)：（1）CCITT建議的文件傳真的兩種分辨率：A行分辨率：1728相素/行（即8樣點(diǎn)/mm），

列分辨率：3.85行/mm；B行分辨率：8樣點(diǎn)/mm，

列分辨率：7.7行/mm；

〔2〕我國(guó)標(biāo)準(zhǔn)：A行分辨率：8樣點(diǎn)/mm，列分辨率：4行/mm；B行分辨率：8樣點(diǎn)/mm，列分辨率：8行/mm；以上是對(duì)A4文件制定的〔210*297mm〕。如果采用各個(gè)像素按0.1直接編碼，一頁(yè)A4文件，分辨率為5樣點(diǎn)/mm〔行，列〕那么需傳送：,用2400b/s(或4800b/s)那么需11(5.5)分鐘，假設(shè)文件壓縮中僅能利用文件信源的一維概率特征，據(jù)測(cè)試有：pw=93.3%,pB=6.7%,1>文件信源編碼〔續(xù)〕那么H〔U〕=-pwlogpw–pBlogpB=-0.933log0.933–0.677log0.677=0.3546bit一維熵編碼理論壓縮比KO為：可見(jiàn)壓縮比不高。假設(shè)二維信元符號(hào)〔消息〕改成“0〞，“1〞游程，即連“0〞，連“1〞的游程為單元，那么可得1>文件信源編碼〔續(xù)〕由二進(jìn)制〔m=2〕信源編碼定理，有對(duì)平均每個(gè)像素有：其中

1>文件信源編碼〔續(xù)〕假設(shè)定義：那么可求得：再定義：那么可求得：1>文件信源編碼〔續(xù)〕這時(shí)，黑、白游程混合編碼條件下，平均每個(gè)像素的信源編碼定理。（即像素熵編碼定理）最終可求得：理論上極限壓縮比為：對(duì)A4文件，中文七種樣張統(tǒng)計(jì)特性如下：

1>文件信源編碼〔續(xù)〕例：將無(wú)失真信源編碼理論用于編碼。目前第三類(lèi)機(jī)采用的就是修正的哈夫曼碼或者是算術(shù)碼。修正主要有三點(diǎn)：1〕被編碼的消息〔符號(hào)〕不是簡(jiǎn)單的“0〞和“1〞；而是“0〞串〔0游程〕“1〞串〔1游程〕的不同長(zhǎng)度。2〕信源制定碼表的依據(jù)。不是實(shí)時(shí)的實(shí)際信源，而是采用8種〔7種〕典型樣張可測(cè)得的統(tǒng)計(jì)特性來(lái)近似代表實(shí)際信源的統(tǒng)計(jì)特性。3〕將對(duì)整個(gè)一維1728像素的統(tǒng)計(jì)特性碼表，在制定碼表的分解、簡(jiǎn)化為兩類(lèi)碼表的合成，即將黑白游程長(zhǎng)度分解為：其中K為根本游程長(zhǎng)度〔0~63位〕的整數(shù)倍，由它可構(gòu)成一個(gè)構(gòu)造碼表，而R其長(zhǎng)度為0至63，稱(chēng)為結(jié)尾碼，它是根本游程碼的碼表。1>文件信源編碼〔續(xù)〕下面舉一個(gè)例子說(shuō)明：某一A4文件中一段特性如下：編碼前總碼長(zhǎng)：

LW1=131LB1=4LW2=6LB2=65L=lW1+lB1+lW2+lB2=131+4+6+65=206位將它進(jìn)行修正哈夫曼編碼〔MH〕，分別查黑〔B〕、白〔W〕游程4的結(jié)尾碼表，構(gòu)造碼表有：lW1=131=2*64+3=128+3,查白游程構(gòu)造碼表：128=>10010查白游程結(jié)尾碼表：3=>1000故經(jīng)哈夫曼編碼后為：100101000共9位1>文件信源編碼〔續(xù)〕同理：lB1=4，查黑游程結(jié)尾碼表：4=>011〔3位〕lW2=6，查白游程結(jié)尾碼表：6=>1110〔4位〕lB2=65=64+1：64=>00000011111=>010Huffman碼：0000001111010〔13位〕Huffman編碼后總長(zhǎng)為：9+3+4+13=29。實(shí)際壓縮比：所以上述截?cái)嗍綄?shí)際編碼修正方法對(duì)信源統(tǒng)計(jì)特性影響不大。工程上可實(shí)用。

1>文件信源編碼〔續(xù)〕實(shí)際統(tǒng)計(jì)分析說(shuō)明：對(duì)于A(yíng)4文件，對(duì)中文七類(lèi)樣張的統(tǒng)計(jì)平均壓縮比這一結(jié)論在前面已計(jì)算過(guò)。1>文件信源編碼〔續(xù)〕2>語(yǔ)音編碼

〔1〕混合編碼：以參量編碼為主，以波形編碼為輔。在滿(mǎn)足根本質(zhì)量前提下，盡可能提高壓縮率。下面，我們首先從理論上來(lái)分析各類(lèi)語(yǔ)音編碼的潛力。首先分析波形編碼：引用R(D)函數(shù)理論，假設(shè)語(yǔ)音近似遵從正態(tài)分布〔實(shí)際上為近似Gamma分布〕是一個(gè)滿(mǎn)足短時(shí)廣義平穩(wěn)的一階正態(tài)馬氏鏈。其相關(guān)矩陣為R(τ)=σ2ρ│τ│,其中σ2為方差,ρ為相關(guān)系數(shù),在均方誤差保真度準(zhǔn)那么下,由信息論可求得:R(D)=1/2log2σ2(1-ρ2)/D其中:σ2/D為信噪比,且波形編碼取樣點(diǎn)間的相關(guān)系數(shù)ρ≈0.96,那么可算得:信噪比(dB)35322825232017R(D)(bit)43.52.52.3421.51壓縮倍數(shù)k22.283.23.4245.382>語(yǔ)音編碼〔續(xù)〕〔1〕混合編碼〔續(xù)〕上述表格繪出的R(D)值是最保守的估計(jì)值,原因是:其一:正態(tài)分布R(D)值大于其他一切分布R(D)值,故語(yǔ)音實(shí)際分布的R(D)值大于上述R(D)估計(jì)值.其二:接收語(yǔ)音最終是人耳,計(jì)算中未算入人耳的主觀(guān)性能引入的R(D)值變化,故實(shí)際上R(D)還要求按照一般能進(jìn)入公用移動(dòng)網(wǎng),大致要求其信噪比為24-25dB,從表中可查出壓縮倍數(shù)k≈3.5,再考慮上述兩個(gè)因素,一般可認(rèn)為k≈4左右.其次,在分析參量編碼,由語(yǔ)音分析,可認(rèn)為語(yǔ)音最基本組成單元為音素.例如英語(yǔ)為例：其音素大約有個(gè)，同時(shí)按照通常講話(huà)速率，每秒大約發(fā)出10個(gè)音素。這時(shí)英語(yǔ)語(yǔ)音信源給出的信息率為：

僅從可懂度看，它與目前PCM標(biāo)準(zhǔn)速率64kb/s相比，可求得壓縮比方下：〔1〕混合編碼〔續(xù)〕可見(jiàn)其潛力很大，目前實(shí)驗(yàn)室聲碼器〔參量編碼〕已可做到600bit/s左右，尚相差7-8倍。實(shí)際上，除了保密通信以及一些特殊的軍事通信以外很少采用這類(lèi)低質(zhì)量的參量編碼〔聲碼器〕。目前，在移動(dòng)通信等領(lǐng)域，已將信源編碼的焦點(diǎn)轉(zhuǎn)移至混合編碼的方向。自八十年代以來(lái)，CCITT與現(xiàn)在的ITU—T等國(guó)際組織制定了一系列混合編碼的標(biāo)準(zhǔn)如下：

標(biāo)準(zhǔn)編碼傳輸速率質(zhì)量(mos)備注G711PCM64Kbit/s4.2

G722

64,56或48bit/s

G726ADPCM40,32,24,16Kbit/s4.1

G727

同上4.1

G728LD-CELP16Kbit/s4.1

G729CS-ACELP8Kbit/s4.1

寬帶語(yǔ)音編碼〔1〕混合編碼〔續(xù)〕標(biāo)準(zhǔn)編碼傳輸速率質(zhì)量(mos)備注G723-1

6.3-5.3Kbit/s4-3.6

GSM-SRRPELD13Kbit/s3.6

GSM-ER

13Kbit/s4

IS-96(Ⅱ)

13Kbit/s4.1

IS-641

8Kbit/s4

IS-54

8Kbit/s3.6

IS-96(Ⅰ)

8Kbit/s3.4

GSM-HR

6.5Kbit/s3.6

FS-1016

4.8Kbit/s3.2

FS-1015

2.4Kbit/s2.4

用于多媒體低比特率〔1〕混合編碼〔續(xù)〕決定混合編碼的主要技術(shù)指標(biāo)：混合編碼的綜合性能=f(比特率、質(zhì)量、時(shí)延、復(fù)雜度)下面分別討論這四個(gè)指標(biāo)：〔1〕比特率〔b/s〕：數(shù)量指標(biāo)，取決于信源的壓縮率。比特率越低，一般質(zhì)量也會(huì)相應(yīng)降低，為了補(bǔ)救質(zhì)量往往又可以采用提高復(fù)雜度〔硬、軟件〕，但是他又會(huì)帶來(lái)處理時(shí)延的增大。因此要考慮綜合優(yōu)化。降低比特率另一措施是將固定速率改變?yōu)榭勺兯俾蔍S—95中就采用了基于不同背景噪聲電平的1、1/2、1/4、1/8四類(lèi)不同語(yǔ)音速率。這樣可以大大降傳送語(yǔ)音的平均速率?！?〕混合編碼〔續(xù)〕〔2〕

質(zhì)量：目前語(yǔ)音質(zhì)量的評(píng)估方法是采用CCITT建議的5級(jí)評(píng)分的“平均評(píng)價(jià)得分MOS“方法，4-5分列為高質(zhì)量可達(dá)參加公用網(wǎng)要求；3-4分為根本達(dá)標(biāo)，一般可入移動(dòng)網(wǎng)要求；3分以下為不合格。評(píng)分測(cè)試條件：無(wú)背景噪聲，無(wú)傳輸過(guò)失、無(wú)模擬轉(zhuǎn)接與二次編碼。顯然這些條件過(guò)于理想化?！?〕時(shí)延：語(yǔ)音為實(shí)時(shí)通信系統(tǒng)對(duì)時(shí)延很敏感，時(shí)延主要包括：算法時(shí)延、處理時(shí)延和傳輸時(shí)延。三類(lèi)時(shí)延之和稱(chēng)為單向系統(tǒng)時(shí)延，如果無(wú)回波，它最大允許值為400ms，最好在200ms以下，又回波，僅允許25ms?！?〕混合編碼〔續(xù)〕〔4〕復(fù)雜度：語(yǔ)音編碼通常是采用DSP來(lái)實(shí)現(xiàn)的。這些芯片往往可采用每秒計(jì)算百萬(wàn)條信令的速度〔mips〕，隨機(jī)存儲(chǔ)器〔RAM〕，和只讀存儲(chǔ)器〔ROM〕來(lái)描述。目前一般將小于15mips的語(yǔ)音編碼為低復(fù)雜度編碼，而將大于30mips的語(yǔ)音編碼為高復(fù)雜度編碼。在一個(gè)芯片上裝有越多的RAM和ROM，芯片價(jià)格就越高，體積就越大，所以復(fù)雜度越高，性能越好，但同時(shí)受到本錢(qián)，功耗，時(shí)延等因素制約?！?〕混合編碼〔續(xù)〕以下表格給出這些年來(lái)，ITU建議的四個(gè)標(biāo)準(zhǔn)：G729，G729A以及兩類(lèi)G723—1的四大指標(biāo)量級(jí)：

G729G729-AG723-1G723-1比特率(kb/s)886.35.3話(huà)音質(zhì)量(MOS得分)4.14.14.13.6幀長(zhǎng)(ms)10101030子幀長(zhǎng)(ms)557.57.5算法延時(shí)(ms)151537.537.5復(fù)雜度MIPS(定點(diǎn)DSP)2010.514.616RAM(16bit字長(zhǎng))2.7k2k2.2k2.2k〔1〕混合編碼〔續(xù)〕ADPCM是在DPCM的根底上開(kāi)展起來(lái)的。而DPCM前面已討論過(guò)。由于預(yù)測(cè)誤差的幅度變化范圍遠(yuǎn)小于原始信號(hào)〔預(yù)測(cè)前〕幅度變化范圍，因此在相同量化噪聲條件下DPCM量化比特?cái)?shù)要遠(yuǎn)少于PCM。從而到達(dá)語(yǔ)音壓縮編碼的目的。ADPCM與DPCM相比，主要區(qū)別在于A(yíng)DPCM中的量化囂和預(yù)測(cè)囂采用了自適應(yīng)控制，同時(shí)在譯碼囂中多了一個(gè)同步編碼調(diào)整，其作用是為了在同步級(jí)連時(shí)不產(chǎn)生誤差積累。八十年代以來(lái)32kb/sADPCM已日趨成熟。它具有與PCM相近的質(zhì)量。下面，給出G721ADPCM編、譯碼框圖：2>語(yǔ)音編碼〔續(xù)〕〔2〕波形編碼ADPCM根本原理〔2〕波形編碼ADPCM根本原理〔續(xù)〕<32kb/sADPCM編碼系統(tǒng)S>

<32kb/sADPCM譯碼系統(tǒng)S>

〔2〕波形編碼ADPCM根本原理〔續(xù)〕由圖可見(jiàn)，在編碼器中，輸入將八位非線(xiàn)性PCMc‘(n)變換成12位的線(xiàn)性碼X〔n〕，再由16電平自適應(yīng)量化器將差值信號(hào)d〔n〕轉(zhuǎn)化成四位二進(jìn)制碼c〔n〕，同時(shí)為了適應(yīng)不同的輸入信號(hào)采用了自適應(yīng)參數(shù)來(lái)控制量化階距大小，它是由定標(biāo)因子自適應(yīng)和自適應(yīng)速度控制兩局部組成。譯碼系統(tǒng)中的大局部與編碼器電路相同。主要是多了一個(gè)同步編碼調(diào)整電路，其作用是為了在同步級(jí)聯(lián)工作時(shí)，不產(chǎn)生誤差積累?！?〕波形編碼ADPCM根本原理〔續(xù)〕參量編碼出發(fā)點(diǎn)是跟蹤波形產(chǎn)生過(guò)程，傳送好產(chǎn)生波形的參量，而不是波形本身。在收端通過(guò)發(fā)聲模型綜合成人工合成語(yǔ)言。固有時(shí)稱(chēng)它為生碼器。語(yǔ)音產(chǎn)生模型如下：

2>語(yǔ)音編碼〔續(xù)〕〔3〕參量編碼的線(xiàn)性預(yù)測(cè)人工合成語(yǔ)音的15個(gè)主要參量：12個(gè)時(shí)變?yōu)V波器鼓勵(lì)參數(shù)：{α}i=1,2…..12;音調(diào)周期p〔基音周期〕；清濁音判決u/v；增益控制參量G；下面給出現(xiàn)線(xiàn)性預(yù)測(cè)LPC原理框圖如下：〔3〕參量編碼的線(xiàn)性預(yù)測(cè)〔續(xù)〕線(xiàn)性預(yù)測(cè)目前仍是混合編碼中聲碼器實(shí)現(xiàn)的主流，近些年來(lái)，以下三方面值得注意：1〕提高合成語(yǔ)音質(zhì)量措施：采用余數(shù)鼓勵(lì)聲碼器RELP；多脈沖鼓勵(lì)聲碼器MELP；聲道參數(shù)模型的改善；2