《現(xiàn)代編碼技術(shù)》課件第1章

第1章通信與編碼概述習(xí)題

1.通信系統(tǒng)的基本模型

通信系統(tǒng)的基本模型如圖1.1所示，組成部分如下：

信源：消息的發(fā)出者。

信宿：消息的接收者。

信源編碼器：消息的重組單元。

信道編碼器：消息抗毀能力的構(gòu)建單元。

信道：消息的傳輸媒介，如電話機(jī)之間的電纜、無(wú)線電臺(tái)之間的電磁空間等。

干擾源：毀壞傳輸信號(hào)的各種因素的等價(jià)體，可分為自然干擾源和人為干擾源兩類(lèi)。如大氣的雷電干擾、電離層的擾動(dòng)等屬于自然干擾；信號(hào)的轉(zhuǎn)發(fā)干擾等屬于人為干擾。

信道譯碼器：消息的毀壞檢驗(yàn)及恢復(fù)單元。

信源譯碼器：消息的還原單元。

發(fā)送端：從信源到信道前的各部分的總稱(chēng)。

接收端：從信道后到信宿的各部分的總稱(chēng)。圖1.1通信系統(tǒng)的基本模型

2.信道模型

信道是發(fā)送端和接收端之間的連接通道，它可以等效為一個(gè)輸入端和一個(gè)輸出端的系統(tǒng)，如圖1.2所示。圖1.2信道簡(jiǎn)化模型根據(jù)信道是否存在干擾，可將其分為無(wú)噪信道和有噪信道；根據(jù)傳輸信道是否連續(xù)，可將其分為離散信道和模擬信道；根據(jù)信道當(dāng)前輸出與先前的輸入是否有關(guān)，可將其分為有記憶信道和無(wú)記憶信道；根據(jù)信道參數(shù)是否隨時(shí)間而變化，可將其分為恒參信道和隨參信道；此外，信道還可以分為二元信道和多元信道，對(duì)稱(chēng)信道和非對(duì)稱(chēng)信道，有損信道和無(wú)損信道等。

1)離散信道

首先，我們來(lái)考慮信道的表示。假設(shè)發(fā)送端發(fā)射的信號(hào)都取自字符集：

X={a1，a2，…，an}由于信道中存在噪聲干擾、傳輸衰落、傳輸失真等因素，因此從發(fā)送端發(fā)出符號(hào)ai，在接收端收到的未必是符號(hào)ai，甚至于還可能是X中不存在的符號(hào)。于是可以假設(shè)接收端接收的信號(hào)都屬于符號(hào)集：

Y={b1，b2，…，bm}

對(duì)給定的信道進(jìn)行大量的實(shí)驗(yàn)后，經(jīng)統(tǒng)計(jì)可以發(fā)現(xiàn)：從發(fā)送端符號(hào)集中發(fā)送的符號(hào)ai以概率pij轉(zhuǎn)化為接收端符號(hào)集中的bj。為方便起見(jiàn)，概率pij常常表示為條件概率的形式，即

pij=p(bj|ai)

(i=1，2，…，n；j=1，2，…，m)這樣，用符號(hào)轉(zhuǎn)移概率pij就可以充分描述信道特性。為方便起見(jiàn)，引入信道轉(zhuǎn)移矩陣P，即常用的離散信道模型有以下幾種：

(1)二元對(duì)稱(chēng)信道。在這種信道中，X=Y={0，1}，并且p(1|0)=p(0|1)=p，即字符0和1發(fā)生錯(cuò)傳的概率相同，信道轉(zhuǎn)移矩陣P為

二元對(duì)稱(chēng)信道常常用狀態(tài)轉(zhuǎn)移圖來(lái)簡(jiǎn)化表示，如圖1.3所示。圖1.3二元對(duì)稱(chēng)信道

(2)二元?jiǎng)h除信道。在這種信道中，X={0，1}，Y={0，1，ω}，Y中的字符ω表示0或1在傳輸中發(fā)生畸變而在接

收端產(chǎn)生的一種發(fā)送端字符集中不存在的字符。在一個(gè)通信系統(tǒng)中，字符0和1分別代表正脈沖和負(fù)脈沖，發(fā)送端發(fā)送出正脈沖或負(fù)脈沖后，接收端收到的是受到干擾的畸變正脈沖

或負(fù)脈沖，當(dāng)畸變變化比較嚴(yán)重時(shí)，無(wú)法識(shí)別出是正脈沖還是負(fù)脈沖，這種接收信號(hào)就用ω來(lái)表示。ω對(duì)接收端是沒(méi)有意義的，應(yīng)被刪除?；兠}沖如圖1.4所示。圖1.4接收端收到的畸變脈沖(a)畸變的正脈沖；(b)畸變的負(fù)脈沖；(c)畸變的脈沖ω二元?jiǎng)h除信道的信道轉(zhuǎn)移矩陣P為

其中，p(ω|0)=p，p(ω|1)=q。

二元?jiǎng)h除信道常用圖1.5來(lái)表示。圖1.5二元?jiǎng)h除信道

(3)多元(N元)對(duì)稱(chēng)信道。

多元(N元)對(duì)稱(chēng)信道常用狀態(tài)轉(zhuǎn)移圖來(lái)簡(jiǎn)化表示，如圖1.6所示。圖1.6多元(N元)對(duì)稱(chēng)信道

(4)無(wú)記憶擴(kuò)展信道。字符序列x經(jīng)信道后轉(zhuǎn)移成y的概率為

(1.1.1)二維擴(kuò)展信道的信道轉(zhuǎn)移矩陣P為(1.1.2)

2)輸入離散、輸出連續(xù)的AWGN信道

AWGN信道的全稱(chēng)是加性高斯白噪聲(AdditiveWhiteGaussianNoise，AWGN)信道。輸入離散、輸出連續(xù)的AWGN信道具有輸入信號(hào)是離散的、輸出信號(hào)是連續(xù)的、信道受到的干擾服從高斯分布等特點(diǎn)，是通信中最常用的信道模型之一。圖1.7是二元輸入離散、輸出連續(xù)的AWGN信道簡(jiǎn)化模型。圖1.7二元輸入離散、輸出連續(xù)的AWGN信道簡(jiǎn)化模型

3.編碼定理

1)香農(nóng)第一定理(無(wú)失真壓縮編碼定理)

定義1.1.1設(shè)離散信源空間X={a1，a2，…，an}，離散變量ai(i=1，2，…，n)及對(duì)應(yīng)變量的概率分布p(X)為

式中， 。稱(chēng)－lbp(ai)為離散變量ai的自信息量；稱(chēng)

為信源空間X的熵，單位為bit。(1.1.3a)

定義1.1.2設(shè)有離散空間X={a1，a2，…，an}和Y={b1，b2，…，bm}，稱(chēng)

為條件熵；稱(chēng)

為平均互信息量。其中，p(ai，bj)為離散變量ai與bj的聯(lián)合概率密度，p(ai|bj)為條件概率密度。(1.1.3b)(1.1.3c)

定義1.1.3對(duì)信源輸出的一列符號(hào)序列按一定規(guī)則進(jìn)行變換稱(chēng)為編碼，變換后形成的新序列稱(chēng)為碼字，碼字中的每一個(gè)元素稱(chēng)為碼元，碼元所屬符號(hào)集稱(chēng)為碼符號(hào)集，碼字中碼元的數(shù)量稱(chēng)為碼長(zhǎng)，全部碼字構(gòu)成的集合稱(chēng)為碼。如果q=2，則稱(chēng)為二元碼；如果q>2,則稱(chēng)為q元碼，這里q表示碼符號(hào)集中元素的個(gè)數(shù)。

如果在一種碼的編譯碼過(guò)程中沒(méi)有信息損失，并且該碼在理想信道(無(wú)噪無(wú)信道損失)上傳輸后能不失真地恢復(fù)原消息，則稱(chēng)該編碼為無(wú)失真編碼；如果在編譯碼過(guò)程中有控制地?fù)p失一些信息，則稱(chēng)該編碼為限失真編碼。

限失真編碼在通信中是十分重要的，如一張僅幾百兆的光盤(pán)能容納數(shù)十小時(shí)的視頻內(nèi)容就源于該技術(shù)的重要貢獻(xiàn)。

定義1.1.4設(shè)有碼C={c1，c2，…，ci，…}，p(ci)=pi

，碼字ci的長(zhǎng)度為li，稱(chēng)

為碼C的平均碼長(zhǎng)，單位為bit。

定義1.1.5設(shè)信源符號(hào)集為X，并有q元碼C，稱(chēng)

為編碼效率。(1.1.5)(1.1.4)

引理1.1.1(概率匹配原則)設(shè)無(wú)記憶信源X={0，1，2，…，q－1}且元素相互獨(dú)立和等出現(xiàn)概率，其上有一種碼C={ci|i=1，2，…，M}，ci有長(zhǎng)度li，發(fā)生概率為pi，若C是無(wú)損編碼且L(C)最小，那么(1.1.6)

證明由于0，1，2，…，q－1是獨(dú)立等概的，因此每一個(gè)這樣的元素有自信息量 。這樣，碼C中平均每個(gè)碼字含有的信息量為L(zhǎng)(C)lbq。由于是無(wú)損編碼，因此L(C)lbq不應(yīng)當(dāng)小于H(X)，又由于L(C)最小，因此

定理1.1.1設(shè)離散平穩(wěn)無(wú)記憶信源的熵為H(X)，X={a1，a2，…，an}，那么一定存在一種碼C使熵和平均碼長(zhǎng)間滿足下列關(guān)系：

證明基于信源X，構(gòu)造一個(gè)長(zhǎng)度為N的符號(hào)串si=(r1,r2,…,rN)，ri∈X，這樣的符號(hào)串si形成一個(gè)N維擴(kuò)展信源XN，對(duì)N維擴(kuò)展信源進(jìn)行編碼，獲得碼C={ci|i=1,2,…}，每個(gè)ci長(zhǎng)為li，發(fā)生概率為pi。按概率匹配原則進(jìn)行編碼，碼長(zhǎng)應(yīng)滿足：(1.1.7)

式(1.1.8)兩邊乘以pi并求和后，有(1.1.8)(1.1.9)注意到

由此可得(1.1.10)由于是無(wú)記憶信源，故

H(XN)=NH(X)

(1.1.11)

將式(1.1.11)代入式(1.1.10)，即得式(1.1.7)。

2)香農(nóng)第二定理

定義1.1.6對(duì)離散無(wú)記憶信道，信源和信宿分別為X和Y，{px}表示信源X的概率分布，稱(chēng)

為信道容量。(1.1.12)

定義1.1.7消息在信道上的傳輸過(guò)程中，單位時(shí)間內(nèi)傳送的實(shí)際信息量稱(chēng)為信息傳輸速率，記為R。

定理1.1.2設(shè)離散無(wú)記憶信道的信道容量為Cc，

總存在一種R<Cc的碼C使接收端恢復(fù)消息的誤碼率pe<ε。同時(shí)，不存在一種R>Cc的碼C使pe任意小。

順便指出，在連續(xù)AWGN信道上，香農(nóng)信道容量公式為(1.1.13)

3)香農(nóng)第三定理

在許多實(shí)際情況下進(jìn)行無(wú)失真編碼是不必要的，信源可以在信宿恢復(fù)消息所需的條件下對(duì)消息進(jìn)行壓縮處理，以減小存儲(chǔ)或傳輸?shù)目偭?。這種壓縮方式通常就是去掉消息間的冗余度。要滿足信宿恢復(fù)消息所需要的條件，就必須在編碼時(shí)對(duì)失真設(shè)置一個(gè)最大值，稱(chēng)為保真度，記為D。保真度越

高，即D越小，意味著壓縮去掉的傳輸?shù)男旁葱畔⒘烤驮缴?，需要傳輸更多的信源信息量。很顯然，對(duì)給定的保真度D，信息傳輸速率R不能低于某一個(gè)下限值。保真度不同，下限值也不一定相同，即下限值是D的函數(shù)，稱(chēng)為率失真函數(shù)，記為R(D)。

定理1.1.3對(duì)任意給定的保真度D≥0，只要碼長(zhǎng)N足夠大，一定可以找到一種碼C使編碼后每個(gè)符號(hào)的信息傳輸率不小于R(D)，且碼的平均失真度不超過(guò)D。

4.數(shù)字調(diào)制的基本原理

所謂調(diào)制，是指根據(jù)調(diào)制信號(hào)的變化規(guī)律去改變載波某些參數(shù)的過(guò)程。調(diào)制具有搬移信號(hào)頻譜的作用，能夠把信號(hào)的頻譜搬移到理想的位置，從而獲得適合于信道傳輸?shù)男盘?hào)，大大提高信號(hào)傳輸?shù)挠行院涂煽啃?。調(diào)制可以分為模擬調(diào)制和數(shù)字調(diào)制兩種，模擬調(diào)制的調(diào)制信號(hào)取值是連續(xù)的，數(shù)字調(diào)制的調(diào)制信號(hào)取值是離散的。

1)二進(jìn)制數(shù)字調(diào)制

二進(jìn)制數(shù)字調(diào)制是指調(diào)制信號(hào)為二進(jìn)制數(shù)字信號(hào)的調(diào)制方式，在這類(lèi)調(diào)制中，載波的某個(gè)參數(shù)(如幅度、頻率或相位)僅有兩種簡(jiǎn)單的變化狀態(tài)。二進(jìn)制數(shù)字調(diào)制分為幅度鍵控、頻移鍵控和相移鍵控三種。

(1)二進(jìn)制幅度鍵控(BinaryAmplitudeShiftKeying，BASK)。設(shè)xk是來(lái)自于信源的二進(jìn)制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，即則BASK信號(hào)可以表示為

式中：fc為載波頻率；g(t)是一個(gè)矩形脈沖；Ts為持續(xù)時(shí)間。

式(1.1.14)表明在二進(jìn)制幅度鍵控調(diào)制中，載波幅度隨二進(jìn)制被調(diào)信號(hào)序列的變化而改變，如圖1.8所示。(1.1.14)圖1.8

BASK調(diào)制信號(hào)示意圖

(2)二進(jìn)制頻移鍵控(BinaryFrequencyShiftKeying，BFSK)。設(shè)xk是來(lái)自于信源的二進(jìn)制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，則BFSK信號(hào)可以表示為

式(1.1.15)表明BFSK調(diào)制信號(hào)隨被調(diào)信號(hào)序列在兩個(gè)載波頻率間切換。當(dāng)xk=1時(shí)，使用載波頻率f1；當(dāng)xk=0時(shí)，使用載波頻率f2，如圖1.9所示。(1.1.15)圖1.9

BFSK調(diào)制信號(hào)示意圖

(3)二進(jìn)制相移鍵控(BinaryPhaseShiftKeying，BPSK)。設(shè)xk是來(lái)自于信源的二進(jìn)制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，則BPSK信號(hào)可以表示為

式(1.1.16)表明BPSK調(diào)制信號(hào)隨被調(diào)信號(hào)序列在兩個(gè)相位相差為180°的信號(hào)間切換。當(dāng)xk=1時(shí)，載波信號(hào)為－cos(2πfct)；當(dāng)xk=0時(shí)，載波信號(hào)為cos(2πfct)，如圖1.10所示。(1.1.16)圖1.10

BPSK調(diào)制信號(hào)示意圖

2)M進(jìn)制數(shù)字調(diào)制

設(shè)xk是來(lái)自于信源的二進(jìn)制數(shù)字信息1和0，將m個(gè)二進(jìn)制符號(hào)的所有可能組合與M(M=2m)個(gè)載波相位相對(duì)應(yīng)，則MPSK信號(hào)可以表示為

例如，取m=2，那么載波相位數(shù)為M=22=4，稱(chēng)為QPSK(即4PSK)信號(hào)。2個(gè)