《現(xiàn)代編碼技術》課件第1章

第1章通信與編碼概述習題

1.通信系統(tǒng)的基本模型

通信系統(tǒng)的基本模型如圖1.1所示，組成部分如下：

信源：消息的發(fā)出者。

信宿：消息的接收者。

信源編碼器：消息的重組單元。

信道編碼器：消息抗毀能力的構建單元。

信道：消息的傳輸媒介，如電話機之間的電纜、無線電臺之間的電磁空間等。

干擾源：毀壞傳輸信號的各種因素的等價體，可分為自然干擾源和人為干擾源兩類。如大氣的雷電干擾、電離層的擾動等屬于自然干擾；信號的轉發(fā)干擾等屬于人為干擾。

信道譯碼器：消息的毀壞檢驗及恢復單元。

信源譯碼器：消息的還原單元。

發(fā)送端：從信源到信道前的各部分的總稱。

接收端：從信道后到信宿的各部分的總稱。圖1.1通信系統(tǒng)的基本模型

2.信道模型

信道是發(fā)送端和接收端之間的連接通道，它可以等效為一個輸入端和一個輸出端的系統(tǒng)，如圖1.2所示。圖1.2信道簡化模型根據(jù)信道是否存在干擾，可將其分為無噪信道和有噪信道；根據(jù)傳輸信道是否連續(xù)，可將其分為離散信道和模擬信道；根據(jù)信道當前輸出與先前的輸入是否有關，可將其分為有記憶信道和無記憶信道；根據(jù)信道參數(shù)是否隨時間而變化，可將其分為恒參信道和隨參信道；此外，信道還可以分為二元信道和多元信道，對稱信道和非對稱信道，有損信道和無損信道等。

1)離散信道

首先，我們來考慮信道的表示。假設發(fā)送端發(fā)射的信號都取自字符集：

X={a1，a2，…，an}由于信道中存在噪聲干擾、傳輸衰落、傳輸失真等因素，因此從發(fā)送端發(fā)出符號ai，在接收端收到的未必是符號ai，甚至于還可能是X中不存在的符號。于是可以假設接收端接收的信號都屬于符號集：

Y={b1，b2，…，bm}

對給定的信道進行大量的實驗后，經統(tǒng)計可以發(fā)現(xiàn)：從發(fā)送端符號集中發(fā)送的符號ai以概率pij轉化為接收端符號集中的bj。為方便起見，概率pij常常表示為條件概率的形式，即

pij=p(bj|ai)

(i=1，2，…，n；j=1，2，…，m)這樣，用符號轉移概率pij就可以充分描述信道特性。為方便起見，引入信道轉移矩陣P，即常用的離散信道模型有以下幾種：

(1)二元對稱信道。在這種信道中，X=Y={0，1}，并且p(1|0)=p(0|1)=p，即字符0和1發(fā)生錯傳的概率相同，信道轉移矩陣P為

二元對稱信道常常用狀態(tài)轉移圖來簡化表示，如圖1.3所示。圖1.3二元對稱信道

(2)二元刪除信道。在這種信道中，X={0，1}，Y={0，1，ω}，Y中的字符ω表示0或1在傳輸中發(fā)生畸變而在接

收端產生的一種發(fā)送端字符集中不存在的字符。在一個通信系統(tǒng)中，字符0和1分別代表正脈沖和負脈沖，發(fā)送端發(fā)送出正脈沖或負脈沖后，接收端收到的是受到干擾的畸變正脈沖

或負脈沖，當畸變變化比較嚴重時，無法識別出是正脈沖還是負脈沖，這種接收信號就用ω來表示。ω對接收端是沒有意義的，應被刪除?；兠}沖如圖1.4所示。圖1.4接收端收到的畸變脈沖(a)畸變的正脈沖；(b)畸變的負脈沖；(c)畸變的脈沖ω二元刪除信道的信道轉移矩陣P為

其中，p(ω|0)=p，p(ω|1)=q。

二元刪除信道常用圖1.5來表示。圖1.5二元刪除信道

(3)多元(N元)對稱信道。

多元(N元)對稱信道常用狀態(tài)轉移圖來簡化表示，如圖1.6所示。圖1.6多元(N元)對稱信道

(4)無記憶擴展信道。字符序列x經信道后轉移成y的概率為

(1.1.1)二維擴展信道的信道轉移矩陣P為(1.1.2)

2)輸入離散、輸出連續(xù)的AWGN信道

AWGN信道的全稱是加性高斯白噪聲(AdditiveWhiteGaussianNoise，AWGN)信道。輸入離散、輸出連續(xù)的AWGN信道具有輸入信號是離散的、輸出信號是連續(xù)的、信道受到的干擾服從高斯分布等特點，是通信中最常用的信道模型之一。圖1.7是二元輸入離散、輸出連續(xù)的AWGN信道簡化模型。圖1.7二元輸入離散、輸出連續(xù)的AWGN信道簡化模型

3.編碼定理

1)香農第一定理(無失真壓縮編碼定理)

定義1.1.1設離散信源空間X={a1，a2，…，an}，離散變量ai(i=1，2，…，n)及對應變量的概率分布p(X)為

式中， 。稱－lbp(ai)為離散變量ai的自信息量；稱

為信源空間X的熵，單位為bit。(1.1.3a)

定義1.1.2設有離散空間X={a1，a2，…，an}和Y={b1，b2，…，bm}，稱

為條件熵；稱

為平均互信息量。其中，p(ai，bj)為離散變量ai與bj的聯(lián)合概率密度，p(ai|bj)為條件概率密度。(1.1.3b)(1.1.3c)

定義1.1.3對信源輸出的一列符號序列按一定規(guī)則進行變換稱為編碼，變換后形成的新序列稱為碼字，碼字中的每一個元素稱為碼元，碼元所屬符號集稱為碼符號集，碼字中碼元的數(shù)量稱為碼長，全部碼字構成的集合稱為碼。如果q=2，則稱為二元碼；如果q>2,則稱為q元碼，這里q表示碼符號集中元素的個數(shù)。

如果在一種碼的編譯碼過程中沒有信息損失，并且該碼在理想信道(無噪無信道損失)上傳輸后能不失真地恢復原消息，則稱該編碼為無失真編碼；如果在編譯碼過程中有控制地損失一些信息，則稱該編碼為限失真編碼。

限失真編碼在通信中是十分重要的，如一張僅幾百兆的光盤能容納數(shù)十小時的視頻內容就源于該技術的重要貢獻。

定義1.1.4設有碼C={c1，c2，…，ci，…}，p(ci)=pi

，碼字ci的長度為li，稱

為碼C的平均碼長，單位為bit。

定義1.1.5設信源符號集為X，并有q元碼C，稱

為編碼效率。(1.1.5)(1.1.4)

引理1.1.1(概率匹配原則)設無記憶信源X={0，1，2，…，q－1}且元素相互獨立和等出現(xiàn)概率，其上有一種碼C={ci|i=1，2，…，M}，ci有長度li，發(fā)生概率為pi，若C是無損編碼且L(C)最小，那么(1.1.6)

證明由于0，1，2，…，q－1是獨立等概的，因此每一個這樣的元素有自信息量 。這樣，碼C中平均每個碼字含有的信息量為L(C)lbq。由于是無損編碼，因此L(C)lbq不應當小于H(X)，又由于L(C)最小，因此

定理1.1.1設離散平穩(wěn)無記憶信源的熵為H(X)，X={a1，a2，…，an}，那么一定存在一種碼C使熵和平均碼長間滿足下列關系：

證明基于信源X，構造一個長度為N的符號串si=(r1,r2,…,rN)，ri∈X，這樣的符號串si形成一個N維擴展信源XN，對N維擴展信源進行編碼，獲得碼C={ci|i=1,2,…}，每個ci長為li，發(fā)生概率為pi。按概率匹配原則進行編碼，碼長應滿足：(1.1.7)

式(1.1.8)兩邊乘以pi并求和后，有(1.1.8)(1.1.9)注意到

由此可得(1.1.10)由于是無記憶信源，故

H(XN)=NH(X)

(1.1.11)

將式(1.1.11)代入式(1.1.10)，即得式(1.1.7)。

2)香農第二定理

定義1.1.6對離散無記憶信道，信源和信宿分別為X和Y，{px}表示信源X的概率分布，稱

為信道容量。(1.1.12)

定義1.1.7消息在信道上的傳輸過程中，單位時間內傳送的實際信息量稱為信息傳輸速率，記為R。

定理1.1.2設離散無記憶信道的信道容量為Cc，

總存在一種R<Cc的碼C使接收端恢復消息的誤碼率pe<ε。同時，不存在一種R>Cc的碼C使pe任意小。

順便指出，在連續(xù)AWGN信道上，香農信道容量公式為(1.1.13)

3)香農第三定理

在許多實際情況下進行無失真編碼是不必要的，信源可以在信宿恢復消息所需的條件下對消息進行壓縮處理，以減小存儲或傳輸?shù)目偭?。這種壓縮方式通常就是去掉消息間的冗余度。要滿足信宿恢復消息所需要的條件，就必須在編碼時對失真設置一個最大值，稱為保真度，記為D。保真度越

高，即D越小，意味著壓縮去掉的傳輸?shù)男旁葱畔⒘烤驮缴?，需要傳輸更多的信源信息量。很顯然，對給定的保真度D，信息傳輸速率R不能低于某一個下限值。保真度不同，下限值也不一定相同，即下限值是D的函數(shù)，稱為率失真函數(shù)，記為R(D)。

定理1.1.3對任意給定的保真度D≥0，只要碼長N足夠大，一定可以找到一種碼C使編碼后每個符號的信息傳輸率不小于R(D)，且碼的平均失真度不超過D。

4.數(shù)字調制的基本原理

所謂調制，是指根據(jù)調制信號的變化規(guī)律去改變載波某些參數(shù)的過程。調制具有搬移信號頻譜的作用，能夠把信號的頻譜搬移到理想的位置，從而獲得適合于信道傳輸?shù)男盘?，大大提高信號傳輸?shù)挠行院涂煽啃?。調制可以分為模擬調制和數(shù)字調制兩種，模擬調制的調制信號取值是連續(xù)的，數(shù)字調制的調制信號取值是離散的。

1)二進制數(shù)字調制

二進制數(shù)字調制是指調制信號為二進制數(shù)字信號的調制方式，在這類調制中，載波的某個參數(shù)(如幅度、頻率或相位)僅有兩種簡單的變化狀態(tài)。二進制數(shù)字調制分為幅度鍵控、頻移鍵控和相移鍵控三種。

(1)二進制幅度鍵控(BinaryAmplitudeShiftKeying，BASK)。設xk是來自于信源的二進制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，即則BASK信號可以表示為

式中：fc為載波頻率；g(t)是一個矩形脈沖；Ts為持續(xù)時間。

式(1.1.14)表明在二進制幅度鍵控調制中，載波幅度隨二進制被調信號序列的變化而改變，如圖1.8所示。(1.1.14)圖1.8

BASK調制信號示意圖

(2)二進制頻移鍵控(BinaryFrequencyShiftKeying，BFSK)。設xk是來自于信源的二進制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，則BFSK信號可以表示為

式(1.1.15)表明BFSK調制信號隨被調信號序列在兩個載波頻率間切換。當xk=1時，使用載波頻率f1；當xk=0時，使用載波頻率f2，如圖1.9所示。(1.1.15)圖1.9

BFSK調制信號示意圖

(3)二進制相移鍵控(BinaryPhaseShiftKeying，BPSK)。設xk是來自于信源的二進制數(shù)字信息1和0，其發(fā)生概率分別為p和1－p，則BPSK信號可以表示為

式(1.1.16)表明BPSK調制信號隨被調信號序列在兩個相位相差為180°的信號間切換。當xk=1時，載波信號為－cos(2πfct)；當xk=0時，載波信號為cos(2πfct)，如圖1.10所示。(1.1.16)圖1.10

BPSK調制信號示意圖

2)M進制數(shù)字調制

設xk是來自于信源的二進制數(shù)字信息1和0，將m個二進制符號的所有可能組合與M(M=2m)個載波相位相對應，則MPSK信號可以表示為

例如，取m=2，那么載波相位數(shù)為M=22=4，稱為QPSK(即4PSK)信號。2個