信息論與編碼-第六章1

1、信道編碼-有擾離散信道的編碼定理 信道編碼的初步認識 編碼規(guī)則 碼字 C=(c0,c1,cn-1),其中ci (i=0,1,2,n-1)稱碼元，對于二進制有 ci 0，1 差錯符號 差錯比特信道編碼-有擾離散信道的編碼定理 差錯圖樣E=發(fā)碼C-收碼R mod M對于二進制 E=C R=C+R或C=R+E 差錯圖樣的類型:隨機差錯突發(fā)差錯信道編碼-有擾離散信道的編碼定理 差錯控制方式 前向糾錯（FEC）、 檢錯重發(fā)（ARQ） 和混合糾錯（HEC）是常用的三種差錯控制方式。 圖是這三種方式構成的差錯控制系統(tǒng)原理框圖。圖 三種差錯控制方式示意圖 信道編碼器信道譯碼器信息碼信息碼發(fā)送端接收端信道編碼器

2、信道譯碼器信息碼信息碼發(fā)送端接收端信道編碼器信道譯碼器信息碼信息碼發(fā)送端接收端應答信號能夠發(fā)現(xiàn)并可糾正錯誤的碼應答信號能夠發(fā)現(xiàn)錯誤的碼可糾正錯誤的碼(a) 檢錯重發(fā)(ARQ)示意圖(b) 前向糾錯(FEC)示意圖(c) 混合糾錯(HEC)示意圖信道編碼-有擾離散信道的編碼定理在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)

3、信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。 前向糾錯方式只要求單向信道，因此特別適合于只能提供單向信道的場合，同時也適合一點發(fā)送多點接收的廣播方式。因為不需要對發(fā)信端反饋信息，所以接收信號的延時小、實時性好。在前向糾錯(FEC)系統(tǒng)中，發(fā)信端將信息碼經(jīng)信道編碼后變成能夠糾正錯誤的碼，然后通過信道發(fā)送出去；收信端收到這些碼組后，根據(jù)與發(fā)信端約定好的編碼規(guī)則，通過譯碼能自動發(fā)現(xiàn)并糾正因傳輸帶來的數(shù)據(jù)錯誤。 前向糾錯方式只要求單向信道，因此特別適合于只能提供單向信道的場合，同時也適合一點發(fā)送多點接收的廣播方式。因為不需要對發(fā)信端反饋信息，所以接收信號的延時小、實時性好。 這

4、種糾錯系統(tǒng)的缺點是設備復雜、成本高，且糾錯能力愈強，編譯碼設備就愈復雜。 檢錯重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯的碼組發(fā)送到信道，收信端收到一個碼組后進行檢驗，將檢驗結果（有誤碼或者無誤碼）通過反向信道反饋給發(fā)信端作為對發(fā)信端的一個應答信號。發(fā)信端根據(jù)收到的應答信號做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯的數(shù)據(jù)重發(fā)的判斷。檢錯重發(fā)(ARQ)系統(tǒng)的發(fā)信端將信息碼編成能夠檢錯的碼組發(fā)送到信道，收信端收到一個碼組后進行檢驗，將檢驗結果（有誤碼或者無誤碼）通過反向信道反饋給發(fā)信端作為對發(fā)信端的一個應答信號。發(fā)信端根據(jù)收到的應答信號做出是繼續(xù)發(fā)送新的數(shù)據(jù)還是把出錯的數(shù)據(jù)重發(fā)的判斷。檢錯重發(fā)系統(tǒng)根據(jù)工

5、作方式又可分為三種，即停發(fā)等候重發(fā)系統(tǒng)、返回重發(fā)系統(tǒng)和選擇重發(fā)系統(tǒng)，如圖83所示。在圖83（a）中，發(fā)信端在t=0時刻將碼組1發(fā)給收信端，然后停止發(fā)送，等待收信端的應答信號。收信端收到該碼組并檢驗后，將應答信號ACK發(fā)回發(fā)信端，發(fā)信端確認碼組1無錯，就將碼組2發(fā)送出來；收信端對碼組2進行檢驗后，收信端判斷該碼組有錯并以NAK信號告知發(fā)信端，發(fā)信端將碼組2重新發(fā)送一次，收信端第二次收到碼組2經(jīng)檢驗后無錯，即可通過ACK信號告訴發(fā)信端無錯，發(fā)信端接著發(fā)送碼組3從上述過程中可見，發(fā)信端由于要等收信端的應答信號，發(fā)送過程是間歇式的，因此數(shù)據(jù)傳輸效率不高。但由于該系統(tǒng)原理簡單，在計算機通信中仍然得到應用

6、。圖83 檢錯重發(fā)的三種工作方式 1223412*23傳輸傳輸ACKNAKACKACK傳輸傳輸tt碼組發(fā)送端接收端1發(fā)送端接收端2345623456789101112*345623456789傳輸NAK傳輸1發(fā)送端接收端23456278910111213141512*3456278910111213傳輸NAK傳輸tttt(a) 停發(fā)等候重發(fā)示意圖(b) 返回重發(fā)示意圖(c) 選擇重發(fā)示意圖返回重發(fā)系統(tǒng)的工作原理如圖83（b）所示，在這種系統(tǒng)中發(fā)信端不停頓地發(fā)送信息碼組，不再等候ACK信號，如果收信端發(fā)現(xiàn)錯誤并發(fā)回NAK信號，則發(fā)信端從下一個碼組開始重發(fā)前一段N個碼組，N的大小取決于信號傳輸和處

7、理所造成的延時，也就是發(fā)信端從發(fā)錯誤碼組開始，到收到NAK信號為止所發(fā)出的碼組個數(shù)，圖中N=5。收信端收到碼組2有錯。發(fā)信端在碼組6后重發(fā)碼組2、3、4、5、6，收信端重新接收，圖中碼組4連續(xù)兩次出錯，發(fā)信端重發(fā)兩次。這種返回重發(fā)系統(tǒng)的傳輸效率比停發(fā)等候系統(tǒng)有很大改進，在很多數(shù)據(jù)傳輸系統(tǒng)中得到應用。圖83（c）描述選擇重發(fā)系統(tǒng)的工作過程：這種重發(fā)系統(tǒng)也是連續(xù)不斷地發(fā)送碼組，收信端檢測到錯誤后發(fā)回NAK信號，但是發(fā)信端不是重發(fā)前N個碼組，而是只重發(fā)有錯誤的那一組。圖中顯示發(fā)信端只重發(fā)收信端檢出有錯的碼組2，對其它碼組不再重發(fā)。收信端對已認可的碼組，從緩沖存儲器讀出時重新排序，恢復出正常的碼組序列

8、。顯然，選擇重發(fā)系統(tǒng)傳輸效率最高，但價格也最貴，因為它要求較為復雜的控制，在收、發(fā)兩端都要求有數(shù)據(jù)緩存器。 混合糾錯方式是前向糾錯方式和檢錯重發(fā)方式的結合。如圖82（c）所示。其內層采用FEC方式，糾正部分差錯；外層采用ARQ方式，重傳那些雖已檢出但未糾正的差錯?；旌霞m錯方式在實時性和譯碼復雜性方面是前向糾錯和檢錯重發(fā)方式的折衷，較適合于環(huán)路延遲大的高速數(shù)據(jù)傳輸系統(tǒng)。 信道編碼-有擾離散信道的編碼定理差錯控制編碼分類 根據(jù)編碼方式和不同的衡量標準，差錯控制編碼有多種形式和類別。下面我們簡單地介紹幾種主要分類。信道編碼-有擾離散信道的編碼定理差錯控制編碼分類 根據(jù)編碼方式和不同的衡量標準，差錯控

9、制編碼有多種形式和類別。下面我們簡單地介紹幾種主要分類。(1)根據(jù)編碼功能可分為檢錯碼、糾錯碼和糾刪碼三種類型。只能完成檢錯功能的叫檢錯碼；具有糾錯能力的叫糾錯碼；而糾刪碼既可檢錯也可糾錯。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗關系可以分為線性碼和非線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗關系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關系為線性關系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。(2)按照信息碼元和附加的監(jiān)督碼元之間的檢驗關系可以分為線性碼和非線性碼。若信息碼元與監(jiān)督碼元之間的關系為線性關系，即監(jiān)督碼元是信息碼元的線性組合，則稱為線性碼。反之，若兩者

10、不存在線性關系，則稱為非線性碼。 (3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關，而與其它碼組的信息碼元無關。(3)按照信息碼元和監(jiān)督碼元之間的約束方式可分為分組碼和卷積碼。在分組碼中，編碼前先把信息序列分為k位一組，然后用一定規(guī)則附加m位監(jiān)督碼元，形成n=k+m位的碼組。監(jiān)督碼元僅與本碼組的信息碼元有關，而與其它碼組的信息碼元無關。但在卷積碼中，碼組中的監(jiān)督碼元不但與本組信息碼元有

11、關，而且與前面碼組的信息碼元也有約束關系，就像鏈條那樣一環(huán)扣環(huán)；所以卷積碼又稱連環(huán)碼或鏈碼。(4)系統(tǒng)碼與非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對比較簡單，因此得到廣泛應用。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼

12、都相對比較簡單，因此得到廣泛應用。(5)糾正隨機錯誤碼和糾正突發(fā)錯誤碼。(4)系統(tǒng)碼與非系統(tǒng)碼。在線性分組碼中所有碼組的k位信息碼元在編碼前后保持原來形式的碼叫系統(tǒng)碼，反之就是非系統(tǒng)碼。系統(tǒng)碼與非系統(tǒng)碼在性能上大致相同，而且系統(tǒng)碼的編、譯碼都相對比較簡單，因此得到廣泛應用。(5)糾正隨機錯誤碼和糾正突發(fā)錯誤碼。顧名思義，前者用于糾正因信道中出現(xiàn)的隨機獨立干擾引起的誤碼，后者主要對付信道中出現(xiàn)的突發(fā)錯誤。 信道編碼-有擾離散信道的編碼定理 從上述分類中可以看到，一種編碼可以具有多樣性，本章主要介紹糾正隨機錯誤的二進制線性分組碼。 信道編碼-有擾離散信道的編碼定理 碼空間 信息空間2k 碼空間2k

13、 n-維n-重矢量空間2n 碼的平均特性、碼的性能限信道編碼-有擾離散信道的編碼定理 有擾離散信道的編碼定理有擾離散信道的編碼定理隨機編碼隨機編碼 考慮一個DMC信道，其輸入符號集為輸出符號集為 轉移概率矩陣為 即輸入為q元，輸出為Q元。,121QyyyY,121qxxxX)/(ijxyp信道編碼-有擾離散信道的編碼定理對其輸入進行分組編碼，編碼方式是每K個輸入信源符號一組，編成N個符號的碼，叫做（N，K）分組編碼器。如圖所示。 (N,K) 分組編碼器DMC信道消息組m),(21KmmmNXC碼字),(21Ncccc,121qxxxXXcn,121QyyyYNNYrrrr),(21收碼信道編碼

14、-有擾離散信道的編碼定理碼字 可看成是一個N維矢量，設想有一個N維的矢量空間 ，每一個碼字可以認為是該矢量空間的一個點。),(110NcccNX信道編碼-有擾離散信道的編碼定理碼字 可看成是一個N維矢量，設想有一個N維的矢量空間 ，每一個碼字可以認為是該矢量空間的一個點。由于每維有q個取值，故該矢量空間中總的點數(shù)為),(110NcccNXNqZ 信道編碼-有擾離散信道的編碼定理碼字 可看成是一個N維矢量，設想有一個N維的矢量空間 ，每一個碼字可以認為是該矢量空間的一個點。由于每維有q個取值，故該矢量空間中總的點數(shù)為而碼字由K個q進制符號組成，故碼字總數(shù)為),(110NcccNXNqZ KqM

15、信道編碼-有擾離散信道的編碼定理碼字 可看成是一個N維矢量，設想有一個N維的矢量空間 ，每一個碼字可以認為是該矢量空間的一個點。由于每維有q個取值，故該矢量空間中總的點數(shù)為而碼字由K個q進制符號組成，故碼字總數(shù)為所謂編碼，就是要在Z個N維空間點中，選擇M個作為碼字，不同的選取方法，可能會得到不同的誤碼率。),(110NcccNXNqZ KqM 信道編碼-有擾離散信道的編碼定理 隨機編碼的誤碼率隨機編碼的誤碼率信道編碼-有擾離散信道的編碼定理 隨機編碼的誤碼率隨機編碼的誤碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點中選取M個作為碼字。信道編碼-有擾離散信道的編碼定理 隨機編碼的誤碼率隨機編碼的誤

16、碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點中選取M個作為碼字。如果不要求一一對應，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結果會使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？信道編碼-有擾離散信道的編碼定理 隨機編碼的誤碼率隨機編碼的誤碼率已經(jīng)說過，所謂編碼就是要在Z個N維空間點中選取M個作為碼字。如果不要求一一對應，則共有ZM種不同的選取方法，在這些選取方法中，有的方法選取的結果會使得誤碼率比較低，有的可能比較高。那么，誤碼率的上界是多少呢？由于共有ZM種不同的選取方法，故每一種選取方法的出現(xiàn)概率為1/ZM，即信道編碼-有擾離散信道的編碼定理其中， 為某

17、種選擇方法得到的碼集。NMmqZMcp1)(mc信道編碼-有擾離散信道的編碼定理其中， 為某種選擇方法得到的碼集。設與這種選擇相對應的誤碼率為 ，則全部碼集的平均誤碼率為NMmqZMcp1)(mc)(mecPNMNMqmmeNMqmmmeecPqcpcPP11)()()(信道編碼-有擾離散信道的編碼定理那么， 的上界是多少呢？eP信道編碼-有擾離散信道的編碼定理那么， 的上界是多少呢？設有某一個碼字 ，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字 ，則譯碼后的誤碼率是eP),()1(10Nkkkkcccc),(110NrrrrNYrkkkerIcrpcP）()/()(信道編碼-有擾離散信道的編碼定

18、理那么， 的上界是多少呢？設有某一個碼字 ，經(jīng)DMC信道傳輸后，在輸出端變成接收碼字 ，則譯碼后的誤碼率是其中，eP),()1(10Nkkkkcccc),(110NrrrrNYrkkkerIcrpcP）()/()()()()/()/(,)/()/(, 1, 0)(bacrpcrpikicrpcrpkirIikikk使總有至少一個對所有的有信道編碼-有擾離散信道的編碼定理這就意味著，當發(fā)碼字 而收到r的概率大于發(fā)任何其他碼字 而收到r的概率時，則令 因為此時通過最優(yōu)譯碼可以做到正確譯碼；kcic, 0)(rIk信道編碼-有擾離散信道的編碼定理這就意味著，當發(fā)碼字 而收到r的概率大于發(fā)任何其他碼字

19、 而收到r的概率時，則令 因為此時通過最優(yōu)譯碼可以做到正確譯碼；反之，則令 因為此時不能正確譯碼。kcic, 0)(rIk, 1)(rIk信道編碼-有擾離散信道的編碼定理這就意味著，當發(fā)碼字 而收到r的概率大于發(fā)任何其他碼字 而收到r的概率時，則令 因為此時通過最優(yōu)譯碼可以做到正確譯碼；反之，則令 因為此時不能正確譯碼。而 一定滿足不等式kcic, 0)(rIk, 1)(rIk)(rIk1111)/()/()(kkiikcrpcrprI信道編碼-有擾離散信道的編碼定理上式可以根據(jù) 和 兩種情況分別加以驗證。0)(rIk1)(rIk信道編碼-有擾離散信道的編碼定理上式可以根據(jù) 和 兩種情況分別加

20、以驗證。將上式代入誤碼率公式，于是有0)(rIk1)(rIkNNYrkiikYrkkiikkecrpcrpcrpcrpcrpcP11111111)/()/()/()/()/()(信道編碼-有擾離散信道的編碼定理這個不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導出來的。信道編碼-有擾離散信道的編碼定理這個不等式叫做Gallager界，它指出了碼字的誤碼上界，是Gallager在1965年推導出來的。如果該誤碼上界等于零或者足夠小，則我們可以說，總有一些編碼方法，能夠使誤碼足夠小。這就是香農第二定理。信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理信

21、道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字 時，誤碼率的上界，即Gallager界。kc信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字 時，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導出其平均誤碼率的上界，為kc)(RNEeeP信道編碼-有擾離散信道的編碼定理（二）有擾信道編碼定理上面分析了在輸入端發(fā)送一個碼字 時，誤碼率的上界，即Gallager界。由于輸入端發(fā)送的碼字有多種可能，則由Gallager界，可以推導出其平均誤碼率的上界，為其中，N是碼字長度，E(

22、R)是叫做DMC信道的可靠性函數(shù)kc)(RNEeeP信道編碼-有擾離散信道的編碼定理E(R) 定義為),(maxmax)(0 xPERRExP信道編碼-有擾離散信道的編碼定理E(R) 定義為當最優(yōu)的 及 選定以后，E(R)就只是R的函數(shù)，),(maxmax)(0 xPERRExPxP信道編碼-有擾離散信道的編碼定理E(R) 定義為當最優(yōu)的 及 選定以后，E(R)就只是R的函數(shù)，而是信道的碼率，),(maxmax)(0 xPERRExPxPNMR/ln信道編碼-有擾離散信道的編碼定理E(R) 定義為當最優(yōu)的 及 選定以后，E(R)就只是R的函數(shù)，而是信道的碼率， 是可能的信息組合數(shù)，),(max

23、max)(0 xPERRExPxPNMR/lnKqM 信道編碼-有擾離散信道的編碼定理E(R) 定義為當最優(yōu)的 及 選定以后，E(R)就只是R的函數(shù)，而是信道的碼率， 是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，),(maxmax)(0 xPERRExPxPNMR/lnKqM 信道編碼-有擾離散信道的編碼定理E(R) 定義為當最優(yōu)的 及 選定以后，E(R)就只是R的函數(shù)，而是信道的碼率， 是可能的信息組合數(shù)，N是每碼字的碼元數(shù)，R表示每碼元攜帶的信息量，所以稱作碼率（或傳信率）。),(maxmax)(0 xPERRExPxPNMR/lnKqM 信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以

24、看出，E(R)越大， 就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。eP信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大， 就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的 定義為eP),(xPoE 10101110)/()(ln),(QjqiijixypxpExP信道編碼-有擾離散信道的編碼定理從E(R)的定義式可以看出，E(R)越大， 就越小，即可靠性就越高，這也是E(R)稱為可靠性函數(shù)的原因，也叫做誤差指數(shù)。其中的 定義為也就是說， 是以修正因子 及輸入符號概分布矢量 為自變量的一個函數(shù)。eP),(x

25、PoE 10101110)/()(ln),(QjqiijixypxpExP),(xPoExP信道編碼-有擾離散信道的編碼定理由于E(R)是 對 取極大值，所以一定有),(0 xPER0),(),(00 xxPPERER信道編碼-有擾離散信道的編碼定理由于E(R)是 對 取極大值，所以一定有即),(0 xPER0),(),(00 xxPPERER),(0 xPER信道編碼-有擾離散信道的編碼定理 與 的關系曲線如下面左圖所示，因此可得到R與 的關系曲線，如下面右圖所示。),(0 xPE01),(0 xPE1R0RC信道編碼-有擾離散信道的編碼定理考察E(R)與R的關系，由E(R)的定義式，可得R

26、RE)(信道編碼-有擾離散信道的編碼定理考察E(R)與R的關系，由E(R)的定義式，可得即E(R)和R之間的關系曲線的斜率為 ，如下圖RRE)(E(R)RC0R0信道編碼-有擾離散信道的編碼定理E(R)RC0R0R從0 的一段，由于此時恒為1，所以是一條直線，0R0信道編碼-有擾離散信道的編碼定理0RE(R)RC0R0R從0 的一段，由于此時恒為1，所以是一條直線，而在R從 C這一段，由于從1逐漸減小至0，所以變成了一條曲線，各點處的斜率對應于該點處的 - ，0R0R信道編碼-有擾離散信道的編碼定理0RE(R)RC0R0R從0 的一段，由于此時恒為1，所以是一條直線，而在R從 C這一段，由于從

27、1逐漸減小至0，所以變成了一條曲線，各點處的斜率對應于該點處的 - ，當R=C時， ，所以此時的E(R)=0。0R0R0信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理有擾離散信道的信道編碼定理：信道編碼-有擾離散信道的編碼定理由此可以得到有擾離散信道的信道編碼定理有擾離散信道的信道編碼定理：設離散無記憶信道為X,P(y/x),Y，其信道容量為C。當信息傳輸率RC時，只要碼長N足夠大，就一定存在一種編碼方法，使譯碼的錯誤概率任意小（ ）。0eP信道編碼-有擾離散信道的編碼定理這是因為平均誤碼率上界為也就是說，一定有一些編碼方法，其譯碼誤碼率滿足由于當R0，所以只要N足夠大

28、，則 可以足夠小。)(RNEeeP)(RNEeePeP信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理信道編碼逆定理：信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理信道編碼逆定理：設離散無記憶信道為X,P(y/x),Y，其信道容量為C。當信息傳輸率RC時，無論碼長N多長，總也找不到一種編碼方法，使譯碼的錯誤概率任意小。信道編碼-有擾離散信道的編碼定理有擾離散信道的信道編碼逆定理信道編碼逆定理：設離散無記憶信道為X,P(y/x),Y，其信道容量為C。當信息傳輸率RC時，無論碼長N多長，總也找不到一種編碼方法，使譯碼的錯誤概率任意小。這兩個定理常常被寫在一起，統(tǒng)稱為有擾信

29、道或噪聲信道的信道編碼定理信道編碼定理。信道編碼-有擾離散信道的編碼定理香農第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。信道編碼-有擾離散信道的編碼定理香農第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。因此，在1948年香農發(fā)表文章后，科學家們致力于各種編碼方法的實現(xiàn)，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。信道編碼-有擾離散信道的編碼定理香農第二定理也只是一個存在定理，它只說明錯誤概率趨于零的好碼是存在的。但并沒有給出具體的編碼方法。因此，在1948年香農發(fā)表文章后，科學家們致力于各種編碼方法的實現(xiàn)

30、，出現(xiàn)了代數(shù)編碼、卷積碼、循環(huán)碼等等。下面我們將在分析差錯控制的基本原理之后，來介紹這些編碼方法。信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理差錯控制與信道編譯碼的基本原理信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下面我們從前面我們推導的誤碼率公式以及信息論的基本理論兩個方面來討論。 信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下

31、面我們從前面我們推導的誤碼率公式以及信息論的基本理論兩個方面來討論。 1. 從公式分析信道編碼-有擾離散信道的編碼定理差錯控制與信道編譯碼的基本原理差錯控制與信道編譯碼的基本原理（一）差錯控制的途徑下面我們從前面我們推導的誤碼率公式以及信息論的基本理論兩個方面來討論。 1. 從公式分析由誤碼率的上界公式)(RNEeeP信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看

32、出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C信道編碼-有擾離散信道的編碼定理可以看出，要減小誤碼率，可以增加碼長N或者增加可靠性函數(shù)E(R)。增加E(R)的途徑主要有:（1）增加信道容量C右圖是不同信道

33、容量下，E(R)R關系曲線?？梢钥闯觯谕瑯拥男畔⒙蔙的情況下，C大則E(R)也大。E(R)RC1C2R1 R2R1R2C1C2信道編碼-有擾離散信道的編碼定理根據(jù)香農公式，對于帶限波形信道，有)1log(0WNPWCav信道編碼-有擾離散信道的編碼定理根據(jù)香農公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W )1log(0WNPWCav信道編碼-有擾離散信道的編碼定理根據(jù)香農公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W 有線：架空明線 對稱電纜 同軸電纜 光纖 )1log(0WNPWCav信道編碼-有擾離散信道的編碼

34、定理根據(jù)香農公式，對于帶限波形信道，有因此，想增加信道容量C，可以采用的方法有：（i）增加帶寬W 有線：架空明線 對稱電纜 同軸電纜 光纖 無線：中波 短波 超短波 毫米波 微米 波 光波)1log(0WNPWCav信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率：提高發(fā)射功率、提高天線增益、全向天線改定向天線等。信道編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率（iii）降低噪聲功率信道

35、編碼-有擾離散信道的編碼定理增加信道容量C，可以采用的方法有：（i）增加帶寬W（ii）加大信號功率（iii）降低噪聲功率：采用低噪聲器件、濾波等。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R對于（N，K）分組碼，碼率R=Klogq/N，要減小碼率R，方法有：（i）q、N不變，減小K。相當于信道

36、速率不變的 情況下，減小信息傳輸率。信道編碼-有擾離散信道的編碼定理（ii）q、K不變，增大N。因此會提高信道速率，會占用更大的帶寬。信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q信道編碼-有擾離散信道的編碼定理減小碼率R，方法有：（i）q、N不變，減小K（ii）q、K不變，增大N（iii）K、N不變，減小q。即減小輸入輸出符號集中符號的個數(shù)，如果發(fā)送功率不變，則信號間隔增大，可靠性提高。信道編碼-有擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N。信道編碼-有

37、擾離散信道的編碼定理增加E(R)的途徑主要有:（1）增加信道容量C（2）減小碼率R（3）增加碼長N。如果要求R不變，則增加碼長N，相應地也要增加K，以保持K/N不變。信道編碼-有擾離散信道的編碼定理 1.從公式出發(fā)2.從概念分析信道編碼-有擾離散信道的編碼定理 1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進行隨機化。信道編碼-有擾離散信道的編碼定理 1.從公式出發(fā)2.從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進行隨機化。（1）增加冗余度信道編碼-有擾離散信道的編碼定理 1.從公式出發(fā)2.

38、從概念分析從信息論和概率論的角度，增加傳輸系統(tǒng)的可靠性，降低差錯率，就是要增加冗余度，和進行隨機化。（1）增加冗余度在第二章我們就反復強調過，增加冗余度可以提高抗干擾能力。但是，增加冗余度，并不是隨便增加的，那樣效率會很低。在信道編碼中，要使得信息流中的冗余比特與信息比特有特定信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余

39、度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間。信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間。如ARQ系統(tǒng)的重復發(fā)送，就要

40、占用更多的時間。信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間（ii）頻帶信道編碼-有擾離散信道的編碼定理的關系，這樣當信息比特由于受到干擾而受損時，可以通過冗余比特來進行檢測或恢復。至于冗余度增加多少、如何設計信息比特與冗余比特之間的關系等等，是糾錯編碼理論要討論的主要問題。常用的冗余資源有：（i）時間（ii）頻帶。由于增加了冗余度，使得信息傳輸率下降，如果想保持有用信息的傳輸速率不變，就要提高信道的波特率，

41、也就是要占用更大的帶寬。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率。根據(jù)頻帶和信噪比的互換原則，也可以不增加信道帶寬，但提高發(fā)送功率，來達到同樣的目的。信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率（iV）設備復雜度信道編碼-有擾離散信道的編碼定理常用的冗余資源有：（i）時間（ii）頻帶（iii）功率（iV）設備復雜度。增加碼長N可以減小差錯率，但編解碼設備等的復雜度相應有所增加。信道編碼-有擾離散信道的編碼定理（1）增加冗

42、余度（2）噪聲均化（隨機化）信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機化）噪聲干擾的危害大小，不僅與噪聲的大小和總量 有關，還與噪聲的分布有關。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機化）噪聲干擾的危害大小，不僅與噪聲的大小和總量 有關，還與噪聲的分布有關。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就會使該時段的信息收到很大的損傷，變得不可恢復。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機化）噪聲干擾的危害大小，不僅與噪聲的大小和總量 有關，還與噪聲的分布有關。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就

43、會使該時段的信息收到很大的損傷，變得不可恢復。如果噪聲分布比較均勻，則雖然也會使信息收到損傷，但由于損傷不嚴重，可能會在編碼的可糾錯范圍內，從而得到正確的譯碼結果。信道編碼-有擾離散信道的編碼定理（1）增加冗余度（2）噪聲均化（隨機化）噪聲干擾的危害大小，不僅與噪聲的大小和總量 有關，還與噪聲的分布有關。同樣的噪聲總量，如果噪聲分布非常密集在一個時段，就會使該時段的信息收到很大的損傷，變得不可恢復。如果噪聲分布比較均勻，則雖然也會使信息收到損傷，但由于損傷不嚴重，可能會在編碼的可糾錯范圍內，從而得到正確的譯碼結果。所以，集中的噪聲干擾的危害要大于分散的噪聲干擾。噪聲均化就是要把噪聲盡可能地均勻

44、分布到各個碼字。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設BSC信道的誤碼概率為 ，設編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。01. 0eP信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設BSC信道的誤碼概率為 ，設編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。如果碼字長度N=10，則當碼字中有多

45、于1個的碼元發(fā)生誤嗎時，就會產(chǎn)生譯碼差錯。01. 0eP信道編碼-有擾離散信道的編碼定理噪聲均化的方法主要有：（i）增加碼長N。例如：設BSC信道的誤碼概率為 ，設編碼的糾錯能力為10%，即碼字中如果錯誤的碼元數(shù)小于等于碼長N的10%，就可以通過譯碼加以糾正。如果碼字長度N=10，則當碼字中有多于1個的碼元發(fā)生誤嗎時，就會產(chǎn)生譯碼差錯。所以差錯概率為01. 0eP310101027. 4)1 (101mememPPmP信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為540401092. 4)1 (401mememPPmP信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=

46、40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。540401092. 4)1 (401mememPPmP信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。原因在于：當碼字長度增加后，每個碼字中誤碼的比例就會比較接近統(tǒng)計平均值。540401092. 4)1 (401mememPPmP信道編碼-有擾離散信道的編碼定理如果將碼長增加到N=40，則差錯概率為可見，僅僅是將碼長由10增加到40，就可以將譯碼錯誤概率下降兩個數(shù)量級。原因在于：當碼字長度增加后，每個碼字中誤碼的比例就會比較接近統(tǒng)計平均值。而當噪聲嚴格均勻化的