通信原理下冊(cè)-全部PPT

1、通信原理通信原理II山東大學(xué)山東大學(xué) 信息科學(xué)與工程學(xué)院信息科學(xué)與工程學(xué)院 推薦參考書：推薦參考書： 信息論與編碼理論信息論與編碼理論 王育民王育民 等等 編著編著 高等教育出版社高等教育出版社 （2002005 5年年1212月第月第1 1版）版） 通信系統(tǒng)工程通信系統(tǒng)工程 John G. Proakis John G. Proakis， Masoud Salehi Masoud Salehi 著著 葉芝慧、趙新勝等譯葉芝慧、趙新勝等譯 （20022002年年7 7月第月第1 1版）版）第一章第一章 緒論緒論通信系統(tǒng)模型通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源通信系統(tǒng)模型進(jìn)一步細(xì)分通信系統(tǒng)

2、模型進(jìn)一步細(xì)分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器各部件功能各部件功能各部件功能各部件功能各部件功能各部件功能信息、消息和信號(hào)信息、消息和信號(hào)1.2 信息論研究的中心問信息論研究的中心問題和發(fā)展題和發(fā)展Shannon信息論的基本任務(wù)信息論的基本任務(wù)信息論的研究?jī)?nèi)容信息論的研究?jī)?nèi)容狹義信息論體系結(jié)構(gòu)狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fa

3、no碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息論發(fā)展簡(jiǎn)史信息的概念信息的概念l第一個(gè)重要概念第一個(gè)重要概念：信道上傳送的是隨機(jī)變量的信道上傳送的是隨機(jī)變量的值。注意：值。注意： （1 1）這就是說，我們?cè)谑盏较⒅?，并不知）這就是說，我們?cè)谑盏较⒅?，并不知道消息的?nèi)容。否則消息是沒有必要發(fā)送的。道消息的內(nèi)容。否則消息是沒有必要發(fā)送的。 （

4、2 2）消息隨機(jī)變量有一個(gè)概率分布。）消息隨機(jī)變量有一個(gè)概率分布。 （3 3）消息隨機(jī)變量的一個(gè)可能取值就稱為一個(gè)）消息隨機(jī)變量的一個(gè)可能取值就稱為一個(gè)事件事件。信息的概念信息的概念第二個(gè)重要概念：第二個(gè)重要概念： 事件發(fā)生的概率越小，此事件含有的信息量就越大。事件發(fā)生的概率越小，此事件含有的信息量就越大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震驚）（不太可能發(fā)生的事件竟然發(fā)生了，令人震驚） 例例 事件事件“中國足球隊(duì)中國足球隊(duì)3 3：0 0力克韓國足球隊(duì)力克韓國足球隊(duì)”含有的含有的信息量大。（小概率事件發(fā)生了，事件信息量大）信息量大。（小概率事件發(fā)生了，事件信息量大） 例例 事件事件“中國足球

5、隊(duì)中國足球隊(duì)0 0：1 1負(fù)于韓國足球隊(duì)負(fù)于韓國足球隊(duì)”含有的含有的信息量小。（大概率事件發(fā)生了，事件信息量?。┬畔⒘啃?。（大概率事件發(fā)生了，事件信息量?。┬畔⒌母拍钚畔⒌母拍?第三個(gè)重要概念：第三個(gè)重要概念：消息隨機(jī)變量的隨機(jī)性越大，消息隨機(jī)變量的隨機(jī)性越大，此消息隨機(jī)變量含有的信息量就越大。此消息隨機(jī)變量含有的信息量就越大。 例例 消消息隨機(jī)變量息隨機(jī)變量X X=“=“中國足球隊(duì)與韓國足球隊(duì)比中國足球隊(duì)與韓國足球隊(duì)比賽的結(jié)果賽的結(jié)果”，則消息隨機(jī)變量，則消息隨機(jī)變量X X含有的信息量含有的信息量小。小。 （隨機(jī)性小，可預(yù)見性大，因此該消息（隨機(jī)性小，可預(yù)見性大，因此該消息隨機(jī)變量含有的信息

6、量小。）隨機(jī)變量含有的信息量小。） 例例 消息隨機(jī)變量消息隨機(jī)變量X X=“=“意大利足球隊(duì)與德國足意大利足球隊(duì)與德國足球隊(duì)比賽的結(jié)果球隊(duì)比賽的結(jié)果”，則消息隨機(jī)變量，則消息隨機(jī)變量X X含有的含有的信息量大。信息量大。 （隨機(jī)性大，可預(yù)見性小，因此（隨機(jī)性大，可預(yù)見性小，因此該消息隨機(jī)變量含有的信息量大。）該消息隨機(jī)變量含有的信息量大。） 信息的概念信息的概念l第四個(gè)重要概念：兩個(gè)消息隨機(jī)變量的相互依第四個(gè)重要概念：兩個(gè)消息隨機(jī)變量的相互依賴性越大，它們的賴性越大，它們的互信息量互信息量就越大（這里指的就越大（這里指的是絕對(duì)值大）。是絕對(duì)值大）。 例例 X X= =西安明日平均氣溫西安明日平

7、均氣溫, , Y Y= =咸陽明日平均氣咸陽明日平均氣溫，溫，Z Z= =北京明日平均氣溫，北京明日平均氣溫，WW= =紐約明日平均紐約明日平均氣溫。氣溫。 則則 X X與與Y Y互信息量大，互信息量大， X X與與Z Z互信息量小得多，互信息量小得多， X X與與WW互信息量幾乎為互信息量幾乎為0 0。第二章第二章 信息量和熵信息量和熵信息量和熵信息量和熵l2.1 離散變量的非平均信息量離散變量的非平均信息量l2.2 離散集的平均自信息量熵離散集的平均自信息量熵l2.3 離散集的平均互信息量離散集的平均互信息量l2.4 連續(xù)隨機(jī)變量的互信息和熵連續(xù)隨機(jī)變量的互信息和熵l2.5 凸函數(shù)和互信息

8、的凸性凸函數(shù)和互信息的凸性2.1 離散變量的非平均信離散變量的非平均信息量息量輸入，輸出空間定義輸入，輸出空間定義非平均互信息量非平均互信息量l例例2.1.1X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000非平均互信息量非平均互信息量輸入消息輸入消息碼字碼字p(xk)收到收到0收到收到01收到收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61

9、/31/61/30000001/32/3000000010000非平均互信息量非平均互信息量l例2.1.2輸入消息碼字p(xk)收到0收到01收到011X1X20001111/21/21-pp1/21/21-pp1-p1-p0011pp非平均互信息量非平均互信息量)|(),();(jkkjkyxpxqfyxI)|;()|;();();(213121jjjkjjkjkjkyyyxIyyxIyxIyxI);()()|(log)()|(log);(kjjkjakjkajkxyIyxypxqyxpyxI條件互信息和聯(lián)合事件互信息條件互信息和聯(lián)合事件互信息l三個(gè)事件集的條件互信息定義為l可以推廣到任意有

10、限多個(gè)空間情況)|()|()|(log)|()|(log)|;(323132131321321uupuupuuupuupuuupuuuI互信息的可加性互信息的可加性系統(tǒng)u1u2u3系統(tǒng)u1u2u3)|;();()|;();();(3213123121321uuuIuuIuuuIuuIuuuI離散變量的非平均自信息量離散變量的非平均自信息量)(log)(1log)()|(log);(kkkjkjkxqxqxqyxpyxI)(log)(1log)(kkkxqxqxI非平均自信息的性質(zhì)非平均自信息的性質(zhì)l非負(fù)l體現(xiàn)先驗(yàn)不確定性大小)();()();(jjkkjkyIyxIxIyxI條件自信息和聯(lián)合自

11、信息條件自信息和聯(lián)合自信息)|(log)|(2121uupuuI)(log)(jkjkyxpyxI)|()()|()();(kjjjkkjkxyIyIyxIxIyxI自信息、條件自信息和互信息自信息、條件自信息和互信息)()()();(jkjkjkyxIyIxIyxII(xk)I(yj)I(xk ;yj)2.2 離散集的平均自信離散集的平均自信息量熵息量熵熵熵)(log)()(xqxqxH集X中事件出現(xiàn)的平均不確定性例2.2.1 H(p)例2.2.2條件熵和聯(lián)合熵條件熵和聯(lián)合熵xyyxpxypYXH)|(log)()|( XY獨(dú)立時(shí)有H(X|Y)=H(X)|()()|()()()(log)()

12、(YXHYHXYHXHXYHxypxypXYHxy熵的性質(zhì)熵的性質(zhì)l對(duì)稱性l非負(fù)性l確定性l擴(kuò)展性l可加性l極值性l是H(P)上凸函數(shù)熵的性質(zhì)可加性熵的性質(zhì)可加性lH(p1q11,p1q12,p4q44)=H(p1,p4)+p1H(q11,q14)+p4H(q41,q44)p1p2p3p4q11q12q13q14熵的極值性熵的極值性l引理1: lnxx-1熵的極值性熵的極值性l引理2：lH(X|Y) H(X)lH(U1UN) H(U1)+H(UN)11log),(kkkKqpppH熵的凸性熵的凸性lH(P)是P的上凸函數(shù))()1 ()()1 (2121PHPHPPH2.3 離散集的平均互信息離

13、散集的平均互信息量量平均互信息量平均互信息量xyxqyxpxypYXI)()|(log)();(1.非負(fù)性2.對(duì)稱性3. )|()()()|()()|()();(YXHYHXHXYHYHYXHXHYXI平均互信息量平均互信息量4. I(X;Y)H(X) ,I(X;Y)H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)條件互信息條件互信息xyzzxpzxypxyzpZYXI)|()|(log)()|;()|()|()|;(YZXHZXHZYXI)|;();()|;();();(ZYXIZXIYZXIYXIYZXI信息處理定理信息處理定理lZ出現(xiàn)情況下，X和Y獨(dú)立,構(gòu)成一個(gè)馬氏鏈系統(tǒng)1系

14、統(tǒng)2XYZ(| )( | ) ( | )(;|)0(|)(|)p xy zp x z p y zI X Y ZH X YZH X Z信息處理定理信息處理定理);();()|()|(YXIZXIYXHZXH2.4 連續(xù)隨機(jī)變量的互信連續(xù)隨機(jī)變量的互信息和相對(duì)熵息和相對(duì)熵連續(xù)隨機(jī)變量的互信息連續(xù)隨機(jī)變量的互信息 dxdyypxpxypxypYXIYXXYXY)()()(log)();()|;();();();();()|;()|;();();(0);(XZYIZXIZXYIYXIZXIZXYIZYXIXYIYXIYXI例例:求互信息求互信息2222)()1 (21exp121)(xxyxXYmxx

15、yp22)()(2uyyxyxmymymxxXYXdyxypxp21)()(221exp()2xxxmyXYYdxxypyp21)()(221exp()2yyym例例:求互信息求互信息 dxdyypxpxypxypYXIYXXYXY)()()(log)()( ；yxyxxxmymxmxn)1 ()(2)1 ()(2111122222dxdyxypmymxmyXYyyxxyy)()()()1 ()(22222221111121121)1 (12122222n)1 (1212n 隨機(jī)變量的相對(duì)熵隨機(jī)變量的相對(duì)熵(微分熵微分熵)dxxpxpxHXXc)(log)()(均勻分布的相對(duì)熵均勻分布的相對(duì)熵

16、),(0),(1)(baxbaxabxpbaCabndxabnabXH)(1)(11)(高斯分布的相對(duì)熵高斯分布的相對(duì)熵21)(xp221exp()2xmdxmxnxpXHC22)(21211)()()(222212ln21)(XHcceeexH熵功率相對(duì)熵的極大化相對(duì)熵的極大化l1.峰值功率受限l均勻分布相對(duì)熵最大l2.平均功率受限l高斯分布相對(duì)熵最大l3.平均功率大于等于熵功率2.5 凸函數(shù)與互信息的凸凸函數(shù)與互信息的凸性性凸函數(shù)凸函數(shù)l凸集R：a，b屬于R，a(1)b也屬于R，其中01l概率矢量矢量a的所有分量和為1l上凸函數(shù))1 ()()1 ()(babafff凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)

17、1.f(a)是上凸的，f(a)是下凸的2.f1(a),fL(a)是R上的上凸函數(shù)，c1,cL是正數(shù)，c1f1(a)+cLfL(a)也是上凸函數(shù)3.f(a)是上凸函數(shù)，Ef(a)fE(a),E為求數(shù)學(xué)期望K-T條件條件lf(a)是定義域R上的上凸函數(shù)，a是概率矢量。偏導(dǎo)數(shù) 存在且連續(xù)， f(a)在R上為極大的 充分必要條件kaaf)(0)(0)(kkkkaaafaaaf互信息的凸性互信息的凸性xyiixypiQxypxypxqYXI)|()()|(log)|()();(p(y|x)給定，I(X;Y)是q(x)的上凸函數(shù)Q(x)給定，I(X;Y)是p(y|x)的下凸函數(shù)互信息的凸性互信息的凸性q1

18、和和q2是是X上的任意上的任意兩個(gè)概率矢量，相應(yīng)兩個(gè)概率矢量，相應(yīng)的互信息為的互信息為I1和和I2，令令滿足滿足0L0,錯(cuò)誤概率小于e，R是可達(dá)的l等長(zhǎng)編碼定理lRH(U),R是可達(dá)的，RH(U)是不可達(dá)的l編碼效率hH(U)/R3.3 DMS的不等長(zhǎng)編碼的不等長(zhǎng)編碼平均碼長(zhǎng)平均碼長(zhǎng)kkknapn)(幾個(gè)定義幾個(gè)定義l唯一可譯碼l逗點(diǎn)碼，無逗點(diǎn)碼l字頭或前綴l異字頭碼或異前綴碼l樹碼，滿樹，非滿樹，全樹l樹碼構(gòu)造異字頭碼例子例子信源字母集概率碼A碼B碼C碼Da1a2a3a40.50.250.1250.125001100100110101101110010110111ShannonFano編碼編

19、碼lD元碼l每次信源符號(hào)化為概率近似相等的D個(gè)子集l這樣可以保證D個(gè)碼元近似等概，每個(gè)碼字承載的信息量近似最大，碼就近似最短。l理想情況I(ak)=nklogD, p(ak)=D-nkKraft不等式不等式11KknkD不等長(zhǎng)編碼定理不等長(zhǎng)編碼定理1log)(log)(DUHnDUHLDUHnDUH1log)(log)(3.4最佳不等長(zhǎng)編碼最佳不等長(zhǎng)編碼兩個(gè)定理兩個(gè)定理1.對(duì)于給定信源，存在最佳唯一二元可譯碼，最小概率的兩個(gè)碼字碼長(zhǎng)相等且最長(zhǎng)，他們之間僅最后一位不同2. 對(duì)輔助集為最佳的碼，對(duì)原始集也是最佳的Huffman編碼編碼l例(0.20,0.19,0.18,0.17,0.15,0.10

20、,0.01)D元元Huffman編碼編碼l共有K個(gè)符號(hào)，概率最小的R個(gè)符號(hào)碼長(zhǎng)最長(zhǎng)lK+B=D+m(D-1)l注意B010101010101,.,1 , 0)|(log)|(log)|(1,.,1 , 0log)|()|(log)|(1,.,1 , 0)|(JjJjjJjjJjKkkjKkkjpkjpCkjpKkCkjpkjpkjpKjkjpQ一般一般DMC的容量計(jì)算的容量計(jì)算jjjCjjjjjCCbbb2log12log4.3 信道的組合信道的組合積信道積信道lC1maxI(X1,Y1)lC2maxI(X2,Y2)l信道1和信道2同時(shí)傳遞消息，輸入集X=X1X2,輸出集Y=Y1Y2,轉(zhuǎn)移概率

21、p(jj|kk)=p(j|k)p(j|k)lC=C1+C2信道1P(j|k)X1Y1信道2P(j|k)X2Y2證明證明);();(2121YYXXIYXI) () | (log) | () (kkjjjjkkjjpkkjjpkkQ) () | ()|(log) | ()|() (kkjjjjkjpkjpkjpkjpkkQ11)|(log) | ()|() ();(kkjjjkjpkjpkjpkkQYXI22) | (log) | ()|() ();(kkjjjkjpkjpkjpkkQYXI和信道和信道l單位時(shí)間內(nèi)可隨機(jī)選用信道1和信道2中的一個(gè)，選用信道1的概率為p1，選用信道2的概率為p2，

22、 p1 p21l輸入空間X=X1+X2， Y=Y1+Y2，nnCCnNnCCCpCCPHpYXIpYXIYXI22log22log)();();();(1222211121, 22,11) | (log) | ()|(log)|();(jkjkjkjkpkjpkjpQppkjpkjpQpYXI級(jí)聯(lián)信道級(jí)聯(lián)信道l信道1的輸出作為信道2的輸入jjkjpkjpkjp)| ()|()| (4.4 時(shí)間離散的無記憶連時(shí)間離散的無記憶連續(xù)信道續(xù)信道可加噪聲信道可加噪聲信道lP(y|x)=p(y-x)=p(z)()();()()|(ZHYHYXIZHXYHcccc可加噪聲信道可加噪聲信道l高斯噪聲信道)1l

23、og(21)()();(22zxcXHYHYXI平均功率受限的可加噪聲信道平均功率受限的可加噪聲信道nxnnnNnnxdxQxxSxNn)(12212平均功率受限的時(shí)間離散、恒參平均功率受限的時(shí)間離散、恒參、可加高斯噪聲信道容量、可加高斯噪聲信道容量)1log(212SC最佳分布是均值為0，方差為S的高斯型分布平均功率受限時(shí)間離散恒參可加平均功率受限時(shí)間離散恒參可加噪聲信道容量噪聲信道容量22222222log21)1log(21xyxSCS給定信號(hào)功率，高斯信道是最差的信道yxz平行可加高斯噪聲信道平行可加高斯噪聲信道lX=(x1,xN),y=(y1,yN)BSESBSCnnNnnBnnNn

24、nnn21:212,log21)1log(2124.5 波形信道波形信道可加波形信道可加波形信道lY(t)=x(t)+z(t),(),()()()()()()()()(1100NNTnnTnnnnnnnnyyyxxxdtttyydtttxxtytytxtx可加波形信道可加波形信道);(sup1,lim);(lim)();()|()()|(log);();(lim)();(NNTTTNNNTNNNNTYXITCCCYXItYtXIdxxypxQxypyxIyxItytxI可加波形信道可加波形信道STSxESTdttxEzxydtttzztztznnnnTnnnTnnnnn)()()()()()(

25、2020可加波形信道可加波形信道)21log(2)21log(2);(max)21log(21);();(00101NNSTTNCNNSTNYXINSYXIYXITNNNnnNnnnNNShannon公式公式lN=2WT)/(44. 1)1log(00NSCWNSWCW趨于無窮大，單位時(shí)間的信道容量Shannon極限-1.59dB第五章第五章 信道編碼定理信道編碼定理l1.離散信道編碼問題l2.信道譯碼l3.Fano不等式和信道編碼逆定理1.離散信道編碼問題離散信道編碼問題糾錯(cuò)編碼器糾錯(cuò)編碼器l送給糾錯(cuò)編碼器的消息是經(jīng)過最佳信源編碼后，信息速率為比特/秒的離散二元或q元數(shù)字序列。 l分組碼 每

26、K個(gè)信息數(shù)字為一組，計(jì)算出N個(gè)編碼數(shù)字，稱這些數(shù)字為一個(gè)碼字。通常N為整數(shù)。l卷積碼l輸出的n0長(zhǎng)碼段不僅依賴于當(dāng)前的k0位信息數(shù)字，還依賴于前m個(gè)信息段的信息數(shù)字，即總共與（m1）k0個(gè)信息數(shù)字有關(guān)。 Kk 0糾錯(cuò)編碼器糾錯(cuò)編碼器lRK/N，碼率l誤組率l誤比特率LlelbmmpLpxxp11)(2.信道譯碼問題信道譯碼問題譯碼錯(cuò)誤概率譯碼錯(cuò)誤概率)|(1)|()(ymmpymmPypNNe譯碼準(zhǔn)則譯碼準(zhǔn)則l最小錯(cuò)誤概率譯碼：使pe(y)最小l最大后驗(yàn)概率譯碼：)|()| (ympymprr最大似然譯碼最大似然譯碼)|() |()()|()()|(mypmypypmypmQymp所有Q(m)

27、相同最大對(duì)數(shù)似然譯碼最大對(duì)數(shù)似然譯碼)|(ln) |(lnmypmyp最小漢明距離譯碼最小漢明距離譯碼l漢明距離 d(x,y), x,y中分量不同的數(shù)目l碼字先驗(yàn)等概lK元對(duì)稱信道) 1/()|(1)|(Kpijppiip最小漢明距離譯碼最小漢明距離譯碼/ ) 1)(1ln(),()1ln()1ln(),(1ln),()|(ln)|(ln1pKpxydpNpxydNKpxydxypxypmmmNnmiim判決區(qū)域判決區(qū)域lYm:lnp(y|xm)lnp(y|xm)l給定m,錯(cuò)誤概率MmemeYymempmQpxyppCm1)()|(高斯信道高斯信道2212221111()1max( |)exp

28、22maxln( |)min()min2NnmnmnNNNNmnmnmnmnnnnnnnyxp y xy xyxxxyyFano不等式和信道編碼不等式和信道編碼逆定理逆定理Fano不等式不等式CLNUHYXILUHVUIUHLVUHLpHMpVUHpHMpLNNLLLLLLbbbb)();(1)();()(1)|(1)() 1log()|()() 1log(信道編碼逆定理信道編碼逆定理l離散平穩(wěn)源有M個(gè)字母熵為HL(U),信道容量為C,當(dāng)HL(U)(N/L)C時(shí),誤碼率為非零值信道編碼定理信道編碼定理lR0，存在編譯碼方法，當(dāng)N足夠大，pe第七章第七章 信道編碼信道編碼線性分組碼線性分組碼l信

29、息位，信息空間l碼字，碼空間l分組碼：n維線性空間中的k維子空間l參數(shù)（n,k,d），n是碼長(zhǎng)，k是信息位長(zhǎng)度，d是最小漢明距離l漢明重量：向量x中非零分量的數(shù)目l最小距離：所有碼字中最小非零重量lGF（2）上的向量GF(2)l包含0,1l定義了兩個(gè)運(yùn)算l加法：000，01101，110l乘法：000，010，100，111ld(x,y)=w(x+y)生成矩陣生成矩陣lK維子空間的基底lC=u0g0+u1g1+uk-1gk-11, 11 , 10, 11, 111101, 00100110nkkknnkggggggggggggG(7,4)漢明碼漢明碼消息序列碼字消息序列碼字0000000100

30、1000110100010101100111000000010100011110010010001101101001100101100011000101111000100110101011110011011110111111010000111001001101010010110101100000110101011101111111系統(tǒng)碼系統(tǒng)碼校驗(yàn)位信息位10001010100111001011000010114210ggggG生成矩陣生成矩陣32002101321261032103210),(),(uuucuuucuuuccccgggguuuuuGc校驗(yàn)矩陣校驗(yàn)矩陣lC的對(duì)偶空間Vlcv=0l

31、V的生成矩陣H是G的校驗(yàn)矩陣lV的維數(shù)是N-K000TTTcHHGGH校驗(yàn)矩陣校驗(yàn)矩陣1, 11 , 10, 11, 111101, 00100110nknknknnnknhhhhhhhhhHhhh生成矩陣和校驗(yàn)矩陣的關(guān)系生成矩陣和校驗(yàn)矩陣的關(guān)系10001010100111001011000010114210ggggG111010001110101101001H錯(cuò)誤圖樣錯(cuò)誤圖樣),(,),(),(110110110NnnnNNeeecvevvvcccecvevc錯(cuò)誤圖樣伴隨式伴隨式TTTTknTHHHHssseececvHs)(),(110伴隨式和錯(cuò)誤的關(guān)系伴隨式和錯(cuò)誤的關(guān)系ls0,有錯(cuò)誤出現(xiàn)

32、lS=0le0，沒有錯(cuò)誤le=ci, 不可檢錯(cuò)誤l不可檢錯(cuò)誤概率CccwcwncwudppCp0)()()()1 ()(重量分布矢量重量分布矢量lAi碼中重量為i的碼字?jǐn)?shù)目NiiniiudppACp1)1 ()(陪集陪集 l將2N個(gè)可能的向量分為2N-k個(gè)集合l集合中每個(gè)向量的伴隨式相同l這樣的集合稱為陪集l選擇陪集中重量最輕的向量作為陪集代表，稱為陪集首。標(biāo)準(zhǔn)陣標(biāo)準(zhǔn)陣12121121212121111112100000kknknknknkkceceesceceesccces伴隨式陪集首陪集正確譯碼概率正確譯碼概率niiniillwnlwcpppppkn0120)()()1 ()1 (a第l個(gè)

33、陪集首的重量重量為i的陪集首的數(shù)量(6,3)碼的標(biāo)準(zhǔn)陣碼的標(biāo)準(zhǔn)陣001001111100000100010000010001000001000100011000010101000110101011011101000001110000111101010011100000000000陪集首伴隨式譯碼步驟譯碼步驟l計(jì)算接收矢量的伴隨式l由伴隨式確定陪集首l將陪集首作為錯(cuò)誤圖樣elC=v-e校驗(yàn)矩陣和最小距離的關(guān)系校驗(yàn)矩陣和最小距離的關(guān)系lV屬于碼字集合的沖要條件是v的非零碼元與H相應(yīng)列的乘積之和為0l若矩陣H中任意d-1列線性無關(guān)，相應(yīng)碼的最小距離至少為d最小距離和糾錯(cuò)能力的關(guān)系最小距離和糾錯(cuò)能力的

34、關(guān)系l碼的最小距離為dmin,可以糾錯(cuò)的最大數(shù)目為21mindt譯碼錯(cuò)誤概率譯碼錯(cuò)誤概率ntiinieppinp1)1 (漢明碼漢明碼l漢明碼的校驗(yàn)矩陣由所有非零的m維向量構(gòu)成列向量ln=2m-1,k=2m-m-1,d=3l（31，26），（7，4）(15,11)卷積碼卷積碼l（2,1,2）卷積碼2,1,2卷積碼的卷積碼的trellis圖圖卷積碼的卷積碼的viterbi譯碼譯碼lc=(11 10 00 01 10 01 11)lu=(10111)lR=(10 10 01 01 10 01 01)第九章第九章 率失真函數(shù)率失真函數(shù)一般概念與定義一般概念與定義l不等長(zhǎng)編碼平均長(zhǎng)度不超過HL(U)/

35、logD+1/L可以無失真l等長(zhǎng)編碼HL(U)+e/logD失真不會(huì)超過給定值l傳輸信息允許失真，信息率可以下降例：例：H(U)=2.24u1u2u3u4u5P(ui)不等長(zhǎng)編碼等長(zhǎng)編碼允許失真0.2500000000.2501001010.25100101001011110011信道失真信道失真ld(u,v)是U和V的非負(fù)函數(shù)，U,V為離散變量lUV=a1,a2,ak2)(),(|00),(vuvudjidjiajidavauddijijjiij平均失真平均失真LllLlllLLLlllLuvUVijijjiidLvudELdEdvudLddudvvuduvPuQd

36、dPQvudEd111|1),(1),(),(1),(),()|()(),(vuvu率失真函數(shù)率失真函數(shù)lPD是滿足 所有Pji的集合Dd );(min)(VUIDRDjiPP 失真不超過D時(shí)傳輸所需的最小互信息量失真率函數(shù)失真率函數(shù)DRDRDD min)(給定信息率，找最小的失真的編碼方式率失真函數(shù)的基本性質(zhì)率失真函數(shù)的基本性質(zhì))()(lim)()(00UHDRUHDRD率失真函數(shù)定義域率失真函數(shù)定義域l不允許最小失真小于某一值，DDminlDmax是使R(D)=0的D的最小值l令PD是使I(Pji)0的全體轉(zhuǎn)移概率的集合),(minmaxvudEDDjiPP 率失真函數(shù)的定義域率失真函數(shù)的

37、定義域lI(Pji)=0的充要條件是U和V統(tǒng)計(jì)獨(dú)立uVvuvUVvuduQDvuduQvwDvuvP),()(min),()()(min)()|(maxmax|R(D)性質(zhì)性質(zhì)lR(D)是下凸函數(shù)lR(D)是D的連續(xù)單調(diào)減函數(shù)有失真時(shí)的逆信源編碼定理有失真時(shí)的逆信源編碼定理l當(dāng)速率小于R(D)時(shí)，不論采取什么方式，平均失真必大于D.R(D)的計(jì)算的計(jì)算|(|)0V UjiPvu1)|(1|JjijUVuvPDvuduvPuQPDKiJjjiijUVi11|),()|()()(對(duì)所有對(duì)所有uiiijUViijUVjijUViuvPuQuvPuvPuQPI|)|()()|(ln)|()()(使使關(guān)于關(guān)于P(v|u)最小最小拉格朗日函