信息論2015-3

1、第三章 信道容量與高斯信道3.1 3.1 離散信道的信道容量離散信道的信道容量3.2 3.2 串聯(lián)信道的交互信息量串聯(lián)信道的交互信息量3.3 3.3 連續(xù)信源的熵連續(xù)信源的熵3.4 3.4 連續(xù)信源的最大熵連續(xù)信源的最大熵3.5 3.5 連續(xù)有噪聲信道的信道容量連續(xù)有噪聲信道的信道容量123.1 離散信道的信道容量3.1.1 熵速率與信道容量熵速率與信道容量n單符號(hào)離散無記憶信源與離散無記憶信道構(gòu)成的通信系統(tǒng)模型如圖。信道單符號(hào)離散無記憶信源與離散無記憶信道構(gòu)成的通信系統(tǒng)模型如圖。信道輸入隨機(jī)變量輸入隨機(jī)變量X，信道數(shù)出隨機(jī)變量，信道數(shù)出隨機(jī)變量Y，描述信道特性的參數(shù)是信道轉(zhuǎn)移概，描述信道特性

2、的參數(shù)是信道轉(zhuǎn)移概率矩陣。率矩陣。n平均交互信息量平均交互信息量I(X,Y)是這個(gè)通信系統(tǒng)是這個(gè)通信系統(tǒng)X, P(Y/X), Y輸出一個(gè)符號(hào)傳輸?shù)钠捷敵鲆粋€(gè)符號(hào)傳輸?shù)钠骄畔⒘?，也就是信宿的接收熵。均信息量，也就是信宿的接收熵。定義：單位時(shí)間內(nèi)傳遞的平均信息量為定義：單位時(shí)間內(nèi)傳遞的平均信息量為熵速率熵速率。當(dāng)符號(hào)速率為r符號(hào)/秒時(shí)，單符號(hào)離散無記憶信道模型的熵速率為在信息論中，定義熵速率及信道容量的目的是研究通信能力與信源和信道特性的關(guān)系，因此參數(shù)r并沒有多大理論意義，通常假定r=1，可表示為3)/()()/()();(XYHYHrYXHXHrYXIrR)/()()/()();(XYHYHY

3、XHXHYXIR3.1.1 熵速率與信道容量熵速率與信道容量n這樣，從數(shù)學(xué)模型化的角度看，熵速率就是平均交互信息量。熵速率既是這樣，從數(shù)學(xué)模型化的角度看，熵速率就是平均交互信息量。熵速率既是信源先驗(yàn)概率的函數(shù)，也是信道轉(zhuǎn)移概率的函數(shù)。信源先驗(yàn)概率的函數(shù)，也是信道轉(zhuǎn)移概率的函數(shù)。n為了專門描述某一個(gè)信道的統(tǒng)計(jì)特性對(duì)通信系統(tǒng)信息傳輸能力的影響，信為了專門描述某一個(gè)信道的統(tǒng)計(jì)特性對(duì)通信系統(tǒng)信息傳輸能力的影響，信息論又定義了信道容量。息論又定義了信道容量。定義：信道容量是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對(duì)于所有可能的信源先驗(yàn)概率分布的最大熵速率。它表示為n根據(jù)平均交互信息量的性質(zhì)我們知道，對(duì)

4、于給定的信道轉(zhuǎn)移概率，平均交互信息量根據(jù)平均交互信息量的性質(zhì)我們知道，對(duì)于給定的信道轉(zhuǎn)移概率，平均交互信息量是信源先驗(yàn)概率的上凸函數(shù)，因此存在一種先驗(yàn)概率分布使平均交互信息量達(dá)到最是信源先驗(yàn)概率的上凸函數(shù)，因此存在一種先驗(yàn)概率分布使平均交互信息量達(dá)到最大值，這個(gè)最大值就是信道容量。大值，這個(gè)最大值就是信道容量。n根據(jù)信道容量的定義可以看到，信道容量與信源無關(guān)，它只是信道轉(zhuǎn)移概率的函數(shù)根據(jù)信道容量的定義可以看到，信道容量與信源無關(guān)，它只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量，它反映了信道本身的傳信能力。，不同的信道就有不同的信道容量，它反映了信道本身的傳信能力。4RCXP)(max)

5、/()(max);(max)()(YXHXHYXICXPXP)/()(max);(max)()(XYHYHYXICXPXP3.1.2 幾種簡單信道的信道容量計(jì)算幾種簡單信道的信道容量計(jì)算【例3-1】具有一一對(duì)應(yīng)關(guān)系的無噪聲信道。有這樣一類離散無記憶信道，輸入輸出都是有n個(gè)符號(hào)狀態(tài)的離散隨機(jī)變量。例如，下面兩個(gè)信道轉(zhuǎn)移概率矩陣和信道狀態(tài)圖。這類信道的轉(zhuǎn)移概率矩陣的元素均為0或1，根據(jù)定義其噪聲熵H(Y/X)=0。其后驗(yàn)概率其可疑度因此有I(X,Y)=H(X)=H(Y)根據(jù)信道容量的定義有這類信道是最基本得無噪聲信道，其信道容量就等于信源的最大熵，也等于信宿的最大熵。510000100001000

6、011P00010010010010002P 10)/()()/()()/(1niijiijijixypxpxypxpyxp0)/(log),()/(11 nimjjijiyxpyxpYXHnXHYXICXPXPlog)(max);(max)()(3.1.2 幾種簡單信道的信道容量計(jì)算幾種簡單信道的信道容量計(jì)算【例3-2】具有擴(kuò)展性的無噪聲信道具有擴(kuò)展性的無噪聲信道。有這樣一類離散無記憶信道，輸入隨機(jī)變量的符號(hào)狀態(tài)數(shù)n小于輸出隨機(jī)變量的符號(hào)狀態(tài)數(shù)m，信道轉(zhuǎn)移概率矩陣為在這類信道中，信道轉(zhuǎn)移概率矩陣中每列只有一個(gè)非0元素，因此，其可疑度H(X/Y)=0。其信道容量為這種擴(kuò)展性的無噪聲信道的信道容

7、量等于信源的最大熵。6)/(0)/(00)/(0)/(0)/(2524131211xypxypxypxypxypPnXHYXICXPXPlog)(max);(max)()(3.1.2 幾種簡單信道的信道容量計(jì)算幾種簡單信道的信道容量計(jì)算【例3-3】具有歸并性的無噪聲信道具有歸并性的無噪聲信道。有這樣一類離散無記憶信道，輸入隨機(jī)變量的符號(hào)狀態(tài)數(shù)n大于輸出隨機(jī)變量的符號(hào)狀態(tài)數(shù)m，其信道轉(zhuǎn)移概率矩陣為在這類信道中，信道轉(zhuǎn)移矩陣中的元素均為1和0，因此，噪聲熵H(Y/X)=0。有I(X,Y)=H(Y)，根據(jù)信道容量的定義有這種歸并性的無噪聲信道的信道容量等于信宿的最大熵?？梢钥吹剑^的無噪聲信道并不

8、完全是我們傳統(tǒng)意義上的一一對(duì)應(yīng)的無差錯(cuò)信道，而是在信息論意義上的無噪聲信道，即可以實(shí)現(xiàn)最大平均交互信息量的信道。71010010101PmYHYXICXPXPlog)(max);(max)()(3.1.3 信道容量的一般計(jì)算方法信道容量的一般計(jì)算方法在上面介紹的幾種簡單情況中，只是根據(jù)信道轉(zhuǎn)移概率矩陣的特殊性和最大熵定理就可以得到信道容量。如果對(duì)于相對(duì)比較復(fù)雜的情況，還可以利用數(shù)學(xué)上的拉格朗日乘數(shù)法來求得離散無記憶信道的信道容量問題。所謂拉格朗日乘數(shù)法就是一種將有n個(gè)變量與k個(gè)約束條件的最優(yōu)化問題轉(zhuǎn)換為一個(gè)有n+k個(gè)變量的方程組的極值問題。由信道容量的定義，信道容量就是在固定的信道條件下，對(duì)所

9、有可能的先驗(yàn)概率求平均交互由信道容量的定義，信道容量就是在固定的信道條件下，對(duì)所有可能的先驗(yàn)概率求平均交互信息量的最大值。已知單符號(hào)離散無記憶信道下平均交互信息量與信源先驗(yàn)概率分布的函數(shù)信息量的最大值。已知單符號(hào)離散無記憶信道下平均交互信息量與信源先驗(yàn)概率分布的函數(shù)關(guān)系及其約束條件為關(guān)系及其約束條件為實(shí)際上，平均交互信息量可以寫成實(shí)際上，平均交互信息量可以寫成可以看到，當(dāng)信道轉(zhuǎn)移概率一定時(shí)，平均交互信息量就是信源先驗(yàn)概率的函數(shù)。8)()/(log)/()();(11ijinimjijixpyxpxypxpYXIniixp11)()()/()()/()(log)/()();(111iniijii

10、jinimjijixpxypxpxypxpxypxpYXI3.1.3 信道容量的一般計(jì)算方法信道容量的一般計(jì)算方法利用拉格朗日法，構(gòu)造一個(gè)關(guān)于先驗(yàn)概率的輔助函數(shù)其中的為待定系數(shù)，對(duì)輔助函數(shù)求關(guān)于概率分布p(xi)的導(dǎo)數(shù)，并使其為0，得到n個(gè)方程由輔助函數(shù)可知利用交互信息量關(guān)系（以e為底）得到方程組這n個(gè)方程加上約束方程共n+1個(gè)方程，求n+1個(gè)未知數(shù)，解這個(gè)方程組就可以求出獲得信道容量時(shí)的信源先驗(yàn)概率分布。9 1)(),()(),.,(),(121niinxpYXIxpxpxpF0)(.0)(0)(21nxpFxpFxpFnixpYXIxpFii,.,2 , 1;)();()(nimjijij

11、imjjjxypxypxpypypXYHYHYXI111)/(ln)/()()(ln)()/()();(niypxypxypjijmjij,.2 , 1; 1)()/(ln)/(13.1.3 信道容量的一般計(jì)算方法信道容量的一般計(jì)算方法假設(shè)使I(X;Y)為最大值時(shí)的先驗(yàn)概率為p(x1),p(x2),.p(xn)，將它們分別乘到式（3-13）n個(gè)方程組的兩邊，然后求和可得則上式左邊就是信道容量，即令可得方程組：這是一個(gè)含有m個(gè)未知數(shù)，n個(gè)方程的非齊次方程組?？梢宰C明，如果n=m，信道轉(zhuǎn)移矩陣為非奇異矩陣，則方程組有解?？傻?0nixypxypxpypypmjijijniijmjj,.2 , 1;

12、 1)/(ln)/()()(ln)(1111CmjypCjj,.,2 , 1);(lnmjjeC1lnmjijijmjjijnixypxypxyp11,.2 , 1);/(ln)/()/(3.1.3 信道容量的一般計(jì)算方法信道容量的一般計(jì)算方法【例3-4】已知一個(gè)離散無記憶信道的轉(zhuǎn)移概率矩陣P，利用上面介紹的方法，求該信道的信道容量。解：由式得到兩個(gè)方程可得可計(jì)算信道容量為11101Pmjijijmjjijnixypxypxyp11,.2 , 1);/(ln)/()/(00ln01ln10121)1ln()1 (ln)1 (2101)1ln(ln121lnlnln2211eeeeCmjj3.1

13、.3 信道容量的一般計(jì)算方法信道容量的一般計(jì)算方法信道容量計(jì)算方法看起來比較麻煩，實(shí)際上有些情況可以直接利用多元函數(shù)求極值的方法來求出信道容量，下面通過一個(gè)例題介紹信道容量求解的實(shí)質(zhì)?！纠?-5】已知信道輸入單符號(hào)隨機(jī)變量為X=x1, x2，輸出隨機(jī)變量為Y=y1, y2, y3，離散無記憶信道的轉(zhuǎn)移概率矩陣P，求該信道的信道容量。解：設(shè)平均交互信息量達(dá)到信道容量時(shí) 信源最佳先驗(yàn)概率分布為P(X)=，1-。由下式可以計(jì)算信宿的概率分布這時(shí)可得平均交互信息量根據(jù)信道容量的定義，求 可得 即可得信道容量為12-100-1Pnjxypxpypniijij,.2 , 1; )/()()(1)1 ()(

14、1yp)(2yp)1)(1 ()(3yp)/()();(XYHYHYXI213131)/(log)/()()(log)(ijijijijjjxypxypxpypyp)1log()1 (log)1 (0);(YXI)1log(log.501);();(max5 . 0)(YXIYXICXP3.1.4對(duì)稱信道和準(zhǔn)對(duì)稱信道的信道容量對(duì)稱信道和準(zhǔn)對(duì)稱信道的信道容量（1）對(duì)稱信道的信道容量）對(duì)稱信道的信道容量對(duì)于這類對(duì)稱信道，可以利用信道轉(zhuǎn)移概率的對(duì)稱性來求得信道容量。這時(shí)可以利用熵函數(shù)的對(duì)稱性考察噪聲熵 H(Y/X)，可見這是噪聲熵與信源分布無關(guān)根據(jù)信道容量的定義有最大熵定理可知13 1) 1/()

15、1/() 1/(1) 1/() 1/() 1/(1nnnnnnPninjijijixypxypxpXYH11)/(log)/()()/()1log(log)1log()1(n) 1log()(nH)/()(max);(max)()(XYHYHYXICXPXP) 1log()()(max)(nHYHXP) 1log()(lognHnC3.1.4對(duì)稱信道和準(zhǔn)對(duì)稱信道的信道容量對(duì)稱信道和準(zhǔn)對(duì)稱信道的信道容量（2）準(zhǔn)對(duì)稱信道的信道容量）準(zhǔn)對(duì)稱信道的信道容量如果一個(gè)離散無記憶信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為準(zhǔn)對(duì)稱信道，例如下面兩個(gè)信道

16、轉(zhuǎn)移矩陣。考慮到P每行都由同一元素集合構(gòu)成，利用熵函數(shù)的對(duì)稱性，可得因此信道容量為分析表明，對(duì)于準(zhǔn)對(duì)稱信道，當(dāng)信宿隨機(jī)變量為等概率分布可以得到信道容量，同樣可以發(fā)現(xiàn)信宿隨機(jī)變量為等概率分布意味著信源的先驗(yàn)概率也是等概分布的。143/16/13/16/16/13/16/13/11P2/13/16/16/12/13/13/16/12/12PninjijijixypxypxpXYH11)/(log)/()()/(niiinjijijniixYHxpxypxypxp111)/()( )/(log)/( )()/(),.,/(),/(21imiixypxypxypH)/(),.,/(),/()(max2

17、1)(imiiXPxypxypxypHYHC)/(),.,/(),/(log21imiixypxypxypHm 3.2 串聯(lián)信道的交互信息量3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量串聯(lián)信道也稱級(jí)聯(lián)信道，可以看成是兩個(gè)離散無記憶信道的串聯(lián)，這時(shí)組合信道的信道轉(zhuǎn)移概率矩陣是兩個(gè)信道轉(zhuǎn)移概率矩陣的乘積。如果X，Y，Z為三個(gè)單符號(hào)離散隨機(jī)變量，P1和P2為兩個(gè)離散無記憶信道的轉(zhuǎn)移概率矩陣，其串聯(lián)信道的模型如圖所示下面給出串聯(lián)信道的平均交互信息量的有關(guān)特性。nI(X,Y;Z)表示從隨機(jī)變量表示從隨機(jī)變量Z中獲得的關(guān)于聯(lián)合隨機(jī)變量中獲得的關(guān)于聯(lián)合隨機(jī)變量X,Y的平均信息量。的平均信息量。nI(Y;Z)

18、表示從隨機(jī)變量表示從隨機(jī)變量Z中獲得的關(guān)于隨機(jī)變量中獲得的關(guān)于隨機(jī)變量Y的平均信息量。的平均信息量。nI(X;Y)和和I(X;Z)分別表示隨機(jī)變量分別表示隨機(jī)變量X和和Y以及以及X和和Z之間的平均交互信息量。之間的平均交互信息量。16,.,:21nxxxX,.,:21myyyY,.,:21LzzzZ3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量定理定理3-1：對(duì)于兩個(gè)離散無記憶信道組成的串聯(lián)信道，如果X，Y，Z為相應(yīng)的離散隨機(jī)變量，則有只有當(dāng) 時(shí) ，才有等號(hào)成立。n這個(gè)定理說明，對(duì)于串聯(lián)信道，從這個(gè)定理說明，對(duì)于串聯(lián)信道，從Z中獲得關(guān)于中獲得關(guān)于Y的平均交互信息量一定小的平均交互信息量一定小于等

19、于從于等于從Z中獲得關(guān)于聯(lián)合隨機(jī)變量中獲得關(guān)于聯(lián)合隨機(jī)變量XY的平均交互信息量。的平均交互信息量。n只有當(dāng)變量只有當(dāng)變量Z只決定于隨機(jī)變量只決定于隨機(jī)變量Y，而與，而與X無關(guān)，等號(hào)才成立。無關(guān)，等號(hào)才成立。n當(dāng)當(dāng) 時(shí)，稱隨機(jī)變量序列時(shí)，稱隨機(jī)變量序列XYZ構(gòu)成一個(gè)馬爾柯夫鏈。這構(gòu)成一個(gè)馬爾柯夫鏈。這時(shí)有時(shí)有17);();,(ZYIZYXI)/(),/(jkjikyzpyxzp)/(),/(jkjikyzpyxzp)/()/()(),/(),(),(yzpxypxpyxzpyxpzyxp概率關(guān)系概率關(guān)系馬爾柯夫鏈馬爾柯夫鏈概率關(guān)系概率關(guān)系3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量定理定理3-2

20、：對(duì)于兩個(gè)離散無記憶信道組成的串聯(lián)信道，如果X，Y，Z為相應(yīng)的離散隨機(jī)變量，則有只有當(dāng) 時(shí)，才有等號(hào)成立。n這個(gè)定理說明，對(duì)于串聯(lián)信道，從這個(gè)定理說明，對(duì)于串聯(lián)信道，從Z中獲得關(guān)于中獲得關(guān)于X的平均交互信息量一定小的平均交互信息量一定小于等于從于等于從Z中獲得關(guān)于聯(lián)合隨機(jī)變量中獲得關(guān)于聯(lián)合隨機(jī)變量XY的平均交互信息量。的平均交互信息量。n只有當(dāng)隨機(jī)變量只有當(dāng)隨機(jī)變量Z只決定于隨機(jī)變量只決定于隨機(jī)變量X，而與，而與Y無關(guān)時(shí)，等號(hào)才成立。無關(guān)時(shí)，等號(hào)才成立。n當(dāng)當(dāng) 時(shí)，隨機(jī)變量序列時(shí)，隨機(jī)變量序列YXZ構(gòu)成一個(gè)馬爾柯夫鏈，這時(shí)構(gòu)成一個(gè)馬爾柯夫鏈，這時(shí)有有18);();,(ZXIZYXI)/(),/

21、(ikjikxzpyxzp)/(),/(ikjikxzpyxzp)/()/()(),/()/()(),(xzpxypxpyxzpxypxpzyxp3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量定理定理3-3：對(duì)于兩個(gè)離散無記憶信道組成的串聯(lián)信道，如果X，Y，Z為相應(yīng)的離散隨機(jī)變量，并且隨機(jī)序列XYZ構(gòu)成一個(gè)馬爾柯夫鏈時(shí)，有只有當(dāng) 時(shí)，才有等號(hào)成立。n如果如果XYZ構(gòu)成一個(gè)馬爾柯夫鏈，說明構(gòu)成一個(gè)馬爾柯夫鏈，說明Z只取決于只取決于Y，所以，所以I(Y;Z)大于大于I(X,Z)n如果同時(shí)如果同時(shí)YXZ也構(gòu)成一個(gè)馬爾柯夫鏈，則等號(hào)成立。這時(shí)說明也構(gòu)成一個(gè)馬爾柯夫鏈，則等號(hào)成立。這時(shí)說明X與與Y完全相完

22、全相關(guān)，信道關(guān)，信道1為無噪聲信道。為無噪聲信道。19);();(ZYIZXI)/(),/(ikjikxzpyxzp3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量定理定理3-4：對(duì)于兩個(gè)離散無記憶信道組成的串聯(lián)信道，如果X，Y，Z為相應(yīng)的離散隨機(jī)變量，并且隨機(jī)序列XYZ構(gòu)成一個(gè)馬爾柯夫鏈時(shí)，有n這個(gè)定理也稱為這個(gè)定理也稱為數(shù)據(jù)處理定理數(shù)據(jù)處理定理；n如果我們把兩個(gè)串聯(lián)信道理解為數(shù)據(jù)處理系統(tǒng)，例如是取樣、量化、編碼如果我們把兩個(gè)串聯(lián)信道理解為數(shù)據(jù)處理系統(tǒng)，例如是取樣、量化、編碼、譯碼等，經(jīng)過一次數(shù)據(jù)處理的交互信息量、譯碼等，經(jīng)過一次數(shù)據(jù)處理的交互信息量I(X;Y)小于等于信源熵小于等于信源熵H(X

23、)，經(jīng)過兩次數(shù)據(jù)處理的交互信息量經(jīng)過兩次數(shù)據(jù)處理的交互信息量I(X;Z)小于等于小于等于I(X;Y)。n因此，數(shù)據(jù)處理定理說明，無論經(jīng)過何種數(shù)據(jù)處理，都不會(huì)增加信息量，因此，數(shù)據(jù)處理定理說明，無論經(jīng)過何種數(shù)據(jù)處理，都不會(huì)增加信息量，只會(huì)減少。只會(huì)減少。20);();(ZXIYXI3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量下面看一個(gè)串聯(lián)信道下平均交互信息量的計(jì)算問題。如果隨機(jī)變量序列XYZ構(gòu)成一個(gè)馬爾柯夫鏈，根據(jù)上一章介紹的馬爾柯夫鏈特性，其兩步轉(zhuǎn)移概率等于一步轉(zhuǎn)移概率的乘積，即有21Lkniyzpxypxzpmjjkijik,.,2 , 1,.,2 , 1; )/()/()/(Islsjki

24、slkijnijktptptptp)()()()()()()()( )/()/()/()/()/()/()/()/()/(2122221112111nmnnmmxypxypxypxypxypxypxypxypxypP )/()/()/()/()/()/()/()/()/(2122221112112mLmmLLyzpyzpyzpyzpyzpyzpyzpyzpyzpP3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量則串聯(lián)組合信道的轉(zhuǎn)移概率矩陣為這時(shí)，定義從隨機(jī)變量Z中獲得的關(guān)于X和Y的平均交互信息量為【例3-8】假定串聯(lián)信道隨機(jī)序列XYZ構(gòu)成馬爾柯夫鏈，給定兩個(gè)離散無記憶信道的轉(zhuǎn)移概率矩陣如下，設(shè)離散

25、隨機(jī)變量X的先驗(yàn)概率分布為P(X)=0.5，0.5，考察其平均交互信息量。22 )/()/()/()/()/()/()/()/()/(21222211121121nLnnLLxzpxzpxzpxzpxzpxzpxzpxzpxzpPPPnimjLkkjikkjikjikzyxzpyxzpzyxpzpyxzpEZYXI111,)(),/(log),()(),/(log);,(.30.40.20.30.50.301P.30.50.80.70.50.202P3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量解：利用概率關(guān)系可以得到根據(jù)概率關(guān)系可以計(jì)算可以計(jì)算交互信息量23),(),()/()(YXPyxpx

26、ypxp)(),()(YPyxpypi),(),()/()(ZYPzypyzpyp)(),()(ZPzypzpj)/()/()/(21PPYZPXYPXZP),(),()/()(ZXPzxpxzpxp75.00)()/(log),();(2131jijijjiypxypyxpYXI45.10)()/(log),();(3121kjkjkkjzpyzpzypZYI046.00)()/(log),();(2121kikikkizpxzpzxpZXI3.2 串聯(lián)信道交互信息量串聯(lián)信道交互信息量【例3-9】串聯(lián)信道隨機(jī)序列XYZ構(gòu)成馬爾柯夫鏈，給定兩個(gè)離散無記憶信道的轉(zhuǎn)移概率矩陣P1和P2如下，求串聯(lián)

27、組合信道的信道轉(zhuǎn)移概率矩陣，并分析。解：隨機(jī)序列XYZ構(gòu)成馬爾柯夫鏈，組合信道的轉(zhuǎn)移概率矩陣為當(dāng)?shù)诙€(gè)信道矩陣為一個(gè)單位矩陣時(shí)，組合信道矩陣就等于第一個(gè)信道矩陣。同時(shí)根據(jù)概率關(guān)系在這種情況下，無論信源X的先驗(yàn)概率如何分布，都存在I(X;Y)=I(X;Z)。實(shí)際上從第二個(gè)信道的轉(zhuǎn)移概率矩陣可以看出，第二個(gè)信道是一個(gè)一一對(duì)應(yīng)的無噪聲信道。也就是說，從Z中獲得的X的信息量就等于從Y中獲得的X的信息量，第二個(gè)信道沒有信息損失。242/13/12/13/103/11P1000100012P2/13/12/13/103/11000100012/13/12/13/103/1121PPPP)/()/(xypx

28、zpxxypxpxypxpyxp)/()()/()()/(xxzpxpxzpxpzxp)/()()/()()/()/()/(yxpzxp3.3 連續(xù)信源的熵3.4 連續(xù)信源的熵26n 我們前面討論了幾種離散信源和離散信道的信息論基本問題，包括我們前面討論了幾種離散信源和離散信道的信息論基本問題，包括信源的熵，交互信息量和信道容量。信源的熵，交互信息量和信道容量。n 在實(shí)際應(yīng)用中，還有一類信源稱為連續(xù)信源，這種信源的消息符號(hào)在實(shí)際應(yīng)用中，還有一類信源稱為連續(xù)信源，這種信源的消息符號(hào)在時(shí)間上和狀態(tài)取值上都是連續(xù)的，例如語音信號(hào)，視覺圖像信號(hào)在時(shí)間上和狀態(tài)取值上都是連續(xù)的，例如語音信號(hào)，視覺圖像信號(hào)

29、都是連續(xù)信號(hào)。都是連續(xù)信號(hào)。n 時(shí)間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，相當(dāng)于一個(gè)連時(shí)間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，相當(dāng)于一個(gè)連續(xù)隨機(jī)變量。續(xù)隨機(jī)變量。n 而時(shí)間連續(xù)的信源，為一個(gè)隨機(jī)過程，只要信號(hào)頻譜有限，則可以而時(shí)間連續(xù)的信源，為一個(gè)隨機(jī)過程，只要信號(hào)頻譜有限，則可以根據(jù)采樣定理，將其變?yōu)闀r(shí)間離散信源。根據(jù)采樣定理，將其變?yōu)闀r(shí)間離散信源。n 如果一個(gè)信道的輸入輸出都是連續(xù)隨機(jī)變量或隨機(jī)過程，則稱這個(gè)如果一個(gè)信道的輸入輸出都是連續(xù)隨機(jī)變量或隨機(jī)過程，則稱這個(gè)信道為連續(xù)信道。信道為連續(xù)信道。3.3.1 連續(xù)信源熵的定義連續(xù)信源熵的定義連續(xù)信源的狀態(tài)概率用概率密度來表示。如果

30、連續(xù)隨機(jī)變量X，取值為實(shí)數(shù)域R，其概率密度函數(shù)為p(x)，則按照概率歸一化條件，有如果X的取值為一個(gè)有限實(shí)數(shù)域a, b，則這時(shí)，連續(xù)隨機(jī)變量X在某一狀態(tài)x1的概率分布函數(shù)為：那么，這個(gè)連續(xù)信源的數(shù)學(xué)模型可以表示為連續(xù)變量可以看作離散變量的極限情況，因此，可以利用離散信源熵的概念來定義連續(xù)信源熵，首先，看一個(gè)在a, b區(qū)間取值的連續(xù)隨機(jī)變量X，如圖27Rdxxp1)(badxxp1)(1-1)(xdxxpxXPbadxxpxpbaXPXPX1)()(,);(;: ,3.3.1 連續(xù)信源熵的定義連續(xù)信源熵的定義如果把X的取值區(qū)間a, b分割為n個(gè)小區(qū)間，則各小區(qū)間寬度為根據(jù)概率分布為概率密度函數(shù)曲

31、線的區(qū)間面積的關(guān)系，X取值為xi的概率分布為這樣，可以得到一個(gè)等效離散信源Xn的信源空間為當(dāng)n趨無窮時(shí)，有28nab)(iixpP)()()()(: )(:,2211nniinnnxpxxpxxpxxpxXPXPXbaniinniindxxpxpP1)()(limlim113.3.1 連續(xù)信源熵的定義連續(xù)信源熵的定義根據(jù)離散信源熵的定義，可得這個(gè)等效離散信源Xn的熵當(dāng)n趨于無窮時(shí)這里我們定義連續(xù)信源的熵H(X)為連續(xù)信源有無窮多個(gè)狀態(tài)，因此，根據(jù)香農(nóng)熵的定義必然為無窮大。與離散信源熵比，連續(xù)信源熵不等于一個(gè)消息狀態(tài)的平均信息量，其熵是有限的，而信息量是無限的。連續(xù)信源熵不具有非負(fù)性，熵可以為負(fù)值。29niiiniiinxpxpPPXH11)(log)(log)(niiniiixpxpxp11)(log)(log)(niniinncxpxipxipXHXH10)(log