#中北大學(xué)信息論實(shí)驗(yàn)報(bào)告(含數(shù)據(jù)詳解版)

1、信息論與編實(shí)驗(yàn)報(bào)告姓名班級(jí)學(xué)號(hào)實(shí)驗(yàn)一：繪制信源熵函數(shù)曲線一、實(shí)驗(yàn)?zāi)康恼莆针x散信源熵的原理和計(jì)算方法。熟悉matlab軟件的基本操作，練習(xí)應(yīng)用matlab軟件進(jìn)行信源熵函數(shù)曲線的繪制。理解信源熵的物理意義，并能從信源熵函數(shù)曲線圖上進(jìn)行解釋其物理意義。二、實(shí)驗(yàn)原理離散信源相關(guān)的基本概念、原理和計(jì)算公式產(chǎn)生離散信息的信源稱為離散信源。離散信源只能產(chǎn)生有限種符號(hào)。假定X是一個(gè)離散隨機(jī)變量，即它的取值范圍R=x,x,x，是有限或可數(shù)的。設(shè)第i個(gè)變量x發(fā)生的概率為p=Px=x。貝y：iii定義一個(gè)隨機(jī)事件的自信息量I(X.)為其對(duì)應(yīng)的隨機(jī)變量x出現(xiàn)概率對(duì)數(shù)的負(fù)值。即:(X)=-logp(x)定義隨機(jī)事件x

2、的平均不確定度H(X)為離散隨機(jī)變量x出現(xiàn)概率的數(shù)學(xué)期望，即:H(X)=工p(x)I(x)=一工p(x)logp(x)單位為比特/符號(hào)或比特/符號(hào)序列。平均不確定度H(X)的定義公式與熱力學(xué)中熵的表示形式相同，所以又把平均不確定度H(X)稱為信源X的信源熵。必須注意一下幾點(diǎn)：某一信源，不管它是否輸出符號(hào)，只有這些符號(hào)具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是個(gè)確定值，一般寫成H(X)，X是指隨機(jī)變量的整體(包括概率分布)。信息量則只有當(dāng)信源輸出符號(hào)而被接收者收到后，才有意義，這就是給與信息者的信息度量，這值本身也可以是隨機(jī)量，也可以與接收者的情況有關(guān)。熵是在平均意義

3、上來表征信源的總體特征的，信源熵是表征信源的平均不確定度，平均自信息量是消除信源不確定度時(shí)所需要的信息的量度，即收到一個(gè)信源符號(hào)，全部解除了這個(gè)符號(hào)的不確定度。或者說獲得這么大的信息量后，信源不確定度就被消除了。信源熵和平均自信息量?jī)烧咴跀?shù)值上相等，但含義不同。當(dāng)某一符號(hào)x的概率p(x)為零時(shí)，p(x)logp(x)在熵公式中無意義，為此規(guī)定這時(shí)的1111p(x)logp(x)也為零。當(dāng)信源X中只含有一個(gè)符號(hào)x時(shí)，必有p(x)=l,此時(shí)信源熵H(X)ii為零。MATLAB二維繪圖三、實(shí)驗(yàn)內(nèi)容用matlab軟件繪制二源信源熵函數(shù)曲線。根據(jù)曲線說明信源熵的物理意義。實(shí)驗(yàn)過程：輸入代碼p=0:0.0

4、2:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h)物理意義：信源熵為信源的平均不確定性，而概率的大小決定了信息量的大小。由圖上可知概率為1時(shí)，信息量最小，不確定性最低；概率等于0.5時(shí)熵最大。實(shí)驗(yàn)二：哈夫曼編解碼一、實(shí)驗(yàn)?zāi)康恼莆展蚵幋a的原理及編碼步驟練習(xí)matlab中哈夫曼編碼函數(shù)的調(diào)用及通信工具箱的使用二、實(shí)驗(yàn)原理通信的根本問題是如何將信源輸出的信息在接收端的信宿精確或近似的復(fù)制出來。為了有效地復(fù)制信號(hào)，就通過對(duì)信源進(jìn)行編碼，使通信系統(tǒng)與信源的統(tǒng)計(jì)特性相匹配。若接收端要求無失真地精確地復(fù)制信源輸出的信息，這樣的信源編碼即為無失真編碼。即使對(duì)于一個(gè)小的

5、時(shí)間段內(nèi)，連續(xù)信源輸出的信息量也可以是無限大的，所以對(duì)其是無法實(shí)現(xiàn)無失真編碼的；而離散信源輸出的信息量卻可以看成是有限的，所以只有離散信源才可能實(shí)現(xiàn)無失真編碼。凡是能載荷一定的信息量，且碼字的平均長(zhǎng)度最短，可分離的變長(zhǎng)碼的碼字集合都可以稱為最佳碼。為此必須將概率大的信息符號(hào)編以短的碼字，概率小的符號(hào)編以長(zhǎng)的碼字，使得平均碼字長(zhǎng)度最短。變字長(zhǎng)編碼的最佳編碼定理：在變字長(zhǎng)碼中，對(duì)于概率大的信息符號(hào)編以短字長(zhǎng)的碼；對(duì)于概率小的信息符號(hào)編以長(zhǎng)字長(zhǎng)的碼。如果碼字長(zhǎng)度嚴(yán)格按照符號(hào)概率的大小順序排列，則平均碼字長(zhǎng)度一定小于俺任何順序排列方式得到的碼字長(zhǎng)度。哈夫曼編碼就是利用了這個(gè)定理，講等長(zhǎng)分組的信源符號(hào)，

6、根據(jù)其概率分布采用不等長(zhǎng)編碼。概率大的分組，使用短的碼字編碼；概率小的分組，使用長(zhǎng)的碼字編碼。哈夫曼編碼把信源按概率大小順序排列并設(shè)法按逆次序分配碼字的長(zhǎng)度。在分配碼字的長(zhǎng)度時(shí)，首先將出現(xiàn)概率最小的兩個(gè)符號(hào)相加，合成一個(gè)概率；第二步把這個(gè)合成的概率看成是一個(gè)新組合符號(hào)的概率，重復(fù)上述做法，直到最后只剩下兩個(gè)符號(hào)的概率為止。完成以上概率相加順序排列后，再反過來逐步向前進(jìn)行編碼。每一步有兩個(gè)分支，各賦予一個(gè)二進(jìn)制碼，可以對(duì)概率大的編為0碼，概率小的編為1碼。反之亦然。哈夫曼編碼的具體步驟歸納如下：統(tǒng)計(jì)n個(gè)信源消息符號(hào)，得到n個(gè)不同概率的信息符號(hào)。將這n個(gè)信源信息符號(hào)按其概率大小依次排序：Pg）三P

7、g三P取兩個(gè)概率最小的信息符號(hào)分別配以0和1兩個(gè)碼元，并將這兩個(gè)概率相加作為一個(gè)新的信息符號(hào)的概率，和未分配的信息符號(hào)構(gòu)成新的信息符號(hào)序列。將剩余的信息符號(hào)，按概率大小重新進(jìn)行排序。重復(fù)步驟3，將排序后的最后兩個(gè)小概論相加，相加和與其他概率再排序。如此反復(fù)重復(fù)n-2次，最后只剩下兩個(gè)概率。從最后一級(jí)開始，向前返回得到各個(gè)信源符號(hào)所對(duì)應(yīng)的碼元序列，即相應(yīng)的碼字，構(gòu)成霍夫曼編碼字。編碼結(jié)束。哈夫曼編碼產(chǎn)生最佳整數(shù)前綴碼，即沒有一個(gè)碼字是另一個(gè)碼字的前綴，因此哈夫曼編碼是唯一碼。編碼之后，哈夫曼編碼的平均碼長(zhǎng)為：K=p(x)Kiii=1哈夫曼編碼的效率為三、實(shí)驗(yàn)內(nèi)容信源熵=H(x)平均碼長(zhǎng)K為某一信

8、源進(jìn)行哈夫曼編碼。該信源的字符集為X=x，x2,x6,相應(yīng)的概率矢量126為：P=(0.30,0.25,0.21,0.10,0.09,0.05),即X，P的概率空間為：X_xxxxxx123456P_0.300.250.210.100.090.05_根據(jù)哈夫曼編碼算法對(duì)該信源進(jìn)行哈夫曼編碼。并計(jì)算其平均碼長(zhǎng)和編碼效率。調(diào)用matlab哈夫曼編碼函數(shù)進(jìn)行哈夫曼編碼，與人工編碼結(jié)果做比較。huffmandict函數(shù)：為已知概率分布的信源模型生成哈夫曼編解碼索引表。調(diào)用方法如下：dict，avglen=huffmandict(symbols,p)dict，avglen=huffmandict(sym

9、bols,p,N)dict，avglen=huffmandict(symbols,p,N,variance)實(shí)驗(yàn)過程：a=1:6;p=0.300.250.210.100.090.05;dict,avglen=huffmandict(a,p)dict=11x2double21x2double31x2double41x3double51x4double61x4doubleavglen=2.3800dict,avglen=huffmandict(a,p,4)dict=112231x2double41x2double51x2double61x2doubleavglen=1.4500dict,avgle

10、n=huffmandict(a,p,3)dict=1121x2double31x2double41x3double51x3double61x3doubleavglen=1.9400dict,avglen=huffmandict(a,p,5)dict=1121x2double31x2double41x2double51x2double61x2doubleavglen=1.7000實(shí)驗(yàn)三：離散信道容量一、實(shí)驗(yàn)?zāi)康?.掌握離散信道容量的計(jì)算。2.理解離散信道容量的物理意義。練習(xí)應(yīng)用matlab軟件進(jìn)行二元對(duì)稱離散信道容量的函數(shù)曲線的繪制，并從曲線上理解其物理意義。二、實(shí)驗(yàn)原理信道是傳送信息的載體信號(hào)

11、所通過的通道。信息是抽象的，而信道則是具體的。比如二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。研究信道的目的：在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量即極限傳輸能力，并分析其特性。二元對(duì)稱信道BSC(BinarySymmetricChannel)二進(jìn)制離散信道模型有一個(gè)允許輸入值的集合X=0,1和可能輸出值的集合Y=0,1,以及一組表示輸入和輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。如果信道噪聲和其他干擾導(dǎo)致傳輸?shù)亩M(jìn)序列發(fā)生統(tǒng)計(jì)獨(dú)立的差錯(cuò),且條件概率對(duì)稱,即Jp(Y二0/X二1)二p(Y二1/X二0)二pp(Y二1/X二1)二p(Y二0/X二0)二1-p這種對(duì)稱的二進(jìn)制輸入、二進(jìn)制輸出信道稱做二元對(duì)稱信道(或二進(jìn)制對(duì)稱信道，簡(jiǎn)稱BSC信道)，如下圖所示：信道容量公式：maxI(X,Y)p(x)三、實(shí)驗(yàn)內(nèi)容BSC信道是DMC