離散信源熵信道容量試驗報告

1、計算離散信源嫡、離散信道容量1實驗任務(wù)和目的實驗任務(wù)：(1)簡要總結(jié)信源的嫡、信道容量的物理意義，概念；(2)寫出離散信源嫡、離散信道容量計算的基本步驟，畫出實現(xiàn)離散信源嫡、離散信道容量計算的程序流程圖；(3)討論信源的嫡的大小與前后符號之間相關(guān)性的關(guān)系，討論信道容量與信源先驗概率及信道轉(zhuǎn)移概率的關(guān)系。實驗目的：掌握信源的嫡、信道容量的物理意義，概念；熟練掌握離散信源嫡、離散信道容量的計算方法步驟；利用Matlab編寫離散信源嫡、離散信道容量的計算程序; 驗證程序的正確性。2實驗過程和結(jié)果2.1實驗過程1、簡要總結(jié)信源的嫡、信道容量的物理意義，概念。信源嫡的物理意義是指信源中的各個符號的平均不

2、確定性；嫡是信源符號的平均信息量，是信源符號的平均不確定度。信道容量 概念：在信道可以傳輸?shù)幕厩疤嵯?，對信源的一切可能的概率分布而言，信道能夠傳輸?shù)淖畲?接收)嫡速率稱為信道容量。意義：求出了某個信道的信道容量，也就找到了信源的最佳概率分布。從而指導人們改造信源，使之最大可能地利用信道的傳輸能力。2、寫出離散信源嫡、離散信道容量計算的基本步驟，畫出實現(xiàn)離散信源嫡、 離散信道容量計算的程序流程圖；離散信源嫡的計算步驟：1 H.(X)=E logr-=巨 p(a )iog(a ) p= 口. 1 O. 2 O. 3 O* h= wet e- ojpy J計算離散信道容量：輸入信海符號匕的個數(shù)距q

3、 輸出信源符號y的個軟m=q 輸人信道矩陣概率 p_yx=l/2 P5 二口 p_yx=1/4 p_yx-1/4 P_ys-l/4 p_*= 1/2 p_yx=。P_yx=l/4 p_yx=l/l p-yx; 1/4 p_yx-l/2 p_濘=。P_5TK=0P_y*-l/4 p_ys=l/4 p_yx=l/2 常人選代精度 2 信道矩陣為0. 500000. 2S000.25000.26000,500000.26000. 25000.25000.6000000.25000. 25000.5000迭代次數(shù)信道容量GO. 500000比挎/符號|3實驗總結(jié)和心得通過本次的試驗，讓我加深了對信息論

4、與編碼這門課知識點的認識，學會 了怎么樣去計算信源嫡以及信道容量，怎樣去把它具體實現(xiàn)出來。在此次實驗 過程中，讓我認識到了做實驗之前預習是很重要的，通過查找資料可以解決一 些我們不能解決的問題的方法。還有就是不懂的問題及時問老師，能解決的問 題隨堂解決。4附錄（代碼）計算信道容量：clc;clear all;N = input（輸入信源符號X的個數(shù)N=）;M = input（輸出信源符號 丫的個數(shù) M=）;p_yx=zeros（N,M）; %程序設(shè)計需要信道矩陣初始化為零fprintf(輸入信道矢!陣概率n)for i=1:Nfor j=1:Mp_yx(i,j)=input(p_yx=);%

5、輸入信道矩陣概率if p_yx(i)0error(不符合概率分布,)endendendfor i=1:N %各行概率累加求和s(i)=0;for j=1:Ms(i)=s(i)+p_yx(i,j);endendfor i=1:N%判斷是否符合概率分布if (s(i)=1.000001)error(不符合概率分布,)endendb=input(輸入迭代精度：,);%輸入迭代精 度 for i=1:Np(i)=1.0/N; %取初始概率為均勻分布endfor j=1:M % 計算 q(j) q(j)=0;for i=1:Nq(j)=q(j)+p(i)*p_yx(i,j);endendfor i=1:

6、N% 計算 a(i) d(i)=0;for j=1:Mif(p_yx(i,j)=0)d(i)=d(i)+0; elsed(i)=d(i)+p_yx(i,j)*10g(p_yx(i,j)/q(j);endenda(i)=exp(d(i); end u=0;for i=1:N % 計算 uu=u+p(i)*a(i); endIL=log2(u); % 計算 ILIU=log2(max(a);% 計算 IU n=1;while(IU-IL)=b) % 迭代計算for i=1:Np(i)=p(i)*a(i)/u; % 重新賦值 p(i)endfor j=1:M % 計算 q(j)q(j)=0;for

7、i=1:Nq(j)=q(j)+p(i)*p_yx(i,j);endendfor i=1:N % 計算 a(i)d(i)=0;forj=1:Mif(p_yx(i,j)=0)d(i)=d(i)+0;elsed(i)=d(i)+p_yx(i,j)*10g(p_yx(i,j)/q(j);endenda(i)=exp(d(i); end u=0;for i=1:N % 計算 uu=u+p(i)*a(i);endIL=log2(u); % 計算 ILIU=log2(max(a);% 計算 IU n=n+1;endfprintf(信道矩陣為:n); disp(p_yx);fprintf(迭代次數(shù) n=%dn,n);fprintf(信道容量 C=%f比特/符號,IL);計算離散信源:W：%用MATLAB編程實現(xiàn)單符號離散無記憶信 源燧的計算function H = entropy(p)%該函數(shù)用來計算包含任意多個符號的信源燧(比特)%p為DMS的概率分布，行向量if sum(p)=1%判斷是否滿足概率完備性 (=不等于的意思)error(! !不滿足概率完備性,請重新輸 入信源分布,)return;elseL = length(p)%得到信源符號的個數(shù)H=