信息論實驗報告1--信息熵的計算

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)成績遼寧工程技術(shù)大學(xué)上機(jī)實驗報告實驗名稱信息熵的相關(guān)計算院系姓名實驗?zāi)康暮喪霰敬螌嶒災(zāi)康模?理解信息熵的概念掌握信息熵計算Matlab程序編寫方法實驗準(zhǔn)備你為本次實驗做了哪些準(zhǔn)備： 認(rèn)真閱讀信息論教材，熟悉信息熵的原理以及相應(yīng)的MATLAB函數(shù)指令實驗進(jìn)度本次共有 6 個練習(xí)，完成 6 實驗總結(jié)日本次實驗的收獲、體會、經(jīng)驗、問題和教訓(xùn)：1、信息熵計算Matlab源碼求H（x）： function a,b=H_x(A) sum =0;B=zeros(5,1);hx=0;

2、%求H（x）的熵for i=1:5 %i代表行 for j=1:4 %j代表列 sum=sum+A(i,j); end hx=hx-sum*log2(sum); B(i,1)=sum; sum=0;enda=B;b=hx;求H（y）：function a,b=H_y(A)sum =0;B=zeros(1,4);hy=0;for i=1:4 %i代表列 for j=1:5 %j代表行 sum=sum+A(j,i); end B(1,i)=sum; hy=hy-sum*log2(sum); sum=0;enda=B;b=hy;求H（xy）：function y=H_xy(A)%直接輸出的結(jié)果sum

3、=0;for i=1:5 for j=1:4 if A(i,j)=0 sum=sum-A(i,j)*log2(A(i,j); end endendy=sum;求H（y|x）：function y=H_y_x(A) sum=0; for i=1:5 for j=1:4 sum=sum+A(i,j); end A(i,:)=A(i,:)/sum; sum=0; end y=A;求H（x|y）：function y=H_x_y(A) sum=0; for i=1:4 for j=1:5 sum=sum+A(j,i); end A(:,i)=A(:,i)/sum; sum=0; end y=A;2、數(shù)

4、值試驗算例（2個）（1）已知聯(lián)合概率分布如下：求H（x），H（y），H（xy）A=0.25 0 0 0;0.10 0.30 0 0;0 0.05 0.10 0;0 0 0.05 0.10;0 0 0.05 0;X,HX=H_x(A)X = 0.2500 0.4000 0.1500 0.1500 0.0500HX = 2.0660a,b=H_y(A)a = 0.3500 0.3500 0.2000 0.1000b = 1.8568H_xy(A)ans = 2.6660（2）已知聯(lián)合概率分布如下：求H（x|y），H（y|x）A=0.25 0 0 0;0.10 0.30 0 0;0 0.05 0.10 0;0 0 0.05 0.10;0 0 0.05 0;H_x_y(A)ans = 0.7143 0 0 0 0.2857 0.8571 0 0 0 0.1429 0.5000 0 0 0 0.2500 1.0000 0 0 0.2500 0H_y_x(A)ans = 1.0000 0 0 0