實(shí)驗(yàn)一、離散信源的熵與離散信道的容量

1、信息實(shí)驗(yàn)實(shí)驗(yàn)信與信實(shí)驗(yàn)實(shí)驗(yàn)信信信信編信信驗(yàn)實(shí)驗(yàn)信編信信驗(yàn)實(shí)驗(yàn)報(bào)告信信信信實(shí)信信實(shí)信信論信與論信與信驗(yàn)信實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)報(bào)告1簡要總結(jié)信源的熵、信道容量的物理意義，概念。信源熵的物理意義是指信源中的各個(gè)符號(hào)的平均不確定性；熵是信源符號(hào)的平均信息量，是信源符號(hào)的平均不確定度。信道容量概念：在信道可以傳輸?shù)幕厩疤嵯?，?duì)信源的一切可能的概率分布而言，信道能夠傳輸?shù)淖畲?接收)熵速率稱為信道容量。意義：求出了某個(gè)信道的信道容量，也就找到了信源的最佳概率分布。從而指導(dǎo)人們改造信源，使之最大可能地利用信道的傳輸能力。2、寫出離散信源熵、離散信道容量計(jì)算的基本步驟，畫出實(shí)現(xiàn)離散信源熵、離散信道容量計(jì)算的程序流程

2、圖；離散信源熵的計(jì)算步驟：lalaa信道容量的計(jì)算步驟：ab符號(hào)3實(shí)現(xiàn)離散信源熵、離散信道容量計(jì)算的Matlab源程序;實(shí)驗(yàn)程序：1)計(jì)算信源熵：新建M文件：functionh=H(x)h=-log2(x)*x;保存為H.m之后在命令窗口輸入；2)計(jì)算信道容量(對(duì)稱信道)：保存為C.m之后在命令窗口輸入習(xí)題2.1實(shí)6驗(yàn)程序:%清除所有變量輸入信源概率，%計(jì)算信源的熵H(X)為條件概率%計(jì)算聯(lián)合概率p(xy)計(jì)算計(jì)算習(xí)題3.實(shí)6驗(yàn)程序：%清除所有變量信道矩陣計(jì)算對(duì)稱離散信道的信道容量%最佳輸入概率分布4、討論信源的熵的大小與前后符號(hào)之間相關(guān)性的關(guān)系，討論信道容量與信源先驗(yàn)概率及信道轉(zhuǎn)移概率的關(guān)系。信源的相關(guān)性是信源符號(hào)間的依賴程度的度量。由于信源輸出符號(hào)間的依賴關(guān)系也就是信源的相關(guān)性使信源的實(shí)際熵減小。信源輸出符號(hào)間統(tǒng)計(jì)約束關(guān)系越長，信源的實(shí)際熵越小。當(dāng)信源輸出符號(hào)間彼此不存在依賴關(guān)系且為等概率分布時(shí)，信源的實(shí)際熵等于最大熵。信道容量與信源先驗(yàn)概率及信道轉(zhuǎn)移概率的關(guān)系。信道容量是信道的一個(gè)參數(shù)，反映了信道所能傳輸?shù)淖畲笮畔⒘?，其大小與信源無關(guān)。對(duì)不同的輸入概率分布，互信息一定存在最大值。我們將這個(gè)最大值定義為信道的容量。一但轉(zhuǎn)移概率矩陣確定以后，信道容量也完全確定了。盡管信道容量的定義涉及到輸入概率分布，但信道容量的數(shù)值與輸入概率分布無關(guān)。我們將不同的輸入概率分布稱為試驗(yàn)信源，