第三章總結(jié)與習(xí)題幻燈片.ppt

信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號 單位時(shí)間的信道容量Ct 若信道平均傳輸一個(gè)符號需要t秒鐘 則單位時(shí)間的信道容量為Ct實(shí)際是信道的最大信息傳輸速率 第三章總結(jié) 2020 2 28 1 求信道容量的方法當(dāng)信道特性p yj xi 固定后 I X Y 隨信源概率分布p xi 的變化而變化 調(diào)整p xi 在接收端就能獲得不同的信息量 由平均互信息的性質(zhì)已知 I X Y 是p xi 的上凸函數(shù) 因此總能找到一種概率分布p xi 即某一種信源 使信道所能傳送的信息率為最大 C和Ct都是求平均互信息I X Y 的條件極大值問題 當(dāng)輸入信源概率分布p xi 調(diào)整好以后 C和Ct已與p xi 無關(guān) 而僅僅是信道轉(zhuǎn)移概率的函數(shù) 只與信道統(tǒng)計(jì)特性有關(guān) 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 2020 2 28 2 香農(nóng)公式說明當(dāng)信道容量一定時(shí) 增大信道帶寬 可以降低對信噪功率比的要求 反之 當(dāng)信道頻帶較窄時(shí) 可以通過提高信噪功率比來補(bǔ)償 當(dāng)信道頻帶無限時(shí) 其信道容量與信號功率成正比 2020 2 28 3 信道編碼定理 若有一離散無記憶平穩(wěn)信道 其容量為C 輸入序列長度為L 只要待傳送的信息率RC時(shí) 任何編碼的Pe必大于零 當(dāng)L Pe 1 信道編碼定理說明 同無失真信源編碼定理類似 信道編碼定理也是一個(gè)理想編碼的存在性定理 它指出信道容量是一個(gè)臨界值 只要信息傳輸率不超過這個(gè)臨界值 信道就可幾乎無失真地把信息傳送過去 否則就會產(chǎn)生失真 2020 2 28 4 習(xí)題1 3 1 設(shè)信源通過一干擾信道 接收符號為Y y1 y2 信道傳遞概率如下圖所示 求 信源X中事件x1和x2分別含有的信息量 收到消息yj j 1 2 后 獲得的關(guān)于xi i 1 2 的信息量 信源X和信源Y的信息熵 信道疑義度H X Y 和噪聲熵H Y X 接收到消息Y后獲得的平均互信息 2020 2 28 5 習(xí)題1 解答 互信息可以為正值也可以為負(fù)值 負(fù)值表明由于噪聲的存在 接收到一個(gè)消息后 對另一個(gè)消息是否出現(xiàn)的不確定性反而增加了 2020 2 28 6 習(xí)題1 解答 2020 2 28 7 習(xí)題2 3 2 設(shè)二元對稱信道的傳遞概率為 若P 0 3 4 P 1 1 4 求H X H X Y H Y X 和I X Y 求該信道的信道容量及達(dá)到信道容量時(shí)的輸入概率分布 2020 2 28 8 習(xí)題2 2020 2 28 9 習(xí)題2 2020 2 28 10 習(xí)題3 3 3設(shè)有一批電阻 按阻值分70 是 30 是 按瓦分64 是1 8W 其余是1 4W 現(xiàn)已知阻值的電阻中80 是1 8W 問通過測量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少 解 設(shè)隨機(jī)變量X表示電阻的瓦數(shù) Y表示電阻的阻值 則其概率分布為 已知 由概率的歸一性 由 得 2020 2 28 11 習(xí)題3 2020 2 28 12 2020 2 28 13 2020 2 28 14 2020 2 28 15 2020 2 28 16 2020 2 28 17 2020 2 28 18 2020 2 28 19 3 2020 2 28 20 2020 2 28 21 2020 2 28 22 2020 2 28 23 2020 2 28 24 2020 2 28 25 2020 2 28 26 2020 2 28 27 2020 2 28 28 2020 2 28 29 2020 2 28 30 2020 2 28 31 2020 2 28 32 解 2020 2 28 33 2020 2 28 34 2020 2 28 35 2020 2 28 36 2020 2 28 37 2020 2 28 38 2020 2 28 39 2020 2 28 40 2020 2 28 41 2020 2 28 42 2020 2 28 43 2020 2 28 44 2020 2 28 45 2020 2 28 46 2020 2 28 47 2020 2 28 48 20