信息與編碼理論 第2版 課件 2.1 信源的分類和描述

第2章

信源與信源熵本章內(nèi)容：信源的分類和描述離散單符號(hào)無(wú)記憶信源離散多符號(hào)無(wú)記憶信源離散信源的信息熵平均自信息量離散多符號(hào)信源的信源熵信源的相關(guān)性和剩余度信源的MATLAB建模與仿真§2.1信源的分類和描述

信源的分類及其數(shù)學(xué)模型

信源是產(chǎn)生消息（符號(hào)）、消息序列（符號(hào)序列）以及時(shí)間連續(xù)的消息的來(lái)源。

信源的主要問題：如何描述信源的輸出（信源的建模問題）√怎樣確定信源產(chǎn)生的信息量、產(chǎn)生信息的速率√信源編碼（第五章）5信源的統(tǒng)計(jì)特性在信息論中，確切的說，信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)源。從數(shù)學(xué)上看，由于消息的不確定性，信源是產(chǎn)生隨機(jī)變量、隨機(jī)序列和隨機(jī)過程的源。討論信源的統(tǒng)計(jì)特性?？陀^信源的基本特性是具有隨機(jī)不確定性。時(shí)間（空間）取值信源種類舉例消息的數(shù)學(xué)描述離散離散離散信源（數(shù)字信源）文字、數(shù)據(jù)、離散化圖象離散隨機(jī)變量序列離散連續(xù)連續(xù)信源

連續(xù)隨機(jī)變量序列連續(xù)連續(xù)波形信源（模擬信源）語(yǔ)音、音樂、熱噪聲、圖形、圖象隨機(jī)過程連續(xù)離散

不常見

根據(jù)信源輸出消息在時(shí)間和取值上是離散或連續(xù)分類：

7信源的分類討論首先討論離散單個(gè)消息（符號(hào)）信源，又稱單符號(hào)離散信源。它是最簡(jiǎn)單的，也是最基本的信源，是組成實(shí)際信源的基本單元。其次，討論實(shí)際信源。實(shí)際信源不可能只發(fā)送單個(gè)消息（符號(hào)），對(duì)離散信源而言，發(fā)送的一組消息（符號(hào)序列）串，即一個(gè)隨機(jī)序列（多符號(hào)離散信源）；對(duì)連續(xù)信源而言，發(fā)送的則是一隨機(jī)過程（連續(xù)信源）。

本章重點(diǎn)研究離散平穩(wěn)無(wú)記憶信源，以及較簡(jiǎn)單的有記憶信源－馬爾可夫信源。

根據(jù)信源發(fā)出的單個(gè)消息取值是離散值還是連續(xù)值，信源可分為離散信源/連續(xù)信源。

根據(jù)信源發(fā)出的消息之間是否有統(tǒng)計(jì)依賴關(guān)系，信源可分為有記憶信源/無(wú)記憶信源。

信源的分類及其數(shù)學(xué)模型

根據(jù)信源發(fā)出的消息序列中的消息，統(tǒng)計(jì)特性是否