管理信息-第4章

2023/2/7第四章信息傳輸與信息編碼4.1信息傳輸的概念4.2信息傳輸模型4.3信息傳輸的有效性4.4信息傳輸的抗干擾性4.5限失真信源編碼定理2023/2/74.1

信息傳輸的概念4.1.1

信息傳輸與語法信息4.1.2

信息傳輸與信號

2023/2/7

所謂信息傳輸就是把人們需要的信息從空間中的一點傳送到另一點，其核心問題是如何準確、迅速、安全、可靠地完成傳輸任務。

從傳輸內容上說，所謂信息傳輸，其實只是語法信息的傳輸，且主要是概率語法信息的傳輸，只要傳遞了語法信息，語義信息和語用信息也就必然隱含在其中了。

4.1.1信息傳輸與語法信息

2023/2/7

信息可以脫離其源事物獨立存在，這種脫離可表現為兩種狀態(tài)。一是時間上的脫離，時間上的脫離需要對信息進行存儲才能使信息繼續(xù)存在；二是空間上的脫離，事物運動的狀態(tài)和方式在脫離源事物的同時，就必然附著于另一事物（即載體）。

信息傳輸的實質：某信息脫離源事物而附著于另一個事物（物理載體）并通過后者的運動將信息在空間中從一點傳送到另一點。4.1.2信息傳輸與信號：載體2023/2/7

載體的性質：載體既要能夠在空間中轉移，從一點運動到另一點，又要有能力表示所傳輸的信息。

實際上，信息在空間中傳送的過程，可能要經過多次變換，要變更多種不同的載體。為了便于描述，把這些變換稱為n級變換，而把這些載體稱為n級載體。

4.1.2信息傳輸與信號：信息變換2023/2/7載體有能力對所傳輸的信息進行表示就是指能夠把源事物的運動狀態(tài)和運動方式用載體自身的某種物理量表示出來，而載體的某種物理量的各種取值及這些取值之間的關系，必須與所傳遞的源事物的運動狀態(tài)以及這些狀態(tài)之間的關系一一對應。信號：在自己的某種物理量與所附著的信息之間建立一一對應關系的物理載體。或者說，就是用自己的某種物理量的變化來表示相應信息的物理載體。

4.1.2信息傳輸與信號：信號2023/2/74.1.2

信息傳輸與信號：傳輸方式

因此從傳輸形式上來看，信息的傳輸就是通過信號在空間的移動來完成，信號的某個或某些物理量與所傳遞的語法信息之間應當建立適當的映射關系。古代以實物或聲音來表示信息：結繩記事、烽火狼煙和擊鼓傳音等?，F代通信技術：電信號、無線電信號、微波和光信號等(傳輸距離更遠、傳輸速度更迅速、抗干擾性更好)。2023/2/7

4.2

信息傳輸模型4.2.1

信息傳輸的基本模型4.2.2

信息傳輸的一般模型2023/2/7

YV信源變換信道還原變換信宿信息傳輸的基本模型信息U信號X噪聲N4.2.1

信息傳輸的基本模型2023/2/7信息傳輸至少必須包含如下一些事物、環(huán)節(jié)和過程：(1)信源信號變換(4)信道(5)信宿4.2.1

信息傳輸的基本模型2023/2/7換能器編碼信息傳輸的一般模型噪聲調制換能器譯碼解調信道技術階段技術階段信號信宿信源4.2.2

信息傳輸的一般模型2023/2/7因此，信息傳輸討論的主要問題是：

(1)信源的性質及其產生信息的能力；(2)信道的性質及其通過信息的能力；(3)信源與信道的關系以及實現這兩者在性質上相互匹配的原理和方法。

4.2.2

信息傳輸的一般模型2023/2/74.3.1

信源及信源編碼4.3.2

變長無失真信源編碼定理4.3.3哈夫曼編碼4.3

信息傳輸的有效性2023/2/7

信源輸出的信息常常以一個個符號的形式出現，例如英文字母、漢字等。如果這些符號的取值是有限的或可數的，這樣的信源稱為離散信源。

如果信源只輸出一個符號，稱為單符號信源，如果輸出的是一個符號序列，則稱為多符號信源。例如，“HefeiUniversityofTechnology”就是由多個英文字母以及標點符號組成的一個序列。

4.3.1

信源及信源編碼2023/2/7可以把信源的每次輸出看作是一個隨機事件。對于多符號離散信源而言，可以用一個隨機變量序列描述信源發(fā)出的信息。X=X1X2X3…其中每個隨機變量Xi(i=1,2…)都有N個輸出狀態(tài)，每個狀態(tài)出現的可能性大小用概率P(Xi)來描述。該信源中，如果每一個隨機變量Xi

(i=1,2…)的概率分布P(Xi)都相同，那么這種信源稱為多符號離散平穩(wěn)信源（簡稱離散平穩(wěn)信源）。4.3.1

信源及信源編碼2023/2/7為了方便起見，假定信源輸出的符號長度是有限的，并且如果任意兩個符號之間都沒有相互依賴關系，即每一次符號輸出都是一個獨立的隨機事件，那么該信源稱為離散無記憶平穩(wěn)信源。從前面介紹的信息傳輸的基本模型中可以看出，由于信源發(fā)出的信息不適合直接在信道中傳輸，所以要經過一系列的變換。其中的一個變換環(huán)節(jié)就是對信源編碼，使其能夠滿足信道特性，也就是適合于信道傳輸的符號序列（一般稱為碼序列），來代表信源輸出的信息。4.3.1

信源及信源編碼2023/2/7例如，離散無記憶平穩(wěn)信源的輸出是X=X1X2X3…XL其中每一個Xl的可能狀態(tài)為

。通過編碼，將信源輸出的符號序列變成碼序列

Y=Y1Y2Y3…YK其中每一個Yk的可能狀態(tài)為

。4.3.1

信源及信源編碼2023/2/7例：信源有四種輸出狀態(tài)，表中給出了兩種信源編碼方法。這兩種編碼的共同之處是它們都是用二元符號集{0,1}對信源進行編碼，稱為二元碼。它們的不同之處在于編碼1的每個碼字長度都是相同的，它是等長碼；而編碼2中碼字的長度不相同，它是不等長碼，或稱為變長碼。信源符號出現概率信源編碼1信源編碼2x11/2001x21/40101x31/810001x41/8110004.3.1

信源及信源編碼2023/2/7

信源編碼實際上是一個對信源進行改造的過程。在通信過程中，我們總是希望信息傳輸的效率盡可能高，但是信源X的自然性質往往不能直接滿足高效率傳輸信息的要求。

因此，我們要通過信源編碼過程，使信源X信息含量效率不高的情形變?yōu)榫幋a后的Y信息含量較高或盡可能高的情形，從而可以做到單位時間或單位符號所傳輸的信息量盡可能大。

那么，要怎樣對信源進行改造才能達到這一目的呢？4.3.1

信源及信源編碼2023/2/7設信源X有N個可能的狀態(tài)x1,x2,…,xN。這些狀態(tài)相應的先驗和后驗概率分別為P={p(xn)|xnX}P*={p*(xn)|xnX}觀察者R從該通信中獲得的信息量為：若P*是確定型的0-1分布，則

4.3.1

信源及信源編碼2023/2/7若再有信源各狀態(tài)的先驗概率分布是均勻分布，即則顯然4.3.1

信源及信源編碼2023/2/7對于任何一個給定的實際信源和接收者系統(tǒng)

，定義

其中，

為信息含量效率。顯然有

，并且當且僅當

時，

。

4.3.1

信源及信源編碼2023/2/7上述結果讓我們很容易想到：各種實際信源的信息含量效率是不同的，有的高一些，有的低一些，因為事物是多樣性的、有差異的。

我們改造信源的具體方法，就是盡可能實現

，使信源的各種狀態(tài)出現的概率滿足均勻的先驗概率分布，從而壓縮信源的冗余，提高信息傳輸的效率。

這也就是在不考慮噪聲影響情況下的離散無記憶平穩(wěn)信源的有效編碼問題。4.3.1

信源及信源編碼2023/2/74.3.2

變長無失真信源編碼定理

如果用M元符號表對離散無記憶平穩(wěn)信源X的K次擴展信源XK編碼，則總可以找到一種無失真編碼方法，使每個信源符號對應的碼字的平均長度滿足：2023/2/7例：已知Y={0,1}計算X中各元的最有效編碼長度，比較等長編碼與不等長編碼的性能；并構造一Huffman碼。4.3.2

變長無失真信源編碼定理2023/2/7

解：用Y的兩個碼元來對X的8元狀態(tài)進行編碼，顯然必須采用Y的碼元的重復來實現。如果用Y對X進行編碼的碼字長度都相等，則對8個元進行編碼，至少要3位。例如：于是碼字長度皆為3，

信源的信息熵為

每個碼元的平均熵則為：

比特/符號

比特/碼元

4.3.2

變長無失真信源編碼定理2023/2/7

這也就是按等長原則編碼之后平均每個碼元的信息含量。而Y的概率分布為：計算結果說明，等長編碼Y的概率分布極其不均勻。4.3.2

變長無失真信源編碼定理2023/2/7Huffman碼構造步驟將信源符號出現的概率按遞減的順序排列。從最小概率的兩個消息開始編碼，并給予一定的編碼規(guī)則，如下支路(小概率)為0，上支路(大概率)為1(反之亦可)；若概率相等，仍按相同規(guī)則進行。將已編碼的兩個符號對應概率求和，合并成一新的信息符號，并與剩下的信源符號重新按概率大小排列。重復步驟(2)(3)，直至合并概率達到1.0為止。畫出由根結點(概率為1.0)到每個信源符號的路徑，記下沿路徑的0或1，形成的串即為變長編碼。4.3.3哈夫曼編碼2023/2/71.0011111111/260000001/251/241/231/221/2信源符號概率碼字x11/2x21/22x31/23x41/24x51/25x61/26x71/27x81/27101001000100001000001000000100000004.3.3哈夫曼編碼例題1：2023/2/7計算平均碼字長度:(