信息論與編碼理論基礎(第一章)

1、第一章：引論（簡介）一、通信系統(tǒng)模型二、Shannon信息論的中心問題三、Shannon信息的概念四、概率復習內容2022/8/101一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。2022/8/102一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。2022/8/103一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。2022/8/104一、通信系統(tǒng)模型信源、信道、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。2022/8/105一、通信系統(tǒng)模型信源、信道

2、、信宿信源是消息的來源，信道是消息傳送媒介，信宿是消息的目的地。2022/8/106二、Shannon信息論的中心問題“信息論”，又稱為“通信的數(shù)學理論”，是研究信息的傳輸、存儲、處理的科學。信息論的中心問題：為設計有效而可靠的通信系統(tǒng)提供理論依據(jù)。（具體地說，就是信源編碼和信道編碼。以下來看所要解決的具體問題。）問題一：信源消息常常不能夠完全發(fā)送。（否則發(fā)送量巨大，比如：信源消息是一片無盡的天空。因此優(yōu)先撿有用的發(fā)送。什么是有用的？就是信息量大的。什么是信息量大的？）問題二：信道因干擾而出現(xiàn)差錯，必須進行檢錯和糾錯。（否則所收到的消息無法識別。） 2022/8/107三、Shannon信息的

3、概念（直觀地認識shannon信息和信息量，而暫時不使用定義） 第一個重要概念：信道上傳送的是隨機變量的值。這就是說：（1）我們在收到消息之前，并不知道將要收到的是什么消息。否則消息是沒有必要發(fā)送的。（2）我們在收到消息之前，知道將要收到的可能是哪些消息，以及收到每個消息的可能性大小。換句話說，消息隨機變量有一個已知的概率分布。（3）消息隨機變量的一個可能取值就稱為一個事件。 2022/8/108三、 Shannon信息的概念第二個重要概念：事件的信息量。事件發(fā)生的概率越小，此事件含有的信息量就越大。（直觀含義：越是不太可能發(fā)生的事件竟然發(fā)生了，越是令人震驚）例 事件A=“中國足球隊3：0力克

4、韓國足球隊”，則事件A含有的信息量大。（小概率事件發(fā)生了，事件信息量大）例 事件B=“中國足球隊0：1負于韓國足球隊” ，則事件B含有的信息量小。（大概率事件發(fā)生了，事件信息量?。?022/8/109三、 Shannon信息的概念第三個重要概念：消息隨機變量的信息量。消息隨機變量的隨機性越大，此消息隨機變量含有的信息量就越大。（直觀含義：這種信息量的大小代表了不可預見性的大小）例 消息隨機變量X=“中國足球隊與韓國足球隊比賽的結果”，則消息隨機變量X含有的信息量小。（隨機性小，可預見性大，因此該消息隨機變量含有的信息量小。）例 消息隨機變量Y=“意大利足球隊與德國足球隊比賽的結果”，則消息隨機

5、變量Y含有的信息量大。（隨機性大，可預見性小，因此該消息隨機變量含有的信息量大。） 2022/8/1010三、 Shannon信息的概念第四個重要概念：兩個事件的互信息量。兩個事件越是互相肯定，它們的互信息量就越大。兩個事件越是互相否定，它們的互信息量就越小。 如果兩個事件既不互相肯定，也不互相否定，它們的互信息量就為0。 （直觀含義：這種信息量的大小代表了相互肯定性的大?。├?A=西安明日有雨, B=咸陽明日有雨，BC=咸陽明日無雨， C=北京明日有雨，D=紐約明日有雨。則A與B互信息量大，A與C互信息量小得多，A與D互信息量幾乎為0，A與BC互信息量小。 2022/8/1011三、 Sha

6、nnon信息的概念第五個重要概念：兩個消息隨機變量的互信息量。兩個消息隨機變量的互相關性越大，它們的互信息量就越大。（直觀含義：這種信息量的大小代表了相互依賴性的大?。├?X=西安明日平均氣溫, Y=咸陽明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。則X與Y互信息量大，X與Z互信息量小得多，X與W互信息量幾乎為0。 2022/8/1012事件A的信息量A!2022/8/1013隨機變量X的信息量X?2022/8/1014兩個事件A與B的互信息量AB2022/8/1015兩個隨機變量X與Y的互信息量XY?2022/8/1016四種信息量A!X?ABXY?2022/8/1017四、概率

7、復習內容記號P(A)表示事件A發(fā)生的概率。P(A|B)表示在事件B發(fā)生的條件下，事件A發(fā)生的條件概率。EX表示隨機變量X的數(shù)學期望。離散型隨機變量離散型隨機變量X的所有事件為x1, x2, , xK，對應的概率為P(X=xk)=qk，k=1, 2, , K。通常將此隨機變量記為X, xk, qk, k=1K。又X的分布列（分布矩陣）記為：2022/8/1018四、概率復習內容另一個離散型隨機變量Y的所有事件為y1, y2, , yJ，對應的概率為P(Y=yj)=wj，j=1, 2, , J。通常將此隨機變量記為Y, yj, wj, j=1J。又Y的分布列（分布矩陣）記為：2022/8/1019

8、四、概率復習內容兩個離散型隨機變量X與Y聯(lián)立，得到了二維離散型隨機變量(X, Y)。(X, Y)的所有事件為(xk, yj), k=1, 2, , K; j=1, 2, , J。對應的概率為P(X, Y)= (xk, yj)=rkj，k=1, 2, , K; j=1, 2, , J。通常將此二維隨機變量記為(X, Y), (xk, yj), rkj, k=1K; j=1J。(X, Y)的聯(lián)合分布列（聯(lián)合分布矩陣）為： 2022/8/1020四、概率復習內容聯(lián)合分布、邊際分布、條件分布的關系： 2022/8/1021四、概率復習內容rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=

9、yj)。 如果X與Y相互獨立，則對任何k=1K，j=1J ，都成立rkj=qkwj。 換句話說，對任何k=1K，j=1J ，都成立P(Y=yj| X=xk)=wj。P(X=xk| Y=yj)=qk。數(shù)學期望（均值）：2022/8/1022四、概率復習內容連續(xù)型隨機變量連續(xù)型隨機變量X的所有事件x有不可列無窮多個，對應的密度函數(shù)為fX(x)，-x+。通常將此隨機變量記為X, fX(x)。 連續(xù)型隨機變量Y的所有事件y有不可列無窮多個，對應的密度函數(shù)為fY(y)，-y+。通常將此隨機變量記為Y, fY(y)。我們知道2022/8/1023四、概率復習內容兩個連續(xù)型隨機變量X與Y連立，得到了二維連續(xù)型隨機變量(X, Y)。 (X, Y)