信息論重點新

1、1消息定義信息的通俗概念：消息就是信息,用文字、符號、數據、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質運動和主觀思維活動的狀態(tài)表達出來，就成為消息，消息中包含信息，消息是信息的載體。信號是表示消息的物理量，包括電信號、光信號等。信號中攜帶著消息，信號是消息的載體。信息的狹義概念（香農信息）:信息是對事物運動狀態(tài)或存在方式的不確定性的描述。 信息的廣義概念 信息是認識主體(人、生物、機器)所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式。Ø 語法信息(語法信息是指信息存在和運動的狀態(tài)與方式。)Ø 語義信息(語義信息是指信宿接收和理解的信息的內容。)&

2、#216; 語用信息(語用信息是指信息內容對信宿的有用性。)2狹義信息論、廣義信息論。狹義信息論：信息論是在信息可以量度的基礎上，對如何有效，可靠地傳遞信息進行研究的科學。它涉及信息量度，信息特性，信息傳輸速率，信道容量，干擾對信息傳輸的影響等方面的知識。廣義信息論：信息是物質的普遍屬性，所謂物質系統(tǒng)的信息是指它所屬的物理系統(tǒng)在同一切其他物質系統(tǒng)全面相互作用（或聯(lián)系）過程中，以質、能和波動的形式所呈現的結構、狀態(tài)和歷史。包含通信的全部統(tǒng)計問題的研究，除了香農信息論之外，還包括信號設計，噪聲理論，信號的檢測與估值等。3.自信息 互信息 定義 性質及物理意義自信息量： 是無量綱的，一般根據對數的底

3、來定義單位：當對數底為2時，自信息量的單位為比特；對數底為e時，其單位為奈特；對數底為10時，其單位為哈特自信息量性質：I(xi)是隨機量；I(xi)是非負值；I(xi)是P(xi)的單調遞減函數。自信息物理意義: 1.事件發(fā)生前描述該事件發(fā)生的不確定性的大小 2.事件發(fā)生后表示該事件所含有（提供）的信息量互信息量:互信息量的性質：1) 互信息的對稱性2) 互信息可為零3) 互信息可為正值或負值4) 任何兩個事件之間的互信息不可能大于其中任一事件的自信息互信息物理意義: 1.表示事件 yj 出現前后關于事件xi 的不確定性減少的量 2.事件 yj 出現以后信宿獲得的關于事件 xi的信息量4.平

4、均自信息性質 平均互信息性質平均自信息（信息熵/信源熵/香農熵/無條件熵/熵函數/熵）： 熵函數的數學特性包括:(1)對稱性 p=(p1p2pn)各分量次序可調換(2)確定性p中只要有為1的分量，H(p)為0(3)非負性離散信源的熵滿足非負性，而連續(xù)信源的熵可能為負。H(p)大于等于0(4)擴展性擴展性說明，增加一個概率接近于零的事件，信源熵保持不變。雖然小概率事件出現后，給予收信者較多的信息，但從總體來考慮時，因為這種概率很小的事件幾乎不會出現，所以它對于離散集的熵的貢獻可以忽略不計。這也是熵的總體平均性的一種體現。(5)連續(xù)性 (6)遞增性(7)極值性（最大離散熵定理）(8)上凸性H(p1

5、,p2，pn)是概率分布(p1,p2，pn)的嚴格上凸函數，即詹森不等式：如果f為一個上凸函數，X為一個隨機變量，則: 平均互信息I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)性質1.對稱性：I(X;Y)=I(Y;X)2.非負性I(X;Y)>03.極值性I(X;Y) £ minH(X),H(Y) 5.條件熵 聯(lián)合熵隨機變量X和Y的條件熵定義為：條件熵表示已知一個隨機變量時，對另一個隨機變量的平均不確定性。 條件熵：疑義度： 噪聲熵：聯(lián)合熵：聯(lián)合熵表示對于二維隨機變量的平均不確定性。各種熵之間的關系 H(XY)=H(X)+H(Y|X

6、)=H(Y)+H(X|Y) H(X|Y)£H(X)，H(Y|X)£H(Y) H(XY)£H(X)+H(Y) 若X與Y統(tǒng)計獨立，則H(XY)=H(X)+H(Y)6.信源概率空間通常把一個隨機變量的樣本空間和樣本空間中的元素對應的概率稱為概率空間。離散單符號信源X的概率空間：離散多符號信源可以用隨機矢量/隨機變量序列來描述，即X=X1X2LXnL其中每個符號取值于同一個單符號信源空間：7.信源熵信源熵：信息熵表示離散單符號信源的平均不確定性信源熵具有以下三種物理含意： 信息熵H(X)表示信源輸出后,每個離散消息所提供的平均信息量。 信息熵H(X)表示信源輸出前,信源的

7、平均不確定性。 信息熵H(X)反映了變量X 的隨機性 8.多符號與條件熵的關系1.條件熵隨著N的增加是遞減的 2.N給定時 平均符號熵>=條件熵3.平均符號熵隨N的增加而減小4.若H（X1）< 則N次擴展信源的熵：離散平穩(wěn)無記憶信源的N次擴展信源的熵等于離散單符號信源熵的N倍：離散平穩(wěn)無記憶信源的熵率：9.連續(xù)信源熵單變量連續(xù)信源的數學模型定義連續(xù)信源的相對熵：。相對熵不能反映連續(xù)信源的平均不確定度。定義相對熵的目的在于在形式上與離散信源熵統(tǒng)一并使熵差具有信息測度的意義。兩個連續(xù)隨機變量的聯(lián)合熵：兩個連續(xù)隨機變量的條件熵：均勻分布連續(xù)信源的相對熵：， Ps：（lb是log）高斯分布

8、連續(xù)信源的相對熵：， Ps：（lb是log）當均值為0時，微分熵只與平均功率有關指數分布連續(xù)信源的相對熵：，m為均值 Ps（lb是ln）微分熵 10.馬爾科夫信源如果離散平穩(wěn)信源發(fā)出的符號只與前面已經發(fā)出的m(<N)個符號相關，則稱該信源為m階馬爾科夫信源?？蓪階馬爾科夫信源發(fā)出的符號序列看成長度為m+1的一段段符號序列，m階馬爾科夫信源的數學模型：為強調m階馬爾科夫信源的長度特征，一般將其極限熵H記為Hm+1，即：馬爾科夫鏈的各態(tài)歷經定理：11. 信道分類及轉移概率矩陣信道分類信道特性可以用轉移概率矩陣來表示：12.信道容量的計算信道容量：Ø 與信源的概率分布無關；

9、6; 是完全描述信道特性的參量；Ø 是信道能夠傳輸的最大信息量。信道單位時間內平均傳輸的最大信息量：一按損耗分1. 無損信道：有噪無損信道，一個輸入對應多個輸出。信道矩陣每一列只有一個非0元素 （輸入等概）2. 無噪信道：無噪有損信道，一個輸出對應多個輸入。信道矩陣每一行只有一個非0元素 （輸出等概）3. 無噪無損信道：輸入、輸出之間有確定的一一對應關系。 Ps：r(輸入) s（輸出）二按信道矩陣分1.對稱信道 ：對稱若信道矩陣中每行都是第一行的排列，并且每列都是第一列的排列， 則稱之為對稱信道。 對稱信道，當信道輸出概率分布為等概的情況下達到信道容量其中p1p2Lps是信道矩陣中的

10、任意一行中的元素。2.行對稱信道： 若信道矩陣P中每行都是第一行的排列，則稱此信道是行對稱信道。3.強對稱信道若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率 p 均勻地分配到 r-1 個符號，則稱此信道為強對稱信道或均勻信道。1. 矩陣中的每一行都是第一行的排列；(行對稱) 矩陣中的每一列都是第一列的排列。(列對稱)2. 信道輸入與輸出消息（符號）數相等，即 r=s。3. 錯誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯誤傳輸概率均勻地分配到r-1個符號上。4. 不僅每一行元素之和為1，每一列元素之和也為1。顯然，對稱性的基本條件是1，而2、3、4是加強條件對于強對稱信

11、道有：C=logr-plog(r-1)-H(p) 4.準對稱信道。是行對稱，信道矩陣可以按列分為一些對稱的子陣，則稱之為準對稱信道。對于離散準對稱信道，當信道輸入概率分布為等概的情況下達到信道容量：三一般的離散信道 13.連續(xù)信源與波形信源的信道容量（1）連續(xù)信源信道容量（2）波形信源信道容量當噪聲是雙邊功率譜密度為N0/2的高斯白噪聲時14.香農公式香農公式（1）帶寬一定時，信道的最大傳輸率是信噪比的函數。（2）信噪比確定時，信道容量與帶寬成正比。此時提高最大信息傳輸率的方法是提高帶寬15.信源編碼熵率16.定長信源編碼設離散平穩(wěn)無記憶信源的熵為H(S), 碼符號集X中有r個碼符號，碼長為l

12、，若對N次擴展信源 進行定長編碼，則對于任意 >0，只要滿足17.變長信源編碼Kraft定理：即時碼存在的充要條件是: r 是進制數，q 是信源符號數 l是碼長。該不等式是惟一可譯碼存在的充要條件，而不是惟一可譯碼的充要條件當滿足Kraft（或McMillan）不等式時，必然可以構造出即時碼（或唯一可譯碼），否則不能構造出即時碼（或唯一可譯碼）。McMillan定理：唯一可譯碼存在的充要條件是: 18.香農第一編碼定理19.冗余度以提高通信有效性為目的。通常通過壓縮信源的冗余度來實現。采用的一般方法是壓縮每個信源符號的平均比特數。冗余度，表示給定信源在實際發(fā)出消息時所包含的多余信息。它來

13、自兩個方面，一是信源符號間的相關性；二是信源符號分布的不均勻20.編碼的步驟最佳碼 對于某一信源和某一碼符號集來說,若有一唯一可譯碼,其平均碼長小于所有其他唯一可譯碼的平均長度。 緊致碼 香農（Shannon） 費諾（Fano） 哈夫曼（Huffma ） l 二進制香農碼的編碼步驟如下：1) 將符號元xi按概率進行降序排列2) 令p(x0)=0，計算第j-1個碼字的累加概率：3) 確定第i個碼字的碼長ki，滿足下列不等式：4) 將pa(xj)用二進制表示，取小數點后ki位作為符號元xi的碼字。l 費諾編碼 費諾編碼屬于概率匹配編碼編碼步驟如下：（1）將概率按從大到小的順序排列,令p(x1) p

14、(x2) p(xn) （2）按編碼進制數將概率分組,使每組概率盡可能接近或相等。如編二進制碼就分成兩組,編m進制碼就分成m組。 （3）給每一組分配一位碼元 （4）將每一分組再按同樣原則劃分,重復步驟2和3,直至概率不再可分為止。 哈夫曼(Huffman)編碼1) 將符號元按概率進行降序排列2) 為概率最小的符號元分配一個碼元1，概率次小的符號元分配一個碼元03) 將概率最小的兩個符號元合并成一個新的符號元，用兩者概率之和作為該新符號元的概率；4) 重復以上三個步驟，直到最后合并出一個以1為概率的符號元哈弗曼碼有兩種排列方式，分前置和后置。采用不同排列方法編出的哈夫曼碼，其碼字和碼長可能完全不相同，但平均碼長一定是相等的，因此編碼效率不會因排列方法而改變。但放在前面可以使短碼得到充分