信息論與編碼-第一章

信息論與編碼

主講老師：姚志強

yaozhiqiang@

(Informationtheoryandcoding)學(xué)習的意義信息論與編碼理論是信息科學(xué)的基礎(chǔ)理論，對信息進行定量的分析，對信息處理給出理論的指導(dǎo)，是20世紀后半葉數(shù)字化革命的主要理論和技術(shù)支柱．信息論與編碼的許多思想和方法已廣泛滲透到許多領(lǐng)域：[計算機]，[通信技術(shù)]，[統(tǒng)計學(xué)],[物理學(xué)]，[生物學(xué)]，[系統(tǒng)科學(xué)],

[經(jīng)濟學(xué)],[社會學(xué)],……組成客觀世界的三大基本要素：物質(zhì)、能量和信息，材料科學(xué)、能源科學(xué)、和信息科學(xué)一起被稱為當代文明的“三大支柱”。Withoutmaterials,thereisnothing.沒有物質(zhì)的世界是虛無的世界；Withoutenergy,nothinghappens.沒有能源的世界是死寂的世界；Withoutinformation,nothingmakessense沒有信息的世界是混亂的世界。幾十年來許多優(yōu)秀的學(xué)者，工程師共同努力推動了該理論和實踐的發(fā)展．美國科學(xué)家ClaudeElwoodShannon，1916年4月30日—2001年2月26日，以60多年前Shannon的不朽論文《通信的數(shù)學(xué)理論》為里程碑．信息論的奠基人：信息論的學(xué)習有助于對其他學(xué)科的研究,同時其他相關(guān)學(xué)科的研究也會促進信息論的發(fā)展.這些理論是屬于21世紀的工程科學(xué)理論，將對21世紀新科技產(chǎn)生巨大的作用．國外的一流學(xué)校在20世紀50年代末就開始設(shè)立信息論與編碼課程．目前國內(nèi)各高校的信息類專業(yè)研究生都已把信息論與編碼作為一門重要的專業(yè)基礎(chǔ)理論課．信息論對于不同學(xué)科的重要性通訊工程師說：當受信者對一個事件出現(xiàn)的先驗概率估計越小時，他獲得的信息量就越大；計算機科學(xué)家則說：微處理器時鐘頻率的大小，決定著它處理信息的速度高低；生物學(xué)家則高呼：脫氧核糖核酸上的信息是控制子代和親代相象的唯一源泉?！?/p>

不同學(xué)科的信息有著不同的內(nèi)涵，有著不同的研究目的主要參考文獻《信息理論與編碼》姜丹、錢玉美編著中國科技大學(xué)出版社（第一版，第二版，第三版）；《信息論—基礎(chǔ)理論與應(yīng)用》傅祖蕓編著電子工業(yè)出版社2001年版；《信息論與編碼方法》西南交通大學(xué)勒蕃教授著；《信息論與編碼》陳運、周亮、陳新編著電子工業(yè)出版社；《信息論與編碼》仇佩亮編著高等教育出版社；需具備的相關(guān)數(shù)學(xué)知識：概率與統(tǒng)計理論矩陣論需了解的相關(guān)專業(yè)方面知識：通信原理高等數(shù)學(xué)最優(yōu)化理論本課程的主要教學(xué)目標：信息論基本原理與應(yīng)用第一章、緒論第一節(jié)、信息論起源和發(fā)展第二節(jié)、信息的概念第三節(jié)、信息論的研究內(nèi)容和核心第一節(jié)、信息論的起源及發(fā)展1、起源

1924年，奈奎斯特（Nyquist）：信號帶寬和信息速率間的關(guān)系。

1928年，哈特利（Hartley）：通訊系統(tǒng)傳遞信息的能力，并給出了信息度量的方法。1948年，香農(nóng)（Shannon）：通訊中的數(shù)學(xué)理論。并由此創(chuàng)立了信息論學(xué)科，因此稱他為信息論的創(chuàng)始人。1956年，布里淵（Brillouin

）：《科學(xué)與信息論》，信息就是負熵。信息定義的概念1928年，哈特利在《BellSystemTechnicalJournal》上發(fā)表了一篇題為“信息傳輸”的論文。在這篇論文中，他把信息理解為選擇通信符號的方式，并用選擇的自由度來計量這種信息的大小。他認為，發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式。哈特利信息定義的局限性哈特利的這種理解能夠在一定程度上解釋通信工程中的一些信息問題，但是它也存在著一些嚴重時局限性：所定義的信息不涉及內(nèi)容和價值，只考慮選擇的方式，沒有考慮到信源的統(tǒng)計性質(zhì)；把信息理解為選擇的方式，就必須有一個選擇的主體作為限制條件。這些缺點使它的運用范圍受到很大的限制。美國數(shù)學(xué)家香農(nóng)在《BellSystemTechnicalJournal》發(fā)表了一篇題為“AMathematicalTheoryofCommunication”的長文（1948）。這篇論文以概率論為工具，深刻闡述了通信工程的一系列基本理論問題，給出了計算信源信息量和信道容量的方法和一般公式，得到了一組表征信息傳遞重要關(guān)系的編碼定理。香農(nóng)在進行信息的定量計算的時候明確地把信息量定義為隨機不定性程度的減少。這就表明了他對信息的理解：信息是用來減少隨機不確定性的東西。隨機不確定性是指由于隨機因素所造成的不能肯定的情形，在數(shù)值上可以用概率熵來計量。香農(nóng)簡介

1916-2001，信息論及數(shù)字通信時代的奠基人。美國科學(xué)院院士、工程院院士，英國皇家學(xué)會會員，美國哲學(xué)學(xué)會會員。

1936年獲得密西根大學(xué)數(shù)學(xué)與電氣工程學(xué)士學(xué)位。

1938年獲MIT（麻省理工學(xué)院）電氣工程碩士學(xué)位，《繼電器與開關(guān)電路的符號分析》。

1940年獲MIT數(shù)學(xué)博士學(xué)位，《理論遺傳學(xué)的代數(shù)論》。二戰(zhàn)期間：著名的密碼破譯者，在BELL實驗室，主要跟蹤德國的飛機和火箭。

1948年發(fā)表《通信中的數(shù)學(xué)理論》。1949年，另一著名論文《噪聲下的通信》根據(jù)這一思想，法裔美國科學(xué)家布里淵（Brillouin，1956）在他的名著《科學(xué)與信息論》中直接了當?shù)刂赋觯盒畔⒕褪秦撿?。并且他還創(chuàng)造了Negentropy這一詞來表示負熵的概念。美國數(shù)學(xué)家、控制論的主要奠基人維納在1950年出版的《控制論與社會》一書中對信息的理解是：“人通過感覺器官感知周圍世界”，“我們支配環(huán)境的命令就是給環(huán)境的一種信息”，因此，“信息就是我們在適應(yīng)外部世界，并把這種適應(yīng)反作用于外部世界的過程中，同外部世界進行交換的內(nèi)容的名稱”。“接收信息和使用信息的過程，就是我們適應(yīng)外界環(huán)境的偶然性的過程，也是我們在這個環(huán)境中有效地生活的過程”。維納信息定義的缺陷維納把人與外部環(huán)境交換信息的過程當作是一種廣義的通信的過程。這當然是沒有問題的；因為，廣義的通信本來就可以泛指人與人、機器與機器、機器與自然物、人與自然物之間的信息傳遞與交換。不過，這里所理解的信息仍然不夠確切。這是因為：人與環(huán)境之間互相交換的內(nèi)容中不僅有信息，也有物質(zhì)與能量，把它們統(tǒng)統(tǒng)起一個名字信息，豈不是把信息與物質(zhì)及能量混為一談。信息定義的總結(jié)信息是人與外界交互的內(nèi)容，是有序程度的度量和負熵，是用以減少不定性的東西，這些都是Wiener、Brillouin、Shannon等人的理解。這些認識比僅僅把信息看作消息或通信內(nèi)容要更深刻。在數(shù)學(xué)上很容易證明，Hartley的信息概念僅是Shannon信息概念的一種特殊情形?？偲饋碚f，在現(xiàn)有的各種理解中，Shannon的定義比較深刻，而且這種定義還導(dǎo)出了相應(yīng)的算法。香農(nóng)信息定義的概念信息是事物運動狀態(tài)或存在形式的不確定性的描述，所謂不確定性就是千變?nèi)f化、不規(guī)則、隨機性，用概率模型來描述并對其進行定量的計算。通信系統(tǒng)中接受消息的過程就是消除不確定性的過程。不確定的消除就獲得了信息。信息量與不確定性消除的程度有關(guān)。香農(nóng)信息定義的缺陷（1）Shannon《通信的數(shù)學(xué)理論》明確地指出：

通信的任務(wù)是在收端復(fù)制發(fā)端所發(fā)出的波形，至于它的內(nèi)容含義，因與通信工程無關(guān)，所以可以舍去。

可見Shannon理論中的不定性純粹是波形形式上的不定性，與此相應(yīng)的信息概念也是純粹的形式化的概念（稱為語法信息）。

這樣的信息概念排除了信息的含義因素，（即語義信息）和價值因素（即語用信息），不考慮收信者的主觀特性。因此，其適用范圍受到嚴重的限制。香農(nóng)信息定義的缺陷（2）只考慮了隨機型的不定性，不能解釋與其他型式的不定性（如模糊不定性）有關(guān)的信息問題。這種信息定義只從功能角度上來表述，還是沒有從根本上回答“信息是什么”的問題。Ⅰ．信源編碼與數(shù)據(jù)壓縮Ⅱ．信道編碼與差錯控制技術(shù)Ⅲ．多用戶信息論與網(wǎng)絡(luò)通信Ⅳ．多媒體與信息論Ⅴ．信息論與密碼學(xué)和數(shù)據(jù)安全Ⅵ．信息論與概率統(tǒng)計Ⅶ．信息論與經(jīng)濟學(xué)Ⅷ．信息論與計算復(fù)雜性Ⅸ．信息論與系統(tǒng)、控制、信號檢測和處理Ⅹ．量子信息論Ⅺ．Shannon的其它重要貢獻2、發(fā)展信息論主要幾個方面的進展2、發(fā)展⑴、信道編碼定理，1948，C.E.Shannon。⑵、發(fā)現(xiàn)Hamming碼，1950，H.W.Hamming。⑶、發(fā)現(xiàn)Golay碼，1954，M.J.E.Golay。⑷、發(fā)現(xiàn)Reed-Muller碼，1954，I.S.ReedandD.E.Muller。⑸、發(fā)現(xiàn)卷積碼，1955,P.Elias。⑹、線性碼、群碼的系統(tǒng)描述，1956，D.Slepian。⑺、發(fā)現(xiàn)循環(huán)碼，1957,E.Prange。⑻、卷積碼的序列譯碼算法，1957,J.M.Wozencraft;1964,R.M.Fano。⑼、發(fā)現(xiàn)BCH碼，1960,R.C.BoseandD.K.Ray-Chaudhuri,1959,A.Hocquenghem。⑽、發(fā)現(xiàn)Reed-Solomon碼，1960,I.S.ReedandG.Solomon。⑾、糾錯碼作為信息論的分支出現(xiàn)，第一本書Error-CorrectingCodes,W.W.Peterson,MITPress,1961。編碼技術(shù)的發(fā)展編碼技術(shù)的進展情況2、發(fā)展(12)Berlekamp-Massey譯碼算法─分組碼實用代數(shù)譯碼算法，1966,E.R.Berlecamp,1969,J.L.Massey。(13)發(fā)現(xiàn)級連碼，1966,G.D.Forney。(14)卷積碼的Viterbi譯碼算法，1967,A.J.Viterbi。(15)發(fā)現(xiàn)Goppa碼和代數(shù)幾何碼，1970,V.C.Goppa。1982,M.A.Tsfasman,S.G.Vladut,andTh.Zink(16)發(fā)現(xiàn)歐氏幾何碼，TCM,1976,G.Ungerboeck；BCM,1977,H.ImaiandS.Hirakawa。(17)發(fā)現(xiàn)格碼，1989，R.deBuda。格(lattice)碼可趨近頻帶受限高斯信道容量。Loeligerz在1992年已證明，這是Zp上的歐氏空間群碼。(18)發(fā)現(xiàn)Turbo碼，迭代自適應(yīng)譯碼算法，1993,C.BerrouandA.Glavieux.(19)LDPC碼，近來又重新被發(fā)現(xiàn)。信息論發(fā)展中的悲情人物諾貝爾經(jīng)濟學(xué)獲得者：

JOHNNASH于1951年發(fā)表《非合作博弈論》成就著名的“納什均衡”理論1958年（30歲）開始癡迷于信息編碼技術(shù)，出現(xiàn)精神失常。直到80年代末，方從癲瘋中蘇醒，繼續(xù)從事經(jīng)濟學(xué)博弈論研究，1994年獲得諾貝爾經(jīng)濟學(xué)獎

奧斯卡影片《美麗心靈》第二節(jié)、信息的概念消息(message)是信息的載體，相對具體的概念，如語言，文字，數(shù)字，圖像;信號(signal)表示消息的物理量，電信號的幅度，頻率，相位等等;信息(information)一個抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素;第二節(jié)、信息的概念狹義信息論（經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號濾波和預(yù)測，統(tǒng)計檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計算機翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)第三節(jié)、信息論的研究內(nèi)容和核心1、研究內(nèi)容：通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源通信系統(tǒng)的基本任務(wù)要求：可靠性、有效性?？煽?要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準確地、不失真或限定失真地再現(xiàn)在接收端。有效:用盡可能短的時間和盡可能少的設(shè)備來傳輸最大的消息通信系統(tǒng)模型進一步細分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器第三節(jié)、信息論的研究內(nèi)容和核心2、研究核心信息的測度、傳輸與處理課程作業(yè)1信息論的最新研究成果綜述要求：

（1）結(jié)合自己將來的研究方向（-2）；

（2）不容許拷貝文獻，必須綜合多篇文

獻，以自己的語言書寫完成（-5）；

（3）采用2009年以后的文獻（-1）；

（4）可以是全面的綜述（難），也可以

是個別成果。第一章單符號離散信源本章介紹信源的統(tǒng)計特性和數(shù)學(xué)模型各類信源的信息測度----熵及其性質(zhì)引入信息理論的一些基本概念和重要結(jié)論第一章的幾個推論通信系統(tǒng)模型：對信息論的學(xué)習可從信源開始消息是信息的載荷者。信息是抽象的，消息是具體的。要研究信息，還得從研究消息入手。由于信源發(fā)送什么消息預(yù)先是不可知的，只能用概率空間來描述信源1.1信源的數(shù)學(xué)模型及分類單符號信源：

輸出是單個符號（代碼）的消息離散信源連續(xù)信源平穩(wěn)隨機序列信源：

信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量

X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關(guān)----平穩(wěn)！離散平穩(wěn)信源連續(xù)平穩(wěn)信源平穩(wěn)隨機序列信源（續(xù)）：無記憶（獨立）離散平穩(wěn)信源有記憶信源m階馬爾可夫信源隨機波形信源實際某些信源的輸出常常是時間和取值都是連續(xù)的消息.例如語音信號,電視信號.這樣的信源成為隨機波形信源；離散信源(單符號)特點：輸出是單個符號（代碼）的消息，符號集的取值A(chǔ):{a1,a2,…,aq}是有限的或可數(shù)的，可用一維離散型隨機變量X來描述。例：投硬幣、書信、電報符號等等。數(shù)學(xué)模型：設(shè)每個信源符號ai出現(xiàn)的(先驗)概率p(ai)(i=1,2,…,q)

滿足：概率空間能表征離散信源的統(tǒng)計特性，因此也稱概率空間為信源空間。有記憶信源信源在不同時刻發(fā)出的符號之間是相互依賴的，即信源輸出的平穩(wěn)隨機序列X中，各隨機變量Xi之間相互依賴。需在N維隨機矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。

例：漢字組成的中文序列中，只有根據(jù)中文的語法、習慣用語、修辭制約和表達實際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認為是彼此不相關(guān)的。其他如英文，德文等自然語言都是如此m階馬爾可夫信源不同時刻發(fā)出的符號間的依賴關(guān)系記憶信源的記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源若上述條件概率與時間起點

i無關(guān)，信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊（平穩(wěn)）馬爾可夫信源1.2離散信源的信息熵其性質(zhì)

討論基本的離散信源(即輸出為單個符號的消息，且這些消息間兩兩互不相容)基本的離散信源可用一維隨機變量X來描述信源的輸出，信源的數(shù)學(xué)模型可抽象為:問題：這樣的信源能輸出多少信息?

每個消息的出現(xiàn)攜帶多少信息量?

（書P1的例子）信息的度量考慮：信息的度量（信息量）和不確定性消除的程度有關(guān)，消除的不確定性＝獲得的信息量；不確定性就是隨機性，可以用概率論和隨機過程來測度，概率?。?gt;不確定性大；推論：概率?。?gt;信息量大，即信息量是概率的單調(diào)遞減函數(shù)；信息量應(yīng)該具有可加性；信息量的計算公式為（香農(nóng)（自）信息量的度量）：一.自信息設(shè)離散信源X的概率空間為：I(ai)代表兩種含義：（1）當事件ai發(fā)生以前，表示事件ai發(fā)生的不確定性（2）當事件ai發(fā)生以后，表示事件ai所提供的信息量稱事件ai發(fā)生所含有的信息量為ai的自信息量。定義為：一點說明計算自信息量時要注意有關(guān)事件發(fā)生概率的計算；自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit,binaryunit）”；底為e，單位為“奈特（nat,natureunit）”；底為10，單位為“哈特（hat,Hartley）”；根據(jù)換底公式得：一般計算都采用以“2”為底的對數(shù)，為了書寫簡潔，常把底數(shù)“2”略去不寫1nat=1.44bit,1hat=3.32bit；例子[例]8個串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個燈泡已損壞，問每進行一次測量可獲得多少信息量？總共需要多少次測量才能獲知和確定哪個燈泡已損壞。解：收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)已知8個燈泡等概率損壞，所以先驗概率P(x1)＝1/8

，即第二次測量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測量獲得的信息量=

I[P(x3)]=1(bit)至少要獲得3個比特的信息量就可確切知道哪個燈泡已壞了。

第一次測量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過二次測量后，剩2個燈泡，等概率損壞，P(x3)＝1/2一次測量后，剩4個燈泡，等概率損壞，P(x2)＝1/4自信息的推導(dǎo)某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗概率的函數(shù)。即：

I(ai)

＝f[p(ai)]根據(jù)客觀事實和人們的習慣概念，函數(shù)f[p(ai)]應(yīng)滿足以下條件：（1）它應(yīng)是先驗概率p(ai)的單調(diào)遞減函數(shù)，即當

p

(a1)>p

(a2)

時，有f

[

p

(a1)]

<f

[

p

(a2)

]

；（2）當p

(ai)=1時，f

[

p

(ai)]=0

（3）當p

(ai)=0時，f

[

p

(ai)]=（4）兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。即統(tǒng)計獨立信源的信息量等于它們分別的信息量之和?？梢宰C明對數(shù)函數(shù)滿足上述條件：二.信息熵對一個信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個隨機變量，不能用它來作為整個信源的信息測度定義自信息的數(shù)學(xué)期望為平均自信息量Hr(X)，稱為信息熵：由于這個表達式和統(tǒng)計物理學(xué)中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；信息熵的單位由自信息量的單位決定，即取決于對數(shù)的底。H(X)的單位：r進制單位／符號（r>1）熵的計算例：

有一布袋內(nèi)放l00個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，那么其概率空間為：

如果被告知摸出的是紅球，那么獲得的信息量是：

I(a1)

＝－logp(a1)

＝－log0.8=0.32

（比特）如被告知摸出來的是白球，所獲得的信息量應(yīng)為：

I(a2)

＝

－logp(a2)

＝－log0.2

=2.32

（比特）平均摸取一次所能獲得的信息量為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號）熵的含義熵是從整個集合的統(tǒng)計特性來考慮的，它從平均意義上來表征信源的總體特征。在信源輸出后，信息熵H(X)表示每個消息提供的平均信息量；在信源輸出前，信息熵H(X)

表示信源的平均不確定性；信息熵H(X)表征了變量X的隨機性。例如，有兩信源X、Y，其概率空間分別計算其熵，得：H(X)=0.08（bit/符號）

H(Y)=1（bit/符號）H(Y)＞H(X)，因此信源Y比信源X的平均不確定性要大。

[例]

設(shè)甲地的天氣預(yù)報為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預(yù)報為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預(yù)報各自提供的平均信息量。若甲地天氣預(yù)報為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。兩個信源解：甲地天氣預(yù)報構(gòu)成的信源空間為:則其提供的平均信息量即信源的信息熵:乙地天氣預(yù)報的信源空間為:結(jié)論：甲地天氣預(yù)報提供的平均信息量大于乙地，因為乙地比甲地的平均不確定性小。甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各種天氣等概率分布乙地極端情況極端情況1：晴天概率＝1

結(jié)論：在極端情況2下，甲地比乙地提供更多的信息量。因為，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。極端情況2：各種天氣等概率分布二元信源信息熵與概率空間信息熵是信源概率空間的一種特殊矩函數(shù)。這個矩函數(shù)的大小，與信源的符號數(shù)及其概率分布有關(guān)。我們用概率矢量P來表示概率分布P(x)：三、信息熵的基本性質(zhì)這樣，信息熵H(X)是概率矢量P或它的分量p1，p2，…，pq的q-1元函數(shù)(因各分量滿足上述條件限制，所以獨立變量只有q-1元)。一般H(X)可寫成：熵函數(shù)H(P)是概率矢量P的函數(shù)，稱為熵函數(shù)。我們用下述表示方法：用H(x)

表示以離散隨機變量x描述的信源的信息熵；用H(P)

或H(p1,p2,…,pq

)表示概率矢量為

P=(p1,p2,…,pq

)的q個符號信源的信息熵。若當q=2時，因為p1+p2=1,所以將兩個符號的熵函數(shù)寫成H(p1)或H(p2)。熵函數(shù)H(P)是一種特殊函數(shù)，具有以下性質(zhì)。性質(zhì)：1、對稱性：H(P)的取值與分量p1,p2

,

···

,pq的順序無關(guān)。說明：

從數(shù)學(xué)角度：H(P)=pi·logpi中的和式滿足交換率；從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關(guān)。一個例子：2、確定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0性質(zhì)說明：從總體來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現(xiàn)，而其它符號則是幾乎不可能出現(xiàn)，那么，這個信源是一個確知信源，其熵等于零。

3、非負性：H(P)0說明：隨機變量X的概率分布滿足0＜pi＜1，當取對數(shù)的底大于1時，log(pi)

＜0，-pilog(pi)

＞0，即得到的熵為正值。只有當隨機變量是一確知量時熵才等于零。這種非負性合適于離散信源的熵，對連續(xù)信源來說這一性質(zhì)并不存在。以后可看到在相對熵的概念下，可能出現(xiàn)負值。

非負性體現(xiàn)信息是非負的。4、擴展性性質(zhì)說明：信源的取值數(shù)增多時，若這些取值對應(yīng)的概率很小(接近于零)，則信源的熵不變。所以，上式成立因為5、可加性

統(tǒng)計獨立信源X和Y的聯(lián)合信源的熵等于信源X和Y各自的熵之和。

H(XY)=H(X)+H(Y)

可加性是熵函數(shù)的一個重要特性，正因具有可加性，才使熵函數(shù)的形式是唯一的。證明：例如，甲信源為它們的聯(lián)合信源是可計算得聯(lián)合信源的聯(lián)合熵：H(Z)=H(XY)=log(nm)=logm+logn=H(X)+H(Y)乙信源為6、強可加性兩個互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。

H（XY）=H（X）+H（Y/X）H（Y/X）表示信源X

輸出一符號的條件下，信源Y再輸出一符號所能提供的平均信息量，稱為條件熵。H（XY）=H（X）+H（Y/X）的證明：H（XY）=H（X）+H（Y/X）7、遞增性

若原信源X中有一個符號分割成了m個元素(符號)，這m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則新信源的熵增加。熵的增加量等于由分割而產(chǎn)生的不確定性量。證明:遞增性的推廣它表示n個元素的信源熵可以遞推成(n-1)個二元信源的熵函數(shù)的加權(quán)和。這樣，可使多元信源的熵函數(shù)的計算簡化成計算若干個二元信源的熵函數(shù)。