《信息論基礎(chǔ)知識》PPT課件.ppt

,科學(xué)技術(shù)高度發(fā)展的今天，人們已普遍認(rèn)識到，科學(xué)技術(shù)發(fā)展的三大支柱(能源、材料、信息)之一信息科學(xué)，占有頭等重要地位。信息論是信息科學(xué)的理論基礎(chǔ)，是運(yùn)用數(shù)理統(tǒng)計(jì)方法研究信息的獲取、變換、傳輸與處理的新興學(xué)科，廣義信息論已廣泛地滲透于各種科學(xué)領(lǐng)域。在工程技術(shù)領(lǐng)域，測試是從客觀事物中提取有關(guān)信息的認(rèn)識過程，因此，測試技術(shù)屬于信息科學(xué)范疇。將信息論引入工程測試領(lǐng)域，對于促進(jìn)工程技術(shù)的發(fā)展，拓寬和深入理解工程技術(shù)的各種問題，具有十分重要的意義。,第三章信息論基礎(chǔ)知識,第三章信息論基礎(chǔ)知識,信息與信息技術(shù)信息論與廣義通信系統(tǒng)信息的定量描述連續(xù)信源及最大熵定理信息與熵的守恒定律思考題（作業(yè)）,3-1信息與信息技術(shù),一、信息的定義信息就是信息，不是物質(zhì)，也不是能量。信息是人和外界互相作用的過程中互相交換的內(nèi)容的名稱。（美國：維納）能夠用來消除不定性的東西。（美國：山農(nóng)）信息是事物之間的差異，而不是事物本身。（意大利：朗格）凡是能從過去的事件中提取出來用以指導(dǎo)未來的，便是信息。信息就是事物運(yùn)動(dòng)的狀態(tài)和方式。,3-1信息與信息技術(shù),二、信息的作用1、信息是一種資源正像物質(zhì)和能量是人類生存和發(fā)展所必須的資源一樣，信息也是一種不可缺少的資源。物質(zhì)提供各種各樣有用的材料；能源提供各種形式的動(dòng)力；而信息向人類所提供的則是無窮無盡的知識和智慧。2、物質(zhì)、能量、信息三者的關(guān)系現(xiàn)代科學(xué)認(rèn)為，物質(zhì)、能量、信息是物質(zhì)世界的三大支柱，是科學(xué)史上三個(gè)最重要的概念，而這三者之間存在著密切的聯(lián)系。物質(zhì)運(yùn)動(dòng)的動(dòng)力是能量，而信息是關(guān)于物質(zhì)運(yùn)動(dòng)狀態(tài)的特征，只要有運(yùn)動(dòng)的事物，就需要有能量，也就會(huì)存在信息。信息是普遍的，因此也可以說，信息描述了客觀事物變化的時(shí)空特性，即無時(shí)不有，無地不存。,3-1信息與信息技術(shù),3-1信息與信息技術(shù),3信息的基本性質(zhì)(1)可以識別：信息可以通過人的感官直接識別，也可以通過各種探測器間接識別。(2)可以轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換成另一種形態(tài)，如語言、文字、圖像、圖表等信號形式；也可以轉(zhuǎn)換成計(jì)算機(jī)代碼及廣播、電視等電信號，而電信號和代碼又可以轉(zhuǎn)換成語言、文字、圖像等。(3)可以存貯：人用腦神經(jīng)細(xì)胞存貯信息(稱作記憶)；計(jì)算機(jī)用內(nèi)存貯器和外存貯器存貯信息；錄音機(jī)、錄相機(jī)用磁帶等介質(zhì)存貯信息等。(4)可以傳輸：人與人之間的信息傳遞依靠語言、表情、動(dòng)作；社會(huì)信息的傳輸借助報(bào)紙、雜志、廣播；工程中的信息則可以借助機(jī)械、光、聲、電等傳輸。,3-1信息與信息技術(shù),三、信息科學(xué)1信息科學(xué)信息科學(xué)是研究信息現(xiàn)象及其規(guī)律的科學(xué)。包括：信息本身有關(guān)的規(guī)律；有關(guān)利用信息方面的規(guī)律。因此，也可以說，信息科學(xué)是關(guān)于如何認(rèn)識信息以及如何利用信息的科學(xué)。在認(rèn)識信息方面：建立信息問題的完整的數(shù)學(xué)描述方法和定量度量方法；探明信息是怎樣產(chǎn)生的，怎樣識別、提取、變換、傳遞、檢測、存貯、檢索、處理和分析信息，研究這些過程中的基本規(guī)律和關(guān)系。在利用信息方面：主要研究利用信息來進(jìn)行有效控制和組織最優(yōu)系統(tǒng)的一般原理和方法。認(rèn)識是基礎(chǔ)，是前提；而利用是結(jié)果，是目的。認(rèn)識和利用，兩者密切關(guān)聯(lián)，是一個(gè)統(tǒng)一的有機(jī)體。信息科學(xué)的主體結(jié)構(gòu)應(yīng)是信息論、控制論、系統(tǒng)論三者的結(jié)合，而人工智能則是三者的綜合利用。,3-1信息與信息技術(shù),2信息科學(xué)的目的和任務(wù)以擴(kuò)展人的信息功能作為主要的研究目標(biāo)，這是信息科學(xué)區(qū)別于其他現(xiàn)代的和傳統(tǒng)的科學(xué)的又一個(gè)根本特點(diǎn)。信息科學(xué)的目的和任務(wù)：在分析、探索和掌握人的信息器官功能的機(jī)制基礎(chǔ)上，運(yùn)用信息科學(xué)提供的原理和方法以及各種技術(shù)(包括機(jī)械、電子、激光、生物等)，綜合出新的人工系統(tǒng)，來延長、增強(qiáng)、補(bǔ)充和擴(kuò)展人的信息器官的功能。,3-1信息與信息技術(shù),四、信息技術(shù)1信息技術(shù)凡是可以擴(kuò)展人的信息功能的技術(shù)，都是信息技術(shù)。信息技術(shù)的主體內(nèi)容包括傳感技術(shù)、通信技術(shù)和計(jì)算機(jī)技術(shù)。傳感技術(shù)：主要包括信息的識別、檢測、提取、變換以及某些信息處理技術(shù)，它是人的感官功能的擴(kuò)展和延伸。通信技術(shù)：包含信息的變換、傳遞存貯、處理以及某些控制與調(diào)節(jié)技術(shù)，它是人的信息傳輸系統(tǒng)(神經(jīng)系統(tǒng))功能的擴(kuò)展和延長。計(jì)算機(jī)技術(shù)：主要包括信息的存貯、檢索、處理、分析、產(chǎn)生(決策或稱指令信息)、以及控制等，它是人的信息處理器官(大腦)功能的延長。,3-1信息與信息技術(shù),2、信息技術(shù)與新技術(shù)革命信息技術(shù)、新材料技術(shù)和新能源技術(shù)構(gòu)成了科學(xué)技術(shù)和諧的鼎足結(jié)構(gòu)。微電子技術(shù)是由新材料和信息技術(shù)派生出來的一門新技術(shù)激光技術(shù)是新能源和信息技術(shù)派生出來的新技術(shù)生物、海洋和空間技術(shù)是新材料、新能源和信息技術(shù)派生出來的三門新技術(shù)光導(dǎo)纖維通信和計(jì)算機(jī)技術(shù)是信息技術(shù)的分支。,3-1信息與信息技術(shù),3、信息技術(shù)與傳統(tǒng)技術(shù)信息技術(shù)在當(dāng)代整個(gè)技術(shù)體系中，擔(dān)負(fù)著對傳統(tǒng)技術(shù)進(jìn)行補(bǔ)充、改造和更新的使命。信息技術(shù)在改造傳統(tǒng)工業(yè)方面大有可為，其中最主要的貢獻(xiàn)是實(shí)現(xiàn)工業(yè)生產(chǎn)過程的自動(dòng)化。,3-2信息論與廣義通信系統(tǒng),一、信息論的基本概念信息論源于通信工程，其發(fā)展背景源于通訊系統(tǒng)中的：(1)信息傳輸?shù)男剩?2)信息傳輸?shù)臏?zhǔn)確性；(3)噪聲干擾；(4)信道頻率特性等。實(shí)際上信息論范疇更廣，而通信理論只是信息論中與通信有關(guān)的一部分。通常，對于信息論有三種理解：狹義信息論，主要研究信息的測度、信道容量以及信源和信道編碼理論等，這一部分即山農(nóng)信息基本理論；一般信息論，也主要是研究通信問題，但包括噪聲理論，信號濾波與預(yù)測，信號調(diào)制與信號處理等。這一部分理論的代表人是維納和蘇聯(lián)科學(xué)家卡爾莫格洛夫；,3-2信息論與廣義通信系統(tǒng),廣義信息論，不僅包括上述內(nèi)容，而且包括與信息有關(guān)的領(lǐng)域，如心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問題。將信息論應(yīng)用于工程測試領(lǐng)域，始于60年代，從信息論觀點(diǎn)出發(fā)，認(rèn)識測試技術(shù)領(lǐng)域中的一些問題。如：測試系統(tǒng)實(shí)質(zhì)上就是一個(gè)廣義通信系統(tǒng)；傳感器是一個(gè)信息檢測與轉(zhuǎn)換裝置，引入熵的概念，作為被觀測系統(tǒng)不確定性的尺度；基于最大熵定理的最大熵譜分析方法；運(yùn)用山農(nóng)信道容量理論分析測試系統(tǒng)的最佳信息傳輸條件；運(yùn)用維納濾波理論研究剔除噪聲、提取源信號的方法；,3-2信息論與廣義通信系統(tǒng),二、廣義通信系統(tǒng)指所有信息流通的系統(tǒng)。可概括為如圖所示的模型。,3-2信息論與廣義通信系統(tǒng),3-2信息論與廣義通信系統(tǒng),工程測試系統(tǒng)是一個(gè)廣義的通信系統(tǒng)，它符合信息轉(zhuǎn)換、傳輸與分析處理的共同規(guī)律。因此，運(yùn)用廣義信息論去認(rèn)識、分析工程測試領(lǐng)域中的問題，是符合這一客觀規(guī)律的。,3-3信息的定量描述,一、概述自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象，即使認(rèn)為能作直觀理解，也是懸而未決的，尚未上升到學(xué)術(shù)水平。出于要從理論上研究信息，就必須對信息大小作定量描述。山農(nóng)信息理論的貢獻(xiàn)就在于：運(yùn)用概率論與數(shù)理統(tǒng)計(jì)學(xué)方法，對信息給予了數(shù)學(xué)描述。從而使信息論作為一門科學(xué)建立起來。因此，信息論被認(rèn)為是第二次世界大戰(zhàn)以后的一門新興科學(xué)。二、信源信源一般是以符號(或信號)的形式發(fā)出信息。信源的內(nèi)部結(jié)構(gòu)往往很復(fù)雜，例如，人發(fā)出信息，是通過大腦的思維活動(dòng)，指揮口腔或手以語言或文字的形式表達(dá)出來的，這是相當(dāng)復(fù)雜的過程，因此，一般只研究它的輸出，即語言或文字等。語言文字是一種表達(dá)信息的符號，是物理性的。語言是聲信號，而文字是光信號。同一件事情，可用不同語言表達(dá)，也就是同一信息可用不同的編碼方式轉(zhuǎn)換成符號。,3-3信息的定量描述,對于工程物理系統(tǒng)，信源就是所研究的客觀事物，或稱為物理過程。例如，雷達(dá)遙測系統(tǒng)，被搜尋物在空間的坐標(biāo)、速度、形狀等構(gòu)成了信源，當(dāng)電磁波射向它，反射波中就攜帶著這些信息，故而反射波就是經(jīng)過編碼的符號(或信號)。信源的輸出是隨機(jī)的，因?yàn)?，如果事先已?jīng)知道信源的輸出，那么就無信息可言。正如所研究的物理過程，它應(yīng)是未知的，這時(shí)才有研究的價(jià)值，信源的輸出常用隨機(jī)變量或隨機(jī)矢量來描述，或者說用概率空間來描述信源，從隨機(jī)變量出發(fā)來研究信息量是山農(nóng)信息理論的基本假設(shè)。從概率論可知，隨機(jī)變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相當(dāng)?shù)男旁捶Q為離散信源及連續(xù)信源。,3-3信息的定量描述,三、離散信源模型,離散信源的數(shù)學(xué)模型是離散型概率空間，即：,集合中的元素x1，x2，描述了信源輸出的可能狀態(tài)；各元素的概率P(x1)，P(x2)，描述了各個(gè)狀態(tài)出現(xiàn)的可能性；狀態(tài)的出現(xiàn)往往是不相容的。,3-3信息的定量描述,例如，擲硬幣，在末拋下之前，可認(rèn)為是一個(gè)未知的物理系統(tǒng)，拋下之后，必須是正、反兩種狀態(tài)之一，其信源模型為：,其中P(x1)=P(x2)=0.5表明該系統(tǒng)是等概率事件。此可稱之為先驗(yàn)概率，與人們對該事物的認(rèn)識有關(guān)，是根據(jù)歷史或知識的積累而分析判斷的。,用超聲波發(fā)生器檢測物體內(nèi)部有無裂紋，超聲波穿透試件后，攜帶著有無裂紋的信息，經(jīng)過對接收的信號進(jìn)行處理之后，用圖像或數(shù)據(jù)顯示出來。試件內(nèi)部狀態(tài)構(gòu)成一個(gè)信息源，在未檢測之前是不清楚的，這是一個(gè)典型的是、非信源，其信源模型為：,3-3信息的定量描述,四、自信息如果信源中某一狀態(tài)發(fā)生的先驗(yàn)概率很小，那么，一旦它發(fā)生，人們獲得的信息量就多，這應(yīng)是很自然的。例如，一臺(tái)機(jī)器，具有正常工作和發(fā)生事故兩種可能狀態(tài)，如果正常工作的概率為P(x1)0.99；發(fā)生故障的概率P(x2)0.Ol，則可認(rèn)為這臺(tái)機(jī)器一般處于正常工作狀態(tài)。但是，一旦發(fā)生故障，則是一件引人注目的事件。事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)。事件發(fā)生的概率越小，人們猜測它有沒有發(fā)生的因難程度就越大。而事件發(fā)生的概率越大，人們猜測這件事發(fā)生的成功率就越大，不確定性就越小。對于發(fā)生概率為l的必然事件，就不存在不確定性。因此，某事件發(fā)生所含有的信息量，應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)，即：,式中，P(xi)是事件xi發(fā)生的先驗(yàn)概率，I(xi)表示事件xi發(fā)生所含有的信息量。,3-3信息的定量描述,根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)I(xi)應(yīng)滿足以下條件:,(1)I(xi)是先驗(yàn)概率P(xi)的單調(diào)遞減函數(shù)，P(xi)越大，I(xi)越小；(2)當(dāng)P(xi)1時(shí)，I(xi)0，必然事件信息量為零；(3)當(dāng)P(xi)=O時(shí)，I(xi)，不可能發(fā)生的事件發(fā)生了，其信息量為無窮大；(4)兩個(gè)獨(dú)立事件的聯(lián)合信息量，等于它們各自信息量之和。,顯然，滿足條件(1)、(2)、(3)時(shí)，應(yīng)取信息量I(xi)為先驗(yàn)概率P(xi)的倒數(shù)；滿足條件(4)時(shí)，最好的方法是用對數(shù)來定義信息量。,事件xi發(fā)生時(shí)，該事件所含有的信息量。,3-3信息的定量描述,因?yàn)镮(xi)描述的是事件xi發(fā)生時(shí)的信息量，故又稱為自信息。I(xi)代表兩種含義：(1)當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；(2)當(dāng)事件xi發(fā)生以后，表示事件xi所含有(或所提供)的信息量。,自信息采用的測度單位取決于所取對數(shù)之底:如果以2為底，則所得信息量單位為比特(bit，binaryunit)；以e為底，則為奈特(nat，natureunit的縮寫)；以10為底，則為哈特(Hart，hartley的縮寫)等。一般都采用以2為底的對數(shù)，因?yàn)楫?dāng)P(xi)12時(shí)，I(xi)1比特，所以，1bit信息量就是兩個(gè)互不相容的等可能事件之一發(fā)生時(shí)，所提供的信息。,3-3信息的定量描述,五、信息熵自信息I(xi)是指信源(物理系統(tǒng))某一事件xi發(fā)生時(shí)所包含的信息量，物理系統(tǒng)內(nèi)不同事件發(fā)生時(shí)，其信息量不同，所以自信息I(xi)是一個(gè)隨機(jī)變量，它不能用來作為整個(gè)系統(tǒng)的信息的量度。山農(nóng)定義自信息的數(shù)學(xué)期望為信息熵，即信源的平均信息量。,熵的單位是bit事件或bit符號。,信息熵表征了信源整體的統(tǒng)計(jì)特性，是總體的平均不確定性的量度。對某一特定的信源，其信息熵只有一個(gè)；不同的信源，因統(tǒng)計(jì)特性不同，其熵也不同。,3-3信息的定量描述,例如，兩個(gè)信源，其概率空間分別為：,它們的信息熵為：H(X)-0.99log0.99-0.01log0.01=0.08bit/事件H(Y)=0.5log0.5-0.5log0.5=1bit/事件,H(Y)H(X)，說明信源Y比信源X的平均不確定性要大，即在事件發(fā)生之前，分析信源Y，由于事件y1、y2是等概率的，難以猜測哪一個(gè)事件會(huì)發(fā)生；而信源X，雖然也存在不確定性，但大致可以知道，x1出現(xiàn)的可能性要大。,3-3信息的定量描述,六、信息熵的基本性質(zhì)1.對稱性,當(dāng)概率空間中P(x1)，P(x1)順序任意互換時(shí)、熵函數(shù)的值不變。例如下面兩個(gè)信源空間：,其信息熵H(X)=H(y)。該性質(zhì)說明，熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，與信源總體的統(tǒng)計(jì)特性有關(guān)。此點(diǎn)也說明了所定義的熵有其局限性，它不能描述事件本身的主觀意義。,3-3信息的定量描述,2.確定性,如果信源的輸出只有一個(gè)狀態(tài)是必然的，即P(x1)=1，P(x2)=P(x3)=0，則信源的熵為：,這個(gè)性質(zhì)表明，信源的輸出雖有多種不同形態(tài)，但其中一種是必然的，這意味著其他狀態(tài)不可能出現(xiàn)。那么，這個(gè)信源是一個(gè)確知信源，其熵為零。,3.非負(fù)性,即H(X)=0。因?yàn)殡S機(jī)變量X的所有取值的概率分布為0P(xi)1，當(dāng)取對數(shù)的底大于1時(shí)，logP(xi)0，而-P(xi)logP(xi)0，則得到的熵是正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵才等于零。這種非負(fù)性對于離散信源的熵是合適的，但對連續(xù)信源的熵來說，這一性質(zhì)并不存在。,3-3信息的定量描述,4.可加性,即統(tǒng)計(jì)獨(dú)立信源X和Y的聯(lián)合信源的熵等于它們各自的熵之和。如果有兩個(gè)隨機(jī)變量X和Y，它們彼此是統(tǒng)計(jì)獨(dú)立的，即X的概率分布為P(x1)，P(x2)，P(xN)，而Y的概率分布為P(y1)，P(y2)，P(yN)，則聯(lián)合信源的熵為：,可加性是熵函數(shù)的一個(gè)重要特性，正因?yàn)橛锌杉有裕钥梢宰C明熵函數(shù)的形式是唯一的。,3-3信息的定量描述,5.極值性,信源各個(gè)狀態(tài)為等概率分布時(shí)，熵值最大，并且等于信源輸出狀態(tài)數(shù)。P(x1)=P(x2)=P(xN)=1/N時(shí)：,信源有兩種狀態(tài)時(shí)，其概率空間為：,其H(X)-P(xi)關(guān)系如圖所示。當(dāng)P(xi)=1/2時(shí)，熵有最大值。,以上分析表明，對于具有N個(gè)狀態(tài)的離散信源，只有在信源N個(gè)狀態(tài)等概率出現(xiàn)的情況下，信源熵才能達(dá)到最大值。這也表明，等概率分布信源的平均不確定性最大，這是一個(gè)很重要的結(jié)論，稱為最大離散熵定理。圖3-12還進(jìn)一步說明，如果二進(jìn)制信源輸出是確定的，即P(x1)=1，則H(X)=0，此時(shí)表明該信源不提供任何信息；反之，當(dāng)信源輸出為等概率發(fā)生時(shí)，信源的熵達(dá)到最大值，等于1bit信息量,3-3信息的定量描述,七、信息熵與熱力學(xué)熵以上把信源的平均信息量定義為熵。熵這個(gè)字來源于統(tǒng)計(jì)熱力學(xué)，熵字的中文意義是熱量被溫度除所得的商，相同熱量，溫度高則熵小，溫度低則熵大；熵的外文原名是希臘字母拼成的，原意是“轉(zhuǎn)變”的意思，指熱量可以轉(zhuǎn)變?yōu)楣Φ某潭?。熵小則轉(zhuǎn)變程度高，熵大則轉(zhuǎn)變程度低。在通訊系統(tǒng)中，信源的信息熵的定義和熱力學(xué)熵的定義在表達(dá)形式上是相似的，在物理概念上也有一定聯(lián)系。廣義地講，熱力學(xué)的熵是物理系統(tǒng)無序狀態(tài)的描述，是紊亂程度的測度。一個(gè)物理系統(tǒng)的熵，可以用系統(tǒng)的微觀狀態(tài)數(shù)的對數(shù)來描述。信息熵也可以認(rèn)為是信源紊亂程度的測度，亦可以用來表征物理系統(tǒng)運(yùn)動(dòng)狀態(tài)的不確定性，通過通信收到消息后，消除了這種不確定性，就獲得信息，信息熵也是動(dòng)態(tài)的，如當(dāng)消息通過系統(tǒng)傳輸?shù)绞招耪吆?，信源的熵要改變。在信息論中，信息熵只?huì)減少，不可能增加，這就是信息熵不增原理。,3-4連續(xù)信源及最大熵定理,一、連續(xù)信源實(shí)際中，一些信源的輸出常常是時(shí)間和取值都是連續(xù)的信息，即可能出現(xiàn)的狀態(tài)數(shù)是不可數(shù)的無限值。例如語音信號x(t)，電視信號x(xo，yo，t)等，都是時(shí)間的連續(xù)函數(shù)。而且任一時(shí)刻，它們的取值也是連續(xù)的，這時(shí)可用連續(xù)隨機(jī)變量來描述這些狀態(tài)，這種信源稱為連續(xù)信源。,連續(xù)信源的數(shù)學(xué)模型為連續(xù)型的概率空間，即：,并滿足,其中，R或(a,b)表示數(shù)集區(qū)間，p(x)是隨機(jī)變量x的概率密度函數(shù)。,3-4連續(xù)信源及最大熵定理,連續(xù)信源的信息測度可以用離散信源的信息測度來逼近。假定隨機(jī)變量X的概率密度函數(shù)如圖所示，將取值區(qū)間(a，b)分成n個(gè)小區(qū)間，任一小區(qū)間的概率為：,這時(shí)離散信源的熵：,當(dāng)x0，n時(shí)，若極限存在，即得到連續(xù)信源的熵：,3-4連續(xù)信源及最大熵定理,一般情況下，上式的第一項(xiàng)是定值，而當(dāng)x0時(shí)，第二項(xiàng)趨于無限大。所以避開第二項(xiàng)，定義連續(xù)信源的熵為：,二、最大熵定理熵h(x)是概率密度函數(shù)p(x)的函數(shù)，在信息處理過程中，常常希望求得最大熵，即找出p(x)是什么樣的函數(shù)時(shí)能使連續(xù)信源的熵具有最大值。在離散信源中，已經(jīng)證明，當(dāng)信源的輸出狀態(tài)是等概率分布時(shí)，信源的熵取最大值。在連續(xù)信源中，情況有所不同，當(dāng)各約束條件不同時(shí)，信源的最大相對熵值不同，有兩種情況。,3-4連續(xù)信源及最大熵定理,峰值功率受限條件下信源的最大熵當(dāng)信源輸出信號的峰值功率受限，即信號的取值區(qū)間被限定在某一范圍(a,b)之內(nèi)時(shí)，則在限定的范圍內(nèi)，當(dāng)輸出信號的概率密度是均勻分布時(shí)，信源具有最大相對熵。,此式表明，熵是幅值區(qū)間(a，b)的函數(shù)，即在峰值功率受限條件下，幅值區(qū)間越大，則熵值越大。這也說明，信號的波動(dòng)范圍越寬，則系統(tǒng)的不定性程度越大。,3-4連續(xù)信源及最大熵定理,平均功率受限條件下信源的最大熵若一個(gè)信源輸出信號的平均功率有限，則其輸出信號幅度的概率密度分布是高斯分布時(shí)，信源有最大熵。一維隨機(jī)變量X的概率密度分布為：,這個(gè)連續(xù)信源的熵：,可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與其方差2有關(guān)。當(dāng)m=0時(shí)，X的方差就等于信源輸出的平均功率。,3-4連續(xù)信源及最大熵定理,這一結(jié)論說明，當(dāng)連續(xù)信源輸出信號的平均功率受限時(shí)，只有信號的統(tǒng)計(jì)特性與高斯噪聲的統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最大的熵值。從物理意義上解釋這是合理的，因?yàn)樵肼暿且粋€(gè)最不確定的隨機(jī)過程，而最大的信息量只能從最不確定的事件中獲得。為什么在平均功率受限條件下正態(tài)分布信源的熵最大，亦可作如下解釋。當(dāng)限制平方平均值時(shí)，由于大的幅值x平方后變得更大，因此出現(xiàn)的次數(shù)不可能太多，所以x值愈增大，出現(xiàn)的概率就愈小，