信息論基礎(chǔ)知識

信息論基礎(chǔ)知識第一頁，共三十九頁，2022年，8月28日第三章信息論基礎(chǔ)知識信息與信息技術(shù)信息論與廣義通信系統(tǒng)信息的定量描述連續(xù)信源及最大熵定理信息與熵的守恒定律思考題（作業(yè)）第二頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)一、信息的定義信息就是信息，不是物質(zhì)，也不是能量。信息是人和外界互相作用的過程中互相交換的內(nèi)容的名稱。（美國：維納）能夠用來消除不定性的東西。（美國：山農(nóng)）信息是事物之間的差異，而不是事物本身。

（意大利：朗格）凡是能從過去的事件中提取出來用以指導(dǎo)未來的，便是信息。信息就是事物運動的狀態(tài)和方式。第三頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)二、信息的作用1、信息是一種資源正像物質(zhì)和能量是人類生存和發(fā)展所必須的資源一樣，信息也是一種不可缺少的資源。物質(zhì)提供各種各樣有用的材料；能源提供各種形式的動力；而信息向人類所提供的則是無窮無盡的知識和智慧。2、物質(zhì)、能量、信息三者的關(guān)系現(xiàn)代科學(xué)認為，物質(zhì)、能量、信息是物質(zhì)世界的三大支柱，是科學(xué)史上三個最重要的概念，而這三者之間存在著密切的聯(lián)系。物質(zhì)運動的動力是能量，而信息是關(guān)于物質(zhì)運動狀態(tài)的特征，只要有運動的事物，就需要有能量，也就會存在信息。信息是普遍的，因此也可以說，信息描述了客觀事物變化的時空特性，即無時不有，無地不存。第四頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)第五頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)3．信息的基本性質(zhì)(1)可以識別：信息可以通過人的感官直接識別，也可以通過各種探測器間接識別。(2)可以轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換成另一種形態(tài)，如語言、文字、圖像、圖表等信號形式；也可以轉(zhuǎn)換成計算機代碼及廣播、電視等電信號，而電信號和代碼又可以轉(zhuǎn)換成語言、文字、圖像等。(3)可以存貯：人用腦神經(jīng)細胞存貯信息(稱作記憶)；計算機用內(nèi)存貯器和外存貯器存貯信息；錄音機、錄相機用磁帶等介質(zhì)存貯信息等。(4)可以傳輸：人與人之間的信息傳遞依靠語言、表情、動作；社會信息的傳輸借助報紙、雜志、廣播；工程中的信息則可以借助機械、光、聲、電等傳輸。第六頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)三、信息科學(xué)1．信息科學(xué)信息科學(xué)是研究信息現(xiàn)象及其規(guī)律的科學(xué)。包括：信息本身有關(guān)的規(guī)律；有關(guān)利用信息方面的規(guī)律。因此，也可以說，信息科學(xué)是關(guān)于如何認識信息以及如何利用信息的科學(xué)。在認識信息方面：建立信息問題的完整的數(shù)學(xué)描述方法和定量度量方法；探明信息是怎樣產(chǎn)生的，怎樣識別、提取、變換、傳遞、檢測、存貯、檢索、處理和分析信息，研究這些過程中的基本規(guī)律和關(guān)系。在利用信息方面：主要研究利用信息來進行有效控制和組織最優(yōu)系統(tǒng)的一般原理和方法。認識是基礎(chǔ)，是前提；而利用是結(jié)果，是目的。認識和利用，兩者密切關(guān)聯(lián)，是一個統(tǒng)一的有機體。信息科學(xué)的主體結(jié)構(gòu)應(yīng)是信息論、控制論、系統(tǒng)論三者的結(jié)合，而人工智能則是三者的綜合利用。第七頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)2．信息科學(xué)的目的和任務(wù)以擴展人的信息功能作為主要的研究目標，這是信息科學(xué)區(qū)別于其他現(xiàn)代的和傳統(tǒng)的科學(xué)的又一個根本特點。信息科學(xué)的目的和任務(wù)：在分析、探索和掌握人的信息器官功能的機制基礎(chǔ)上，運用信息科學(xué)提供的原理和方法以及各種技術(shù)(包括機械、電子、激光、生物等)，綜合出新的人工系統(tǒng)，來延長、增強、補充和擴展人的信息器官的功能。第八頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)四、信息技術(shù)1．信息技術(shù)——凡是可以擴展人的信息功能的技術(shù)，都是信息技術(shù)。信息技術(shù)的主體內(nèi)容包括傳感技術(shù)、通信技術(shù)和計算機技術(shù)。傳感技術(shù)：主要包括信息的識別、檢測、提取、變換以及某些信息處理技術(shù)，它是人的感官功能的擴展和延伸。通信技術(shù)：包含信息的變換、傳遞存貯、處理以及某些控制與調(diào)節(jié)技術(shù)，它是人的信息傳輸系統(tǒng)(神經(jīng)系統(tǒng))功能的擴展和延長。計算機技術(shù)：主要包括信息的存貯、檢索、處理、分析、產(chǎn)生(決策或稱指令信息)、以及控制等，它是人的信息處理器官(大腦)功能的延長。第九頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)2、信息技術(shù)與新技術(shù)革命——信息技術(shù)、新材料技術(shù)和新能源技術(shù)構(gòu)成了科學(xué)技術(shù)和諧的鼎足結(jié)構(gòu)。微電子技術(shù)是由新材料和信息技術(shù)派生出來的一門新技術(shù)激光技術(shù)是新能源和信息技術(shù)派生出來的新技術(shù)生物、海洋和空間技術(shù)是新材料、新能源和信息技術(shù)派生出來的三門新技術(shù)光導(dǎo)纖維通信和計算機技術(shù)是信息技術(shù)的分支。第十頁，共三十九頁，2022年，8月28日§3-1信息與信息技術(shù)3、信息技術(shù)與傳統(tǒng)技術(shù)——信息技術(shù)在當代整個技術(shù)體系中，擔(dān)負著對傳統(tǒng)技術(shù)進行補充、改造和更新的使命。信息技術(shù)在改造傳統(tǒng)工業(yè)方面大有可為，其中最主要的貢獻是實現(xiàn)工業(yè)生產(chǎn)過程的自動化。第十一頁，共三十九頁，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)一、信息論的基本概念信息論源于通信工程，其發(fā)展背景源于通訊系統(tǒng)中的：(1)信息傳輸?shù)男剩?2)信息傳輸?shù)臏蚀_性；(3)噪聲干擾；(4)信道頻率特性等。實際上信息論范疇更廣，而通信理論只是信息論中與通信有關(guān)的一部分。通常，對于信息論有三種理解：狹義信息論，主要研究信息的測度、信道容量以及信源和信道編碼理論等，這一部分即山農(nóng)信息基本理論；一般信息論，也主要是研究通信問題，但包括噪聲理論，信號濾波與預(yù)測，信號調(diào)制與信號處理等。這一部分理論的代表人是維納和蘇聯(lián)科學(xué)家卡爾莫格洛夫；第十二頁，共三十九頁，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)廣義信息論，不僅包括上述內(nèi)容，而且包括與信息有關(guān)的領(lǐng)域，如心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)甚至包括社會學(xué)中有關(guān)信息的問題。將信息論應(yīng)用于工程測試領(lǐng)域，始于60年代，從信息論觀點出發(fā)，認識測試技術(shù)領(lǐng)域中的一些問題。如：測試系統(tǒng)實質(zhì)上就是一個廣義通信系統(tǒng)；傳感器是一個信息檢測與轉(zhuǎn)換裝置，引入熵的概念，作為被觀測系統(tǒng)不確定性的尺度；基于最大熵定理的最大熵譜分析方法；運用山農(nóng)信道容量理論分析測試系統(tǒng)的最佳信息傳輸條件；運用維納濾波理論研究剔除噪聲、提取源信號的方法；……第十三頁，共三十九頁，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)二、廣義通信系統(tǒng)——指所有信息流通的系統(tǒng)。可概括為如圖所示的模型。第十四頁，共三十九頁，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)第十五頁，共三十九頁，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)工程測試系統(tǒng)是一個廣義的通信系統(tǒng)，它符合信息轉(zhuǎn)換、傳輸與分析處理的共同規(guī)律。因此，運用廣義信息論去認識、分析工程測試領(lǐng)域中的問題，是符合這一客觀規(guī)律的。第十六頁，共三十九頁，2022年，8月28日§3-3信息的定量描述一、概述自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象，即使認為能作直觀理解，也是懸而未決的，尚未上升到學(xué)術(shù)水平。出于要從理論上研究信息，就必須對信息大小作定量描述。山農(nóng)信息理論的貢獻就在于：運用概率論與數(shù)理統(tǒng)計學(xué)方法，對信息給予了數(shù)學(xué)描述。從而使信息論作為一門科學(xué)建立起來。因此，信息論被認為是第二次世界大戰(zhàn)以后的一門新興科學(xué)。二、信源信源一般是以符號(或信號)的形式發(fā)出信息。信源的內(nèi)部結(jié)構(gòu)往往很復(fù)雜，例如，人發(fā)出信息，是通過大腦的思維活動，指揮口腔或手以語言或文字的形式表達出來的，這是相當復(fù)雜的過程，因此，一般只研究它的輸出，即語言或文字等。語言文字是一種表達信息的符號，是物理性的。語言是聲信號，而文字是光信號。同一件事情，可用不同語言表達，也就是同一信息可用不同的編碼方式轉(zhuǎn)換成符號。第十七頁，共三十九頁，2022年，8月28日§3-3信息的定量描述對于工程物理系統(tǒng)，信源就是所研究的客觀事物，或稱為物理過程。例如，雷達遙測系統(tǒng)，被搜尋物在空間的坐標、速度、形狀等構(gòu)成了信源，當電磁波射向它，反射波中就攜帶著這些信息，故而反射波就是經(jīng)過編碼的符號(或信號)。信源的輸出是隨機的，因為，如果事先已經(jīng)知道信源的輸出，那么就無信息可言。正如所研究的物理過程，它應(yīng)是未知的，這時才有研究的價值，信源的輸出常用隨機變量或隨機矢量來描述，或者說用概率空間來描述信源，從隨機變量出發(fā)來研究信息量是山農(nóng)信息理論的基本假設(shè)。從概率論可知，隨機變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相當?shù)男旁捶Q為離散信源及連續(xù)信源。第十八頁，共三十九頁，2022年，8月28日§3-3信息的定量描述三、離散信源模型離散信源的數(shù)學(xué)模型是離散型概率空間，即：集合中的元素x1，x2，…描述了信源輸出的可能狀態(tài)；各元素的概率P(x1)，P(x2)，…描述了各個狀態(tài)出現(xiàn)的可能性；狀態(tài)的出現(xiàn)往往是不相容的。第十九頁，共三十九頁，2022年，8月28日§3-3信息的定量描述例如，擲硬幣，在末拋下之前，可認為是一個未知的物理系統(tǒng)，拋下之后，必須是正、反兩種狀態(tài)之一，其信源模型為：其中P(x1)=P(x2)=0.5表明該系統(tǒng)是等概率事件。此可稱之為先驗概率，與人們對該事物的認識有關(guān)，是根據(jù)歷史或知識的積累而分析判斷的。用超聲波發(fā)生器檢測物體內(nèi)部有無裂紋，超聲波穿透試件后，攜帶著有無裂紋的信息，經(jīng)過對接收的信號進行處理之后，用圖像或數(shù)據(jù)顯示出來。試件內(nèi)部狀態(tài)構(gòu)成一個信息源，在未檢測之前是不清楚的，這是一個典型的是、非信源，其信源模型為：第二十頁，共三十九頁，2022年，8月28日§3-3信息的定量描述四、自信息如果信源中某一狀態(tài)發(fā)生的先驗概率很小，那么，一旦它發(fā)生，人們獲得的信息量就多，這應(yīng)是很自然的。例如，一臺機器，具有正常工作和發(fā)生事故兩種可能狀態(tài)，如果正常工作的概率為P(x1)＝0.99；發(fā)生故障的概率P(x2)＝0.Ol，則可認為這臺機器一般處于正常工作狀態(tài)。但是，一旦發(fā)生故障，則是一件引人注目的事件。事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)。事件發(fā)生的概率越小，人們猜測它有沒有發(fā)生的因難程度就越大。而事件發(fā)生的概率越大，人們猜測這件事發(fā)生的成功率就越大，不確定性就越小。對于發(fā)生概率為l的必然事件，就不存在不確定性。因此，某事件發(fā)生所含有的信息量，應(yīng)該是該事件發(fā)生的先驗概率的函數(shù)，即：式中，P(xi)是事件xi發(fā)生的先驗概率，I(xi)表示事件xi發(fā)生所含有的信息量。第二十一頁，共三十九頁，2022年，8月28日§3-3信息的定量描述根據(jù)客觀事實和人們的習(xí)慣概念，函數(shù)I(xi)應(yīng)滿足以下條件:(1)I(xi)是先驗概率P(xi)的單調(diào)遞減函數(shù)，P(xi)越大，I(xi)越??；(2)當P(xi)＝1時，I(xi)＝0，必然事件信息量為零；(3)當P(xi)=O時，I(xi)＝∞，不可能發(fā)生的事件發(fā)生了，其信息量為無窮大；(4)兩個獨立事件的聯(lián)合信息量，等于它們各自信息量之和。顯然，滿足條件(1)、(2)、(3)時，應(yīng)取信息量I(xi)為先驗概率P(xi)的倒數(shù)；滿足條件(4)時，最好的方法是用對數(shù)來定義信息量?！录i發(fā)生時，該事件所含有的信息量。第二十二頁，共三十九頁，2022年，8月28日§3-3信息的定量描述因為I(xi)描述的是事件xi發(fā)生時的信息量，故又稱為自信息。I(xi)代表兩種含義：(1)當事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；(2)當事件xi發(fā)生以后，表示事件xi所含有(或所提供)的信息量。自信息采用的測度單位取決于所取對數(shù)之底:如果以2為底，則所得信息量單位為比特(bit，binaryunit)；以e為底，則為奈特(nat，natureunit的縮寫)；以10為底，則為哈特(Hart，hartley的縮寫)等。一般都采用以2為底的對數(shù)，因為當P(xi)＝1／2時，I(xi)＝1比特，所以，1bit信息量就是兩個互不相容的等可能事件之一發(fā)生時，所提供的信息。第二十三頁，共三十九頁，2022年，8月28日§3-3信息的定量描述五、信息熵自信息I(xi)是指信源(物理系統(tǒng))某一事件xi發(fā)生時所包含的信息量，物理系統(tǒng)內(nèi)不同事件發(fā)生時，其信息量不同，所以自信息I(xi)是一個隨機變量，它不能用來作為整個系統(tǒng)的信息的量度。山農(nóng)定義自信息的數(shù)學(xué)期望為信息熵，即信源的平均信息量。熵的單位是[bit／事件]或[bit／符號]。信息熵表征了信源整體的統(tǒng)計特性，是總體的平均不確定性的量度。對某一特定的信源，其信息熵只有一個；不同的信源，因統(tǒng)計特性不同，其熵也不同。第二十四頁，共三十九頁，2022年，8月28日§3-3信息的定量描述例如，兩個信源，其概率空間分別為：它們的信息熵為：

H(X)＝-0.99log0.99-0.01log0.01=0.08[bit/事件]H(Y)==0.5log0.5-0.5log0.5=1[bit/事件]H(Y)＞H(X)，說明信源Y比信源X的平均不確定性要大，即在事件發(fā)生之前，分析信源Y，由于事件y1、y2是等概率的，難以猜測哪一個事件會發(fā)生；而信源X，雖然也存在不確定性，但大致可以知道，x1出現(xiàn)的可能性要大。第二十五頁，共三十九頁，2022年，8月28日§3-3信息的定量描述六、信息熵的基本性質(zhì)1.對稱性當概率空間中P(x1)，P(x1)…順序任意互換時、熵函數(shù)的值不變。例如下面兩個信源空間：其信息熵H(X)=H(y)。該性質(zhì)說明，熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與信源總體的統(tǒng)計特性有關(guān)。此點也說明了所定義的熵有其局限性，它不能描述事件本身的主觀意義。第二十六頁，共三十九頁，2022年，8月28日§3-3信息的定量描述2.確定性如果信源的輸出只有一個狀態(tài)是必然的，即P(x1)=1，P(x2)=P(x3)=…＝0，則信源的熵為：這個性質(zhì)表明，信源的輸出雖有多種不同形態(tài)，但其中一種是必然的，這意味著其他狀態(tài)不可能出現(xiàn)。那么，這個信源是一個確知信源，其熵為零。3.非負性即H(X)＞=0。因為隨機變量X的所有取值的概率分布為0＜P(xi)＜1，當取對數(shù)的底大于1時，logP(xi)＜0，而-P(xi)logP(xi)＞0，則得到的熵是正值。只有當隨機變量是一確知量時，熵才等于零。這種非負性對于離散信源的熵是合適的，但對連續(xù)信源的熵來說，這一性質(zhì)并不存在。第二十七頁，共三十九頁，2022年，8月28日§3-3信息的定量描述4.可加性即統(tǒng)計獨立信源X和Y的聯(lián)合信源的熵等于它們各自的熵之和。如果有兩個隨機變量X和Y，它們彼此是統(tǒng)計獨立的，即X的概率分布為[P(x1)，P(x2)，…，P(xN)]，而Y的概率分布為[P(y1)，P(y2)，…，P(yN)]，則聯(lián)合信源的熵為：可加性是熵函數(shù)的一個重要特性，正因為有可加性，所以可以證明熵函數(shù)的形式是唯一的。第二十八頁，共三十九頁，2022年，8月28日§3-3信息的定量描述5.極值性信源各個狀態(tài)為等概率分布時，熵值最大，并且等于信源輸出狀態(tài)數(shù)。P(x1)=P(x2)=…=P(xN)=1/N時：信源有兩種狀態(tài)時，其概率空間為：其H(X)-P(xi)關(guān)系如圖所示。當P(xi)=1/2時，熵有最大值。以上分析表明，對于具有N個狀態(tài)的離散信源，只有在信源N個狀態(tài)等概率出現(xiàn)的情況下，信源熵才能達到最大值。這也表明，等概率分布信源的平均不確定性最大，這是一個很重要的結(jié)論，稱為最大離散熵定理。圖3-12還進一步說明，如果二進制信源輸出是確定的，即P(x1)=1，則H(X)=0，此時表明該信源不提供任何信息；反之，當信源輸出為等概率發(fā)生時，信源的熵達到最大值，等于1bit信息量第二十九頁，共三十九頁，2022年，8月28日§3-3信息的定量描述七、信息熵與熱力學(xué)熵以上把信源的平均信息量定義為熵。熵這個字來源于統(tǒng)計熱力學(xué)，熵字的中文意義是熱量被溫度除所得的商，相同熱量，溫度高則熵小，溫度低則熵大；熵的外文原名是希臘字母拼成的，原意是“轉(zhuǎn)變”的意思，指熱量可以轉(zhuǎn)變?yōu)楣Φ某潭取ｌ匦t轉(zhuǎn)變程度高，熵大則轉(zhuǎn)變程度低。在通訊系統(tǒng)中，信源的信息熵的定義和熱力學(xué)熵的定義在表達形式上是相似的，在物理概念上也有一定聯(lián)系。廣義地講，熱力學(xué)的熵是物理系統(tǒng)無序狀態(tài)的描述，是紊亂程度的測度。一個物理系統(tǒng)的熵，可以用系統(tǒng)的微觀狀態(tài)數(shù)的對數(shù)來描述。信息熵也可以認為是信源紊亂程度的測度，亦可以用來表征物理系統(tǒng)運動狀態(tài)的不確定性，通過通信收到消息后，消除了這種不確定性，就獲得信息，信息熵也是動態(tài)的，如當消息通過系統(tǒng)傳輸?shù)绞招耪吆?，信源的熵要改變。在信息論中，信息熵只會減少，不可能增加，這就是信息熵不增原理。第三十頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理一、連續(xù)信源實際中，一些信源的輸出常常是時間和取值都是連續(xù)的信息，即可能出現(xiàn)的狀態(tài)數(shù)是不可數(shù)的無限值。例如語音信號x(t)，電視信號x(xo，yo，t)等，都是時間的連續(xù)函數(shù)。而且任一時刻，它們的取值也是連續(xù)的，這時可用連續(xù)隨機變量來描述這些狀態(tài)，這種信源稱為連續(xù)信源。連續(xù)信源的數(shù)學(xué)模型為連續(xù)型的概率空間，即：并滿足其中，R或(a,b)表示數(shù)集區(qū)間，p(x)是隨機變量x的概率密度函數(shù)。第三十一頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理連續(xù)信源的信息測度可以用離散信源的信息測度來逼近。假定隨機變量X的概率密度函數(shù)如圖所示，將取值區(qū)間(a，b)分成n個小區(qū)間，任一小區(qū)間的概率為：這時離散信源的熵：當Δx→0，n

→∞時，若極限存在，即得到連續(xù)信源的熵：第三十二頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理一般情況下，上式的第一項是定值，而當Δx→0時，第二項趨于無限大。所以避開第二項，定義連續(xù)信源的熵為：二、最大熵定理熵h(x)是概率密度函數(shù)p(x)的函數(shù)，在信息處理過程中，常常希望求得最大熵，即找出p(x)是什么樣的函數(shù)時能使連續(xù)信源的熵具有最大值。在離散信源中，已經(jīng)證明，當信源的輸出狀態(tài)是等概率分布時，信源的熵取最大值。在連續(xù)信源中，情況有所不同，當各約束條件不同時，信源的最大相對熵值不同，有兩種情況。第三十三頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理峰值功率受限條件下信源的最大熵當信源輸出信號的峰值功率受限，即信號的取值區(qū)間被限定在某一范圍(a,b)之內(nèi)時，則在限定的范圍內(nèi)，當輸出信號的概率密度是均勻分布時，信源具有最大相對熵。此式表明，熵是幅值區(qū)間(a，b)的函數(shù)，即在峰值功率受限條件下，幅值區(qū)間越大，則熵值越大。這也說明，信號的波動范圍越寬，則系統(tǒng)的不定性程度越大。第三十四頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理平均功率受限條件下信源的最大熵若一個信源輸出信號的平均功率有限，則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大熵。一維隨機變量X的概率密度分布為：這個連續(xù)信源的熵：可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與其方差σ2有關(guān)。當m=0時，X的方差就等于信源輸出的平均功率。第三十五頁，共三十九頁，2022年，8月28日§3-4連續(xù)信源及最大熵定理這一結(jié)論說明，當連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特性與高斯噪聲的統(tǒng)計特性一樣時，才會有最大的熵值。從物理意義上解釋這是合理的，因為噪聲是一個最不確定的隨機過程，而最大的信息量只能從最不確定的事件中獲得。為什么在平均功率受限條件下正態(tài)分布信源的熵最大，亦可作如下解釋。當限制平方平均值時，由于大的幅值x平方后變得更大，因此出現(xiàn)的次數(shù)不可能太多，所以x值愈增大，出現(xiàn)的概率就愈小，而且對于x的正