信息理論基礎(chǔ)

PAGEPAGEII目錄第一章緒論 11.1信息的概念 11.2通信系統(tǒng)的模型 31.3信息論的產(chǎn)生、發(fā)展及研究的中心問(wèn)題 5第二章信源及信息的度量 92.1離散信源及數(shù)學(xué)模型 92.2連續(xù)信源及數(shù)學(xué)模型 112.3信息的度量 122.4離散信源的平均自信息量——熵 162.5信息熵的性質(zhì) 192.6離散信源的互信息及平均互信息 242.7平均互信息量的性質(zhì) 292.8信息處理定理 312.9連續(xù)信源的信息度量 32第三章離散信源無(wú)失真編碼 473.1等長(zhǎng)編碼 473.2變長(zhǎng)編碼 553.3最佳變長(zhǎng)編碼 613.4其他變長(zhǎng)編碼方法 64第四章信道及信道容量 734.1信道的分類 734.2離散無(wú)記憶信道及容量 744.3離散無(wú)記憶信道DMC容量的計(jì)算 774.4N階擴(kuò)展信道容量 844.5信道的組合 864.6時(shí)間離散的無(wú)記憶連續(xù)信道 944.7波形信道 1014.8信源與信道的匹配 105第五章限失真信源編碼理論 1095.1失真測(cè)度 1095.2信息率失真函數(shù) 1125.3離散信源的率失真函數(shù) 1155.4率失真函數(shù)的參量算法 1165.5率失真函數(shù)R(D)的迭代算法 1205.6連續(xù)信源的率失真函數(shù) 1235.7限失真編碼定理 1255.8R（D）函數(shù)與信息價(jià)值 128第六章網(wǎng)絡(luò)信息論 1356.1網(wǎng)絡(luò)通信信道分類 1356.2相關(guān)信源編碼 1386.3多址接入信道 142PAGE53第一章緒論信息論是人們?cè)陂L(zhǎng)期通信工程的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐漸發(fā)展起來(lái)的一門新興科學(xué)。隨著信息理論的迅猛發(fā)展和信息概念的不斷深化，他在科學(xué)技術(shù)上的重要性早已超出了狹義的通信工程的范疇，在許多領(lǐng)域日益受到科學(xué)工作者的重視。本章首先引出信息的概念，然后介紹了信息、消息、信號(hào)三者的關(guān)系，進(jìn)而討論信息論這一學(xué)科的產(chǎn)生和發(fā)展，并闡述本學(xué)科研究的中心問(wèn)題。1.1信息的概念1.1.1信息的定義、特征和性質(zhì)信息是信息論中的一個(gè)術(shù)語(yǔ)，常常把消息中有意義的內(nèi)容稱為信息。1948年，美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人仙農(nóng)在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來(lái)消除隨機(jī)不定性的東西”。1948年，美國(guó)著名數(shù)學(xué)家、控制論的創(chuàng)始人維納在《控制論》一書(shū)中，指出：“信息就是信息，既非物質(zhì)，也非能量。信息是客觀事物狀態(tài)和運(yùn)動(dòng)特征的一種普遍形式，客觀世界中大量地存在、產(chǎn)生和傳遞著以這些方式表示出來(lái)的各種各樣的信息。信息是有價(jià)值的，就像不能沒(méi)有空氣和水一樣，人類也離不開(kāi)信息。因此人們常說(shuō)，物質(zhì)、能量和信息是構(gòu)成世界的三大要素。所以說(shuō)，信息的傳播是極具重要與有效的。信息是事物的運(yùn)動(dòng)狀態(tài)和過(guò)程以及關(guān)于這種狀態(tài)和過(guò)程的知識(shí)。它的作用在于消除觀察者在相應(yīng)認(rèn)識(shí)上的不確定性，它的數(shù)值則以消除不確定性的大小，或等效地以新增知識(shí)的多少來(lái)度量。雖然有著各式各樣的傳播活動(dòng)，但所有的社會(huì)傳播活動(dòng)的內(nèi)容從本質(zhì)上說(shuō)都是信息。信息相關(guān)資料：圖片信息（又稱作訊息），又稱資訊，是一種消息，通常以文字或聲音、圖像的形式來(lái)表現(xiàn)，是數(shù)據(jù)按有意義的關(guān)聯(lián)排列的結(jié)果。信息由意義和符號(hào)組成。文獻(xiàn)是信息的一種，即通常講到的文獻(xiàn)信息。信息就是指以聲音、語(yǔ)言、文字、圖像、動(dòng)畫(huà)、氣味等方式所表示的實(shí)際內(nèi)容。在最一般的意義上，亦即沒(méi)有任何約束條件，我們可以將信息定義為事物存在的方式和運(yùn)動(dòng)狀態(tài)的表現(xiàn)形式。這里的“事物”泛指存在于人類社會(huì)、思維活動(dòng)和自然界中一切可能的對(duì)象?！按嬖诜绞健敝甘挛锏膬?nèi)部結(jié)構(gòu)和外部聯(lián)系。“運(yùn)動(dòng)狀態(tài)”則是指事物在時(shí)間和空間上變化所展示的特征、態(tài)勢(shì)和規(guī)律。主體所感知或表述的事物存在的方式和運(yùn)動(dòng)狀態(tài)。主體所感知的是外部世界向主體輸入的信息，主體所表述的則是主體向外部世界輸出的信息。在本體論層次上，信息的存在不以主體的存在為前提，即使根本不存在主體，信息也仍然存在。在認(rèn)識(shí)論層次上則不同，沒(méi)有主體，就不能認(rèn)識(shí)信息，也就沒(méi)有認(rèn)識(shí)論層次上的信息。信息作為客觀世界存在的第三要素，具有以下特征：1）可量度：信息可采用某種度量單位進(jìn)行度量，并進(jìn)行信息編碼。如現(xiàn)代計(jì)算機(jī)使用的二進(jìn)制。2）可識(shí)別：信息可采取直觀識(shí)別、比較識(shí)別和間接識(shí)別等多種方式來(lái)把握。3）可轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換為另一種形態(tài)。如自然信息可轉(zhuǎn)換為語(yǔ)言、文字和圖像等形態(tài)，也可轉(zhuǎn)換為電磁波信號(hào)或計(jì)算機(jī)代碼4）可存儲(chǔ)：信息可以存儲(chǔ)。大腦就是一個(gè)天然信息存儲(chǔ)器。人類發(fā)明的文字、攝影、錄音、錄像以及計(jì)算機(jī)存儲(chǔ)器等都可以進(jìn)行信息存儲(chǔ)5）可處理：人腦就是最佳的信息處理器。人腦的思維功能可以進(jìn)行決策、設(shè)計(jì)、研究、寫(xiě)作、改進(jìn)、發(fā)明、創(chuàng)造等多種信息處理活動(dòng)。計(jì)算機(jī)也具有信息處理功能。6）可傳遞：信息的傳遞是與物質(zhì)和能量的傳遞同時(shí)進(jìn)行的。語(yǔ)言、表情、動(dòng)作、報(bào)刊、書(shū)籍、廣播、電視、電話等是人類常用的信息傳遞方式。7）可再生：信息經(jīng)過(guò)處理后，可以其他形式再生。如自然信息經(jīng)過(guò)人工處理后，可用語(yǔ)言或圖形等方式再生成信息。輸入計(jì)算機(jī)的各種數(shù)據(jù)文字等信息，可用顯示、打印、繪圖等方式再生成信息。8）可壓縮：信息可以進(jìn)行壓縮，可以用不同的信息量來(lái)描述同一事物。人們常常用盡可能少的信息量描述一件事物的主要特征。9）可利用：信息具有一定的實(shí)效性和可利用性。10）可共享：信息具有擴(kuò)散性，因此可共享。1.1.2信息、消息和信號(hào)的關(guān)系消息是表達(dá)客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)，指報(bào)道事情的概貌而不講述詳細(xì)的經(jīng)過(guò)和細(xì)節(jié)，以簡(jiǎn)要的語(yǔ)言文字迅速傳播新近事實(shí)的新聞體裁，也是最廣泛、最經(jīng)常采用的新聞基本體裁，如文字、語(yǔ)言、圖像等。消息傳遞過(guò)程即是消除不確定性的過(guò)程：收信者存在不確定(疑問(wèn))，收信前，不知消息的內(nèi)容。干擾使收信者不能判定消息的可靠性，收信者得知消息內(nèi)容后，消除原先的“不確定”。消息的結(jié)構(gòu)：（一）標(biāo)題（1）單行題（2）多行題；1.引題（眉題、肩題）：交代背景。2.主標(biāo)題：概括主要新聞或消息。3.副標(biāo)題：補(bǔ)充說(shuō)明主標(biāo)題。（二）導(dǎo)語(yǔ)：一般是對(duì)事件或事件中心的概述。（三）主體：承接導(dǎo)語(yǔ)，扣住中心，對(duì)導(dǎo)語(yǔ)所概括事實(shí)作比較具體的敘述，是導(dǎo)語(yǔ)內(nèi)容的具體化。（四）背景：說(shuō)明原因、條件、環(huán)境等。（五）結(jié)語(yǔ)：或小結(jié)，或指出事情發(fā)展方向等。消息的三個(gè)特點(diǎn)：真實(shí)性，實(shí)效性，傳播性。信息與消息的關(guān)系：形式上傳輸消息，實(shí)質(zhì)上傳輸信息；消息具體，信息抽象；消息是表達(dá)信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來(lái)載荷；消息可能包含豐富的信息，也可能包含很少的信息。信號(hào)（也稱為訊號(hào)）是運(yùn)載消息的工具，是消息的載體。從廣義上講，它包含光信號(hào)、聲信號(hào)和電信號(hào)等。例如，古代人利用點(diǎn)燃烽火臺(tái)而產(chǎn)生的滾滾狼煙，向遠(yuǎn)方軍隊(duì)傳遞敵人入侵的消息，這屬于光信號(hào)；當(dāng)我們說(shuō)話時(shí)，聲波傳遞到他人的耳朵，使他人了解我們的意圖，這屬于聲信號(hào)；遨游太空的各種無(wú)線電波、四通八達(dá)的電話網(wǎng)中的電流等，都可以用來(lái)向遠(yuǎn)方表達(dá)各種消息，這屬電信號(hào)。把消息變換成適合信道傳輸?shù)奈锢砹?，如光信?hào)、電信號(hào)、聲信號(hào)和生物信號(hào)等，人們通過(guò)對(duì)光、聲、電信號(hào)進(jìn)行接收，才知道對(duì)方要表達(dá)的消息。對(duì)信號(hào)的分類方法很多，信號(hào)按數(shù)學(xué)關(guān)系、取值特征、能量功率、處理分析、所具有的時(shí)間函數(shù)特性、取值是否為實(shí)數(shù)等，可以分為確定性信號(hào)和非確定性信號(hào)（又稱隨機(jī)信號(hào)）、連續(xù)信號(hào)和離散信號(hào)、能量信號(hào)和功率信號(hào)、時(shí)域信號(hào)和頻域信號(hào)、時(shí)限信號(hào)和頻限信號(hào)、實(shí)信號(hào)和復(fù)信號(hào)等。信息與信號(hào)的關(guān)系：信號(hào)攜帶著消息，它是消息的運(yùn)載工具；信號(hào)是消息的表現(xiàn)形式，消息是信號(hào)的具體內(nèi)容。信號(hào)是消息的物理體現(xiàn)。在通信系統(tǒng)中，實(shí)際傳輸?shù)氖切盘?hào)，但本質(zhì)內(nèi)容的是信息。信息包含在信號(hào)之中，信號(hào)是信息的載體。通信的結(jié)果是消除或部分消除不確定性，從而獲得信息。1.2通信系統(tǒng)的模型通信的基本問(wèn)題是在存儲(chǔ)或通信等情況下，精確或者是近似再現(xiàn)信源發(fā)出的消息。在通信領(lǐng)域中，所需要研究的主要內(nèi)容是通信中的有效性和可靠性，有的時(shí)候還要考慮信息傳輸?shù)陌踩?。通信系統(tǒng)的一般模型如圖1.1所示圖1.1通信系統(tǒng)的一般模型1．信源信源是產(chǎn)生消息的來(lái)源，可以是文字、語(yǔ)言、圖像等；可以是連續(xù)的，也可以是離散的。信源本身十分復(fù)雜，在信息論中一般只是對(duì)信源的輸出進(jìn)行研究。信源輸出是以消息符號(hào)形式表示具體信息，是信息的載體。盡管信源輸出形式很多，但是可以對(duì)其進(jìn)行分類，其表現(xiàn)形式要么是連續(xù)的，要么是離散的。如文字、符號(hào)、數(shù)字等符號(hào)或者符號(hào)序列，其符號(hào)的取值都是可數(shù)的，這樣的消息就是離散的；對(duì)于語(yǔ)音、圖像等在時(shí)間上連續(xù)變化的參量，符號(hào)的取值都是不可數(shù)的，這樣的消息是連續(xù)的。無(wú)論信源輸出的符號(hào)是連續(xù)的還是離散的，它們都一定是隨機(jī)出現(xiàn)的，否則無(wú)論是信源的特征研究還是通信研究都沒(méi)有意義。信源的研究主要是研究消息的統(tǒng)計(jì)特征以及信源產(chǎn)生的信息速率。2．編碼器編碼器是將信源發(fā)出的符號(hào)轉(zhuǎn)化為適合信道傳輸?shù)男盘?hào)的設(shè)備，一般包括信源編碼、信道編碼和調(diào)制器等。編碼器的模型如圖1.2所示圖1.2編碼器的模型=1\*GB3①信源編碼器：主要解決有效性問(wèn)題，在一定的準(zhǔn)則下對(duì)信源輸出進(jìn)行變換和處理，目的是提高信息傳輸?shù)男?，即通過(guò)去除信源輸出符號(hào)的冗余，使信源輸出的每個(gè)符號(hào)攜帶更多的信息量，從而降低信息傳遞所需要的符號(hào)數(shù)量，即減低總體數(shù)據(jù)傳輸速率，提高傳輸效率。=2\*GB3②信道編碼器：由糾錯(cuò)編碼器和調(diào)制器組成，目的在于充分利用信道的傳輸能力，并可靠的傳輸信息。糾錯(cuò)編碼器：對(duì)信源輸出進(jìn)行變換處理，通過(guò)增加冗余提高對(duì)信道干擾的抵抗力，從而信息傳輸?shù)目煽啃?。由于信道中存在干擾，數(shù)據(jù)傳遞的過(guò)程中會(huì)出現(xiàn)錯(cuò)誤，信道編碼可以提供檢測(cè)或者是糾正數(shù)據(jù)傳輸錯(cuò)誤的能力，從而提高數(shù)據(jù)傳輸?shù)目煽啃浴Ｕ{(diào)制器：將信道編碼的輸出變換為適合信道傳輸要求的信號(hào)。信道編碼器輸出的數(shù)字信號(hào)并不適合信道的傳輸，需要對(duì)其進(jìn)行相應(yīng)的信號(hào)變換和調(diào)制，然后將變換后的信號(hào)送往信道進(jìn)行傳輸。加密：為了提高信息傳輸?shù)陌踩?，有時(shí)需要進(jìn)行加密處理，這就需要擴(kuò)展碼位。加密處理同時(shí)也會(huì)降低系統(tǒng)傳輸效率，即有效性。3．信道信道是信息傳輸?shù)拿劫|(zhì)。信道將攜帶信息的信號(hào)從一個(gè)地方傳送到另一個(gè)地方。常見(jiàn)的信道有明線、電纜、光纖、無(wú)線電波等。在水中，通信中可以采用聲波傳輸，聲波傳輸?shù)拿劫|(zhì)是水，所以水也是信道。隨著科學(xué)技術(shù)的發(fā)展，大量的信息需要存儲(chǔ)，存儲(chǔ)器也是信道。4．干擾源通信系統(tǒng)中的各部分都會(huì)受到干擾，信號(hào)的類型不同，經(jīng)過(guò)的信道不同，所遭受的噪聲、干擾也有差異。將各種干擾等效成一個(gè)方框作用于信道。干擾源的統(tǒng)計(jì)特征是劃分信道的重要因素，并是決定信道傳輸能力的決定因素。干擾源的分類：=1\*GB3①加性干擾：由外界引入的隨機(jī)干擾，如電磁干擾、設(shè)備內(nèi)部噪聲，它們與信道輸入的信號(hào)統(tǒng)計(jì)特征無(wú)關(guān)，信道輸出則是輸入的干擾之和。=2\*GB3②乘性干擾：信號(hào)在傳播過(guò)程中，由于物理?xiàng)l件的變化，如溫度、電離層位置的隨機(jī)變化引起的信號(hào)參量的隨機(jī)變化，此時(shí)信道的輸出是輸入信號(hào)與某些隨機(jī)變量相乘的結(jié)果。信息論就是對(duì)干擾進(jìn)行數(shù)學(xué)上的描述，確定它們對(duì)信號(hào)傳輸?shù)挠绊?，從而給出在無(wú)干擾的情況下，信道的傳輸能力。5．譯碼器譯碼器是編碼器的逆過(guò)程，其目的是為了準(zhǔn)確或者近似再現(xiàn)信源發(fā)出的消息。與編碼器相對(duì)應(yīng)，譯碼器一般是由解調(diào)器、信道譯碼器和信源譯碼器組成。其作用就是從受干擾的信號(hào)里最大限度的提取出有關(guān)信源輸出消息的信息，盡可能的精確地恢復(fù)信源的輸出并送給信宿。其中心問(wèn)題就是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼的方法。6．信宿信宿是信息的載體，即接收消息的人或機(jī)器，與信源處于不同地點(diǎn)或存在于不同時(shí)刻。它要對(duì)傳送過(guò)來(lái)的信息提出可接受的條件，即提出一定的準(zhǔn)則，發(fā)端將以此來(lái)確定對(duì)信源處理時(shí)所要保留的最小信息量。信宿的數(shù)量可以是一個(gè)，也可以是多個(gè)，取決于具體的應(yīng)用需要。1.3信息論的產(chǎn)生、發(fā)展及研究的中心問(wèn)題1.3.1信息論的產(chǎn)生、發(fā)展信息論是本世紀(jì)40年代在現(xiàn)代通信技術(shù)發(fā)展的基礎(chǔ)上誕生的，是研究信息的獲取、儲(chǔ)存、傳遞、計(jì)量、處理和利用等問(wèn)題的一門新興學(xué)科。本世紀(jì)30年代以前，科學(xué)技術(shù)革命和工業(yè)革命主要表現(xiàn)在能量方面，如新的動(dòng)力機(jī)、工具機(jī)的出現(xiàn)。其實(shí)質(zhì)是人的感覺(jué)器官和效應(yīng)器官的延長(zhǎng)，是人的體力勞動(dòng)的解放。本世紀(jì)30年代以后，科學(xué)技術(shù)所發(fā)生的革命性變化，主要表現(xiàn)在信息方面，表現(xiàn)在信息的傳遞、儲(chǔ)存、加工、處理等技術(shù)和通信、控制機(jī)以及人工智能的發(fā)展。其實(shí)質(zhì)是人的思維器官的伸展，是人的腦力勞動(dòng)的解放。人們對(duì)于信息的認(rèn)識(shí)和利用，可以追溯到古代的通訊實(shí)踐。中國(guó)古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號(hào)”，可以說(shuō)是傳遞信息的原始方式。隨著社會(huì)生產(chǎn)的發(fā)展，科學(xué)技術(shù)的進(jìn)步，人們對(duì)傳遞信息的要求急劇增加。到了20世紀(jì)20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。1924年美國(guó)奈奎斯特和德國(guó)居普夫、繆勒等人發(fā)現(xiàn)電信號(hào)的傳輸速率與信道帶寬度成比例關(guān)系，從而最早提出了信息問(wèn)題。1928年，哈特萊發(fā)表《信息傳輸》，首先提出信息是包含在消息中的信息量，而代碼、符號(hào)這類消息是信息的具體方式。他還提出了信息定量問(wèn)題，認(rèn)為可以用消息出現(xiàn)概率的對(duì)數(shù)來(lái)度量其中所包含的信息。如從S個(gè)符號(hào)中選出N個(gè)符號(hào)組成一組消息。則共有SN個(gè)可能性。其信息量為H=NlogS。這一理論是現(xiàn)代信息理論的起源，但當(dāng)時(shí)未引起人們的注意。直到第二次世界大戰(zhàn)期間，一些與通信技術(shù)有關(guān)的新技術(shù)陸續(xù)出現(xiàn)，如雷達(dá)、無(wú)線電通訊、電子計(jì)算機(jī)、脈沖技術(shù)等，為信息論的建立提供了技術(shù)基礎(chǔ)。同時(shí)，作為信息論數(shù)學(xué)基礎(chǔ)的概率論也得到飛速發(fā)展。在這種條件下，許多科學(xué)家從不同角度對(duì)信息論的基本理論進(jìn)行了研究。1948年，美國(guó)數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》，1949年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開(kāi)辟了信息論的廣泛應(yīng)用前景。1951年美國(guó)無(wú)線電工程學(xué)會(huì)承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問(wèn)題。20世紀(jì)70年代以后，隨著數(shù)學(xué)計(jì)算機(jī)的廣泛應(yīng)用和社會(huì)信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語(yǔ)法信息，而且研究語(yǔ)義信息和語(yǔ)用信息的科學(xué)。它的建立是人類認(rèn)識(shí)的一個(gè)飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運(yùn)動(dòng)主要是靠?jī)?nèi)部矛盾運(yùn)動(dòng)所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運(yùn)動(dòng)狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過(guò)程，就是立足于這個(gè)基本性質(zhì)。信息論迅速滲透到各個(gè)不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會(huì)的到來(lái)，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計(jì)算機(jī)、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺(tái)，與能量科學(xué)、材料科學(xué)鼎足而立，將為科學(xué)技術(shù)的發(fā)展做出貢獻(xiàn)。信息就是一種消息，它與通訊問(wèn)題密切相關(guān)。隨著計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問(wèn)題。人們?cè)絹?lái)越認(rèn)識(shí)到信息的重要性，認(rèn)識(shí)到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動(dòng)中所碰到的信息問(wèn)題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲(chǔ)、處理、顯示、識(shí)別和利用的信息科學(xué)正在形成。信息科學(xué)是人們?cè)趯?duì)信息的認(rèn)識(shí)與利用不斷擴(kuò)大的過(guò)程中，在信息論、電子學(xué)、計(jì)算機(jī)科學(xué)、人工智能、系統(tǒng)工程學(xué)、自動(dòng)化技術(shù)等多學(xué)科基礎(chǔ)上發(fā)展起來(lái)的一門邊緣性新學(xué)科。它的任務(wù)主要是研究信息的性質(zhì)，研究機(jī)器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計(jì)和研制各種信息機(jī)器和控制設(shè)備，實(shí)現(xiàn)操作自動(dòng)化，以便盡可能地把人腦從自然力的束縛下解放出來(lái)，提高人類認(rèn)識(shí)世界和改造世界的能力。信息科學(xué)在安全問(wèn)題的研究中也有著重要應(yīng)用。目前信息論的兩個(gè)方面的內(nèi)容都取得了更大的發(fā)展。在香農(nóng)信息論方面，當(dāng)前值得注意的動(dòng)向是信息概念的深化；多址和多用戶信道（雙向信道，廣播信道，多元連接型信道等）理論的發(fā)展；多重相關(guān)信源理論的發(fā)展；信息率失真理論的發(fā)展及其在數(shù)據(jù)壓縮和圖像處理中的應(yīng)用等問(wèn)題。這些領(lǐng)域都是與20世紀(jì)80年代信息工程——空間通信、計(jì)算機(jī)網(wǎng)絡(luò)、圖像電子學(xué)等密切相關(guān)的。在維納信息論方面，由于光線通信即將成為現(xiàn)實(shí)，成像雷達(dá)以及二維圖像信息處理正在迅猛發(fā)展。為此，我們對(duì)量子檢測(cè)和估計(jì)理論、非參數(shù)測(cè)量和估計(jì)理論以及非線性檢測(cè)與估計(jì)理論都要給予足夠的重視。1.3.2信息論研究的中心問(wèn)題由前面關(guān)于信息概念的討論中可知：信息論研究的中心問(wèn)題是為設(shè)計(jì)有效的，可靠的通信系統(tǒng)提供理論依據(jù)。由于消息中包含著信息，所以消息的傳輸系統(tǒng)也是信息的傳輸系統(tǒng)，簡(jiǎn)稱通信系統(tǒng)。人們通過(guò)消息的傳輸和處理過(guò)程來(lái)研究信息傳輸和處理過(guò)程中的共同規(guī)律。信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問(wèn)題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。信息論作為一門科學(xué)理論，發(fā)端于通信工程。它主要有以下幾個(gè)概念：狹義信息論：主要研究信息的測(cè)度、信道容量以及信源和信道編碼理論等問(wèn)題。一般信息論：主要也是研究信息傳輸和處理問(wèn)題，除香農(nóng)信息論，還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)和估計(jì)、調(diào)制理論、信息處理理論以及保密理論等。廣義信息論：不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)、語(yǔ)義學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問(wèn)題。研究一個(gè)概括性很強(qiáng)的通信系統(tǒng)，其目的就是要找到信息傳輸過(guò)程的共同規(guī)律。一旦總結(jié)出這種共同的規(guī)律，就可以用來(lái)指導(dǎo)具體通信系統(tǒng)的設(shè)計(jì)，使設(shè)計(jì)出來(lái)的各種通信系統(tǒng)具有更高的可靠性和有效性。所謂的可靠性高，就是要使信源發(fā)出的信息經(jīng)信道傳輸以后，盡可能的準(zhǔn)確不失真的再現(xiàn)在接收端。而所謂的有效性高，就是經(jīng)濟(jì)效果好，即用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳送一定數(shù)量的信息。兩者的結(jié)合就能使系統(tǒng)達(dá)到最優(yōu)化。以后我們會(huì)知道，提高可靠性和提高有效性常常會(huì)發(fā)生矛盾，這就要統(tǒng)籌兼顧。例如為了兼顧有效性，有時(shí)就不一定要求絕對(duì)準(zhǔn)確的在接收端再現(xiàn)原來(lái)的信息，而是允許一定的誤差或一定的失真，或者說(shuō)允許近似的再現(xiàn)原來(lái)的消息。關(guān)于信息論研究的具體內(nèi)容，是一個(gè)有爭(zhēng)議的問(wèn)題。有人認(rèn)為信息論只是概率論的一個(gè)分支，這是數(shù)學(xué)家的觀點(diǎn)。當(dāng)然，這種看法有一定的根據(jù)，因?yàn)橄戕r(nóng)信息論確實(shí)為概率論開(kāi)拓了一個(gè)新的分支。但如果把信息論限制在數(shù)學(xué)的范圍內(nèi)，這就太狹隘了。也有認(rèn)為信息論只是熵的理論，這是某些物理學(xué)家的觀點(diǎn)。他們對(duì)熵特別感興趣，熵的概念確實(shí)是香農(nóng)信息論的基本概念之一，但信息論的全部?jī)?nèi)容要比熵廣泛得多。歸納起來(lái)，信息論的研究?jī)?nèi)容大致包括以下幾個(gè)方面。通信的系統(tǒng)理論研究主要研究利用統(tǒng)計(jì)數(shù)學(xué)工具分析信息和信息傳輸?shù)慕y(tǒng)計(jì)規(guī)律，其具體內(nèi)容有：①信息的度量；②信息速率與熵；③信道傳輸能力——信道容量。信源的統(tǒng)計(jì)特征主要包括：①文字（如漢字）、字母（如英文）統(tǒng)計(jì)特征；②語(yǔ)音的參數(shù)分析和統(tǒng)計(jì)特征；③圖片及活動(dòng)圖像（如電視）的統(tǒng)計(jì)特征：④其他信源的統(tǒng)計(jì)特征。收信者接受器官的研究主要包括：①人的聽(tīng)覺(jué)器官和視覺(jué)的器官的特征；②人的大腦感受和記憶能力的模擬。這些問(wèn)題的研究與生物學(xué)、生理學(xué)、心理學(xué)、的研究密切相關(guān)。編碼理論與技術(shù)的研究主要包括：①有效性編碼：用來(lái)提高信息傳輸效率，主要是針對(duì)信源的統(tǒng)計(jì)特征進(jìn)行編碼，所以有時(shí)也稱為信源編碼；②抗干擾編碼：用來(lái)提高信息傳輸?shù)目煽啃?，主要是針?duì)信道統(tǒng)計(jì)特征進(jìn)行編碼，所以有時(shí)候也稱為信道編碼。提高信息傳輸效率的研究主要包括：①功率的節(jié)約；②頻帶的壓縮；③傳輸時(shí)間的縮短，即快速傳輸問(wèn)抗干擾理論與技術(shù)的研究主要包括：①各種調(diào)制制度的抗干擾性；②理想接收機(jī)的實(shí)踐。噪聲中的信號(hào)檢測(cè)理論與技術(shù)的研究主要包括：①信號(hào)檢測(cè)的最佳準(zhǔn)則；②信號(hào)最佳檢測(cè)的實(shí)踐。由上面的討論可以看出來(lái)，信息論的研究?jī)?nèi)容極為廣泛，是一門新興的邊緣學(xué)科，是當(dāng)代信息科學(xué)的基本的和重要的理論基礎(chǔ)。綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法來(lái)研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程科學(xué)；它的主要目的是提高信息系統(tǒng)的可靠性和有效性以便達(dá)到系統(tǒng)的最優(yōu)化；他的主要內(nèi)容（或分支）包括香農(nóng)理論、編碼理論、維納理論、檢測(cè)和估計(jì)理論、信號(hào)設(shè)計(jì)和處理理論、調(diào)制理論和隨機(jī)噪聲理論等。由于信息論研究的內(nèi)容極為廣泛，而各分支又有一定的相對(duì)獨(dú)立性，因此本書(shū)僅僅討論了信息論的基本理論。第二章信源及信息的度量從這一章開(kāi)始，我們開(kāi)始討論信源和信息的度量問(wèn)題。首先討論信源，重點(diǎn)是信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型，以及各類離散信源的信息測(cè)度——熵及其性質(zhì)。這部分內(nèi)容是香農(nóng)信息論的基礎(chǔ)。所謂信息的度量問(wèn)題，就是指從量的關(guān)系上來(lái)精確地刻畫(huà)信息。從定義到性質(zhì)，從描述到度量，這些內(nèi)容構(gòu)成了信息科學(xué)的主要基礎(chǔ)。一方面，通過(guò)對(duì)定義和性質(zhì)的討論，可以從質(zhì)上來(lái)理解信息；另一方面，通過(guò)對(duì)描述的研究，則可以從量上來(lái)把握信息。這樣既從定性方面又從定量方面去把握信息，就奠定了進(jìn)一步討論信息的各種運(yùn)動(dòng)規(guī)律的必要基礎(chǔ)。信息度量問(wèn)題之所以重要，就在于它是整個(gè)信息科學(xué)體系得以真正建立起來(lái)的根本理論基礎(chǔ)，是信息科學(xué)大廈的重要基石。2.1離散信源及數(shù)學(xué)模型信源是信息的來(lái)源，但信息是較抽象的東西，所以要通過(guò)信息的表達(dá)者——消息來(lái)研究信源。我們對(duì)信源的內(nèi)部結(jié)構(gòu)、為什么產(chǎn)生和怎樣產(chǎn)生各種不同的消息都不作研究，而只研究信源的輸出，以及信源輸出各種可能消息的不確定性。在通信系統(tǒng)中收信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的，是隨機(jī)的，所以可用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過(guò)程來(lái)描述信源輸出的消息?；蛘哒f(shuō)，用一個(gè)樣本空間及其概率測(cè)度——概率空間來(lái)描述信源。信源的具體輸出是離散的消息符號(hào)形式，常常是以一個(gè)符號(hào)的形式出現(xiàn)，例如文字、字母等。這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次輸出只是其中一個(gè)消息符號(hào)，這樣的信源稱為離散信源。即指發(fā)出時(shí)間和幅度都是離散分布的離散消息的信源。所以，可用離散型隨機(jī)變量來(lái)描述這些信息，它的數(shù)學(xué)模型就是離散型的概率空間：信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計(jì)特征，因此，有時(shí)也把這個(gè)概率空間稱作是信源空間。在很多的實(shí)際信源輸出消息往往是由一系列符號(hào)序列所組成的。例如，中文自然語(yǔ)言文字作為信源，這時(shí)中文信源的樣本空間A是所有文字與標(biāo)點(diǎn)符號(hào)的集合。由這些漢字和標(biāo)點(diǎn)符號(hào)組成的序列即構(gòu)成了中文句子和文章。因此，從時(shí)間上看，中文信源輸出的消息是時(shí)間上離散的符號(hào)序列，其中每個(gè)符號(hào)的出現(xiàn)是不確定的、隨機(jī)的，由此構(gòu)成的不同的中文消息。這類信源輸出的消息是按照一定概率選取的符號(hào)序列，所以可以把這種信源輸出的信息看作是時(shí)間上或者是空間上離散的一系列隨機(jī)變量，即為隨機(jī)矢量。信源輸出是時(shí)間或空間的離散符號(hào)序列,且符號(hào)間有依賴關(guān)系?？捎秒S機(jī)矢量來(lái)描述信源輸出,即X=（X1X2…Xi）,其中Xi是離散隨機(jī)變量,它表示t=i時(shí)刻所發(fā)出的符號(hào)，信源在t=i時(shí)刻發(fā)出的符號(hào)決定于兩個(gè)方面:(1)與t=i時(shí)刻隨機(jī)變量Xi的取值xi的概率分布p(xi)有關(guān).一般情況t不同時(shí),概率分布也不同,即p(xi)≠p(xj)(2)與t=i時(shí)刻以前信源發(fā)出的符號(hào)有關(guān),即與條件概率p(xi|xi-1xi-2,…)有關(guān).同樣在一般情況下,它也是時(shí)間t=i的函數(shù),所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…) 序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān),即信源所發(fā)符號(hào)序列的概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，這種信源稱之為平穩(wěn)隨機(jī)序列。若信源輸出的隨機(jī)序列X=（X1X2…Xi）中，每一個(gè)隨機(jī)變量Xi(i=1,2,…N)都是取值離散的離散型隨機(jī)變量，即每一個(gè)隨機(jī)變量的可能取值是有限的或可數(shù)的。而且隨機(jī)矢量的X各維概率分布都與時(shí)間起點(diǎn)無(wú)關(guān)，也就是在任意兩個(gè)不同時(shí)刻隨機(jī)矢量X的各維概率分布都相同。這樣的信源稱為是離散平穩(wěn)信源。在某些簡(jiǎn)單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個(gè)個(gè)符號(hào)是彼此統(tǒng)計(jì)獨(dú)立的，也就是說(shuō)信源輸出的隨機(jī)矢量X=（X1X2…XN）中，各隨機(jī)變量Xi(i=1,2,…N)之間是無(wú)依賴的、統(tǒng)計(jì)獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足P（X）=P（X1X2…XN）=P1(X1)P2(X2)…PN(XN)因?yàn)樾旁词瞧椒€(wěn)的，根據(jù)平穩(wěn)隨機(jī)序列的統(tǒng)計(jì)特征可知，各變量Xi的一維概率分布都相同，即P1(X1)=P2(X2)=…=PN(XN)則得若不同時(shí)刻的隨機(jī)變量又取值于同一符號(hào)集A：{a1,a2,…,aq}則有其中ai是N維隨機(jī)矢量的一個(gè)取值，即α={ai1,ai2,…,aiN}，而P（aik）是符號(hào)集A的一維概率分布。由符號(hào)集A：{a1,a2,…,aq}與概率測(cè)度P（aik）構(gòu)成的一個(gè)概率空間稱由信源空間［X,P(x)］描述的信源X為離散無(wú)記憶信源。這信源在不同時(shí)刻發(fā)出的符號(hào)之間是無(wú)依賴的，彼此統(tǒng)計(jì)獨(dú)立。離散無(wú)記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒(méi)有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。把這信源X所輸出的隨機(jī)矢量X所描述的信源稱為離散無(wú)記憶信源X的N次擴(kuò)展信源?？梢?jiàn)，N次擴(kuò)展信源是由離散無(wú)記憶信源輸出N長(zhǎng)的隨機(jī)序列構(gòu)成的信源。若是信源先后發(fā)出的符號(hào)是互相依賴的,如中文序列，只有根據(jù)中文句子的語(yǔ)法、習(xí)慣用語(yǔ)、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后的文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。這種信源稱為有記憶信源。它需要引入條件概率分布說(shuō)明它們之間的關(guān)聯(lián)性，實(shí)際上信源發(fā)出符號(hào)只與前若干個(gè)符號(hào)(記憶長(zhǎng)度)有較強(qiáng)的依賴關(guān)系.。離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。2.2連續(xù)信源及數(shù)學(xué)模型信源輸出的消息的取值是連續(xù)的，如人發(fā)出的聲音、遙感器測(cè)得的連續(xù)數(shù)據(jù)等。極可能出現(xiàn)的消息數(shù)是不可數(shù)的無(wú)限值。這種信源稱為連續(xù)信源。即指發(fā)出時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息的信源，它可用連續(xù)型的隨機(jī)變量來(lái)描述這些消息XYXY圖2.2.1連續(xù)信源是指輸出在時(shí)間和取值上都連續(xù)的信源其數(shù)學(xué)模型為連續(xù)型的概率空間：其中為連續(xù)隨機(jī)變量X的概率密度，（）為X的存在域，并滿足上述信源，因?yàn)樾旁吹妮敵鲋挥幸粋€(gè)消息（符號(hào)），所以可用一維隨機(jī)變量來(lái)描述。2.3信息的度量2.3.1離散信源的自信息量信源發(fā)出消息，經(jīng)過(guò)信道，到達(dá)信宿，信宿收到消息，獲得了信息，這個(gè)過(guò)程就稱作通訊。我們現(xiàn)在來(lái)研究通訊的源頭，也就是信源的特性。那么實(shí)際有用的信源應(yīng)該具有什么特性呢？我們認(rèn)為它應(yīng)該具有不確定性（不肯定性）。信源至少應(yīng)該包含兩種不同的消息，例如兩元信元（包含0、1），而信宿是知道信元發(fā)送（0、1）的，但是它就是不知道在具體的某一時(shí)刻，信源發(fā)送的是哪個(gè)消息。這是顯然的，如果它知道，就不需要通訊了！所以必須要經(jīng)過(guò)通訊，然后信宿通過(guò)譯碼，信源發(fā)送的是哪個(gè)消息。如果信道中不存在噪聲，也就是干擾，那么信宿一定譯碼正確，通信可以無(wú)差錯(cuò)的進(jìn)行了。所謂的不確定性就是說(shuō)信宿對(duì)信源哪個(gè)時(shí)刻發(fā)送哪個(gè)消息不能肯定！而不是說(shuō)信宿不知道信源有0、1這兩個(gè)消息。反過(guò)來(lái)統(tǒng)計(jì)的講，發(fā)送某一個(gè)消息的概率是確定的。比如說(shuō)發(fā)1的概率是0.4,發(fā)1的概率是0.6。但是下一時(shí)刻發(fā)送0，還是1，信宿不知道。[例2.3.1]某二元信源（含有兩個(gè)不同消息的信源）發(fā)送1的概率0.99，0的概率0.01，信宿僅憑猜測(cè)就可以簡(jiǎn)單的認(rèn)為信源發(fā)出的消息始終都是1，即使如此，猜錯(cuò)的概率僅為百分之一。這說(shuō)明在這種情況下，信源基本上在發(fā)送1，信源的不確定性很小。為什么信宿猜測(cè)的這么準(zhǔn)呢？我們知道是因?yàn)樾旁窗l(fā)送0的概率很小，所以不確定度和信源發(fā)送符號(hào)的概率是有關(guān)系的！[例2.3.2]某二元信源發(fā)送1和0的概率相等，均為0.5，這時(shí)信宿不依賴通信僅憑猜測(cè)的話，猜錯(cuò)的概率高達(dá)50%。這說(shuō)明在這種情況下，猜測(cè)信源發(fā)送什么消息就困難了，因?yàn)樾旁窗l(fā)送什么消息相當(dāng)不確定。[例2.3.3]如果信源具有更多的消息，例如發(fā)10個(gè)數(shù)字0,1…..9(例如采用4位十進(jìn)制樹(shù)的中文電報(bào))，而且假定這是個(gè)消息是等概率分布的，均為0.1，這時(shí)信宿僅憑猜測(cè)的話，就更難猜了。因?yàn)樾旁窗l(fā)送什么消息更加不確定。[例2.3.4]現(xiàn)在討論一種極端的情況，信源只發(fā)送一種消息，即永遠(yuǎn)只發(fā)送1或者只發(fā)送0，從這樣的信源中我們就不能從中獲取任何信息，也就是說(shuō)信源的不確定性為0。信源如果沒(méi)有不確定性，那么就沒(méi)有實(shí)用價(jià)值。不確定度和發(fā)送的消息數(shù)目和發(fā)送符號(hào)的概率有關(guān)。為了確切的描述信源，我們采用概率空間來(lái)描述信源。定義信息量的度量大寫(xiě)字母X,Y,Z代表隨機(jī)變量，指的是信源整體。帶下標(biāo)的小寫(xiě)字母代表隨機(jī)事件的某一結(jié)果或信源的某個(gè)元素。兩者不可混淆。其中X1,X2,…Xn為信源的消息；P(x1),P(x2),…P(xn)為各消息出現(xiàn)的概率。根據(jù)以上分析我們可以寫(xiě)出對(duì)應(yīng)的概率空間：[例2.3.1]=[例2.3.2]=若隨機(jī)事件對(duì)上面的四個(gè)例子進(jìn)行歸納可以得出如下有用的結(jié)論：（1）信源的不確定程度與其概率空間的消息數(shù)和消息的概率分布有關(guān)系（2）信源的消息為等概率分布時(shí)，不確定度最大（3）信源的消息為等概率分布，且其消息數(shù)目越多，其不確定度越大（4）只發(fā)送一個(gè)消息的信源，其不確定度為0，不發(fā)送任何信息發(fā)生的概率為，用I(xi)表示消息xi提供的信息量，則：稱I(xi)為消息xi的自信息量，表示信源發(fā)出一個(gè)消息xi所帶有的信息量。隨機(jī)事件的不確定度：猜測(cè)某一隨機(jī)事件是否會(huì)發(fā)生的難易程度，它在數(shù)量上等于它的信息量，兩者的單位相同，含義卻不同。當(dāng)某事件必然發(fā)生時(shí)，就不存在不確定性，即不確定性為0。即P(xi)=1時(shí)，I(1)=-log1=0當(dāng)某事件幾乎不發(fā)生時(shí)（或發(fā)生概率很小），其不確定性應(yīng)趨于無(wú)窮大，即limI[p(xi)]=-log0=∞發(fā)生概率小的事件其不確定性比大概率事件大，即I(x1)=-logp(x1)I(x2)=-logp(x2),(p(x1)>p(x2)),則I(x1)<I(x2)兩個(gè)互相獨(dú)立事件的聯(lián)合信息量應(yīng)該等于他們分別的信息量之和不管隨機(jī)事件是否發(fā)生，都存在不確定度；而自信息量是在該事件發(fā)生后給觀察者帶來(lái)的信息量。自信息量具有下列性質(zhì)： （1）是非負(fù)值； （2）當(dāng)=1時(shí)，=0； （3）當(dāng)=0時(shí)，=∞；（4）是單調(diào)遞減函數(shù)。信息量的三種單位：比特bit對(duì)數(shù)取2為底奈特nat對(duì)數(shù)取e為底哈特萊hartley對(duì)數(shù)取10為底這三個(gè)信息單位之間的轉(zhuǎn)換關(guān)系如下：1nat=log2e≈1.433bit1hart=log210≈3.322bit1bit≈0.693nat1bit≈0.301Hart然而，自信息也有它的不足之處：1）自信息是隨機(jī)變量，不能作為整個(gè)信源的信息測(cè)度;2）自信息是指信源發(fā)出某一消息所含有的信息量;3）消息不同，它們所含有的信息量也不同。2.3.2聯(lián)合信源的自信息量和條件自信息量聯(lián)合信源:多個(gè)信源構(gòu)成的信源。例如音響設(shè)備有多個(gè)聲道，彩色電視信號(hào)可分解為紅、綠、藍(lán)三種基色，遙感圖像包含多個(gè)波段，以及形形色色的多維信號(hào)。

本節(jié)以任意兩個(gè)隨機(jī)變量X和Y的聯(lián)合為例進(jìn)行討論。 兩個(gè)隨機(jī)事件的離散信源，其信源模型為，其中。其自信息量是二維聯(lián)合集XY上元素對(duì)的聯(lián)合概率對(duì)數(shù)的負(fù)數(shù)值，稱為聯(lián)合自信息量，用表示，即 當(dāng)X和Y相互獨(dú)立時(shí)，=，代入式（2.1.4）就有 說(shuō)明兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自獨(dú)立發(fā)生得到的自信息量之和。 條件自信息量定義為條件概率的負(fù)值。設(shè)條件下，發(fā)生的條件概率為，那么它的條件自信息量定義為 （2.1.6a）上式表示在特定條件（已定）下隨機(jī)事件發(fā)生所帶來(lái)的信息量。同樣，已知時(shí)發(fā)生的條件自信息量為 （2.1.6b）在給定()條件下，隨機(jī)事件發(fā)生()所包含的不確定度在數(shù)值上與條件自信息量[]相同，即可用式（2.1.6a或2.1.6b）計(jì)算，但兩者的含義不同。不確定度表示含有多少信息，信息量表示隨機(jī)事件發(fā)生后可以得到多少信息。 聯(lián)合自信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性，同時(shí)，它們也都是隨機(jī)變量，其值隨著變量，的變化而變化。 容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：。［例2.3.3］（自信息量）有八個(gè)燈泡串聯(lián)相接，x1,x2…x8中每個(gè)燈泡損壞的可能性相等，現(xiàn)有一個(gè)燈損壞，致使電路不通，燈全部不亮。問(wèn)：要查出損壞的燈泡至少需要多少信息量？解：至少要查三次方可確定損壞的燈泡。事件的概率空間為：設(shè)第xi個(gè)燈泡損壞因?yàn)樗圆槌鰮p壞的xi需要3bit的信息量。說(shuō)明：第一步，將八個(gè)燈分成兩組在任一組中有xi的概率是，查找出該組的信息量為-log=1bit=第二步，將有xi的組再分成兩組，任何一組中存在有xi的概率是查找出有xi組的信息量為-log=1bit=第三步，對(duì)剩下的兩個(gè)燈泡中的一個(gè)進(jìn)行檢測(cè)，每一個(gè)燈泡的損壞概率為，查找出損壞燈泡的信息量為-log=1bit=所以，最終找出xi需要的信息量為+=1+1+1=3bit［例2.3.4］（聯(lián)合自信息量）有一個(gè)88的正方形棋盤，其上某位置放有一個(gè)棋子。問(wèn)需確定該棋子的位置需要多少信息量？解：因設(shè)棋子等概率的可放在某列xi，并等概率的放在某行yj故，列概率空間為：行概率空間為聯(lián)合概率空間為：{XY,p(xyij),i=1…8,j=1…8}1.根據(jù)聯(lián)合自信息量求解：=確定位置需要的信息量為2．根據(jù)條件自信息量求解：第一步：確定在某行，即yj需要的信息量為第二步：確定在某列，即xi因yj已經(jīng)確定，因此確定xi是在yj已知條件下。則，又因，xi，yj相互獨(dú)立，故需要的總信息量為2.4離散信源的平均自信息量——熵2.4.1平均自信息量——熵已知單符號(hào)離散無(wú)記憶信源的數(shù)學(xué)模型,其中，且我們定義信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望(即概率加權(quán)的統(tǒng)計(jì)平均值)為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時(shí)稱為無(wú)條件熵或熵函數(shù)，簡(jiǎn)稱熵，記為.它實(shí)質(zhì)上是無(wú)記憶信源平均不確定度的度量。如果取以2為底的對(duì)數(shù)，信源熵的單位是bit/符號(hào)。X中各離散消息的自信息量為非負(fù)值，概率也是非負(fù)值，且0≤≤1，故信源熵也是非負(fù)值。的定義公式與統(tǒng)計(jì)熱力學(xué)中熵的表示形式相同，這就是信源熵名稱的由來(lái)。[2.1.6]以[2.1.5為例]，計(jì)算=1/4×log2+3/4log2=0.811比特/消息[2.1.7]以[2.1.5為例]，計(jì)算通信系統(tǒng)信宿端Y的不確定度=7/12×log2+5/12log2=0.980比特/消息[2.1.8]計(jì)算能輸出26個(gè)英文字母的信源的信源熵。假設(shè)各字母等概率分布，且互相獨(dú)立。H(X)=-log2=4.701比特/字母2、本質(zhì)信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的度量。信源一定，不管它是否輸出離散消息，只要這些離散消息具有一定的概率特性，必有信源的熵值，這熵值在總體平均的意義上才有意義，因而是一個(gè)確定值。3、物理含義總括起來(lái)，信源熵有三種物理含義：(1)信源熵表示信源輸出后，每個(gè)離散消息所提供的平均信息量。(2)信源熵表示信源輸出前，信源的平均不確定度。(3)信源熵反映了變量X的隨機(jī)性。2.4.2聯(lián)合信源的平均信息量——聯(lián)合熵設(shè)離散集和組成二維聯(lián)合離散事件集的平均聯(lián)合自信息定義為：聯(lián)合集上的隨機(jī)變量的數(shù)學(xué)期望稱為集和集的聯(lián)合信息熵。2.4.3N次擴(kuò)展信源的熵根據(jù)信息熵的定義，離散無(wú)記憶信源X的N次擴(kuò)展信源的熵等于信源的熵的N倍，即證明由N次擴(kuò)展信源的含義及熵的定義可知，N次擴(kuò)展信源的熵為式中求和號(hào)是對(duì)信源中所有個(gè)符號(hào)求和，所以求和號(hào)共有個(gè)。這種求和號(hào)可以等效于N個(gè)求和，而且其中的每一個(gè)又是對(duì)X中的q個(gè)符號(hào)求和。所以得N次擴(kuò)展信源的熵公式也可以寫(xiě)成上式中共有N項(xiàng)，考察其中第一項(xiàng)上式引用了同理，計(jì)算其余各項(xiàng)，得例：有一離散無(wú)記憶信源求該離散無(wú)記憶信源的二次擴(kuò)展信源的熵。解：由于擴(kuò)展信源的每個(gè)符號(hào)是信源X的輸出長(zhǎng)度為的符號(hào)序列，且信源X共有個(gè)不同符號(hào)，所以由信源X中的每二個(gè)符號(hào)組成的不同排列共有種，得二次擴(kuò)展信源共有9個(gè)不同的符號(hào)。又因?yàn)樾旁碭是無(wú)記憶的，則有（）于是得表如下信源符號(hào)符號(hào)序列概率可以算得，原始信源熵為比特/符號(hào)而二次擴(kuò)展信源為比特/符號(hào)故有：對(duì)于上述結(jié)論，也可以直觀的進(jìn)行理解。因?yàn)閿U(kuò)展信源的每一個(gè)輸出符號(hào)是由N個(gè)所組成的序列，并且序列中前后符號(hào)是統(tǒng)計(jì)獨(dú)立的。先已知每個(gè)信源符號(hào)含有的平均信息量為,那么N個(gè)組成的無(wú)記憶序列平均含有的信息量就為(根據(jù)熵的可加性)。因此，信源每個(gè)輸出符號(hào)含有的平均信息量為。2.5信息熵的性質(zhì)由于信息熵是信源概率空間的一種特殊矩函數(shù)。這個(gè)矩函數(shù)的大小，雖然與信源的符號(hào)及符號(hào)的概率分布有關(guān)。當(dāng)信源符號(hào)集的個(gè)數(shù)給定，信源的信息熵就是概率分布的函數(shù)。而這個(gè)函數(shù)形式即為（2.5.1）可用概率矢量來(lái)表示概率分布可用來(lái)表示符號(hào)概率。概率矢量是維矢量，是其分量，它們滿足和這樣信息熵是概率矢量或它的分量的元函數(shù)。所以（2.5.1）可寫(xiě)成(2.5.2)是概率矢量的函數(shù)，稱為熵函數(shù)。常用來(lái)表示以離散隨機(jī)變量描述的信源的熵；而用或是來(lái)表示概率矢量為P=的個(gè)符號(hào)信源的信息熵。熵函數(shù)也是一種特殊函數(shù)，它的函數(shù)形式為（2.5.3）它具有下列一些性質(zhì)：對(duì)稱性當(dāng)變量的順序任意互換時(shí)，熵函數(shù)的值不變，即（2.5.4）該性質(zhì)表明熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的符號(hào)數(shù)和概率分布相同）,那么，這些信源的熵就相同。非負(fù)性即（2.5.5）該性質(zhì)是很顯然的。因?yàn)殡S機(jī)變量的所有取值的概率分布滿足，當(dāng)取對(duì)數(shù)的底大于1時(shí)，，而，則得到的熵是正值的。只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵才等于零。這種非負(fù)性對(duì)于離散信源的熵是合適的，但對(duì)連續(xù)信源來(lái)說(shuō)這一性質(zhì)并不存在。以后還可以看到，在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。確定性即(2.5.6)因?yàn)樵诟怕适噶恐?，?dāng)某分量時(shí)，；而其余分量所以上式成立。這個(gè)性質(zhì)意味著從總體上來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其他符號(hào)都是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知的信源，其熵等于零。擴(kuò)展性即（2.5.7）此性質(zhì)也不難證明，因?yàn)樗缘仁剑?.5.7）成立。本性質(zhì)說(shuō)明信源的取值數(shù)增多時(shí)，若這些取值對(duì)應(yīng)的概率很?。ń咏诹悖瑒t信源的熵不變。雖然，概率很小的事件出現(xiàn)以后，給予收信者較多的信息。但從總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它在熵的計(jì)算中占得比重很小，致使總的信源熵值維持不變。這也是熵的總體平均性的一種體現(xiàn)?？杉有杂袃蓚€(gè)離散集,其中集的概率分布為其中集的概率分布為組成的聯(lián)合集的概率分布為聯(lián)合集的熵為：=為在給定條件下，發(fā)生的概率。為條件熵。當(dāng)相互獨(dú)立時(shí)，=，則即3)若集合X由K個(gè)子集組成的，每個(gè)子集的概率為，則其熵為。對(duì)每個(gè)子集作進(jìn)一步劃分，如將第個(gè)子集劃分為個(gè)事件，則子集中某事件出現(xiàn)的概率為且。對(duì)這樣劃分的集X，當(dāng)我們要判斷事件出現(xiàn)在哪個(gè)子集時(shí)候可分兩步進(jìn)行：第一步，先判斷事件屬于哪個(gè)子集，其不確定性為。即平均需要這么多的信息量。第二步，再判斷是子集中的哪個(gè)事件，其平均不確定性為相鄰的子集出現(xiàn)的概率為。所以第二次判斷平均付出的信息量為，以上兩步之和就是集X的總的平均不確定性，也就是判斷一個(gè)事件出現(xiàn)所必須付出的平均信息量。即=+極值性最大離散熵定理：X集中的事件發(fā)生的概率為則，即對(duì)于具有個(gè)符號(hào)的離散信源，只有在個(gè)信源符號(hào)等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值。也就是表明等概率分布信源的平均不確定性為最大。這個(gè)結(jié)論就叫做最大離散熵定理?xiàng)l件熵小于無(wú)條件熵(2.5.8)當(dāng)且僅當(dāng)X和Y相互獨(dú)立時(shí)等號(hào)成立。證明根據(jù)條件熵的定義=若令，于是得代入上述表達(dá)式，可以得到即證畢。上凸性熵函數(shù)是概率矢量的嚴(yán)格型凸函數(shù)（或稱上凸函數(shù)）。即對(duì)任意函數(shù)矢量和，及任意則有(2.5.9)此式可根據(jù)凸函數(shù)的定義來(lái)證明。正因?yàn)殪睾瘮?shù)具有上凸性，所以熵函數(shù)具有極值，熵函數(shù)的最大值存在。2.6離散信源的互信息及平均互信息2.6.1非平均互信息1，輸入事件與輸出事件的概率關(guān)系例：設(shè)輸入空間，將各消息以三位二元數(shù)字表示并作為輸出，我們通過(guò)對(duì)輸出事件的觀測(cè)來(lái)判斷輸出的是哪個(gè)消息。假定系統(tǒng)的輸入消息為，則輸出為“011”輸入消息輸出消息消息的先驗(yàn)概率消息后驗(yàn)概率收到“0”后消息后驗(yàn)概率收到“01”后消息后驗(yàn)概率收到“011”后作為觀察者，我們只知道出現(xiàn)的概率相等而不知道輸入是哪個(gè)消息當(dāng)觀察到輸入的二元數(shù)字后，用后驗(yàn)概率公式來(lái)表示出各消息的后驗(yàn)概率。分析：每收到一個(gè)輸出的二元數(shù)字后，各輸入消息的后驗(yàn)概率作獨(dú)立變化，這有利于對(duì)輸入事件進(jìn)行猜測(cè)。在接收到011后，消息出現(xiàn)的概率逐步增加，最終到1，而其他消息出現(xiàn)的后驗(yàn)概率都先后減為零，從而完全確定輸入的消息。結(jié)論：當(dāng)系統(tǒng)中關(guān)心的是哪個(gè)輸入消息時(shí)，則與事件出現(xiàn)的先驗(yàn)概率和經(jīng)過(guò)觀測(cè)后事件出現(xiàn)的后驗(yàn)概率有關(guān)。即，信息的概率是先驗(yàn)概率和后驗(yàn)概率的函數(shù)?！到y(tǒng)可能輸入的消息如——系統(tǒng)可能輸出的消息如令三個(gè)二元數(shù)字分別為，表示則每收到一個(gè)數(shù)字得到的信息量分別為：而且應(yīng)當(dāng)滿足：2．非平均信息量的定義1）定義：對(duì)給定的兩個(gè)離散事件集。事件的出現(xiàn)給出關(guān)于事件的信息量定義為同理，對(duì)于事件出現(xiàn)給出的關(guān)于事件的信息量為：2）非平均互信息即=證：3）說(shuō)明：=1\*GB3①事件之間存在有互信息是因?yàn)閮蓚€(gè)事件統(tǒng)計(jì)相關(guān)。=2\*GB3②若兩個(gè)事件相互獨(dú)立，則互信息等于零。=3\*GB3③若事件的出現(xiàn)有助于肯定事件的出現(xiàn)，即，則互信息大于零，即>0.若事件出現(xiàn)告訴我們事件的出現(xiàn)可能性減小，則<0,互信息小于零。2.6.2條件互信息與聯(lián)合事件的互信息1．條件互信息設(shè)分別為三個(gè)離散事件集，由組成的聯(lián)合集為：其概率關(guān)系為：定義：對(duì)三個(gè)離散集組成的聯(lián)合概率空間在給定的事件條件下，事件和事件之間的條件互信息量定義為：條件互信息的定義和無(wú)條件互信息的定義之間的差別僅在于它的先驗(yàn)概率和后驗(yàn)概率均為某種特定條件下的取值，這個(gè)定義可推廣到任意有限個(gè)空間。N維概率空間中的事件的互信息對(duì)于N個(gè)空間中的事件的條件互信息可以考慮已知的情況下之間的條件互信息量為：條件互信息也具有對(duì)稱性，即2.聯(lián)合互信息（互信息的可加性）有一個(gè)系統(tǒng)，其輸入空間是,輸出空間是.可為并行或是按時(shí)間前后的串行輸出，當(dāng)知道事件和后，共給出系統(tǒng)中有關(guān)的信息量，以及單獨(dú)提供有關(guān)的信息量的關(guān)系為：=1\*GB3①為聯(lián)合事件和事件之間的互信息。=2\*GB3②關(guān)系證明：即：聯(lián)合給出的關(guān)于的信息量等于給出的關(guān)于的信息量與已知的條件下，給出的關(guān)于的信息量——互信息的可加性=3\*GB3③聯(lián)合互信息對(duì)稱性即：事件給出的關(guān)于的信息量等于給出的的信息量加上已知條件下給出的關(guān)于的信息量。=4\*GB3④聯(lián)合互信息的可加性可以推廣到任意的有限空間互信息的可加性對(duì)于描述每個(gè)事件之間的互信息是非常方便的，特別是對(duì)于用戶信息論中的信息量的分析。2.6.3平均互信息量前面我們知道，聯(lián)合空間中的一對(duì)事件之間的互信息是定義在空間中的隨機(jī)變量，對(duì)空間上的概率分布進(jìn)行統(tǒng)計(jì)平均得它是特定時(shí)間出現(xiàn)時(shí)所給的關(guān)于中各事件的平均信息量，設(shè)信息量非負(fù)，即對(duì)事件的觀察總是有助于對(duì)集中的事件出現(xiàn)的判斷，同時(shí)，又是集的隨機(jī)變量，即隨著中給定的事件的不同而不同。1，兩個(gè)離散集的平均互信息量定義：集合中的隨機(jī)變量的數(shù)學(xué)期望值定義為集和集之間的平均互信息量。平均互信息量描述了兩個(gè)集合之間一個(gè)集合中的事件出現(xiàn)后，所給出的關(guān)于另一個(gè)集合中事件出現(xiàn)的信息量的平均值。2．平均信息、熵、條件熵的關(guān)系各表達(dá)式說(shuō)明：1）表示互信息等于輸入集的平均不確定性在觀察到輸出集后，集還保留的不確定性,稱作是含糊度，疑義度或存疑度。在給定集后，含糊度越大，得到的信息量就越小。2）表示平均互信息還等于觀察到后獲得的信息量(或集的平均不確定性)減去傳送時(shí)由于干擾影響使觀察的存在有的二平均不確定性,稱作散布度，干擾越嚴(yán)重散布度就越大，因而得到的信息量就越少。3）表明和之間信息關(guān)聯(lián)的緊密程度。若相互獨(dú)立則有3.平均條件互信息聯(lián)合集中在一個(gè)集合給定的條件下。列兩個(gè)集之間的平均互信息稱作是平均條件互信息。定義：集上定義的隨機(jī)變量的數(shù)學(xué)期望定義為集和集在集給定條件下的平均條件互信息量。由定義可推論出：A．B.C.2.7平均互信息量的性質(zhì)平均互信息量的基本性質(zhì)有：=1\*GB3①非負(fù)性離散集和的平均互信息不小于零。即當(dāng)且僅當(dāng)互相獨(dú)立時(shí)，否則，。當(dāng)集和統(tǒng)計(jì)相關(guān)時(shí)，集事件發(fā)生總能提供一些關(guān)于的信息。=2\*GB3②對(duì)稱性和統(tǒng)計(jì)相關(guān)，觀測(cè)得到的關(guān)于的信息量與觀測(cè)集得到的關(guān)于的信息量相等。證：=3\*GB3③可加性=4\*GB3④極值性=5\*GB3⑤平均互信息的凸性據(jù)得知，平均互信息只是輸入集的概率分布和條件概率的函數(shù)。即平均互信息只與信源的概率分布和信道的轉(zhuǎn)換概率有關(guān)，因此對(duì)于不同的信源分布和不同的條件概率得到的互信息不同。定理一：平均互信息是集的分布的上凸函數(shù)，即當(dāng)條件概率給定后，對(duì)于不同的集分布，平均互信息具有最大值。定理二：平均互信息是條件概率的下凸函數(shù)，即當(dāng)集分布給定后，對(duì)于不同的條件概率，平均互信息具有最小值。2.8信息處理定理由集合X,Y,Z組成的級(jí)聯(lián)系統(tǒng)如圖所示：XZY其中，X:系統(tǒng)一的輸入；Y:系統(tǒng)二的輸出；Z:系統(tǒng)一得輸出，系統(tǒng)二的輸入。系統(tǒng)分析：1，若是對(duì)任意的有下式成立：即在Z的條件下，X，Y相互獨(dú)立。則有，此時(shí)，2，若是系統(tǒng)二的輸出只由系統(tǒng)二的輸入Z決定則有，對(duì)所有滿足>0的x，y，z給兩邊同乘得，=此時(shí)，在給定Z的條件下，系統(tǒng)輸出Y和輸入X之間的平均互信息量等于零。即，由上面的級(jí)聯(lián)分析系統(tǒng)得出信息處理的定理：對(duì)于X,Y,Z組成的上述級(jí)聯(lián)系統(tǒng)，對(duì)于集Z到集Y的任意變換Y=f（Z）有如下結(jié)論：證明：由：得，即可得，又因?yàn)闂l件互信息非負(fù)，即得，根據(jù)熵中熵的自信息量之間的關(guān)系得：和代入;得得，當(dāng)且僅當(dāng)f（Z）=Y的時(shí)候，有此時(shí)，上式中的等號(hào)才能成立。（）此定理得證。對(duì)于上述的級(jí)聯(lián)我們還可以得到信息處理定理的說(shuō)明：若將集X作為觀測(cè)對(duì)象，Z作為觀測(cè)到的數(shù)據(jù)集，而Y作為對(duì)觀測(cè)結(jié)果Z的某種變換（處理）得到的結(jié)果，則對(duì)于觀測(cè)得到的數(shù)據(jù)做任何處理都會(huì)帶來(lái)數(shù)據(jù)的損失，而絕對(duì)不會(huì)是信息增加。這就是信息的不增性原理，也是信息的一個(gè)重要性質(zhì)之一。在對(duì)觀測(cè)數(shù)據(jù)Z進(jìn)行處理的時(shí)候，若是處理的細(xì)致些，會(huì)使信息損失少一些，但付出的代價(jià)（如設(shè)備的復(fù)雜性，計(jì)算量或者處理時(shí)間）要更大了。例如，一外文小說(shuō)（Z）翻譯成中文小說(shuō)（Y）,小說(shuō)的信息量（X）之間的關(guān)系。2.9連續(xù)信源的信息度量2.9.1連續(xù)隨機(jī)變量的信息量和熵1．自信息量基本連續(xù)信源的數(shù)學(xué)模型為X=并滿足其中R是全實(shí)數(shù)集，是連續(xù)變量X的取值范圍。根據(jù)前述的離散化原則，連續(xù)變量X可量化分層后用離散變量描述。量化單位越小，則所得的離散變量和連續(xù)變量越接近。因此，連續(xù)變量的信息測(cè)度可以用離散變量的信息測(cè)度來(lái)逼近。假定連續(xù)信源X的概率密度函數(shù)為，我們把取值區(qū)間［］分割成n個(gè)小區(qū)間，有等寬=，當(dāng)連續(xù)變量X取值在范圍內(nèi)的時(shí)候，其出現(xiàn)的概率為所以事件的自信息量為：2．平均自信息量根據(jù)平均自信息量的定義，有：=分析：當(dāng)劃分無(wú)限精細(xì)時(shí)，即時(shí)，，因此將隨著劃分的變細(xì)而趨向無(wú)窮大，這說(shuō)明連續(xù)隨機(jī)變量的潛在信息量是無(wú)窮的，對(duì)它進(jìn)行量化時(shí)，量化的精度越高，它呈現(xiàn)出的信息量就會(huì)越大。而隨之表現(xiàn)這一精度所需的代價(jià)也就會(huì)越來(lái)越大。但實(shí)際中，由于人或者機(jī)器的分辨力是有限的，且存在著若干的干擾因素。使得對(duì)任何物理量的測(cè)量不必、也不可能過(guò)于精細(xì)。2.9.2連續(xù)信源的最大熵、熵功率、相對(duì)熵及互信息量1．連續(xù)信源的最大熵從前面的討論我們可以知道，對(duì)于離散信源來(lái)說(shuō)的話，在所有的消息獨(dú)立等概率時(shí)，其輸出熵最大。在確定這個(gè)最大熵時(shí)，除了概率和等于1（即）外誒有任何其他的約束條件，這里要研究連續(xù)信源最大熵的條件。在討論的時(shí)候，仍然先假定樣值間是相互獨(dú)立的，也就是說(shuō)，需要研究使連續(xù)信源熵為最大時(shí)信號(hào)的一維最佳概率分布。具體地說(shuō)，就是求求當(dāng)熵為最大條件下，求解概率分布密度函數(shù)，且滿足：=1\*GB3①；=2\*GB3②其他約束條件。這個(gè)問(wèn)題一般用變分法來(lái)求解，即在若干條件制約下（2.9.1）求積分（泛函）（2.9.2）為極值時(shí)這一函數(shù)。式（2.9.1）中為常數(shù)。在所研究的問(wèn)題中為（2.9.3）在求解這個(gè)問(wèn)題中，為了對(duì)式（2.9.2）的積分求極值，又要保證滿足給定的約束條件，就需要建立如下的函數(shù)（2.9.4）式中，為特定系數(shù)，由個(gè)制約條件決定的。因此，求函數(shù)的極值，就變?yōu)榍笫阶樱?.9。4）函數(shù)的極值，即對(duì)函數(shù)求導(dǎo)并令其為零，即（2.9.5）因?yàn)椴还転楹沃?，上式均?yīng)滿足，因此必須保證（2.9.6）求解方程式（2.9.6）得函數(shù)，然后代入式（2.9.1）的個(gè)方程，即可求得系數(shù)從而決定了。實(shí)際上，對(duì)連續(xù)信源感興趣的有以下兩種情況：=1\*GB3①信源輸出的瞬時(shí)功率或輸出幅度受限的情況；=2\*GB3②信源輸出的平均功率受限的情況?，F(xiàn)在應(yīng)用上述的變分法來(lái)求解信源的最佳概率分布密度和最大熵。輸出值范圍受限的信源信源輸出信號(hào)的幅度或瞬時(shí)功率S受到限制。即：求解：（2.9.7）為極值時(shí)的。這時(shí)限制條件只有一個(gè)，即（2.9.8）對(duì)于給定的情況式（2.9.6）中所以式（2.9.6）可寫(xiě)成則為了計(jì)算方便，對(duì)數(shù)取以e為底的對(duì)數(shù)，得（2.9.9）將式（2.9.9）代入（2.9.8）可得，則(2.9.10)這就是說(shuō)，概率分布密度為常數(shù)時(shí)，有最大熵，如圖2.9.1所示。0+V0+V-VP(V)圖2.9.1信源輸出幅度受限時(shí)最佳分布最大熵為或?qū)懗桑?.9.11）一般情況下，當(dāng)幅度限制在和之間，即當(dāng)時(shí)，則（2.9.12）(2.9.13)從上面的分析中可以得到如下的結(jié)論：輸出信息值的范圍受限的連續(xù)信源，其輸出最大熵的條件是輸出信號(hào)在該范圍內(nèi)分布是均勻分布，其最大熵為概率分布密度倒數(shù)的對(duì)數(shù)。這與輸出符號(hào)數(shù)受限的離散信源在各符號(hào)以等概率出現(xiàn)時(shí)輸出熵最大的結(jié)論是類似的。輸出平均功率受限的信源假定信源的平均功率為，此時(shí)求解熵(2.9.14)為極值時(shí)的。這時(shí)限制條件為（2.9.15）這時(shí)，將上式代入式（2.9.6）得解得對(duì)數(shù)取以e為底，得（2.9.16）將上式代入式（2.9.15）第一式，得則得（2.9.17）將式（2.9.16），（2.9.17）代入式（2.9.15）第二式，得則得（2.9.18）所以（2.9.19）將式（2.9.19）和（2.9.18）代入式（2.9.16）得（2.9.20）此式表明，信號(hào)平均功率一定時(shí)，信號(hào)的最佳概率分布式數(shù)學(xué)期望為零，方差等于均功率的高斯分布。這時(shí)，最大熵為（奈特）（2.9.21）若高斯分布的信號(hào)平均功率為N，,因此式（2.9.21）可寫(xiě)成(奈特)（2.9.22）式（2.9.21）和（2.9.22）說(shuō)明了具有高斯分布的連續(xù)信源的熵最大，其大小平均功率N的增加而增加。也就是說(shuō)，高斯信源輸出的每個(gè)樣值（也叫自由度）提供的平均信息量最大，而且隨平均功率而增加。倘若一個(gè)信源的輸出信號(hào)平均功率為N，但其幅度分布不是高斯分布，那么其熵將比式（2.9.21）計(jì)算的小。對(duì)于這種信源為了分析方便，又定義了一個(gè)“熵功率”，用來(lái)表示該信源的剩余。所謂熵功率就是指與這個(gè)平均功率的非高斯信源有同樣熵的高斯信源的平均功率。因此，若H為這個(gè)信源的熵，則根據(jù)熵功率的定義，得則熵功率為(2.9.23)即熵功率永遠(yuǎn)小于信源的真正功率，這說(shuō)明非高斯信源是有剩余信源，即有功率剩余。2．=1\*GB3①絕對(duì)熵將稱作絕對(duì)熵，在比較兩個(gè)事件信息量時(shí)常被略去。=2\*GB3②相對(duì)熵——微分熵——熵稱作為是連續(xù)變量集X的微分熵或是熵，在研究互信息量中只有該熵有作用，我們就把它的極限叫做連續(xù)隨機(jī)變量的相對(duì)熵。即(2.9.24)例：設(shè)X是區(qū)間上均勻分布的連續(xù)隨機(jī)變量，求X的熵。解：X的概率密度為注：連續(xù)隨機(jī)變量的相對(duì)熵不具有非負(fù)性當(dāng)3．聯(lián)合熵和條件熵假若有兩個(gè)連續(xù)信源X和Y，且：——分別為信源X和Y的概率分布密度：——分別為條件概率分布函數(shù)；——聯(lián)合概率分布密度，即二維分布。則二元聯(lián)合信源的聯(lián)合熵為:(2.9.25)其條件熵為（2.9.26）或（2.9.27）由于連續(xù)信源的熵是相對(duì)熵，它與離散信源的熵不同，不具有非負(fù)性和極值性。但也存在連續(xù)信源的聯(lián)合熵、條件熵和熵之間的關(guān)系：1)2)當(dāng)信源X和Y相互獨(dú)立時(shí)，1和2中的等號(hào)成立。3）對(duì)于多元聯(lián)合信源，若其聯(lián)合概率密度為，則其聯(lián)合熵為并且存在當(dāng)信源彼此獨(dú)立時(shí)，等號(hào)成立。4．連續(xù)隨機(jī)變量的互信息=1\*GB3①設(shè)X,Y都是隨機(jī)變量，概率密度分別為，聯(lián)合概率密度為概率密度之間的關(guān)系為：概率：對(duì)于任意的小區(qū)間隨機(jī)變量取值在附近的概率為：隨機(jī)變量取值在附近的概率為：同時(shí)取值在附近的概率為：互信息量的定義：連續(xù)聯(lián)合集{}中，事件之間的互信息量為：條件互信息：連續(xù)聯(lián)合集的條件互信息：聯(lián)合互信息量：=2\*GB3②平均互信息：連續(xù)隨機(jī)變量集之間的平均互信息定義為：平均條件互信息為：集XY和Z之間的平均互信息為：=3\*GB3③連續(xù)隨機(jī)變量平均互信息量的性質(zhì)：=1\*ROMANI非負(fù)性(當(dāng)X和Y獨(dú)立時(shí)等號(hào)成立)=2\*ROMANII對(duì)稱性=3\*ROMANIII極值性=4\*ROMANIV可加性連續(xù)集的平均互信息和相對(duì)熵的關(guān)系：2.9.3隨機(jī)過(guò)程的相對(duì)熵及互信息設(shè)是在時(shí)間段上的兩個(gè)隨機(jī)變量，他們滿足平方可積條件，即能量有限。將展開(kāi)，展開(kāi)形式為：其中=1，2…=1，2…這樣，隨機(jī)過(guò)程就在均方收斂意義下，由他們的分量來(lái)表示。其中每個(gè)分量都是一個(gè)隨機(jī)變量。則，時(shí)間上連續(xù)的隨機(jī)變量就化為樣點(diǎn)可數(shù)，取值連續(xù)的隨機(jī)變量的集合。隨機(jī)變量和的相對(duì)熵及互信息。相對(duì)熵：互信息：隨機(jī)過(guò)程在給定時(shí)間段上的相對(duì)熵及互信息相對(duì)熵：可由時(shí)的隨機(jī)變量給出：互信息：在實(shí)際中，對(duì)于一個(gè)數(shù)量為,時(shí)間段長(zhǎng)為T的隨機(jī)過(guò)程?？山朴脤㈦S機(jī)變量來(lái)表示。這樣，一個(gè)數(shù)量和時(shí)間都為有限的時(shí)間函數(shù)就化為有限個(gè)時(shí)間離散的隨機(jī)變量。例：設(shè)是兩個(gè)獨(dú)立的隨機(jī)過(guò)程。是兩個(gè)隨機(jī)過(guò)程之和。求和的互信息。解：因獨(dú)立。則對(duì)任意N，其正交展開(kāi)式的矢量X和Z的分量分別是獨(dú)立。故都可用同一正交數(shù)集展開(kāi)。則隨機(jī)變量之間的互信息為：習(xí)題2.1同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率是一樣的，都是1/6,求：（1）“2和4同時(shí)出現(xiàn)”事件的自信息量；（2）“兩個(gè)3同時(shí)出現(xiàn)”事件的自信息量；（3）兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序?qū)Γ┑撵鼗蚱骄畔⒘?；?）兩個(gè)點(diǎn)數(shù)之和（即2,3，…，12構(gòu)成的子集）的熵；（5）兩個(gè)點(diǎn)中至少有一個(gè)是3的自信息量。2.2某大學(xué)設(shè)置有6個(gè)系，每個(gè)系的學(xué)生人數(shù)分別為系別：123456人數(shù)：360360480600480360問(wèn)“某學(xué)生A是是三系學(xué)生”這一消息提供的信息量是多少？2.3一副充分洗亂了的牌（含52張牌），試問(wèn)（1）任一特定排列所給出的信息量是多少？（2）若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量？2.4設(shè)有一離散無(wú)記憶信源，其概率空間為求每個(gè)符號(hào)的自信息量；信源發(fā)出一消息符號(hào)序列為{202120130213001203210110321010021032011223210}，求該消息序列的自信息量及平均每個(gè)符號(hào)攜帶的信息量。2.5兩個(gè)實(shí)驗(yàn)X和Y，X={}，Y={}，聯(lián)合概率為如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？在已知Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？2.6如果有6行8列的棋型方格，若有二個(gè)質(zhì)點(diǎn)A和B，分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分別是,，但A、B不能落入同一個(gè)方格內(nèi)。（1）若僅有質(zhì)點(diǎn)A，求A落入人一個(gè)格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量是多少？（3）若A、B是可分辨的，求A、B同都落入的平均自信息量是多少？2.7設(shè)離散無(wú)記憶信源其符號(hào)集，知其相應(yīng)的概率分布為。設(shè)另一離散無(wú)記憶信源,其符號(hào)集為信源符號(hào)集的兩倍，并且各符號(hào)的概率分布滿足試寫(xiě)出信源的信息熵與信源的信息熵的關(guān)系。2.8設(shè)信源求這信源的熵，并解釋為什么，不滿足信源熵的極值性。2.9變量的聯(lián)合概率密度分布如下：求熵，，，和。2.10在一個(gè)二進(jìn)制信道中，信源消息集，且，信宿的消息集，信道傳輸概率，。求：（1）在接受端收到后，所提供的關(guān)于傳輸消息的平均條件互信息量；（2）該情況下所能提供的平均互信息量。2.11已知信源發(fā)出兩種消息，且。此消息在二進(jìn)制對(duì)稱信道上傳輸，新到的傳輸特性為，。求互信息量和。2.12隨機(jī)變量的概率在取值范圍為內(nèi)服從均勻分布，計(jì)算該信源的相對(duì)熵。2.13一個(gè)發(fā)射機(jī)發(fā)出、、三個(gè)消息，他們的先驗(yàn)概率和條件概率分別為00試求：（1）該信源的熵？（2）若信源各消息之間是獨(dú)立無(wú)關(guān)時(shí)，信源熵為多少？

第三章離散信源無(wú)失真編碼通信的實(shí)質(zhì)是信息的傳輸。而高速度、高質(zhì)量地傳送信息卻又是信息傳輸?shù)幕締?wèn)題。將信源信息通過(guò)信道傳送給信宿，怎樣才能即做到盡可能不失真而又快速呢？這就需要解決。第一，在不失真或允許一定失真條件下，如何用盡可能少的符號(hào)來(lái)傳送信源信息，以便提高信息傳輸率。第二，在信道受到干擾的情況下，如何增加信號(hào)的抗干擾能力，同時(shí)又使得信息傳輸率最大。若接收端信宿要求無(wú)失真地精確復(fù)制信源輸出的消息，這種表示是一一對(duì)應(yīng)的，即保證信源產(chǎn)生的全部信息無(wú)失真地傳送給信宿，這時(shí)的信源編碼是無(wú)失真編碼。只有對(duì)離散信源可以實(shí)現(xiàn)無(wú)失真地信源編碼，對(duì)連續(xù)信源其信源輸出的信息量為無(wú)限大，因此是不可能實(shí)現(xiàn)無(wú)失真信源的編碼的。為了解決這兩個(gè)問(wèn)題我們引入了信源編碼和信道編碼。在前面已建立的信源統(tǒng)計(jì)特性和信息熵的概念