通信的數(shù)學(xué)理論香農(nóng)中文版

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)通信的數(shù)學(xué)理論近年來(lái)像PCM和PPM這些交換信號(hào)噪音比帶寬等的多種調(diào)制方法的發(fā)展已經(jīng)增強(qiáng)了我們對(duì)一般通信理論的興趣。這種理論的基礎(chǔ)包括在重要的報(bào)紙 and 中關(guān)于此學(xué)科的內(nèi)容。在當(dāng)今的報(bào)紙中我們將延伸這種理論從而包括許多新的因素，特別是噪聲通道的影響，和存儲(chǔ)可能的基于最初信息統(tǒng)計(jì)的結(jié)構(gòu)和基于數(shù)據(jù)的最后目的性性質(zhì)。通信的基本問(wèn)題是再制造一點(diǎn)或者準(zhǔn)確地或者近似地一個(gè)從別處挑選的信息。通常信息有意義；那是他們提到的或是依照一些特定物質(zhì)或概念上實(shí)體的系統(tǒng)的相互關(guān)聯(lián)。這些與語(yǔ)意有

2、關(guān)的通信方面是不切題的工程問(wèn)題。重要的方面是真實(shí)的信息是從一組可能的信息挑選來(lái)的。系統(tǒng)一定要有計(jì)劃的操作每個(gè)可能的選擇, 而不僅僅是哪一個(gè)因?yàn)樵谠O(shè)計(jì)的時(shí)候是未知者將會(huì)被選擇。如果設(shè)備的信息數(shù)目是有限的,那么這組數(shù)字或一些具有單調(diào)功能的數(shù)字可以被當(dāng)做對(duì)信息被關(guān)閉后再創(chuàng)造的測(cè)度, 所有的選擇有相同的可能。像Hartley所指出的,最自然的選擇是對(duì)數(shù)的功能。雖然當(dāng)我們考慮統(tǒng)計(jì)信息的影響力以及對(duì)信息的持續(xù)排列這個(gè)定義必須被凝練地概括，我們將在所有情況下用一個(gè)本質(zhì)為對(duì)數(shù)的量度標(biāo)準(zhǔn)。對(duì)數(shù)的測(cè)度更方便，主要有以下多方面的理由:它在實(shí)踐上更有用。工程的重要參數(shù)，像時(shí)間、帶寬、數(shù)字的分程傳遞等等，趨向于隨可能數(shù)

3、字的對(duì)數(shù)線性改變。 舉例來(lái)說(shuō),增加一個(gè)繼電器到小組會(huì)加倍數(shù)字的可能情形。 它加1到以2為底的對(duì)數(shù)。加倍時(shí)間大致得到可能信息數(shù)目的平方,或加倍其對(duì)數(shù),等等。2. 它以適當(dāng)?shù)某叽缃咏覀兊闹庇X(jué)感觀。如果我們直覺(jué)地用共同的標(biāo)準(zhǔn)線性比較測(cè)量實(shí)體，它將接近相關(guān)到(1)。有一個(gè)想法,舉例來(lái)說(shuō),二張穿孔卡片與一張相比有兩倍的信息儲(chǔ)藏能力,并且二個(gè)通道與一個(gè)相比有兩倍的傳輸數(shù)據(jù)的能力。3.它在數(shù)學(xué)方面更合適。許多極限運(yùn)算在對(duì)數(shù)方式下很簡(jiǎn)單，但是在普通數(shù)字下卻需要笨拙的重述。對(duì)數(shù)底的選擇對(duì)應(yīng)測(cè)量信息單位的選擇。如果以2為底，產(chǎn)生的單位可以叫二進(jìn)位數(shù)字,或比較簡(jiǎn)要地叫比特,一個(gè)由J.W.Tukey建議的詞。一個(gè)擁

4、有兩個(gè)穩(wěn)定位置的設(shè)備,像一個(gè)繼電器或一個(gè)雙穩(wěn)態(tài)多諧振蕩器,可以存儲(chǔ)一比特的信息。N個(gè)如此的裝置能存儲(chǔ)N比特的信息，因?yàn)榭赡芮樾蔚目倲?shù)是。信息來(lái)源 傳達(dá)者 接受者 目的地 信號(hào) 接收信號(hào) 信息 干擾源 圖1一個(gè)常規(guī)信息系統(tǒng)原理圖并且。如果以10為底產(chǎn)生的單位可以叫十進(jìn)制數(shù)字。因?yàn)椤?，“某些影響通?bào)速度的因素”貝爾系統(tǒng)科技刊物，1924年4月，第324頁(yè)；“電報(bào)傳輸理論中某些總聯(lián)機(jī)程序和信息控制系統(tǒng)”， A.I.E.E. Trans.v.47,1924年4月，第617頁(yè)。，“信息傳輸”， 貝爾系統(tǒng)科技刊物，1928年7月，第535頁(yè)。一個(gè)十進(jìn)制數(shù)大約比特。書桌上的一個(gè)阿拉伯?dāng)?shù)字計(jì)數(shù)器有十個(gè)穩(wěn)定的位

5、置并且因此擁有存儲(chǔ)十進(jìn)制數(shù)字的能力。有時(shí)在綜合和區(qū)分的解析工作中底數(shù)很有用處。以此為底的信息結(jié)果將被叫做自然對(duì)數(shù)。將底數(shù)由a改為b僅僅需要乘以。 對(duì)于通信系統(tǒng)我們想要用一個(gè)系統(tǒng)的示意圖圖1闡明。它包括五個(gè)重要的部分：1.一個(gè)制造信息或排序信息的信息源將被傳達(dá)到終端。信息可能有各種不同類型:(a)電傳打字系統(tǒng)的電報(bào)中的字母序列;(b)無(wú)線電話中的一個(gè)單一時(shí)間函數(shù)f(t);(c)一個(gè)時(shí)間函數(shù)和其它應(yīng)用在黑白電視機(jī)中的變量在這里信息可能被當(dāng)做一個(gè)二個(gè)空間坐標(biāo)和時(shí)間的函數(shù)f(x,y,t)；在點(diǎn)(x,y)的光強(qiáng)度，在光的金屬板上獲得的時(shí)間t;(d)二或更多的時(shí)間函數(shù),分別為f(t)、g(t),h(t)這

6、是“三維”聲音傳播的情形，或者若系統(tǒng)有意維修個(gè)別多元通道;(e)一些變量的一些函數(shù)在彩色電視機(jī)中有三個(gè)函數(shù)f(x,y,t),g(x,y,t),h(x,y,t)，定義在一個(gè)三維空間的閉聯(lián)集中我們也可能想像這三個(gè)函數(shù)作為一個(gè)定義在區(qū)域矢量場(chǎng)的向量分量同樣地，個(gè)別黑白電視機(jī)消息來(lái)源是許多三個(gè)變量的函數(shù)；(f)不同的混合物也會(huì)發(fā)生，例如在電視機(jī)中有聯(lián)合的音頻信道。2.用一些方法操作信息以產(chǎn)生在信道上傳輸?shù)暮线m信號(hào)的傳達(dá)者。在電話制造中這種操作包括的僅僅是替換躁聲壓力為電流。在電信技術(shù)中我們有產(chǎn)生一系列點(diǎn)、莫爾斯電碼、空間等相關(guān)信息信道的編碼、譯碼的操作。在一個(gè)多元的PCM系統(tǒng)不同的語(yǔ)音函數(shù)必須被取樣壓

7、縮, 量子化和編碼,而且最后完全交叉存取地構(gòu)造信號(hào)。聲音傳播機(jī)系統(tǒng)、電視和頻率調(diào)制器是其他的聯(lián)合體操作應(yīng)用于信息以獲取信號(hào)的例子。3.信道只是用來(lái)從傳達(dá)者到接收者傳送信號(hào)的媒介。它可能是一雙電線、一個(gè)同橋電纜、一條無(wú)線電電波,一個(gè)光束,等等。4.接收者通常完成由傳達(dá)者做的反運(yùn)算,重建來(lái)自信號(hào)的信息。5.目的地是信息對(duì)其有意的人(或者事物)。我們希望考慮特定的一般問(wèn)題用于信息系統(tǒng)。這首先需要描述不同數(shù)學(xué)實(shí)體的相關(guān)原理，將他們的物理副本合理的理想化。我們大致把通信系統(tǒng)分為三大類：離散的，連續(xù)的和混和的。離散系統(tǒng)對(duì)于我們就意味著信息和信號(hào)是一系列的離散符號(hào)。一個(gè)典型的情形是在電信技術(shù)中消息是一系列的

8、字母和信號(hào)點(diǎn)、莫爾斯電碼及空間。連續(xù)型的系統(tǒng)就是一個(gè)信息和信號(hào)都被看作是連續(xù)函數(shù)的系統(tǒng)，例如無(wú)線電通信或電視機(jī)?；旌舷到y(tǒng)中既有離散的又有連續(xù)的變量，例如PCM語(yǔ)言傳輸。我們首先考慮離散的情形。這種情形不僅應(yīng)用于通信理論，而且應(yīng)用于計(jì)算機(jī)理論，電話局和其他領(lǐng)域的設(shè)計(jì)。另外離散的情形構(gòu)成在下半頁(yè)要處理的連續(xù)和混合情形的基礎(chǔ)。 第一部分：離散的無(wú)噪聲系統(tǒng) 1離散的無(wú)噪聲信道 電傳打字機(jī)和電信技術(shù)是離散信道上信息傳輸?shù)膬蓚€(gè)簡(jiǎn)單例子。一般來(lái)講，一個(gè)離散信道就意味著一個(gè)系統(tǒng)怎么從可以從一個(gè)點(diǎn)傳到另一個(gè)點(diǎn)被傳輸?shù)挠邢藜显胤?hào)選擇次序。每一個(gè)符號(hào)被假定有確定的連續(xù)時(shí)間秒（對(duì)于不同的沒(méi)必要相同，例如電信技術(shù)

9、中的點(diǎn)和莫爾斯電碼）。這不需要有可能傳輸?shù)较到y(tǒng)的的所有可能排序，確定次序僅僅是可能被允許。這將在信道產(chǎn)生可能的信號(hào)。這樣在電信技術(shù)中可以推想符號(hào)有：（1）一個(gè)點(diǎn)，包括一個(gè)單位時(shí)間的關(guān)閉和一個(gè)單位時(shí)間的線性開啟；（2）一個(gè)莫爾斯電碼，包括三個(gè)單位時(shí)間的關(guān)閉和一個(gè)單位時(shí)間的開啟；（3）一個(gè)包括三個(gè)單位時(shí)間線性開啟的字母空間；（4）一個(gè)包括六個(gè)單位時(shí)間線性開啟的詞空間。我們可能放置約束在允許的無(wú)間隔的次序（因?yàn)槿绻麅蓚€(gè)字母的間隔是接近的，它同一個(gè)字空間是一樣的）。我們現(xiàn)在要考慮的問(wèn)題是如何測(cè)量這樣一個(gè)信道傳輸信息的能力。在電傳打字的情況下所有符號(hào)有同樣的持續(xù)時(shí)間，并且32個(gè)符號(hào)任何排序答案是簡(jiǎn)單的。

10、每個(gè)符號(hào)擁有5比特的信息量。如果系統(tǒng)每秒傳輸n個(gè)字符，那么自然來(lái)說(shuō)信道有一個(gè)每秒5n比特的傳輸能力。這并不意味電傳打字信道總是這個(gè)傳輸速度，這是可能的最大值并且實(shí)際比率能否達(dá)到最大值取決于進(jìn)入信道不久將會(huì)出現(xiàn)的信息源。在不同長(zhǎng)度的符號(hào)和約束的允許序列的更普通情形中，我們作以下定義：定義：一個(gè)離散信道容量C由此公式給出：其中N(T)是持續(xù)時(shí)間為T時(shí)允許信號(hào)數(shù)目。 很容易看出在電傳打字的情形下降低了當(dāng)前的結(jié)果。可以看出問(wèn)題中的極限在多數(shù)情況的影響下存在一個(gè)最終的數(shù)目。假使所有符號(hào)的次序都可能發(fā)生，并且這些符號(hào)的持續(xù)時(shí)間為。信道容量是多少？如果N(T)代表為期t的次序數(shù)目,我們就有總數(shù)目等于以為結(jié)尾

11、的序列數(shù)目的總和并且是。根據(jù)一個(gè)著名的有限差結(jié)果,N(t)于是漸進(jìn)大數(shù)t到,其中是特征方程式的最大解: 因此在允許序列受限制的情況下我們也有一個(gè)此種類型的不同方程式并且從特征方程式中得到C。在以上提到的電信技術(shù)我們知道依照最后或幾乎最后出現(xiàn)的序列計(jì)算符號(hào)序列。因此C等于。其中是方程的根。我們可以解得C=0.539。一個(gè)置于允許序列約束的普通類型如下:我們想象一個(gè)可能的數(shù)字序列。對(duì)于每一種情形僅僅設(shè)置中的某些符號(hào)可以被傳輸(不同的子集有不同的情形)。當(dāng)其中之一被傳輸，就產(chǎn)生一個(gè)取決于老狀態(tài)和當(dāng)前傳輸信號(hào)的新?tīng)顟B(tài)。發(fā)電報(bào)就是這其中的一個(gè)簡(jiǎn)單例子。存在兩個(gè)取決于是否是一個(gè)空間最后傳輸信號(hào)的狀態(tài)。如果

12、這樣的話，那么僅僅一個(gè)點(diǎn)或一個(gè)莫爾斯電碼可以被發(fā)送并且狀態(tài)經(jīng)常改變。如果不是的話，一些信號(hào)可以傳輸并且若空間被發(fā)送狀態(tài)將改變，否則它保持不變。這種情形可以在線狀圖圖2中闡明。 莫爾斯電碼 點(diǎn) 點(diǎn) 字母空間 莫爾斯電碼 詞空間 圖2電報(bào)符號(hào)約束的圖表 狀態(tài)和線相應(yīng)的那些連接點(diǎn)指示著狀態(tài)中的可能符號(hào)和結(jié)果狀態(tài)。在附錄1中可以看出如果允許序列的條件可以被描述在形態(tài)C中，結(jié)果將存在并且計(jì)算出它與以下結(jié)果一致：定理1：以為從狀態(tài)i到狀態(tài)j的允許符號(hào)的周期。那么信道容量C等于，其中W是行列式方程式的最大實(shí)根：=0其中若i=j則，否則。例如，在電報(bào)情形（圖2）中行列式是：=0。在擴(kuò)充式中這將導(dǎo)出以上這種情形

13、所給的方程式。2.信息的離散信源我們已經(jīng)看到在普通情況下可能信號(hào)的數(shù)目的對(duì)數(shù)在離散信道中隨時(shí)間線性增長(zhǎng)。信道容量可以由給出的增長(zhǎng)率說(shuō)明，每秒的比特?cái)?shù)目需要詳細(xì)說(shuō)明所用的特殊符號(hào)。我們現(xiàn)在考慮信息源。如何將信息源用數(shù)學(xué)方式描述，在所給信源每秒產(chǎn)生多少信息位呢？這個(gè)問(wèn)題的關(guān)鍵是關(guān)于降低信源必需的信道容量的統(tǒng)計(jì)知識(shí)的影響，通過(guò)利用適當(dāng)?shù)男畔⒕幋a。在電信技術(shù)中，例如，包括字母序列的被傳輸信息。然而，這些序列并不是完全隨意的。一般而言，他們組成句子并且有所謂英文的統(tǒng)計(jì)結(jié)構(gòu)。字母E比字母F出現(xiàn)的頻繁，序列TH比序列XP出現(xiàn)的頻繁，等等。這個(gè)結(jié)構(gòu)的存在通過(guò)適當(dāng)?shù)鼐幋a信息序列到信號(hào)序列能節(jié)省時(shí)間（或信道容量）

14、。這已經(jīng)被用來(lái)通過(guò)利用最短的符號(hào)信道、點(diǎn)、最常見(jiàn)的英文字母E限制寬度，然而少見(jiàn)的字母Q，X，Z用長(zhǎng)點(diǎn)的點(diǎn)和莫爾斯電碼表示。這個(gè)方法還被廣泛應(yīng)用于商業(yè)編碼，其中常見(jiàn)字和短語(yǔ)是由極大地縮短平均時(shí)間的4或5位信碼群表示?，F(xiàn)在運(yùn)用的標(biāo)準(zhǔn)問(wèn)候和周年紀(jì)念電報(bào)擴(kuò)充這一點(diǎn)到編碼一到兩個(gè)句子為相關(guān)的短的數(shù)字序列。我們可以考慮一個(gè)離散信源作為由符號(hào)產(chǎn)生的信息、符號(hào)。它通過(guò)某些可能的依靠選擇連續(xù)的符號(hào)，一般的，在前述的選擇，像問(wèn)題中的特殊符號(hào)。一個(gè)物理系統(tǒng)，或是一個(gè)產(chǎn)生由可能集合支配的符號(hào)序列的系統(tǒng)的數(shù)學(xué)模型，叫做隨機(jī)過(guò)程。我們可以考慮一個(gè)離散信源，因此，將通過(guò)一個(gè)隨機(jī)過(guò)程描述。相反地，有一些隨機(jī)過(guò)程，它們產(chǎn)生離散

15、的選自被認(rèn)為是離散信源的有限集的符號(hào)序列。這將包括如下情形：自然書寫語(yǔ)言如英語(yǔ)、德語(yǔ)、漢語(yǔ)。由量子化過(guò)程離散呈遞的連續(xù)信息源。例如由PCM發(fā)射機(jī)發(fā)送的量子化演說(shuō)，或者一個(gè)量化電視信號(hào)。在數(shù)學(xué)情形中我們僅僅定義抽象的產(chǎn)生符號(hào)序列的隨機(jī)過(guò)程。如下是最終資源類型的例子。(A)假設(shè)我們有5個(gè)都以0.2的可能性被選擇的字母A、B、C、D、E,連續(xù)選擇是不受約束的。這將產(chǎn)生一個(gè)序列，如下就是一個(gè)典型例子。它利用隨機(jī)數(shù)字表格構(gòu)造的。B D C B C E C C C A D C B D D A A E C E E AA B B D A E E C A C E E B A E E C B C E A D,例如

16、, S. Chandrasekhar,“物理學(xué)和天文學(xué)中隨機(jī)問(wèn)題,”現(xiàn)代物理學(xué)的回顧，v.15,No.1,1943年一月,第一頁(yè).,隨機(jī)取樣數(shù)字的表格, 劍橋,1939.(B)用五個(gè)發(fā)生概率分別為0.4,0.1,0.2,0.2,0.1的同樣字母, 連續(xù)選擇是不受約束的。一個(gè)來(lái)自信源的典型如下:A A A C D C B D C E A A D A D A C E D AE A D C A B E D A D D C E C A A A A A D。(C)如果連續(xù)的符號(hào)沒(méi)有被獨(dú)立地選擇，但是他們的概率取決于在前的字母，一個(gè)更復(fù)雜的結(jié)構(gòu)將會(huì)獲得。在簡(jiǎn)單的情況下，這種類型的選擇取決于在前的字母并且不

17、是它們之前的。統(tǒng)計(jì)結(jié)構(gòu)然后就通過(guò)一個(gè)躍進(jìn)概率集合描述，字母j的發(fā)生概率在i之后。復(fù)數(shù)i和j涉及所有的可能符號(hào)。第二個(gè)相等方法的指定結(jié)構(gòu)是給出兩個(gè)字母的概率p(i，j),也就是兩個(gè)字母i,j的相關(guān)概率。字母頻率p(i),(字母i的概率)，躍進(jìn)概率和連字概率有如下公式的關(guān)系:舉一個(gè)具體的例子,假設(shè)有三個(gè)如下概率表所示的字母A,B,C: j i p(i) j A B C A B C A 0 A A 0 i B 0 B B 0 C C C 一個(gè)消息源的典型信息如下:A B B A B A B A B A B A B A B B B A B B B B B A B A B A B A B A B B B

18、 A C A C A BB A B B B B A B B A B A C B B B A B A.其次，復(fù)雜性的增加將包括最多三組字母的頻率。字母的選擇將依賴在前的兩個(gè)字母而不是之前的信息點(diǎn)。一個(gè)三組字母頻率p(i,j,k)的集合或者等同的蛻變概率的集合是必需的。這種方法持續(xù)進(jìn)行將獲得更多持續(xù)的復(fù)雜的隨機(jī)過(guò)程。在普通的n元情形中用一個(gè)n元概率或者轉(zhuǎn)變概率的集合來(lái)指定統(tǒng)計(jì)結(jié)構(gòu)是必需的。（D）隨機(jī)過(guò)程也可以由產(chǎn)生一段包括序列“字”的正文來(lái)定義。假設(shè)有語(yǔ)言中的五個(gè)字母A，B，C，D，E和16個(gè)“字”，且它們的聯(lián)合概率如下： 10 A 16 BEBE 11CABED 04DEB 04ADEB 04B

19、ED 05CEED 15DEED 05ADEE 02BEED 08DAB 01EAB 01BADD 05CA 04DAD 05EE假設(shè)連續(xù)的“字”被獨(dú)立地選擇并且被空間隔離。一個(gè)典型可能信息為：DAB EE A BEBE DEED DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEEDDEED CEED ADEE A DEED DEED BEBE CABED BEBE BED DAB DEED ADEB。如果所有的字長(zhǎng)度有限，這個(gè)過(guò)程就相當(dāng)于前述類型的其中之一，但是如果按照字結(jié)構(gòu)和概率描述可以更簡(jiǎn)單。我們也在此歸納并且介紹字之間的蛻變概率，等等。 人

20、工語(yǔ)言在構(gòu)造簡(jiǎn)單的問(wèn)題和說(shuō)明不同可能性的例子是有用的。我們也可以通過(guò)一系列簡(jiǎn)單的人造語(yǔ)言的方法接近自然語(yǔ)言。零號(hào)近似值可以通過(guò)等可能并且獨(dú)立地選擇字母來(lái)獲得。一號(hào)近似值可以通過(guò)獨(dú)立地選擇連續(xù)的字母獲得，但是每個(gè)字母像自然語(yǔ)言那樣擁有同等的發(fā)生概率。這樣在一號(hào)近似值中對(duì)于英語(yǔ)來(lái)說(shuō)，E以0.12(它在標(biāo)準(zhǔn)英語(yǔ)中出現(xiàn)的頻率)的概率被選擇并且W的發(fā)生概率為0.02，但是鄰接字母之間沒(méi)有影響并且沒(méi)有形成像TH，ED這樣的首選連字，等等。在二號(hào)近似值中介紹了連字結(jié)構(gòu)。一個(gè)字母被選擇后，下一個(gè)字母與頻率被一致地選擇，其中不同的字母跟隨第一個(gè)字母。這需要一個(gè)連字頻率的表格。在三號(hào)近似值中介紹了三組字母結(jié)構(gòu)。每

21、個(gè)字母被等可能選擇并且取決于前兩個(gè)字母。 3.英文近似值的連續(xù)性給一個(gè)這個(gè)系列過(guò)程如何接近一門語(yǔ)言的形象想法，英文近似值的典型序列已經(jīng)被構(gòu)造并且在下面給出。在所有情形中我們假定一個(gè)27字符的“字母表”，26個(gè)字母和一個(gè)空格。1.零號(hào)近似值(符號(hào)獨(dú)立且等可能出現(xiàn))XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZL-HJQD.2. 一號(hào)近似值(符號(hào)獨(dú)立但是以英語(yǔ)原文的頻率出現(xiàn))OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVANAH BRL.3.二號(hào)近

22、似值(英語(yǔ)中的連字結(jié)構(gòu))ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWEAT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.4.三號(hào)近似值(英語(yǔ)中的三組字母結(jié)構(gòu))IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURESOF THE REPTAGIN IS REGOACTIONA OF CRE.5.一號(hào)字近似值。勝于連續(xù)的四個(gè)字母，.，n元結(jié)構(gòu)更簡(jiǎn)單并且更好地接受點(diǎn)到字單元，在此

23、字被獨(dú)立地選擇，不過(guò)是以它們適當(dāng)?shù)念l率被選擇。REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TOOF TO EXPERT GRAY COME TO FURNISHESTHE LINE MESSAGE HAD BE THESE.6.二號(hào)字近似值。字蛻變概率是恰當(dāng)?shù)?但是不包括更深的結(jié)構(gòu)。THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTEROF THIS POINT

24、IS THEREFORE ANOTHER METHOD FOR THE LETTERS THATTHE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.普通英語(yǔ)原文的類同之處在以上每步顯著增加。注意這些樣品有適度優(yōu)良的結(jié)構(gòu)，計(jì)算它們的造句，表現(xiàn)出兩倍的范圍。這樣在(3)中對(duì)于兩字母次序統(tǒng)計(jì)過(guò)程確保了合理的原文,但是字母，連字和三組字母頻率在1939年由Fletcher Pratt, Blue Ribbon Books所著的緊急秘密。字頻率在由G. Dewey所著、哈佛大學(xué)出版社印刷的英語(yǔ)語(yǔ)言的相關(guān)頻率中被列成表格。樣品中四字母次序通常適用

25、于好句子。在(6)中四個(gè)或更多的字可以很容易地放在句子中而沒(méi)有不平常的、做作的句子。十個(gè)詞的詳細(xì)次序“attack on an English writer that the character of this（抨擊這種特征的英國(guó)作家）”根本不合理。由此看來(lái)一個(gè)十分復(fù)雜的隨機(jī)過(guò)程將會(huì)給離散信源一個(gè)滿意的表示法。頭兩個(gè)例子是應(yīng)用隨意數(shù)字的一本書構(gòu)造的，其中隨意數(shù)字關(guān)聯(lián)一個(gè)字母頻率表格(對(duì)于例2)。這種方法可能已經(jīng)延續(xù)到(3)，(4)和(5)，雖然連字、三組字母和字母頻率表格是有用的，但是一個(gè)更簡(jiǎn)單的等價(jià)方法正被應(yīng)用。比如構(gòu)造(3),一個(gè)人隨機(jī)地打開一本書,并且在該頁(yè)隨機(jī)地選擇一個(gè)字母。將此字母記

26、錄。然后打開該書的另外一頁(yè)并且讀到這個(gè)字母出現(xiàn)時(shí)，隨后的字母然后被記錄。翻到另外一頁(yè)找到第二個(gè)字母并隨后記錄，等等。一個(gè)簡(jiǎn)單的過(guò)程被用在(4),(5)(6)中。如果深一層近似值被構(gòu)造，那將會(huì)是有趣的。但是下一階段相關(guān)的詳細(xì)分析變得龐大。 4.一個(gè)馬爾可夫過(guò)程的圖形表示法以上描述的這種類型的隨機(jī)過(guò)程在數(shù)學(xué)中叫做離散的馬爾可夫過(guò)程，并且在文獻(xiàn)中廣闊地研究。大體情況可以描述為如下：存在一個(gè)有限個(gè)數(shù)的系統(tǒng)的可能狀態(tài)；。另外有一套蛻變概率，如果此刻系統(tǒng)狀態(tài)是，將達(dá)到狀態(tài)的概率是。要將馬爾可夫過(guò)程轉(zhuǎn)變?yōu)樾畔⒃次覀儍H僅需要假定字母是由每次從一個(gè)狀態(tài)轉(zhuǎn)變到另一個(gè)狀態(tài)時(shí)產(chǎn)生的。狀態(tài)符合來(lái)自前述字母的“剩余物的影

27、響”。 該情形可以被描述為圖表，在圖3，4和5中顯示。 A 4 1 B E 2 1 C D 2 圖3一個(gè)符合例B中信源的圖表此狀態(tài)是圖中的連接點(diǎn)，并且概率和字母產(chǎn)生的轉(zhuǎn)變?cè)谂赃叺南鄳?yīng)直線給出。圖3對(duì)應(yīng)第2部分的例B。而圖4符合例C。在圖3中，因?yàn)檫B續(xù)字母不受約束，只有一個(gè)狀態(tài)。 C B A A 2 5 5 8 B C B 4 5 1 圖4一個(gè)符合例C中消息源的圖表在圖4中有字母數(shù)目相等數(shù)目的狀態(tài)。如果構(gòu)造一個(gè)三組字母的例子，將出現(xiàn)至多個(gè)狀態(tài)，符合前述被選擇的可能出現(xiàn)的字母對(duì)。圖5是一個(gè)說(shuō)明在例D中詞結(jié)構(gòu)情形的曲了解詳細(xì)的處理見(jiàn)M.Frechet，數(shù)據(jù)加密，巴黎，高塞爾-維拉斯，1938年8月線

28、圖。這里S代表“間隔”符號(hào)。5.遍歷信源和混合信源 正如我們以上已經(jīng)說(shuō)明的,按我們意原的離散信源可以被看作是由馬爾可夫過(guò)程描述。在可能的離散馬爾可夫過(guò)程中有一個(gè)在通信理論中有意義的特殊性質(zhì)的組。特殊類包括“遍歷”過(guò)程，我們把相應(yīng)的信源叫做遍歷信源。盡管一個(gè)遍歷過(guò)程的嚴(yán)格定義有些棘手，其常規(guī)思想是簡(jiǎn)單的。在一個(gè)遍歷過(guò)程中由此過(guò)程產(chǎn)生的序列的統(tǒng)計(jì)特性是相同的。這樣的字母頻率、連字頻率等等從特殊序列在獲得，將隨著序列長(zhǎng)度的增加，接近不受特殊序列約束的確定極限。事實(shí)上這對(duì)每個(gè)序列并不全對(duì)，但是錯(cuò)誤的概率幾乎為零。大致上遍歷性意味著統(tǒng)計(jì)一致性。以上所給的所有人工語(yǔ)言的例子是遍歷的。這種特性涉及到相應(yīng)圖表

29、的結(jié)構(gòu)。如果圖表有如下兩個(gè)性質(zhì)，相應(yīng)過(guò)程將被遍歷： 1.這個(gè)圖表不包括兩個(gè)獨(dú)立的部分A和B，這樣就不可能順著圖中曲線的箭頭方向從A部分的連接點(diǎn)到B部分的連接點(diǎn)，也不可能從B部分的連接點(diǎn)到A部分的連接點(diǎn)。2.圖表中的封閉譜線系伴隨線上的所有箭頭指向同樣的方位叫做一個(gè)“回路”?；芈返摹伴L(zhǎng)度”是其中直線數(shù)目的個(gè)數(shù)。這樣在圖5中系列BEBES是長(zhǎng)度為5的回路。第二個(gè)需要的特性是圖表中所有回路長(zhǎng)度的最大公約數(shù)是一。 D E E B E B S A D E B A D E S B E D C A E E B B D E A D B E E A S 圖5一個(gè)符合例D中消息源的圖表如果滿足第一個(gè)條件，但是由于

30、最大公約數(shù)等于d1而不滿足第二個(gè)條件,序列將有一個(gè)確定的周期結(jié)構(gòu)類型。不同的序列分成d種類型，它們統(tǒng)計(jì)上相同，除了起源的變化（也就是，序列中的字母被叫做字母1）。通過(guò)從0到d-1的移位一些序列可以統(tǒng)計(jì)上等于其它的構(gòu)造。d=2時(shí)的一個(gè)簡(jiǎn)單例子如下：有三個(gè)可能的字母a,b,c。a后出現(xiàn)b或c的可能性分別為。a后面跟隨著b或c。這樣的一個(gè)典型序列是 a b a c a c a c a b a c a b a b a c a c。這種情形的類型對(duì)我們的工作不太重要。這些根據(jù)在Frechet中給出的圖表?xiàng)l件被重述如果不滿足第一種條件，圖表可能被分成一系列滿足第一種條件的子圖。我們假定每個(gè)子圖也滿足第二種

31、條件。我們有這種由許多純粹成分組成的叫做“混合”信源的情形。其成分符合各種各樣的子圖。如果是信源成分，我們可以寫出 其中是信源成分的概率。 自然的描繪情形如下：有幾個(gè)不同的信源每個(gè)都有同類的統(tǒng)計(jì)結(jié)構(gòu)(也就是,它們是遍歷的)。我們不知道預(yù)先將被用到的，但是一旦序列以所給的純信源成分開始，它依照那種成分的統(tǒng)計(jì)結(jié)構(gòu)不確定地延續(xù)。作為一個(gè)例子我們可以獲得兩個(gè)以上定義的過(guò)程，并且假定。一個(gè)來(lái)自混合信源的序列將通過(guò)首先以0.2和0.8的概率選擇和,此選擇之后產(chǎn)生來(lái)自任意一個(gè)被選擇的序列。除了當(dāng)反面是一定的，我們?cè)O(shè)想信源將被遍歷。假設(shè)能夠讓我們順著一個(gè)伴隨全體可能序列平均數(shù)(差異的概率為零)的序列確定平均數(shù)

32、。例如在一個(gè)特殊無(wú)限字母序列中A的相關(guān)概率將可能等于序列全體中它的相關(guān)頻率。如果是狀態(tài)的發(fā)生概率并且是到狀態(tài)的蛻變概率，然后過(guò)程將會(huì)固定，顯然必須滿足均衡條件：。在遍歷情形中可以看出伴隨著一些起動(dòng)條件狀態(tài)j在N個(gè)符號(hào)后的概率是，當(dāng)時(shí)逼近平衡價(jià)值。 6.選擇、不確定性和熵我們已經(jīng)將離散信源描繪為一個(gè)馬爾可夫過(guò)程。我們能否定義一個(gè)參量，它在某種意義上測(cè)量這樣一個(gè)過(guò)程或字母產(chǎn)生多少信息，以什么樣的比率產(chǎn)生信息。假如我們有一組發(fā)生概率為的可能事件。這些概率是知道的，但是那是我們所有知道的關(guān)于將發(fā)生的事件。我們能否找到一個(gè)相關(guān)事件有多少“選擇”或結(jié)果有多少不確定性的量度標(biāo)準(zhǔn)呢？如果有這樣一個(gè)量度標(biāo)準(zhǔn)，比

33、方說(shuō)，如下所需的性質(zhì)是合理的：1.在概率下是連續(xù)的。2.如果所有的概率等于，那么應(yīng)該是一個(gè)關(guān)于n的單調(diào)遞增函數(shù)。當(dāng)存在更多可能的事件時(shí)，等可能事件有更多選擇或不確定性。 3.如果一個(gè)選擇被分為兩個(gè)連續(xù)的選擇,最初的應(yīng)該是的個(gè)體價(jià)值的加權(quán)和。這句話的意義會(huì)在圖6中舉例說(shuō)明，在左圖中我們有三個(gè)概率。在右圖我們 1/2 1/2 1/3 1/2 2/3 1/6 1/2 1/3 1/3 1/6 圖6三個(gè)可能選擇事件的分解先以的概率選擇兩個(gè)可能事件，如果第二步以的概率做另一步選擇。最后的結(jié)果有同以前同樣的概率。我們?cè)谶@種特殊情況下得出 。系數(shù)是因?yàn)榈诙€(gè)選擇以一半的時(shí)間發(fā)生。在附錄2，有如下確定結(jié)果：定理

34、2：滿足以上三個(gè)假設(shè)的有如此形式：其中是一個(gè)確定的常數(shù)。 這個(gè)理論，和對(duì)其進(jìn)行證明所需的假設(shè)，對(duì)于當(dāng)前理論并不需要。這首先給出一些我們稍后定義的有確定理由的參與。然而這些定義的真正理由隱藏在暗示中。形態(tài)的數(shù)量（恒量K僅僅等于度量單位的選擇）作為信息、選擇和不確定性的測(cè)度在情報(bào)理論中起到了一個(gè)中心的作用。形態(tài)被認(rèn)作是熵，作為定義在一定的用公式表示的統(tǒng)計(jì)力學(xué)，其中是它的拓?fù)淇臻g中系統(tǒng)處于單元的概率。然后，例如是Boltzmann的著名的定理。我們把叫做一系列概率的熵。如果是一個(gè)機(jī)遇數(shù)，是它的熵，這樣的不是一個(gè)函數(shù)的自變量而是一個(gè)數(shù)字標(biāo)志，區(qū)別于來(lái)說(shuō)是概率y的熵。熵的兩種情形的概率分別為，即作為p的

35、一個(gè)函數(shù)在圖7中繪出。H值有許多有趣的性質(zhì)，更深層地證實(shí)它是一個(gè)衡量選擇和信息的合理量度標(biāo)準(zhǔn)。1.如果除了一個(gè)，所有的概率都為0，那么，這個(gè)具有聯(lián)合價(jià)值。這樣僅僅是當(dāng)我們確定H為0結(jié)果，否則H是正的。2.對(duì)于一個(gè)給出的n,H在所有相等,也就是()時(shí)取得最大值。這也是一個(gè)直觀的最不確定的情形。3.假設(shè)有兩個(gè)事件x和y，問(wèn)題中前者有m種可能，后這有n種可能。若事件一發(fā)生的概率是，事件二發(fā)生的概率是，其聯(lián)合事件的概率是，那么聯(lián)合事件的熵是審視，實(shí)例R. C. Tolman，統(tǒng)計(jì)力學(xué)原理牛津大學(xué)出版部，1938 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0

36、.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 圖7兩種概率分別為的情形的熵而 很容易知道 僅僅當(dāng)事件獨(dú)立時(shí)等號(hào)成立（也就是）。聯(lián)合事件的不確定性小于等于個(gè)體不確定性的總和。4.對(duì)均等概率的一些改變會(huì)使增大。這樣如果并且我們等量地增加和，從而使和更接近，那么將會(huì)增大。一般地，如果我們執(zhí)行形態(tài)中均衡的操作，其中，并且所有的，那么將會(huì)增大。（除了轉(zhuǎn)變總數(shù)不超過(guò)的排列伴隨著保持不變的特殊情形）。5. 假設(shè)有兩個(gè)像3中的可能事件x和y，而且它們沒(méi)必要獨(dú)立。對(duì)任何事件x的值，可以假定有一個(gè)條件概率，其中事件y的值為。這由等式給出。我們定義y的條件熵作為對(duì)于每一個(gè)x值，y的熵

37、的平均數(shù)，通過(guò)獲得特殊事件x的概率權(quán)衡。即。這個(gè)量測(cè)試當(dāng)我們知道事件x時(shí)y的平均值的不確定性。取代的值我們得到 或 。聯(lián)合事件x，y的不確定性（或熵）等于事件x的不確定性加上當(dāng)知道事件x時(shí)事件y的不確定性。6.從3到5我們得出 因此 。事件y的不確定性不會(huì)由于知道事件x而增加。除非事件x和y是獨(dú)立事件這種不確定性不變的情形，它將會(huì)減少。7、信源熵考慮一個(gè)有限離散信源的所有情況，對(duì)于每一個(gè)可能的狀態(tài)，會(huì)有一系列可能發(fā)生的概率為。由此得到對(duì)于每一個(gè)可能的狀態(tài)下的熵，對(duì)所有發(fā)生的狀態(tài)的熵進(jìn)行加權(quán)平均得到該信源的信源熵為：這是符號(hào)集里每個(gè)符號(hào)所攜帶的信息量，如果馬爾科夫過(guò)程在單位時(shí)間內(nèi)發(fā)生，則它為每秒

38、的平均信息量（為狀態(tài)出現(xiàn)的平均概率）顯然有: (m為平均每秒鐘產(chǎn)生的符號(hào)數(shù))表示信源平均每個(gè)符號(hào)（每秒）產(chǎn)生的信息量。如果選取以2為基數(shù)，則單位為比特每符號(hào)（每秒）。如果所有的符號(hào)相互獨(dú)立，則可簡(jiǎn)單的表示為。理所當(dāng)然，在這種情況下，我們考慮一個(gè)由N個(gè)符號(hào)組成的長(zhǎng)序列信息，它由出現(xiàn)概率相對(duì)高的字符組成，其第一個(gè)字符出現(xiàn)的次數(shù)為，第二個(gè)字符出現(xiàn)的次數(shù)為。這種信息出現(xiàn)的概率為：或 即大約等于這一序列信息的概率的倒數(shù)的對(duì)數(shù)除以序列的符號(hào)個(gè)數(shù)，且對(duì)任意的信源都有這一結(jié)果。更精確的表達(dá)如下（見(jiàn)附錄3）：定理3：對(duì)任意給點(diǎn)的和，存在，使得當(dāng)這一序列信息的長(zhǎng)度時(shí)有如下兩點(diǎn)成立：其發(fā)生的概率小于；所有的參數(shù)滿足

39、不等式也就是說(shuō)當(dāng)足夠大時(shí)，可以確定可以無(wú)限的接近。大量序列的不同概率會(huì)無(wú)限的接近某個(gè)結(jié)果，再考慮序列的長(zhǎng)度，對(duì)它們按概率的遞減順序進(jìn)行排列。我們定義為的那些序列中最有可能發(fā)生的概率且用來(lái)計(jì)算。定理4：當(dāng)不等于0或1時(shí)，有當(dāng)我們只考慮最有可能發(fā)生序列的總概率時(shí)，我們可以將解釋為指定某序列時(shí)所需要的比特?cái)?shù)，因此即為平均每個(gè)符號(hào)所需要的比特?cái)?shù)，這定理表明對(duì)于較大的數(shù)，發(fā)生概率和熵相互獨(dú)立。所有可能序列數(shù)的對(duì)數(shù)的增長(zhǎng)率由確定，與發(fā)生的可能性無(wú)關(guān)。結(jié)果的證明過(guò)程在附錄3中。對(duì)于長(zhǎng)序列中，僅有個(gè)是最常用的，每一個(gè)被使用的概率為。下面的兩個(gè)定理表明和可以通過(guò)信息序列的統(tǒng)計(jì)數(shù)據(jù)直接算出來(lái)，不涉及狀態(tài)轉(zhuǎn)移概率。

40、定理5：設(shè)：為消息中符號(hào)序列的發(fā)生概率，（求和中要遍及所有含個(gè)符號(hào)的序列） 則：關(guān)于單調(diào)遞減，且。定理6：設(shè)：為同時(shí)發(fā)生的概率，為在條件下發(fā)生的概率。設(shè) （求和中要遍及所有含個(gè)符號(hào)的序列和）則：，上述結(jié)果的證明過(guò)程在附錄3中，這表明一系列近似計(jì)算的方法可以通過(guò)僅考慮序列中的第1、2、個(gè)符號(hào)的統(tǒng)計(jì)數(shù)值表得到，是一個(gè)比較精確的近似值。實(shí)際上，為所有信源類型的個(gè)次序的近似值，也就是說(shuō)下一個(gè)字符的產(chǎn)生只與前面的個(gè)符號(hào)相關(guān)，與再前面的符號(hào)無(wú)關(guān)，則。即為下一個(gè)符號(hào)產(chǎn)生的條件熵，當(dāng)前面的個(gè)符號(hào)已確定時(shí)，則為個(gè)符號(hào)中平均每個(gè)符號(hào)的熵。當(dāng)重復(fù)出現(xiàn)相同的字符時(shí)，信源熵的比率得到最大值，叫做相對(duì)熵。這就是對(duì)字母進(jìn)行

41、編碼時(shí)的最大壓縮。不考慮超過(guò)8個(gè)字母長(zhǎng)度的統(tǒng)計(jì)數(shù)值表，普通英語(yǔ)的冗余度大約為50%，這也就是當(dāng)我們寫英語(yǔ)時(shí)，我們所寫的一半被語(yǔ)言結(jié)構(gòu)所決定，另一半可以自由選擇。50%的數(shù)字是通過(guò)相鄰的結(jié)果再利用一些獨(dú)立的方法得到。一是通過(guò)計(jì)算英文的近似熵；第二種方法是從一個(gè)簡(jiǎn)單的英文文章中刪掉一些確定的字母片，然后嘗試恢復(fù)它們，如果刪掉的50%都能被恢復(fù)出來(lái)，則冗余度就會(huì)大于50%；第三種方法是依靠密碼系統(tǒng)的已知結(jié)果。英語(yǔ)散文的兩種極端冗余度代表為基礎(chǔ)英語(yǔ)和詹姆斯喬伊斯的書“芬尼根的蘇醒”。基礎(chǔ)英語(yǔ)詞匯限制在850個(gè)單詞，且冗余度較高。當(dāng)一段落翻譯成基礎(chǔ)英語(yǔ)時(shí)會(huì)出現(xiàn)反射性的擴(kuò)充。喬伊斯在另一方面擴(kuò)充詞匯，并且

42、聲明實(shí)現(xiàn)壓縮的內(nèi)容。語(yǔ)言的冗余度與縱橫字謎的存在有關(guān)，若冗余度為0，字母的任何次序在語(yǔ)言中都時(shí)合理的正文，并且任意的二維字符排列形成一個(gè)縱橫字謎。如果冗余度太高，這語(yǔ)言就可能會(huì)為比較多的縱橫字謎強(qiáng)派大量的約束，通過(guò)更多的明細(xì)分析得出：如果我們被語(yǔ)言強(qiáng)行約束會(huì)更加混亂、更無(wú)規(guī)則。當(dāng)冗余度為50%時(shí)，大的縱橫字謎游戲僅僅成為可能，如果冗余度為33%，三位的字謎游戲就可成為可能。8.表示編碼和解碼的運(yùn)算我們?nèi)匀恍枰镁幋a和解碼信息給傳輸者和接受者表示數(shù)學(xué)操作。它們中的任何一個(gè)都將被稱作傳感器。一連串的輸入標(biāo)號(hào)被輸入進(jìn)傳感器并且一連串的輸出標(biāo)號(hào)被傳感器輸出。這個(gè)傳感器可能有一個(gè)內(nèi)存輸出，不但依靠當(dāng)前的

43、輸入標(biāo)號(hào)，而且依靠過(guò)去的標(biāo)號(hào)。我們假設(shè)內(nèi)存有限，例如：存在一個(gè)有限的m代表傳感器，然后輸出一個(gè)函數(shù)表示當(dāng)前的狀態(tài)和當(dāng)前的標(biāo)號(hào)。下一個(gè)狀態(tài)將有第二個(gè)函數(shù)和兩個(gè)變量。因此，這個(gè)傳感器可以用如下的兩個(gè)函數(shù)描述：這里：代表的輸入標(biāo)號(hào)，代表的提出的輸入標(biāo)號(hào)的傳感器狀態(tài)，代表如果狀態(tài)是的已知的輸出標(biāo)號(hào)（或者一連串的輸出標(biāo)號(hào)）。如果這個(gè)傳感器的輸出標(biāo)號(hào)可以在一秒內(nèi)辨認(rèn)出輸入標(biāo)號(hào)，它們可以連接到的結(jié)果也是一個(gè)傳感器。如果存在第二個(gè)傳感器，它操作輸出第一個(gè)并恢復(fù)原有的輸入，那么第一個(gè)傳感器將被稱作反向的。 定理7：被一個(gè)有限狀態(tài)統(tǒng)計(jì)資源促使的有限狀態(tài)傳感器的輸出是一個(gè)有限的狀態(tài)統(tǒng)計(jì)資源，熵（每單位時(shí)間）少于或者

44、等于輸入。如果這個(gè)傳感器是單個(gè)的，那么它們相等。讓代表資源的狀態(tài)，它產(chǎn)生一連串的標(biāo)號(hào)；讓代表狀態(tài)統(tǒng)計(jì)資源，它產(chǎn)生、輸出封閉的標(biāo)號(hào)。這個(gè)鏈接的系統(tǒng)可以被“生產(chǎn)狀態(tài)區(qū)間”的“（）”所代表。這兩點(diǎn)的區(qū)間（）和（）被一條線連接，如果可以得出x，從到，這條線是給出的在這種情況下可能的x。這條線是一個(gè)標(biāo)簽的標(biāo)號(hào)。這個(gè)輸出的熵可以像重量和等狀態(tài)那樣被計(jì)算出來(lái)。如果這個(gè)和的結(jié)果少于或者等于，那么熵不會(huì)增加。如果這個(gè)傳感器不是單個(gè)的，它輸出與反向的傳感器相一致。如果，和是輸出的這個(gè)資源的熵，那么,所以。假如我們有一個(gè)約束可能序列的系統(tǒng)，其類型由像圖2的線狀圖描述。如果概率被分配到多樣的連接狀態(tài)到狀態(tài)的線條，這將

45、變?yōu)橐粋€(gè)信源。存在一個(gè)使熵結(jié)果取得最大值的特殊分配（見(jiàn)附錄4）。定理8：將約束系統(tǒng)考慮為一個(gè)容量為的信道。如果我們指派 其中是符號(hào)從狀態(tài)到狀態(tài)的周期，并且滿足 然后取得最大值并且等于。通過(guò)蛻變概率的適當(dāng)指派，一個(gè)信道的符號(hào)熵可以在信道容量上取得最大值。 9. 無(wú)躁聲信道的基本原理我們現(xiàn)在證明對(duì)的解釋正如通過(guò)證明確定信道容量需要用最有效的譯碼產(chǎn)生信息的比率。定理9：取一個(gè)熵值為（比特每符號(hào)）的信源和一個(gè)容量為C（比特每秒）的信道。而后就有可能編碼信源的輸出，在信道上以這樣一種符號(hào)每秒的平均傳輸速率傳輸，其中是一個(gè)任意小的域。不可能以大于的速率傳輸。定理的相反部分，不可能被超越，可以記錄每秒輸入的

46、信道熵等于信源來(lái)證明，因?yàn)閭鬟_(dá)者必須是非單一的，并且熵不能超越信道容量。因此，并且每秒的符號(hào)數(shù)目等于。定理的第一部分將以兩種不同的方法證明。第一種方法是考慮一系列由信源產(chǎn)生的N個(gè)字符的所有序列。對(duì)一個(gè)大數(shù)N，我們可以分成兩組，一組包括少于個(gè)成員，另一組包括少于個(gè)成員（其中R是不同符號(hào)數(shù)目的對(duì)數(shù)），并且有一個(gè)小于的總概率。隨著N的增加和趨向于0。信道中信號(hào)數(shù)目的周期T大于，T大的時(shí)候小。如果我們選擇 然后當(dāng)和充分大（盡管很?。┣矣幸恍┰隽繒r(shí)對(duì)于高概率的組將有足夠的信道符號(hào)的序列數(shù)目。高概率組任意的一對(duì)一的方式編碼到集合。保留序列被大的序列描述，以不被用在高概率組的一個(gè)序列開始和結(jié)束。這個(gè)特殊序列

47、為一個(gè)不同的編碼擔(dān)當(dāng)起始和結(jié)束的信號(hào)。在中間一個(gè)充分的時(shí)間被允許對(duì)所有低概率信息給出足夠不同的序列。這需要 其中很小。符號(hào)信息每秒的平均傳輸速度將會(huì)大于當(dāng)N增加時(shí)，和趨向于0且速度趨向于。還有另一個(gè)履行譯碼的方法，因此定理的證明可以描述如下：以概率遞減的順序安排長(zhǎng)度為N的信息，且假設(shè)它們的概率是。取，也就是是累積概率的結(jié)果，但不包括。我們首先編碼成一個(gè)二進(jìn)制數(shù)，信息的二進(jìn)制碼是通過(guò)展開為二進(jìn)制數(shù)獲得的。擴(kuò)展式被執(zhí)行到位，其中是整數(shù)且滿足：。 這樣高概率的信息由短代碼描述，而低概率的信息由長(zhǎng)代碼描述。從這些不等式我們有在一個(gè)或更多的位，的編碼將不同于所有繼后編碼，因?yàn)樗惺Ｓ嘀辽龠@么大，并且它們的二進(jìn)制擴(kuò)展因此在第一個(gè)處不同。從而所有的編碼是不同的，并且有可能從它的編碼重新獲得信息。如果信道序列還不是二進(jìn)制數(shù)字序列，它們可以以任意的方式被歸因于二進(jìn)制數(shù)，并且這樣二進(jìn)制碼就轉(zhuǎn)化為適合信道的信號(hào)。二進(jìn)制數(shù)字所用原始信息的每個(gè)符號(hào)的平均數(shù)目是容易估計(jì)的。我們有。但是， 因此 隨著的增加