通信的數學理論

1、通信的數學理論克勞德·香農著近年來的多種調制方法，例如PCM(脈沖編碼調制)和PPM(脈沖相位調制)，它們都是通過帶寬和信噪比之間的交換，增加了人們對通信普遍理論的興趣。在奈奎斯特和哈特萊有關這方面的重要文獻奠定了該理論。在本文中，我們將推廣該理論，使它含有一些新的因素，特別是信道中噪聲的影響，和利用原始消息的統(tǒng)計結構和最終受信者的性質來改善通信的可能性。 通信的基本間題是在一端精確地或者近似地復現另一端選擇的消息，通常這些消息是有意義的。那就是說它們按照某一系統(tǒng)與特定的物質或概念的實體相互聯(lián)系。通信的語義方面與工程間題是沒有關系的，重要的方面是一個實際消息是從一組可能的消息集里面選

2、擇出來的，系統(tǒng)必須被設計成對所有可能的選擇都能工作，而不是只適合工作于某一種選擇，因為在設計時這是不知道的。 如果集合中消息的數目是有限的，則這個數目或這個數目的單調函數能被用來作為當一個消息被選出時所產生信息的度量，所有選擇都是等概率的，正如哈特萊指出的，最自然的選擇是取對數函數。肅然當我們考慮到消息統(tǒng)計特性的影響和當我們有一組連續(xù)的消息，這一定義必須大大的推廣。但是我們在所有的情況下采用本質的對數度量。對數度量更方便是因為有以下幾個原因;1. 實用性。工程上的重要參量，如時間，帶寬，中繼器的數目等，都趨于隨可能數目的對數關系作線性變化。例如，在一組中繼器中增加一個中繼器則可能的狀態(tài)就增加1

3、倍。這個數目以2為底的對數加1,時間加倍使得消息的數目成平方增加或是數目對數的2倍。2. 相對于合適的度量，對數更直觀。這與(1)密切相關，因為我們用與普通標準進行線性比較的方法來直觀地測量事物。例如，我們感覺兩張鑿孔卡應該具有兩倍于一張鑿孔卡的信息量，兩個完全相同的信道信息容量是一個信道的一倍。3. 它在數學上更合適。很多極限運算在對數方面要簡單的多，但如果用可能性的數目那就要求笨拙的重述。對于對數基底的選擇與信息度量的單位選擇相一致。當基底是2時，所得到的單位可稱為比特，這個字由TUKEY建議的，一個雙穩(wěn)態(tài)設備，如中繼器或者觸發(fā)器，能存儲一個二進制單位的信息，N個雙穩(wěn)態(tài)設備就可以存儲N比特

4、，因為可能狀態(tài)的總數為，而。如果取基底為10，則單位被稱為十進制。因為故一個十進制單位約為個二進制單位。一架臺式計算機有十個穩(wěn)定狀態(tài)，因此有一個十進制單位的信息存儲量。在含有積分和微分的分析計算中，有時候取基底e，所以所得的單位叫自然單位，把基底a換為基底b僅僅需要乘以就可以。 通信系統(tǒng)可以用圖1表示，它包含五個基本部分;圖1;一般通信系統(tǒng)的示意圖 1.信息源。它產生將要傳輸給接收端的消息或消息序列。消息可以有各種類型;(a)在電報通信系統(tǒng)中的一系列字母。(b)如電話或無線電中的單獨時間函數f(t)(c)如黑白電視中的時間函數和其它變量，在這里，消息可以看成是二維空間和時間函數f(x,y,t)

5、，即在t時刻攝像管上(x,y)點的光。(d)兩個或更多個時間函數f(t)，g(t)，h(t)。例如在彩色電視中消息是由三個所謂的三維連續(xù)函數f(x,y,t)，g(x,y,t)，h(x,y,t)，組成的，我們可以把這三個函數定義為在這個區(qū)域上的矢量場的分量。同樣，幾個黑白電視源可以產生由幾個三變量的函數所組成的消息。(f.)各種情況的組合，例如在電視中配有聲音信道。 2.發(fā)送機。它是采用某種方法把消息變換為適合于信道上傳輸的信號。在電話中，這個工作就是把聲壓編程相應的電流。在電報中，這個工作就是把消息變換為點，劃，間隔序列的編碼工作。在多路脈沖編碼調制系統(tǒng)中，不同的語言函數必須經過取樣，壓縮，量

6、化和編碼，而且最最后構成交叉信號。除此之外把消息變成相應信號的例子還有自動語音合成系統(tǒng)，電視和調頻等。 3.信道。它是發(fā)送機到接收機之間用以傳輸信號的媒質。它可以是一對導線，一條同軸電纜，一段射頻的頻帶，一束光線等等。在傳輸過程中，或在某一個端點上，信號都可能被噪聲所干擾，這種噪聲干擾的作用可以看做一個噪聲源作用在所傳輸的信號上構成接收機的信號，如圖1所示。4.接收機。它通常完成與發(fā)送機相反的工作，把信號重新構成消息。5.消息收受者。是接受消息的人或物。 我們將研究關系到通信系統(tǒng)的某些一般間題。為此，首先必須通過理想化，把各單元用數學來表示。我們可以粗略地把通信系統(tǒng)劃分為三個主要類型;離散的，

7、連續(xù)的和混合的。離散系統(tǒng)指的是消息和信號都是離散符號的序列。典型的情況是電報，其中，消息是字母序列，而信號是點，劃和間隔的序列。在連續(xù)系統(tǒng)中，信號和消息都是連續(xù)函數，例如無線電話和電視。在混個系統(tǒng)中，離散的和連續(xù)的變量都有，例如傳輸語言的脈沖編碼調制系統(tǒng)。我們首先研究離散情況。這種情況不但可用于信息論，而且也可用于計算機理論，電話交換的設計以及其他場合。此外離散情況也是研究連續(xù)和混合情況的基礎，后者將在本文后半部分討論。第一部分無噪聲的離散系統(tǒng)1.無噪聲的離散信道 電報和電傳打字機是用來傳輸離散信息的兩個簡單例子。通常指的離散信道是這樣一種系統(tǒng);它能把選自有限基本符號集合的序列從一方傳輸到另一

8、方。假設每個符號熟持續(xù)時間為持續(xù)的時間為秒（不同的，其t:不一定相同，例如電報中的點和劃)。其實，并不要求所以可能的符號序列都能在系統(tǒng)上傳輸，而只要求某些序列能夠獲得傳輸，這就是對信道的可能的信號。在電報中假設基本符號是;(1)點，它是由一個單位時間的線段和一個單位時間的間歇所組成;(2)劃，它是由三個單位時間的線段和一個單位時間的間歇所組成;(3)字母間隔，它是由三個單位時間的間歇組成;(4)單詞間隔，它是由六個單位時間的間歇組成。我們可以對序列加以限制，即不允許有間隔相連的情況，因為兩個字母間隔連在一起時會變成一個單詞間隔?，F在我們要考慮的間題是，采用怎樣的方法來度量這種信道的容量(或稱為

9、信道的傳輸能力)。在打字電報，所有的符號都具有相同的持續(xù)時間，并且由32個符號所構成的任何序列都被允許傳輸。每個符號都代表五個二進制單位的信息。如果系統(tǒng)每秒能傳輸T1個符號，則可以自然地認為此信道具有每秒5n個二進制單位的容量。這并不是說，打字電報信道經常能以這個速率傳輸信息，這是最大可能的速率，實際上未必能達到這個最大值，下面將談到，它取決于信道輸入端上的信息源。在一般的情況中，各符號有不同的長度，并且允許的序列是有限制的，我們可以給出下面的定義;離散信道的容量C為 其中N(T)是時間間隔T內允許信號的數目。 很容易看出，在打字電報中這將簡化為前面的結果?？梢宰C明，在大多數情況中，極限是存在

10、的。假設符號的所有序列都是允許的，并且這些符號的持續(xù)時間為那么這種信道的容量是多少呢?如果N(T)表示t時間內序列的數目，則即這個總數等于終端符號為的序列數目的綜合，并且這些數分別為;根據有限差分運算，在t很大時，N(t)就漸近于是下列特征方程式的最大實數解;故該信道的容量為;當允許的符號序列有限制時，仍然經?？梢缘玫竭@種形式的差分方程式，并可以從特征方程式求得C例如，在上述的電報情況下，則;這正和按最后一個符號或最后第二個符號計算符號序列的結果一樣。所以C為，其中是的正根。解上式，得C=0.539。 下面是允許序列的一般限制形式。我們假想有一系列可能的狀態(tài)。在每個狀態(tài)下，只有集合中的某些符號

11、可以被傳輸(這些是不同狀態(tài)的不同子集)。當其中某一符號被傳輸后，狀態(tài)就轉變?yōu)樾碌臓顟B(tài)。電報情況就是一個簡單例子。它有兩個狀態(tài)，取決卜終端符號是否是間隔。如果是間隔的話，那么下一個傳輸的只能是點或劃這兩個符號，并且狀態(tài)總發(fā)生變化。如果不是間隔，那么任何符號都可以傳輸，而且狀態(tài)只能傳輸間隔符號后才會轉變，否則狀態(tài)不變。所有這些都可用圖2來表示。 圖中結點代表狀態(tài)，而線條則表示一狀態(tài)中的可能符號和它即將轉成的狀態(tài)。在附錄I中將證明，如果加在允許序列上的條件可以用這種形式來闡述時，那么信道容量C將存在，并可用下列定理來計算;定理1;設是第個符號的長度，這個符號的狀態(tài)是可允許的，并且將轉移到J狀態(tài)，則信

12、道容量C等于logW，其中W為下列行列式方程式中的最大實數根;如果i=j，則其中;如果，則。例如，在電報情況下(圖2)，其行列式為;展開這個行列式將可得到上面那個限制方程式。2.離散信息源 我們已經看到，在很普遍化的條件下，離散信道中的可能信號數目的對數將隨時間作線性增長。因此傳輸信息的容量可由這個增長速率來確定，即對某一信號需要每秒多少個二進制單位數?，F在我們來討論信息源。怎樣利用數學來描述信息源?一個給定的信息源究竟能產生多少個二進制單位的信息?本文的要點在于研究在采用合理的編碼以減少對信道容量要求方面，有關信息源的統(tǒng)計知識有什么作用。例如，在電報中。所傳輸的消息是由字母序列組成的，但是這

13、些序列并不是完全隨機的。通常，它們構成句子而且還是有統(tǒng)計結構例如英文統(tǒng)計結構的句子。字母E的出現要比Q經常的多，序列TH的出現要比XP出來的多等等。這種統(tǒng)計結構的存在，允許我們采用合理的編碼來節(jié)省時間(或信道容量)。其實，這種措施在電報中，已經在一定程度上被采用了。它用最短的信道符號一點來代表最常用的字母E,而不常用的字母Q，X，Z，等則用較長的點劃序列來表示。這種概念在某些商用電碼中得到了進一步的改進，它采用四個到五個字母所組成的碼組來表示最常用的單詞和短語，因而大大地節(jié)省了平均時間?，F用標準化的間候語和節(jié)日賀電中則更簡化到整個一句話或兩句話用很短的一個數字序列的編碼來表示。 可以這樣設想，

14、離散源是一個符號接著一個符號地產生消息的。連續(xù)符號的選擇是根據某些概率，通常這些概率取決于前面符號的選擇及待選擇的符號。任何一個能產生由一組概率控制的符號序列的物理系統(tǒng)或物理系統(tǒng)的數學模型都可以稱為隨機過程。因此，我們可用隨機過程來表示離散源。反過來，任何從有限集中選擇符號而產生離散符號序列的隨機過程都可看成離散源。這包括下列一些情況;1. 自然語言如英語，德語，漢語。2. 經過某些量化處理而離散化的連續(xù)信息源。例如，在脈沖編碼調制發(fā)送機中量化以后的語言，或量化以后的電視信號。3. 在數學上抽象定義的隨機過程，該隨機過程能夠產生序列。下面是最后一種信息源的例子。(A)設有五個字母A,B,C,D

15、,E，各以概率U.2獨立選取，這樣就會導致如下典型序列; BDCBCECCCADCBDDAAECEEA ABBDAEECACEEBAEECBCEAD.這個例子是用隨機數表構成的。 (B)采用同樣五個字母，令概率依次為U.4 , U.1 , U.2 , U.2 , U.1，各個字母的選擇仍是獨立的，那么從這種源得到的典型消息為;AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD.(C)如果前后字母的選擇是不獨立的，它們的概率還取決于前面的字母則就得到一個比較復雜的結構。這種類型的最見到情況是每一個字母的選擇只與前一個字母有關，與更前面的字母無關。則統(tǒng)計結構可以用轉移

16、概率來描述，表示字母i后出現字母J的概率。i和J表示符號索引。另一種描述統(tǒng)計結構的等效方法是采用兩個字母(i, j)的聯(lián)合概率，即兩個字母一起出現的相對概率。字母出現的概率轉移概率，聯(lián)合概率之間關系如下;舉一個特例，假設有三個字母A,B,C，其概率表為;從這個源得到的消息序列為; ABBABABABABABABBBABBBBBABABABA BABBBACACABBABBBBABBABACBBBABA 再復雜些時就是三個字母一起出現的頻率。每個字母的選擇將取決于前兩個字母，但與更前面的字母無關。這時，應采用三個字母的聯(lián)合概率或轉移概率集來描述。如果用這種方法不斷的考慮下去，可以獲得更復雜的隨機

17、過程。在一般的n個字母的情況下，必須采用n個字母的聯(lián)合概率或轉移概率集 來描述它的統(tǒng)計結構。 (D)隨機過程也可以定義為由，單詞”序列組成文章的過程。假設在語言中有五個字母A,B,C,D,E和16個“單詞”，其相應的概率為; 0.l0A 0.04ADEB 0.05ADEE 0.01BADD 0.16BEBE 0.04BED0.02BEED 0.05CA 1.11CABED 0.05CEED 0.08DAB 0.04DAD0.04DEB 0.15DEED 0.0lEAB 0.05EE 如果前后的“單詞”是獨立選擇的，而且都用一定間隔分開，那么這樣組成的典型消息為; DAB EE A BEBE DEED DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED DEED BEBE CABED BEBE BED DAB DEED ADEB. 如果所以單詞的長度都為有限，則這個過程等效于前面一種類型的過程，不過采用單詞結構及其概率來描述可更簡單些。也可以普遍化，引入詞間的轉移概率等等。 這種人造語言在構造簡單間題和例子來說明各種概率是很有用的。我們還能用一系