通信的數(shù)學(xué)原理中文

通信的數(shù)學(xué)原理近來像PCM和PPM這些交換信號噪音比帶寬等的多種調(diào)制方法的發(fā)展已經(jīng)增強了我們對一般通信理論的興趣。這種理論的基礎(chǔ)包括在重要的報紙and中關(guān)于此學(xué)科的內(nèi)容。在當(dāng)今的報紙中我們將延伸這種理論從而包括許多新的因素，特別是噪聲通道的影響，和儲蓄可能的基于最初信息統(tǒng)計的結(jié)構(gòu)和基于數(shù)據(jù)的最后目的性性質(zhì)。通信的基本問題是再制造一點或者準確地或者近似地一個從別處挑選的信息。通常信息有意義；那是他們提到的或是依照一些特定物質(zhì)或概念上實體的系統(tǒng)的相互關(guān)聯(lián)。這些與語意有關(guān)的通信方面是不切題的工程問題。重要的方面是真實的信息是從一組可能的信息挑選來的。系統(tǒng)一定要有計劃的操作每個可能的選擇,而不僅僅是哪一個因為在設(shè)計的時候是未知者將會被選擇。如果設(shè)備的信息數(shù)目是有限的,那么這組數(shù)字或一些具有單調(diào)功能的數(shù)字可以被當(dāng)做對信息被關(guān)閉后再創(chuàng)造的測度,所有的選擇有相同的可能。像Hartley所指出的,最自然的選擇是對數(shù)的功能。雖然當(dāng)我們考慮統(tǒng)計信息的影響力以及對信息的持續(xù)排列這個定義必須被凝練地概括，我們將在所有情況下用一個本質(zhì)為對數(shù)的量度標準。對數(shù)的測度更方便，主要有以下多方面的理由:它在實踐上更有用。工程的重要參數(shù)，像時間、帶寬、數(shù)字的分程傳遞等等，趨向于隨可能數(shù)字的對數(shù)線性改變。舉例來說,增加一個繼電器到小組會加倍數(shù)字的可能情形。它加1到以2為底的對數(shù)。加倍時間大致得到可能信息數(shù)目的平方,或加倍其對數(shù),等等。2.它以適當(dāng)?shù)某叽缃咏覀兊闹庇X感觀。如果我們直覺地用共同的標準線性比較測量實體，它將接近相關(guān)到(1)。有一個想法,舉例來說,二張穿孔卡片與一張相比有兩倍的信息儲藏能力,并且二個通道與一個相比有兩倍的傳輸數(shù)據(jù)的能力。3.它在數(shù)學(xué)方面更合適。許多極限運算在對數(shù)方式下很簡單，但是在普通數(shù)字下卻需要笨拙的重述。對數(shù)底的選擇對應(yīng)測量信息單位的選擇。如果以2為底，產(chǎn)生的單位可以叫二進位數(shù)字,或比較簡要地叫比特,一個由建議的詞。一個擁有兩個穩(wěn)定位置的設(shè)備,像一個繼電器或一個雙穩(wěn)態(tài)多諧振蕩器,可以存儲一比特的信息。N個如此的裝置能存儲N比特的信息，因為可能情形的總數(shù)是。信息來源傳達者接受者目的地信號接收信號信息干擾源圖1—一個常規(guī)信息系統(tǒng)原理圖并且。如果以10為底產(chǎn)生的單位可以叫十進制數(shù)字。因為。，“某些影響通報速度的因素”貝爾系統(tǒng)科技刊物，1924年4月，第324頁；“電報傳輸理論中某些總聯(lián)機程序和信息控制系統(tǒng)”，A.I.E.E.Trans.v.47,1924年4月，第617頁。，“信息傳輸”，貝爾系統(tǒng)科技刊物，1928年7月，第535頁。珍一個坊十進愁制數(shù)貨大約紗比特翻。書站桌上坡的一考個阿濃拉伯射數(shù)字行計數(shù)螞器有烤十個饒穩(wěn)定質(zhì)的位嶄置并下且因僵此擁嘩有存尖儲十食進制攻數(shù)字等的能們力。料有時偵在綜碎合和牢區(qū)分繭的解模析工哄作中傻底數(shù)嫁很有頓用處搞。以凳此為蔽底的徹信息海結(jié)果預(yù)將被蠻叫做倚自然淚對數(shù)升。將慮底數(shù)涼由推a欲改為感b斬僅僅陳需要餃乘以棋。歡對于傭通信萌系統(tǒng)盡我們掀想要民用一講個系芽統(tǒng)的食示意蹲圖圖納1藍闡明捐。它煎包括肥五個化重要廉的部有分：枝1.俊一個槽制造挖信息蛋或排插序信宿息的慕信息援源將地被傳繳達到崗終端別。信器息可立能有洗各種犧不同脅類型醬:(無a)郊電傳以打字皮系統(tǒng)迷的電風(fēng)報中證的字密母序慨列稍;(趟b)壺?zé)o線酒涼中的保一個漲單一畢時間泥函數(shù)分f(傻t)童;(彈c)喬一個座時間適函數(shù)虹和其妨它應(yīng)慕用在瘦黑白煌電視甩機中命的變暮量烘—球在這類里信鞭息可旅能被岸當(dāng)做科一個拳二個黨空間狹坐標本和時注間的借函數(shù)研f(壘x,舟y,纏t)三；在脂點蹦(x阻,y宮)雀的光賺強度鳳，在隨光的像金屬語板上慢獲得腎的時到間鑼t;昆(d迅)皮二或婦更多扇的時珠間函至數(shù)長,升分別諷為和f(柿t)目、基g(吩t)釣,h緣(t擺)沃—男這是籃“族三維司”維聲音置傳播論的情勇形，棍或者券若系測統(tǒng)有愉意維潮修個額別多回元通外道碰;(闊e)注一些開變量導(dǎo)的一男些函賊數(shù)獵—學(xué)在彩阻色電惡視機對中有缺三個宮函數(shù)快f(舊x,葡y,者t)坦,g互(x榮,y雙,t嫩),缺h(探x,續(xù)y,肥t)拳，定博義在鉆一個陪三維片空間導(dǎo)的閉譯聯(lián)集紫中漲—貌我們餓也可鈴能想頑像這個三個許函數(shù)危作為眼一個鉤定義嗓在區(qū)擔(dān)域矢旬量場公的向際量分擠量部—凡同樣壟地，府個別悅黑白罰電視杰機消流息來黑源是筒許多笑三個裳變量索的函個數(shù)；本(f顫)魄不同移的混構(gòu)合物所也會報發(fā)生艘，例取如在往電視騙機中偏有聯(lián)姐合的撞音頻雨信道班。蒸2.聚用一行些方栽法操杯作信速息以丙產(chǎn)生曲在信皇道上原傳輸凍的合因適信扒號的著傳達雕者。晚在電漿話制備造中透這種鼠操作爆包括愛的僅傭僅是挖替換手躁聲悼壓力肥為電肆流。趨在電佩信技消術(shù)中兄我們孫有產(chǎn)融生一肥系列伶點、愁莫爾擇斯電燒碼、棒空間浩等相面關(guān)信龍息信凡道的但編碼渡、譯習(xí)碼的傳操作導(dǎo)。在液一個瓦多元耀的腦PC暑M仍系統(tǒng)員不同多的語烏音函塑數(shù)必擦須被和取樣悉壓縮犧,撿量子恩化和洋編碼避,另而且數(shù)最后各完全茫交叉課存取脅地構(gòu)噸造信掩號。氣聲音路傳播珍機系促統(tǒng)、端電視廊和頻蛋率調(diào)熱制器征是其槽他的利聯(lián)合俯體操衣作應(yīng)孔用于判信息奏以獲構(gòu)取信耀號的手例子犬。憐3.蛛信道落只是健用來盟從傳允達者鋒到接月收者殿傳送煩信號忘的媒亦介。菠它可秀能是舟一雙搭電線點、一拼個同慚橋電稅纜、喊一條鄰無線提電電碼波膨,燙一個碼光束祝,緊等等節(jié)。面4.肯接收踐者通燕常完漿成由夠傳達衡者做氏的反扔運算沉,舞重建塔來自頃信號這的信臨息。憐5.聰目的崖地是稅信息價對其勢有意牢的人晶(岡或者追事物怒)柿。我階們希無望考籠慮特貧定的蓋一般你問題顧用于對信息沈系統(tǒng)蓋。這滑首先騙需要業(yè)描述它不同霉數(shù)學(xué)賤實體譯的相為關(guān)原洞理，挺將他曉們的哀物理沃副本鞠合理沖的理觸想化鵲。我油們歪大致疾把通駕信系娃統(tǒng)分仙為三些大類困：離謊散的械，連憂續(xù)的弦和混怖和的澡。離稿散系杜統(tǒng)對輛于我辣們就催意味瞇著信鄉(xiāng)息和湊信號窯是一貫系列面的離戶散符粉號。程一個掙典型葬的情瀉形是娛在電偽信技通術(shù)中換消息業(yè)是一姿系列政的字堤母和旋信號棋點、耳莫爾培斯電殲碼麻及空瘡間。配連續(xù)付型的波系統(tǒng)篇就是未一個店信息魂和信認號都活被看繳作是恰連續(xù)伐函數(shù)齡的系拆統(tǒng)，童例如存無線偵電通城信或腐電視無機。熊混合土系統(tǒng)可中既使有離迅散的搭又有取連續(xù)著的變續(xù)量，姨例如笛PC究M轎語言柜傳輸往。我冒們首慧先考懲慮離扮散的礦情形副。這禮種情繡形不兼僅應(yīng)革用于籠通信形理論處，而貴且應(yīng)竊用于堵計算卷機理洪論，披擺局和潛其他耕領(lǐng)域國的設(shè)森計。忘另外望離散既的情自形構(gòu)擾成在腦下半繁頁要暗處理歸的連建續(xù)和妙混合桑情形為的基裕礎(chǔ)。戒第一鞭部分和：離罪散的恢無噪詠聲系移統(tǒng)胸尋鬼習(xí)車鼠至擔(dān)皂岔悲年致策態(tài)非勒1悠．離連散的島無噪師聲信蜓道揚電傳饑打字于機和控電信遭技術(shù)委是離將散信獎道上屑信息糠傳輸剛的兩務(wù)個簡吵單例玩子。緞一般該來講旺，一俱個離蚊散信棚道就武意味槽著一旅個系弱統(tǒng)怎倘么從昌可以顏從一辱個點環(huán)傳到滿另一潛個點元被傳巾輸?shù)臄∮邢抟砑弦\元素木符號屈選擇寇次序歷。每棉一個嬌符號吉被假柜定有閉確定陵的連輩續(xù)時掠間跨秒（氏對于霞不同納的銜沒必峽要相猜同，矛例如粉電信支技術(shù)民中的剝點和放莫爾遲斯電可碼）敞。這攔不需莖要有裁可能長傳輸霸到系悉統(tǒng)的點的所臥有可貌能排垃序，肚確定斤次序功僅僅快是可戚能被獵允許太。這釣將在腹信道膚產(chǎn)生菌可能啟的信暢號。落這樣爐在電臂信技肚術(shù)中重可以替推想域符號賢有：憶（黨1宇）一航個點錫，包炊括一傍個單鳳位時趁間的紹關(guān)閉繡和一喚個單目位時佛間的百線性訓(xùn)開啟榴；（親2跨）一些個莫寄爾斯國電碼誼，包燃括三櫻個單走位時色間的鵲關(guān)閉烏和一適個單慎位時刃間的濁開啟爐；（洽3莊）一爭個包壽括三投個單賊位時往間線刑性開男啟的訂字母陵空間呀；（捎4瞎）一住個包仇括六維個單凈位時椅間線扯性開蛋啟的辱詞空聯(lián)間。凱我們湖可能主放置億約束收在允創(chuàng)許的尸無間拜隔的齒次序編（因浙為如墳果兩府個字歲母的球間隔酸是接悅近的珠，它獅同一趟個字擠空間態(tài)是一棍樣的現(xiàn)）。燈我們計現(xiàn)在抖要考食慮的飼問題稈是如爸何測訂量這禍樣一捐個信拉道傳簡輸信邪息的近能力縮。際在電號傳打有字的磁情況賭下所鼓有符養(yǎng)號有萄同樣懷的持奇續(xù)時吸間，惰并且考32壤個符老號任壇何排歉序答蒸案是巖簡單痛的。趕每個男符號揮擁有炎5店比特借的信棚息量凳。如獎果系飲統(tǒng)每鬼秒傳君輸涼n從個字策符，頓那么統(tǒng)自然掠來說返信道床有一濱個每勁秒橫5n猴比特竊的傳劇輸能豪力。封這并致不意平味電踐傳打芽字信雕道總睛是這嫁個傳臺輸速絹度，梯這是峰可能節(jié)的最在大值限并且露實際步比率爺能否菜達到勉最大火值取經(jīng)決于悠進入弟信道康不久失將會臥出現(xiàn)聾的信虹息源凱。榴在不平同長竟度的堂符號迫和約邪束的言允許青序列浩的更涉普通柔情形施中，盒我們堵作以克下定獻義：脾定義霜：一乓個離歲散信賭道容賺量堡C眨由此虎公式惜給出沫：列其中掩N(慮T)蛇是持慧續(xù)時圖間為腸T昨時允筑許信饅號數(shù)話目?？岷苋萸惨卓摧d出在剛電傳創(chuàng)打字搜的情柿形下屠降低拜了當(dāng)阻前的怪結(jié)果警?？啥钥蠢壮鰡柗蓬}中字的極至限在呈多數(shù)母情況冒的影才響下爽存在林一個谷最終求的數(shù)胃目。犬假使蛋所有夕符號雷的次喝序鬼都可假能發(fā)杏生，廊并且洋這些頑符號剃的持限續(xù)時熔間為罰。信缺道容葵量是創(chuàng)多少凈？如漆果薦N(瞎T)根代表毅為期億t給的次鎖序數(shù)礦目覽,消我們憐就有棟總數(shù)副目等史于以妨為結(jié)秀尾的君序列告數(shù)目征的總便和并四且是象。根身據(jù)一礙個著達名的的有限周差結(jié)米果街,N及(t賄)電于是游漸進再大數(shù)堂t融到僚,闊其中影是特至征方績程式阻的最倍大解麗:因此常在允口許序休列受寒限制局的情爬況下織我們俱也有被一個懇此種剃類型輔的不繩同方皂程式折并且解從特融征方文程式粒中得諷到繩C霜。在橡以上挪提到回的電油信技背術(shù)我判們知完道依壤照最賽后或趕幾乎李最后三出現(xiàn)罵的序筑列計填算符搭號序辜列?；囊虼藷oC陶等于煎。其殲中在是方瘋程推的根袋。我牌們可拐以解朽得解C=己0.腳53旱9猾。一鴉個置剃于允苦許序急列約廳束的京普通瞎類型慘如下舟:陪我們晨想象須一個蘆可能菊的數(shù)墨字序薄列執(zhí)。對是于每到一種納情形巾僅僅寺設(shè)置帽中的僚某些診符號厚可以掘被傳趁輸眨(烘不同垮的子坊集有喇不同派的情他形伴)活。當(dāng)孟其中鍬之一例被傳懶輸，慎就產(chǎn)咐生一旗個取拼決于糕老狀充態(tài)和須當(dāng)前失傳輸晃信號宣的新藥狀態(tài)增。發(fā)牛電報忠就是結(jié)這其掌中的樓一個滴簡單槽例子越。存漂在兩浮個取類決于特是否豈是一貼個空泥間最收后傳分輸信捉號的請狀態(tài)僚。如君果這妻樣的釣話，堵那么桌僅僅輩一個兩點或憐一個南莫爾眼斯電亞碼可名以被欠發(fā)送例并且忘狀態(tài)撕經(jīng)常快改變駁。如寫果不付是的肆話，懇一些其信號肝可以仁傳輸洞并且否若空折間被斃發(fā)送稻狀態(tài)賞將改象變，籠否則須它保拍持不抽變。阻這種騙情形頭可以燕在線犬狀圖幅圖型2坐中闡鍛明。蠶莫爾尖斯電脅碼點點妙字母刻空間陳莫爾絡(luò)斯電忌碼度詞空宏間桌圖棵2玻—證電報稀符號停約束罵的圖款表壤狀態(tài)育和線峰相應(yīng)犁的那核些連蓄接點蜻指示濾著狀辛態(tài)中聞的可胖能符沾號和波結(jié)果吹狀態(tài)遠。在鞋附錄疫1功中可芽以看超出如撫果允損許序佳列的冶條件擺可以僚被描宮述在關(guān)形態(tài)艇C獨中，跨結(jié)果疾將存謠在并克且計柄算出躬它與去以下妄結(jié)果浩一致猶：掩定理低1顆：以勞為從腎狀態(tài)過i玻到狀傍態(tài)巡j怕的允式許符窄號校的周今期。善那么捆信道想容量蜻C炮等于碑，其娃中W志是茄行列覽式方晴程式差的最襪大實做根：厲=0風(fēng)其中夾若i挨=j薯則桑，否畢則刺。幸例如衫，在鴨電報凝情形覺（圖蒜2不）中跨行列螞式是欲：客=0驕。創(chuàng)在擴洋充式這中這釘將導(dǎo)裂出以霜上這貼種情勾形所于給的篩方程瓜式。壞2.宮信息可的離說散信耗源燒我們芒已經(jīng)筒看到瓶在普峽通情黑況下敲可能價信號例的數(shù)扎目的博對數(shù)稠在離硬散信藏道中講隨時失間線事性增碰長。合信道頓容量稀可以寄由給歲出的煎增長黎率說齊明，恒每秒疼的比歉特數(shù)仇目需罰要詳葡細說貫明所燦用的槽特殊攝符號領(lǐng)。府我們告現(xiàn)在戒考慮辯信息嚷源。屯如何布將信扁息源覺用數(shù)態(tài)學(xué)方隊式描喚述，孕在所岡給信店源每耍秒產(chǎn)信生多毀少信比息位廉呢？鑄這個廟問題珍的關(guān)瓦鍵是錫關(guān)于澤降低蹄信源撿必需兇的信掩道容命量的現(xiàn)統(tǒng)計利知識吊的影勉響，沙通過娛利用攝適當(dāng)獵的信林息編唐碼。言在電由信技秩術(shù)中伯，例腔如，歡包括膠字母斥序列誼的被誦傳輸巖信息幣。然詢而，怠這些殿序列覺并不矮是完湖全隨脫意的釣。一梨般而舒言，徒他們墨組成抽句子姑并且揀有所袖謂英鑰文的奪統(tǒng)計氏結(jié)構(gòu)串。字龍母環(huán)E帖比字張母邀F榜出現(xiàn)甜的頻畢繁，事序列懷TH碌比序妙列事XP席出現(xiàn)推的頻耍繁，壯等等揉。這剩個結(jié)溜構(gòu)的磨存在泡通過題適當(dāng)疼地編膚碼信礎(chǔ)息序莊列到津信號礦序列薪能節(jié)爸省時恢間（塌或信匙道容驗量）匯。這無已經(jīng)號被用責(zé)來通械過利痕用最啄短的斯符號冤信道要、點億、最晝常見貸的英膛文字賓母病E齡限制娛寬度灘，然醋而少寄見的襯字母肺Q貪，災(zāi)X造，按Z隙用長對點的囑點和抬莫爾武斯電騰碼表有示。港這個家方法抱還被往廣泛跟應(yīng)用窗于商戀業(yè)編殿碼，妖其中獵常見京字和露短語閉是由腔極大滔地縮怪短平熊均時鬼間的皇4至或水5秀位信涉碼群比表示冒。現(xiàn)腹在運遠用的些標準裙問候忌和周液年紀嘗念電控報擴冰充這芹一點翠到編暫碼一浪到兩亮個句徒子為碎相關(guān)糖的短領(lǐng)的數(shù)自字序泥列。線我們吉可以營考慮顫一個偵離散隱信源駕作為則由符煩號產(chǎn)毯生的默信息任、符踐號。允它通缺過某色些可挨能的插依靠對選擇促連續(xù)竄的符梢號，封一般占的，介在前瘋述的懇選擇裝，像到問題狼中的嘉特殊赤符號湊。一紛個物躁理系行統(tǒng)，負或是駕一個倚產(chǎn)生增由可袖能集禁合支償配的疊符號稼序列滋的系搶統(tǒng)的已數(shù)學(xué)舊模型儲，叫魯做隨狂機過作程。址我們名可以姑考慮沃一個碗離散弦信源覆，因啄此，甩將通門過一垂個隨做機過漆程描躁述。子相反占地，探有一顫些隨炒機過幣程，貨它們鏟產(chǎn)生己離散老的選彩自被縮認為臨是獄離散征信源顆的幟有限露集的脆符號丟序列夠。這坡將包布括如搏下情合形：奇自然吧書寫點語言農(nóng)如英鳴語、斤德語咱、漢榆語。采由量欠子化嚇過程誓離散劑呈遞階的連避續(xù)信立息源堅。例捎如由怨PC精M勇發(fā)射籍機發(fā)瑞送的隙量子湖化演全說，王或者專一個臨量化愁電視輩信號戚。當(dāng)在數(shù)迷學(xué)情算形中低我們協(xié)僅僅艦定義或抽象儀的產(chǎn)刮生符鳥號序笛列的易隨機啦過程肺。如瀉下是厲最終子資源邀類型皂的例拔子。頌(A祖)間假設(shè)盾我們奏有沖5豈個都岔以討0.途2揭的可謀能性探被選殿擇的倒字母霜A夸、扒B典、騎C帆、羽D性、投E,如連續(xù)宏選擇耍是不型受約績束的回。這僅將產(chǎn)婚生一則個序泉列，斷如下院就是織一個塌典型龜例子遠。何它利幅用墻隨機肯數(shù)字重表格統(tǒng)構(gòu)造檢的。篩B灣D竭C擠B悠C纖E騙C貸C消C略A漆D迎C幟B爐D驗D付A后A民E生C感E興E配A狐A閑B芬B炮D懲A云E凝E香C捐A繞C都E碰E歉B梳A搖E沉E沃C矩B反C房E糟A劑D皺,暖例如益,脫S重.小Ch洪an鉆dr沫as途ek械ha聲r,明“蠅物理斥學(xué)和存天文節(jié)學(xué)中述隨機祥問題誦,周”喉現(xiàn)代娘物理正學(xué)的剝回顧跨，雅v.斯15輝,N乘o.溉1,棉19杠43拌年一海月借,郊第一基頁重.蹤,紗隨機借取樣森數(shù)字棉的表棒格禿,鳥劍橋嘉,1艦93篇9.暮(B粗)至用五雞個發(fā)虜生概策率分殲別為敢0.蜘4,降0.兆1,喂0.誕2,嫩0.金2,棉0.里1米的同巡樣字撫母仙,巾連續(xù)潛選擇獵是不差受約伴束的倘。一偉個來船自信康源的惰典型臉如下嚇:束A嚷A宣A柴C欠D躲C御B值D攀C慎E到A受A訊D杰A忘D喇A揭C絹E罵D竟A仍E鬼A按D學(xué)C總A豬B尚E仔D蒼A栗D攻D嘉C鋪E榨C毅A稍A波A壘A碼A恒D制。役(C趁)濱如果糖連續(xù)驗的符檔號沒妻有被查獨立煉地選沸擇，跑但是聯(lián)他們框的概跌率取佩決于絞在前斜的字驢母，棗一個捐更復(fù)熄雜的丈結(jié)構(gòu)鹽將會納獲得貍。在掃簡單遼的情頑況下紋，這澡種類仍型的碌選擇推取決現(xiàn)于在位前的鼓字母悶并且咽不是往它們?nèi)恢皣摹Ｍ敖y(tǒng)計尸結(jié)構(gòu)紡然后益就通陵過一捐個躍時進概軍率集戰(zhàn)合辜描述袖，字櫻母揀j艷的發(fā)炸生概健率在污i歪之后心。復(fù)注數(shù)原i竹和竊j盤涉及擠所有革的可喬能符仆號。頑第二屯個相律等方磨法的災(zāi)指定腿結(jié)構(gòu)泉是給洗出兩諷個字段母的乎概率妄p(音i優(yōu)，輕j)叛,搭也就環(huán)是兩百個字是母陳i建,責(zé)j藏的相昂關(guān)概刑率。死字母防頻率誦p(很i)尖,(塔字母謎i琴的概叔率旗)妨，躍織進概徹率繭和連水字概渣率跑有如息下公由式的槳關(guān)系串:面舉一蝦個具停體的彈例子巧,哪假設(shè)劇有三績個如久下概粒率表構(gòu)所示仆的字甚母再A,徐B,傳C:談威庸有j課慘河鍬著體演掘望i賭p沾(i浙)擠總墳塌茫貍甘嫌癢j鴨喇脖武A港的B卻毫C左免漆疑魚土哨炕忌歐覆之脖彎喂沉充A扭秤鳥B娛救庭C奇臣A打頃0匯耽桶呆壞旬A熄餃報妹溫始A襖傳辣稼0鉆雜屆i眼B篇兆旨0勤曲潑車沾嬌B慕與駱碎狐束B暖譜般足減剃0嬌喚C洪據(jù)蘆占蠻覽C猛爬撫針理燃親C源枝浸一個兵消息敲源的醋典型典信息水如下黨:胞A愧B愈B帳A叨B廣A當(dāng)B概A涼B炒A省B妻A籮B載A倚B告B透B斜A喝B苦B脫B挑B卵B問A浪B死A怒B觸A建B彩A截B納A猴B斧B稼B觸A拜C蝶A全C被A憤B更B礦A挺B感B盆B貌B等A悟B揭B雀A滿B僅A容C問B鋪B欺B磁A吧B指A.付其次掩，復(fù)蛙雜性妖的增窮加將街包括鑒最多疼三組種字母油的頻夜率。遼字母倍的選禿擇將琴依賴死在前渴的兩姑個字賴母而坦不是伙之前測的信重息點戴。一始個三粉組字跪母頻殼率趴p(靈i,隙j,俘k)聚的集航合或售者等余同的叮蛻變裁概率糟的集矛合是耗必需浴的。碧這種旁方法同持續(xù)準進行旗將獲童得更混多持輔續(xù)的畜復(fù)雜犬的隨迷機過瞎程。丙在普毯通的撤n錫元情歸形中忘用一歉個奏n災(zāi)元概炊率烏或者突轉(zhuǎn)變情概率賀的集兄合來胖指定愧統(tǒng)計蟻結(jié)構(gòu)標是必忽需的島。杏（譽D蘋）隨陳機過盯程也境可以卸由產(chǎn)郵生一愧段包況括序做列拴“筑字米”執(zhí)的正賢文來認定義齒。假憤設(shè)有鏈語言項中的漢五個喉字母與A砍，追B凳，漫C駱，吼D園，矩E依和吸16華個形“懷字橡”施，且聲它們奮的產(chǎn)聯(lián)合廳概率仆如下墊：職衣鑒煌陷延伶巨甚青性顏擱膏杯衡叼精意1創(chuàng)0朋A恨粒顆1殲6城BE艙BE劉搞11垂CA猛BE匪D途0吸4D糾EB但臥塔耐歌然遭宗舌悅僑關(guān)賺亂儲店泡04術(shù)AD叛EB聰劍0榴4B氣ED狀儲0槳5C撥EE謎D射鉤15悉DE基ED礙票獅尚第侵憤壽茅打奉待利筍且床驚字須0俗5A短DE倆E鼻段02召BE雪ED煙取0奉8D河AB掙戚魂01繪EA丹B膠勞鞠嬸繳吊適讓厲徑貧頃附經(jīng)低鑰梨臉拖0襯1B錢AD涌D館置05術(shù)CA志圓缸0叮4D工AD艙裝犯05慧EE效假設(shè)糟連續(xù)妄的話“眠字難”茅被獨紹立地駐選擇互并且久被空翅間隔陣離。情一個泰典型驗可能單信息榆為：扛DA攀B膝EE右A盆B府EB今E槽DE蔽ED猶D屈EB劇A宋DE膝E華AD剖EE己E淋E不DE泉B廉BE紛BE來B柏EB躁E蹄BE膀BE園A赴DE懼E效BE組D幫DE夫ED賺DE鴉ED測C防EE矩D游AD垂EE山A斑D餡EE娛D蠻DE惱ED炕B搞EB燭E港CA恨BE托D敞BE除BE套B護ED儲D抽AB兩D涉EE扭D奸AD賞EB篇。誘如果隊所有調(diào)的字謊長度弟有限扣，這淘個過傲程就搞相當(dāng)論于前尤述類杜型的墊其中舟之一陜，但諒是如濤果按深照字批結(jié)構(gòu)波和概紫率描螞述可睛以更旦簡單甘。我團們也遍在此泄歸納幟并且瘋介紹就字之躍間的裹蛻變講概率圍，等秒等。住人工診語言捉在構(gòu)餅造簡辮單的億問題叮和說帝明不嚴同可晴能性聽的例慧子是辰有用喪的。宜我們寬也可厭以通洗過一對系列抹簡單腥的人暈造語運言的慢方法盒接近廁自然哭語言燈。零堵號近疏似值皂可以疊通過挨等可磨能并暴且獨看立地想選擇老字母吼來獲金得。勝一號選近似盾值可言以通薄過獨附立地捧選擇螞連續(xù)償?shù)淖直婺斧@錢得，司但是葡每個易字母埋像自扮然語廈言奏那樣癥擁有步同等兔的發(fā)配生概門率。毫這樣本在一坊號近吩似值歌中對儲于英夸語來效說，率E旅以新0.娛12厚(街它在嚼標準佩英語岸中出橋現(xiàn)的警頻率揉)械的概蓮率被林選擇過并且痛W煎的發(fā)握生概航率為追0.蒸02糧，但系是鄰闖接字暴母之抵間沒條有影轉(zhuǎn)響并被且沒皂有形哄成像種TH陷，污ED指這樣縫的首汗選連點字，蹦等等性。在漫二號促近似灰值中袍介紹裁了連潮字結(jié)戶構(gòu)。奔一個載字母榨被選妄擇后究，下脆一個玩字母鍛與頻付率被帽一致蒙地選豪擇，筐其中沸不同環(huán)的字蒙母跟售隨第寬一個誤字母宰。這高需要球一個聾連字漁頻率歸的表撲格。我在三傅號近惑似值鞠中介且紹了斤三組催字母奪結(jié)構(gòu)教。每窄個字逆母被鞠等可百能選什擇并松且取舒決于擴前兩鐵個字裹母。笑布觀糠袋近軍晃滾正比獲柜跪洗3即.頸英文粥近似督值的落連續(xù)烈性糖給一閑個這線個系至列過塵程如佩何接壞近一同門語肆言的益形象志想法和，英姜文近肚似值淹的典腰型序裳列已坡經(jīng)被臉構(gòu)造抓并且凱在下溜面給磚出。鍵在所詠有情使形中探我們圍假定濃一個詞27述字符境的垂“遠字母味表殊”汁，伏26倚個字豎母和悄一個留空格斷。講1.窗零號倚近似巨值馬(海符號際獨立統(tǒng)且等先可能諸出現(xiàn)侍)連XF盒OM麗L傾RX琴KH損RJ院FF鐮JU弊J交ZL荒PW墳CF克WK紋CY止J魚FF墊JE菜YV著KC嚼QS掀GH兄YD編Q找PA辰AM完KB清ZA城AC妥IB割ZL朱-切HJ總QD嫌.攤2.鑒砍一號被近似探值數(shù)(駐符號抓獨立灘但是肆以英留語原揪文的蜂頻率么出現(xiàn)種)記OC簡RO妖H扎LI液R求GW抹R征NM繼IE你LW狡IS駐E階U漲LL點N惹BN屬ES場EB鏡YA倘T迷H兆EE催I飯AL釀HE嘴NH望TT倦PA股O償OB霞TT伴VA旋NA融H緒BR觸L.垃3.砍二號矮近似恩值乎(瘋英語證中的障連字瘡結(jié)構(gòu)姿)翻ON瓦I方E址AN往TS疊OU或TI繼NY羅S駱AR兵E勢T股IN才CT鵲OR戀E孔ST虧B額E廉S蒼DE盾AM阻Y個AC什HI斜N寇D屈IL陵ON銹AS階IV墻E烏TU雞CO盯OW悶E消AT脖T磁EA否SO孤NA蘿RE沫F錘US餓O奸TI宋ZI雄N哨AN勉DY品T義OB抗E松SE均AC張E據(jù)CT店IS醒BE封.裂4.獅三號龜近似踢值然(奇英語謠中的只三組攀字母挑結(jié)構(gòu)席)床IN泉N應(yīng)O茂IS院T浮LA諒T的WH帳EY報C攤RA鳳TI清CT呀F庭RO謊UR鉆E巖BI毯RS倆G島RO至CI朋D捉PO鎮(zhèn)ND滲EN裙OM侄E棋OF音D怪EM彈ON奉ST哲UR弊ES謎OF請T顧HE子R絮EP振TA熊GI賄N睛IS難R塞EG辭OA神CT柄IO塞NA系O兼F撈CR孔E.喚5.蘇一號差字近祥似值墨。勝疾于連艇續(xù)的鍋四個納字母倒，藏..僑.惰，岸n薄元結(jié)君構(gòu)更常簡單另并且份更好貌地接壩受點禁到字簡單元災(zāi)，在翁此字迅被獨興立地晨選擇沫，不含過是宅以它濾們適低當(dāng)?shù)难骖l率娛被選腸擇。辮RE體PR流ES堤EN稿TI豆NG屋A鍵ND監(jiān)S墨PE鹽ED蔽IL舅Y警IS驢A君N相GO稻OD勝A鼓PT酸O旺R叮CO售ME耽C倉AN唱D梅IF遍FE烏RE高NT嘆N梁AT努UR花AL打HE毯RE嘆H啞E蟲TH鎮(zhèn)E榮A難IN將C渣AM詢E杏TH完E敲TO撲OF晚T草O棵EX濱PE蕩RT蒼G煤RA河Y坡CO樸ME袍T臣O郵FU功RN霸IS憐HE健S早TH餡E陵LI膽NE絨M酬ES粉SA合GE運H觸AD胖B挎E診TH購ES禽E.浴6.姿二號創(chuàng)字近賞似值忽。字咬蛻變獲概率羽是恰謎當(dāng)?shù)暮?盤但是雀不包釘括更棍深的堪結(jié)構(gòu)辯。坦TH撫E場HE嚷AD宜A皇ND木I幕N用FR氧ON搬TA雨L禮AT港TA著CK彼O磨N紗AN慧E裕NG拉LI蓄SH垂W閱RI綠TE塘R篩TH譜AT碼T罷HE失C沫HA港RA桌CT步ER搭OF挎T紐HI榴S哪PO狹IN蝦T既IS拜T缸HE油RE膝FO至RE許A哪NO擠TH唐ER亂M棗ET股HO擁D鎮(zhèn)FO屢R挎TH裕E錄LE僑TT戶ER拌S竄TH撇AT挨TH散E齒TI建ME嘉O圍F擦WH銷O豪EV斗ER念T啊OL宿D(zhuǎn)坊TH濁E采PR低OB備LE疏M蹤FO喚R帳AN倒U士NE怪XP室EC乒TE瘡D.臂普通象英語宅原文塘的類近同之弊處在馬以上望每步娛顯著遍增加濤。注翻意這臟些樣摧品有活適度稻優(yōu)良勝的結(jié)估構(gòu)，澆計算罪它們彈的造秀句，也表現(xiàn)讓出兩芬倍的己范圍絲。這闖樣在速(3杠)痛中對疼于兩竄字母蜓次序桿統(tǒng)計賠過程訪確保淺了合亞理的穩(wěn)原文漂,酬但是影字母墨，連廟字和前三組稼字母胳頻率腎在田19河39蛙年由康Fl棍et毫ch清er鍋P屯ra惠tt矛,鑄Bl徹ue沈R歌ib佳bo惕n收Bo伙ok編s盈所著藏的緊繁急秘絮密。爺字頻押率在岔由極G.慈D零ew變ey引所著必、哈者佛大婚學(xué)出里版社訪印刷意的英芒語語喂言的抓相關(guān)雪頻率花中被淘列成綿表格醋。穿樣品喇中四驚字母決次序醬通常嫌適用完于好鬼句子術(shù)。在謙(6捧)擋中四對個或限更多乏的字恥可以著很容辛易地歪放在唐句子敗中而泥沒有裂不平何常的珍、做因作的漏句子構(gòu)。十多個詞碰的詳轟細次灰序顆“?！癮零tt柔ac酸k豐on幸a訴n秤En目gl邀is唇h攜wr令it側(cè)er案t雄ha尤t戲th夫e顧ch普ar稼ac潑te果r剝of戲t拋hi纖s灘（抨真擊這倉種特奏征的洽英國渾作家矩）代”慌根本鉆不合賽理。阿由此戶看來省一個幸十分番復(fù)雜早的隨膊機過病程將牧?xí)o光離散旱信源彈一個暮滿意植的表展示法柳。鋼頭兩坊個例依子是驢應(yīng)用室隨意脫數(shù)字彩的一右本書億構(gòu)造與的，童其中熄隨意地數(shù)字豪關(guān)聯(lián)包一個燥字母分頻率泰表格餡(桑對于評例圍2)犁。這脂種方庸法可探能已詠經(jīng)延稈續(xù)到掌(3專)瀉，盯(4目)寨和黑(5麗)爆，雖命然連遭字、夕三組字字母竊和字碎母頻駐率表土格是忌有用假的，越但是距一個犯更簡昆單的河等價稻方法脫正被簡應(yīng)用究。比柏如構(gòu)使造械(3柿),著一個模人隨債機地跳打開封一本尊書來,疏并且聾在該銹頁隨禾機地單選擇薯一個菌字母淺。將決此字恒母記旬錄。虧然后駕打開同該書饑的另弟外一泳頁并濾且讀嫂到這厲個字坦母出逼現(xiàn)時待，隨爪后的只字母棍然后愈被記堂錄。較翻到盒另外沫一頁賄找到大第二湊個字雷母并碰隨后翻記錄膽，等亂等。我一個切簡單分的過陵程被晶用在侵(4枯),蟻(5軟)(趙6)獨中。臥如果辛深一介層近滑似值薪被構(gòu)笨造，頑那將蜓會是斃有趣悟的。芽但是斜下一荒階段塌相關(guān)林的詳娘細分查析變縫得龐便大。與枝賢這貿(mào)吵倦償版盞日4泄.構(gòu)一個阿馬爾英可夫躁過程悠的圖烤形表撒示法炒以上齊描述貓的這舞種類差型的隊隨機茅過程聲在數(shù)羽學(xué)中密叫做扔離散頭的馬郊爾可默夫過啄程，養(yǎng)并且孝在文貞獻油中廣鑼闊地指研究蝶。大污體情艱況可數(shù)以描途述為絲如下囑：存摟在一悉個有態(tài)限個側(cè)數(shù)的揀系統(tǒng)倡的可棚能狀妥態(tài)；咬。另源外有樓一套劫蛻變寺概率吐，如傻果此裁刻系械統(tǒng)狀桂態(tài)是攏，將原達到妙狀態(tài)很的概臣率是笑。要叼將佳馬爾邀可夫忙過程挖轉(zhuǎn)變批為信魯息源股我們汪僅僅南需要稈假定仙字母類是由繩每次控從一移個狀撈態(tài)轉(zhuǎn)么變到友另一軟個狀隨態(tài)時秒產(chǎn)生帳的。居狀態(tài)曲符合皺來自旅前述售字母之的爐“性剩余尖物的箏影響睡”達。襲該情膀形可樣以被身描述控為圖蘿表，顯在圖壟3館，沫4肚和崖5六中顯易示。梯童四嬌巾襲劈蘭巴徐墾聞破A努扯護智繪囑堵得傍殲殊倚搜園喂旱甩美狂全賠4房啦鬼鳴1輝策鑒B后碎瑞托泥積憑恭耕笛E逗怪假問錦驗爐愉夸2諷究糟櫻稼周魄欲局集1炸云吹弦侵遇將忍婦C生疾D特裹2欣圖蔬3式—授一個摧符合慈例哥B連中信輔源的幼圖表掙此狀草態(tài)是層圖中滴的連魚接點撞，并苗且概娛率和薪字母擁產(chǎn)生頃的轉(zhuǎn)肯變在戚旁邊謙的相奶應(yīng)直賢線給溉出。你圖印3廢對應(yīng)拋第給2架部分端的例悄B羨。而詳圖宴4性符合字例高C燥。在沃圖桌3諷中，伏因為貍連續(xù)針字母滾不受仇約束倡，只汽有一襯個狀圓態(tài)。床房效趣坊扒搞勿擋牢懷身吩C咳郊唉唯尊矩B持涌膚頑猜圣漢衰偷持哄取率搶驢部A歉煌A轉(zhuǎn)今惕2虧永鉆孕5條謹孔5注獲禁雹8鉤越并泡膨澡繪浮構(gòu)?？s鍋埋騙暫需混交牢功新原外淺井B音抬冊鈔綁暫蜜掃伸C圖拔屑達也B聾稱階職4是投西半升旋路5也匯茂坑租竊堤城南1岔側(cè)船圖曠4設(shè)—偵一個份符合擔(dān)例盛C秩中消卡息源帳的圖其表擇在圖魯4年中有收字母眨數(shù)目扔相等浙數(shù)目史的狀譽態(tài)。奴如果劑構(gòu)造是一個盯三組獨字母羊的例加子，繁將出流現(xiàn)至瓦多接個狀蝦態(tài)，虧符合浮前述酸被選牙擇的替可能獻出現(xiàn)夠的字患母對資。圖魚5膊是一贊個說時明在判例悠D笑中詞吳結(jié)構(gòu)激情形媽的曲很了解干詳細擱的處洽理見追M.釘Fr坡ec殺he見t越，數(shù)論據(jù)加償密，時巴黎泛，高端塞爾慣-轟維拉突斯，掘19爹38各年旺8雕月普線圖塔。這渣里究S賞代表舊“途間隔竟”狀符號濁。尾5.犬遍歷墓信源范和混儉合信弱源柿正如項我們貧以上把已經(jīng)侮說明職的陳,輩按我喬們意押原的似離散舟信源盜可以緒被看公作是居由馬技爾可震夫過題程描還述。換在可聰能的盲離散濫馬爾尾可夫忌過程姥中有作一個焰在通往信理票論中唇有意比義的找特殊壓性質(zhì)況的組罷。特倦殊類白包括坑“漁遍歷券”輪過程忠，我艷們把便相應(yīng)未的信銷源叫賄做遍算歷信殘源。身盡管總一個閑遍歷室過程礎(chǔ)的嚴做格定糟義有粥些棘夏手，碧其常勿規(guī)思設(shè)想是很簡單球的。獵在一宰個遍蜓歷過蠶程中涂由此軟過程繡產(chǎn)生抓的序咬列的帝統(tǒng)計母特性舉是相臺同的愈。這團樣的醬字母砌頻率綱、連藝字頻矮率等質(zhì)等從拖特殊夢序列義在獲戚得，豪將隨霉著序即列長紗度的睜增加希，接瘡近不躲受特昨殊序故列約部束的蝴確定岔極限模。事槽實上非這對涼每個緞序列衡并不嬌全對憂，但遞是錯熊誤的蟲概率濫幾乎稱為零規(guī)。大圈致上變遍歷竹性意關(guān)味著妨統(tǒng)計婚一致滋性趕。踢以上什所給殼的所往有人承工語酬言的貴例子委是蘇遍歷妄的。瀉這種夾特性返涉及食到相猴應(yīng)圖刻表的黎結(jié)構(gòu)朗。如異果圖維表有吼如下歐兩個令性質(zhì)生，相珠應(yīng)過漂程將吧被遍擇歷：聽1.瘋這個恥圖表墻不包虧括兩嗎個獨扛立的鎮(zhèn)部分肢A昏和火B(yǎng)概，這江樣就怨不可肢能順魂著圖禾中曲戒線的歡箭頭答方向詠從錄A遇部分膛的連逮接點固到皇B劈部分醒的連胖接點虛，也擇不可擴能從股B衛(wèi)部分蹈的連郵接點缸到墨A彎部分東的連帽接點感。五2.退圖表淘中的遭封閉閉譜線脈系伴嗚隨線滋上的幕所有亮箭頭嫩指向蘇同樣凝的方郊位叫舟做一配個選“頃回路芽”捧。回非路的炸“造長度雜”畝是其朋中直強線數(shù)明目的虜個數(shù)騙。這義樣在執(zhí)圖紡5島中系伸列媽BE待BE晌S廟是長鬧度為惕5紡的回伯路。赴第二拴個需優(yōu)要的平特性輕是鄉(xiāng)圖表蜘中所新有回盾路長禁度的煉最大填公約弟數(shù)是懼一。臂便產(chǎn)叮評楚中慕記倉名本箭餡道D免鑼控倍容鹽爪拜率赤恥E餃道短而枝產(chǎn)盟朽培剝輪窮聯(lián)待飛按勤鐘厚搜盾勸降忠約E板寫將B減工另剃煎賓安控錢講芬揭屢帝嘩判架E憶六翻壘匠間仿B同凳烤捐推濫榴猾裝稍S適撞篇A享賴膜擇鋼畫誤較費術(shù)士算涼想D剩狹E教殿許殊桂腐希拉蛋床常鼠B殼吩薯泥忘A胳怕字闖D月單辛業(yè)E繳辣倒遙補辯亡營哲搬閘違拔退級捷S罩算壽B位絞家炕E亞尚虜?shù)礑風(fēng)輩貪佛貪書旁跟虜便徐害翅匪C間A貌畝E標芹沉幟倆E仗咳鄭干B罪B日鞠泛矛這什乎籃飾亭駕矛敬D價害閣胞E砌心邀鞋如司聲快叼吹鳴蠟彼屬修膀反揉耐墳虹況仗財擠君鳥A灰借集器D廣翠哪脅B筆爽陸伴壁焦捧木仍懸測帶E邊種繞似揚綿陪汁E助棗箏懲A述旱義它擦做蜘芝推徐壤截幸毫鴿酒鄉(xiāng)頭冠洋憶S溝圖爐5娘—肺一個撐符合匆例漏D給中消血息源眨的圖鼠表億如果場滿足哈第一鋸個條律件，耐但是很由于密最大它公約率數(shù)等券于薪d>嚷1慚而不打滿足夠第二竹個條退件以,抖序列堡將有錢一個蜜確定運的周顧期結(jié)垮構(gòu)類色型。滿不同匙的序躁列分惱成誰d樣種類雀型，岡它們庫統(tǒng)計兄上相帥同，夸除了濱起源默的變圓化（擊也就途是，牙序列縣中的義字母粥被叫準做字班母粱1透）。杜通過貼從萌0反到沫d-盞1稿的移離位一垂些序咽列可咐以統(tǒng)創(chuàng)計上購等于織其它抄的構(gòu)夕造。頓d=虛2評時的尺一個偽簡單牢例子躍如下膽：有浙三個妻可能葬的字嬌母葉a,穿b,爬c刊。會a謹后出饑現(xiàn)喂b梨或膠c糕的可爬能性奪分別層為尋。掀a加后面符跟隨融著短b跌或令c脅。這已樣的脂一個節(jié)典型瘋序列英是汪a批b國a蠟c樣a遍c密a確c柏a教b循a燒c損a剝b族a禁b群a軋c統(tǒng)a濾c穗。旗這種唯情形飼的類蕉型對腥我們蛛的工余作不秘太重瞇要。刷這些歸根據(jù)披在碑Fr員′e顯ch倆et拆中給善出的慮圖表箏條件脖被重嶄述壁如果霉不滿更足第陰一種如條件午，圖襖表可盟能被灘分成鴨一系驚列滿也足第生一種剖條件繳的子縣圖。液我們培假定究每個序子圖弄也滿簽足第缸二種陶條件加。我態(tài)們有細這種鎮(zhèn)由許蓄多純零粹成叢分組漂成的疾叫做靠“奔混合誓”之信源飯的情訴形。燦其成間分符船合各誓種各共樣的靠子圖遭。如躬果驚是信膛源成兼分，為我們荷可以拆寫出逼其中燈是信骨源成念分棉的概式率。序自然木的描砌繪情諒形如栗下：反有幾穿個不易同的跳信源僵每個面都有擾同類鵝的統(tǒng)拆計結(jié)邀構(gòu)柄(繪也就如是嫁,便它們禾是遍濱歷的染)封。我蔽們不蟲知道京預(yù)先怕將被霞用到膛的，種但是江一旦倦序列睬以所雀給的貌純信揪源成煉分犧開始鐮，它土依照哀那種不成分脊的統(tǒng)汽計結(jié)鋪構(gòu)不狀確定押地延小續(xù)。驗作為劑一個膚例子浪我們刺可以弄獲得唱兩個直以上遍定義倍的過勉程，蹄并且曠假定盈。一非個來齡自混脆合信仗源的爛序列得將通泡過首書先以彼0.槽2環(huán)和遵0.沸8叼的概劍率選姓擇掃和立,嫂此選腰擇之壓后產(chǎn)舞生來原自任蜓意一均個被鐮選擇階的序伙列呀。李除了恥當(dāng)反悄面是偷一定奏的，猾我們客設(shè)想往信源魚將被渴遍歷聾。假構(gòu)設(shè)能調(diào)夠讓它我們四順著貪一個激伴隨班全體悄可能途序列紅平均僑數(shù)(旨差異樣的概俊率為破零)愚的序羞列確哲定平撿均數(shù)停。例雜如在過一個磚特殊昨無限謀字母并序列溜中A平的相嶼關(guān)概輛率將亦可能鎮(zhèn)等于見序列膊全體慘中它獻的相筍關(guān)頻頂率。盼如果悲是狀晴態(tài)和的發(fā)被生概遺率并酸且胖是到怎狀態(tài)滅的蛻嘴變概株率，榆然后賣過程困將會岔固定添，顯預(yù)然汁必須舒滿足朗均衡哪條件壞：渠。羅在泳遍歷這情形件中可溜以看名出伴憐隨著欄一些此起動轎條件鼻狀態(tài)椒j在偉N個倉符號主后的異概率燈是舅，當(dāng)燕時逼昌近平代衡價盲值。面加夢撿嫁座葬夕該蔬樓摧藍6蛛.籮選擇茅、不戰(zhàn)確定沫性和鎖熵蜜我們艙已經(jīng)弟將離誰散信渴源描例繪為閣一個擴馬爾仰可夫警過程勉。我狀們能堆否定世義一壁個參勞量，甜它在狼某種輩意義征上測模量這對樣一虛個過店程或巾字母秀產(chǎn)生瘡多少隱信息鉗，以規(guī)什么宵樣的蝕比率擋產(chǎn)生含信息學(xué)。歷假如豬我們蜜有一墻組發(fā)梳生概腔率為滔的可尸能事扯件。名這些北概率記是知枕道的隸，但曲是那束是我咬們所先有知被道的丈關(guān)于似將發(fā)校生的態(tài)事件罵。我矮們能糖否找凳到一臺個相估關(guān)事獻件有意多少悠“姻選擇塘”浮或結(jié)或果有化多少坦不確女定性鋒的量腰度標幟準呢虛？簡如果階有這臺樣一斃個量光度標卷準，探比方腥說秀，如近下所住需的坐性質(zhì)迎是合題理的該：度1.村在概訪率銷下游是連樓續(xù)的此?？?.龍如果焰所有堆的概尸率牌等于犯，那耽么膏應(yīng)該啄是一澇個關(guān)洪于愈n劈的單抗調(diào)遞簡增函狗數(shù)。欠當(dāng)存混在更勇多可筍能的恨事件醒時，灶等可動能事壩件有縣更多兼選擇售或不剖確定墊性。裕3.續(xù)如果葉一個炎選擇漠被分荒為兩幫個連她續(xù)的降選擇屋,師最初累的旋應(yīng)該碑是輔的個阿體價灣值的筆加權(quán)膨和。惜這句游話的茫意義絨會在辨圖啊6始中舉炒例說搜明，片在左井圖中透我們祝有三留個概胖率粱。在噴右圖濟我們劉1嶺/恒2曬抬床吵嬸緞聰圓枕婚1覺/2炮橫枝割較未沫蠅揪內(nèi)用1/杜3尿柱塌1瘦/2緊侵夫幻夕穿徑柿倚蜜南毀個疼糠初犧景源2如/3甚抄騾鋸窯粘聾權(quán)惜1譯/6弦億旺宣辣渡揭1鎖/2袍嫂頭1垮/3掙澆戰(zhàn)睜丟叛賠西勻印仗虎湖集澆方獻穿紙1襯/3年1惹/6怕柏服急可黃燥受柔圖邪6納—龜三個裙可能嗚選擇唯事件抽的分亭解鳥先以潛的概迎率選繼擇兩殼個可棋能事飛件，究如果晃第二外步以席的概蘋率做錘另一糖步選獅擇。裂最后明的鞋結(jié)果鉛有同煩以前少同樣悅的概趣率。破我們許在這番種特鋼殊情右況下究得出。咐系數(shù)容是因迅為第赤二個烏選擇偵以一舞半的告時間患發(fā)生糕。貍在附禁錄2功，有寶如下傾確定凝結(jié)果淺：露定理蒜2：快滿足跟以上粘三個銳假設(shè)勺的睬有如超此形棒式：邀其中抹是一貿(mào)個確曬定的懸常數(shù)斗。逗這牲個理底論，鐵和對剪其進尼行證飯明所熱需的禁假設(shè)運，對地于當(dāng)粒前理來論并桌不需付要。樂這首逃先給塑出一想些我刑們稍臘后定軋義的退有確盒定理崖由的占參與朵。然霸而這嗓些定鼻義的憂真正活理由臂隱藏冤在暗翁示中結(jié)。吵形態(tài)貧的數(shù)輝量（波恒量腿K攀僅僅候等于木度量媽單位膀的選見擇）稅作為阻信息遠、選接擇和岡不確踏定性樸的測劉度在騙情報通理論填中起本到了狗一個葡中心當(dāng)?shù)淖鬟\用。聾形態(tài)軌被認腐作是毒熵，吹作為還定義示在一撥定的撿用公沙式表蘿示的握統(tǒng)計波力學(xué)宜，其錄中句是它勇的拓王撲空彎間中景系統(tǒng)耳處于側(cè)單元基的概態(tài)率。漆然后溜，例綁如都是挽Bo黎lt歸zm蘭an袍n法的午著名按的詞定理鈔。我尺們把披叫做蘭一系枝列概予率斜的熵張。如巧果目是一泡個機聽遇數(shù)駕，屯是它省的熵錫，這剩樣的筆不是章一個樣函數(shù)杠的自鍬變量驅(qū)而是素一個行數(shù)字案標志準，區(qū)久別于翻來說寒是概牲率然y劇的熵送。娛熵的屋兩種潑情形俗的概浙率分抽別為狹，即杏作為蠶p淡的一縣個函骨數(shù)在脆圖竟7涂中繪模出。向H唉值有掏許多眠有趣知的性吼質(zhì)，貢更深旦層地召證實減它是膽一個扯衡量降選擇婚和信式息的躲合理吧量度廊標準拳。友1.稈如果單除了盛一個頓，所珍有的理概率覆都為玻0痰，那驚么權(quán)，這便個宣具有預(yù)聯(lián)合呀價值緒。這方樣僅庫僅是蹤當(dāng)我挺們確油定軋H遞為窮0夕結(jié)果峽，否語則翁H首是正爛的。準2.仙對于準一個憐給出映的守n,丑H黃在所萬有藥相等五,渴也就揉是末(鎖)肯時取訊得最饞大值跟。這塔也是字一個也直觀懸的最水不確晉定的疼情形喝。羞3.蒙假設(shè)李有兩威個事袋件垃x舍和筆y育，問舟題中偽前者秤有燕m理種可底能，曠后這載有蚊n謹種可僚能。膠若事突件一剖發(fā)生陸的概倘率是揉，事鈔件二嚴發(fā)生憶的概也率是副，其擔(dān)聯(lián)合剖事件欣的概野率是困，那原么聯(lián)宗合事倉件的酬熵是轟審視粥，實掙例稻R.蛇C欄.乎To援lm朵an趕，統(tǒng)悶計力歡學(xué)原散理牛育津大川學(xué)出達版部枯，隸19姐38支1.瑞0華絮垮借潔舌匹0淚.9挪須觀煤葵世乓0戶.8蹦化探趴候?qū)俳o0耍.7毀筆狂凱屑遷努0享.6稻忽賊局備王倒0個.5每異翼閃治芹片0膜.4您屋桿鬼灶糖狠0買.3棍景爭判駁灰華0繁.2墓同奴妄庫搜闖0憲.1炕遙脂欄奏蘿愁眾0們0軋榜0.拋1酸0.輸2挺0.吳3窯0能.4叮覽0.邪5炎0尾.6甘0董.7念0若.8宏攝0.戰(zhàn)9煌1尼.0減圖猶7固—作兩種邊概率舉分別借為發(fā)的情扣形的販熵而啦很容肢易知如道欣僅僅釋當(dāng)事訪件獨并立時劈等號婚成立子（也農(nóng)就是漆）。遠聯(lián)合禾事件周的不千確定蛇性小錫于等運于個鐮體不踐確定技性的秒總和撒。高4.固對均宅等概掛率臣的一壤些改翁變會骨使蹤增大編。這饑樣如巧果意并且腰我們酸等量弄地增涉加此和請，從竄而使利和謊更接牙近，爆那么擁將會柱增大擇。一統(tǒng)般地上，如墾果我改們執(zhí)曉行形里態(tài)嗽中均哨衡泊的操支作，湊其中暢，并斧且所尋有的晚，那芽么吉將會悄增大蔬。（診除了分轉(zhuǎn)變懷總數(shù)鑼不超商過碑的排介列伴仁隨著瞞保持否不變趁的特貢殊情爺形）鈔。砌5.挽搶假設(shè)反有兩志個像式3劇中的鎖可能稠事件抬x范和竭y瘡，而夏且它茶們沒侮必要慶獨立廳。對圈任何鉤事件奧x旦的值壩，可悠以假賢定有草一個是條件代概率容，其愛中事惰件悠y彩的值跨為宇。這泰由等指式晶給出互。輩我們昌定義慮y的加條件撒熵倒作為萬對于蜘每一督個x和值，典y的蔽熵的畝平均飯數(shù)，貝通過賤獲得嬸特殊型事件掛x的心概率朵權(quán)衡設(shè)。即茂。勸這個著量測額試當(dāng)覺我們補知道鑰事件笑x時疲y的俗平均純值的蒼不確賢定性襯。取搞代淋的值脈我們肢得到或。迎聯(lián)合葬事件顏x鍋，在y刺的不惡確定梢性（誘或熵棕）等卷于事蹄件礙x厘的不角確定陜性加抓上當(dāng)盡知道喂事件幫x叛時事憐件斗y害的不咳確定穴性萄。嗓6.內(nèi)從3采到5逝我們鑼得出添建因此稠。劫事件姨y植的不邪確定狀性不萍會由難于知融道事叔件螞x反而增錄加。謊除非解事件饒x慚和沖y芹是獨錦立事久件這休種不債確定詢性不扮變的甩情形蘋，它西將會睬減少選。祝7、充信源稅熵魔考慮般一個拔有限盞離散懂信源尾的所臭有情潑況，僑對于而每一愉個可杯能的闊狀態(tài)歐，會兔有一感系列奏可能影發(fā)生為的概封率為孫。由瘡此得本到對爐于每滑一個稱可能頌的狀排態(tài)牧下的警熵處，對晝所有央發(fā)生遇的狀蹄態(tài)的鴿熵價進行貴加權(quán)荒平均故得到腸該信立源的側(cè)信源仇熵為肥：嶄這是情符號遵集里翁每個茅符號社所攜化帶的倆信息育量焰，如群果馬攜爾科薯夫過避程在圈單位盞時間并內(nèi)發(fā)竊生，江則它雁為每片秒的腳平均鉛信息置量希（閱為狀披態(tài)辦出現(xiàn)影的平傾均概僻率）華顯然隔有:球(粉m慕為平坡均每普秒鐘抹產(chǎn)生疤的符挑號數(shù)嘆)指表示蜻信源搞平均咳每個蘇符號創(chuàng)（每北秒）己產(chǎn)生蓬的信嘉息量和。如宏果選夫取以叛2眨為基滔數(shù)，雄則單逃位為疫比特仿每符搬號（息每秒傭）。匙如果惕所有駕的符扯號相辜互獨左立，飯則延可簡康單的纖表示慎為黑。理沫所當(dāng)臣然，腥在這痛種情硬況下遭，我燈們考準慮一囑個由亦N述個符妖號組幟成的挪長序昨列信愧息，紋它由額出現(xiàn)法概率回相對朱高的末字符斷組成雜，其限第一岔個字革符出處現(xiàn)的喝次數(shù)搖為揚，第晚二個殘字符鈔出現(xiàn)借的次夜數(shù)為惡……右。這工種信逗息出林現(xiàn)的類概率塑為：或嶼即課大約炊等于絞這一肉序列求信息戲的概足率的輪倒數(shù)悅的對乘數(shù)除序以序曬列的嘩符號灑個數(shù)摔，且血對任慈意的撐信源物都有件這一圾結(jié)果合。更磁精確淋的表緒達如互下（問見附關(guān)錄版3港）：串定理伏3：尼對任住意給硬點的渡和添，存描在麗，使扶得當(dāng)吃這一撲序列謎信息庸的長于度伴時有耳如下映兩點哥成立跪：旬其發(fā)仔生的臨概率普小于減；鉛所有景的參糖數(shù)滿熔足不云等式濁也就彩是說晶當(dāng)境足夠溪大時揪，可是以確朝定悶可以嘴無限信的接哀近衣。蘿大量柜序列詞的不口同概茫率會呀無限違的接牲近某現(xiàn)個結(jié)憶果，柿再考晚慮序鹿列的營長度糊，對查它們蝶按概謊率的玉遞減殲順序醉進行采排列絲。我兇們定宜義視為的園那些荒序列微中最拼有可釣?zāi)馨l(fā)盾生的課概率居且用鄭來計百算。駝定理國4懼：辰當(dāng)勇不等電于狂0臉或偷1肯時，秘有鋼當(dāng)我劃們只略考慮租最有送可能朵發(fā)生姻序列蚊的總檢概率鴿時，慎我們遭可以禽將稀解釋瓦為指汪定某穩(wěn)序列松時所傷需要溜的比拋特數(shù)葡，因筆此劑即為置平均鉤每個吊符號對所需刪要的哪比特者數(shù)，墳這定阿理表脅明對店于較玉大的壁數(shù)爺，發(fā)護生概還率沸和熵底相互誘獨立陶。所花有可飽能序坊列數(shù)嶼的對涂數(shù)的肅增長連率由旋確定錢，與邁發(fā)生胸的可鋸能性歡無關(guān)菜。結(jié)植果的情證明泳過程熟在附魔錄助3廢中。再對于紛長序反列中稿，僅控有距個是后最常滅用的超，每化一個緩被使窄用的焦概率付為窄。檔下面匹的兩救個定里理表簽明業(yè)和脈可以冰通過提信息引序列羨的統(tǒng)急計數(shù)毫據(jù)直工接算津出來吸，不謎涉及定狀態(tài)肢轉(zhuǎn)移滋概率步。職定理希5篇：設(shè)贈：繪為消展息中確符號桌序列規(guī)的發(fā)膚生概素率，毯，（竿求和死中要傘遍及弊所有揉含擊個符磨號的完序列昨）承則：管關(guān)于袍單調(diào)布遞減沫，且代。喜定理廳6贊：設(shè)胃：顏為奧同時古發(fā)生帶的概陪率，謹為在記條件及下乖發(fā)生唐的概叢率。從設(shè)繞（求石和中艘要遍忌及所拾有含階個符界號的框序列此和呀）摟則：派，化上述至結(jié)果絨的證孩明過承程在筐附錄那3搜中，莖這表易明一碰系列點近似稍計算睛的方病法可尺以通線過僅犯考慮拒序列蜂中的當(dāng)?shù)谧?我、暫2劫、恩…粉、仗個符聚號的馬統(tǒng)計潑數(shù)值粥表得駁到，番是一偉個比燥較精己確的源近似輸值?；睂嶋H桌上，普為所解有白信源赤類型砌的頃個次揮序的嚇近似威值，克也就穴是說躲下一裝個字覽符的階產(chǎn)生西只與逝前面草的補個符通號相悲關(guān)，晌與再花前面革的符只號無膏關(guān)，伏則抽。椅即為庭下一家個符買號產(chǎn)立生的眼條件稱熵，附當(dāng)前肢面的圖個符絹號已滿確定頂時，鑼則為彎個符足號中蒸平均鮮每個吳符號糖的熵趴。耗當(dāng)重顛復(fù)出什現(xiàn)相識同的粒字符妻時，腫信源讓熵的類比率打得到菜最大穿值，習(xí)叫做年相對滑熵。悶這就排是對扛字母糧進行就編碼踐時的郵最大課壓縮俘。不閃考慮隸超過它8個檢字母琴長度讓的統(tǒng)控計數(shù)幕值表驅(qū)，普拉通英臟語的夏冗余叛度大展約為話50尺%，成這也洞就是濃當(dāng)我氧們寫慧英語址時，揭我們揮所寫吵的一乖半被螞語言國結(jié)構(gòu)宅所決售定，盤另一那半可統(tǒng)以自素由選糊擇。件50爐%的養(yǎng)數(shù)字效是通刊過相娘鄰的準結(jié)果彈再利確用一晌些獨由立的涉方法華得到畏。一叫是通說過計親算英政文的杠近似正熵；節(jié)第二框種方狹法是投從一炎個簡傘單的巖英文便文章?lián)糁袆h皮掉一杠些確陪定的亦字母溫片，意然后尖嘗試掠恢復(fù)火它們雕，如窩果刪及掉的灶50虜%都蝴能被戰(zhàn)恢復(fù)裁出來遞，則袋冗余培度就惠會大溉于5陜0%辰；第漸三種喂方法訂是依誤靠密扶碼系營統(tǒng)的幣已知哀結(jié)果烤。益英語儀散文四的兩攻種極跌端冗勁余度赴代表燈為基北礎(chǔ)英使語和兩詹姆鞏斯郵·練喬伊展斯的稍書冶“理芬尼綱根的帶蘇醒珠”學(xué)。基閘礎(chǔ)英掉語詞梢匯限欄制在銷85掩0個隱單詞紗，且燙冗余荷度較倦高。殺當(dāng)一款段落努翻譯貴成基逮礎(chǔ)英呈語時贏會出即現(xiàn)反份射性駁的擴廊充。憂喬伊譜斯在挑另一遼方面轟擴充雨詞匯險，并唉且聲例明實冤現(xiàn)壓苦縮的澤內(nèi)容郊。標語言搏的冗爭余度盜與縱孤橫字齡謎的料存在擦有關(guān)勻，若足冗余笨度為倦0，悄字母違的任脂何次持序在春語言普中都份時合墊理的農(nóng)正文共，并扎且任夕意的超二維抵字符鍋排列陜形成個一個及縱橫窄字謎揮。如既果冗旱余度驢太高枯，這該語言清就可豆能會頌為比逐較多栗的縱充橫字毛謎強脆派大跪量的你約束地，通萬過更芹多的毛明細減分析亮得出炒：如炕果我超們被納語言斃強行蝦約束宴會更促加混連亂、捐更無村規(guī)則燦。當(dāng)奔冗余修度為弊50林%時漿，大袍的縱啞橫字絕謎游理戲僅登僅成致為可韻能，莖如果鉗冗余足度為擦33妨%，襪三位檔的字縣謎游撐戲就紫可成公為可份能。抓8.不表示本編碼古和解搏碼的仰運算紹我們潔仍然版需要比用編熊碼和抖解碼秤信息魚給傳攏輸者毒和接繡受者狹表示員數(shù)學(xué)歷操作棗。它頭們中禍的任袍何一薦個都拔將被當(dāng)稱作競傳感恩器。蛾一連潔串的這輸入珍標號僻被輸閉入進戀傳感怪器并槐且一壇連串散的輸頸出標煌號被粉傳感侄器輸怒出。釣這個乳傳感褲器可辜能有卡一個仆內(nèi)存金輸出蛛，不諷但依撲靠當(dāng)流前的松輸入舞標號莫，而腎且依不靠過尋去的駕標號叉。我淺們假促設(shè)內(nèi)逗存有壤限，杏例如外：存急在一偶個有騰限的欠m坊代表沿傳感嬸器，他然后原輸出匹一個懇函數(shù)創(chuàng)表示滋當(dāng)前互的狀煤態(tài)和精當(dāng)前蔥的標藝號。稻下一學(xué)個狀減態(tài)將鼻有第框二個半函數(shù)裝和兩燃個變?nèi)塘俊Ｐ挂虼藸?，這吃個傳府感器斗可以門用如值下的必兩個演函數(shù)攏描述蓮：貞這里吩：哄代表堂的輸獅入標第號，巧代表戚的提夾出的眨輸入仿標號緣的傳瘋感器敢狀態(tài)蘭，槍代表址如果虎狀態(tài)悲是規(guī)的已邀知燈的輸雪出標前號（餡或者賀一連宮串的傾輸出躲標號榴）。撇如果班這個毫傳感羊器的愈輸出黑標號膀可以閘在一涌秒內(nèi)齒辨認閉出輸宮入標惕號，域它們肢可以測連接灑到的撓結(jié)果銜也是堂一個嘴傳感道器。性如果為存在妖第二神個傳菜感器齊，它德操作餅輸出害第一獵個并猶恢復(fù)殲原有腦的輸勾入，偉那么毫第一壯個傳廉感器戒將被厲稱作須反向侮的。蒸定理閘7鍛：被里一個漲有限愿狀態(tài)隙統(tǒng)計拍資源托促使浸的有鼠限狀員態(tài)傳耕感器攤的輸純出是誘一個猛有限鑰的狀蔬態(tài)統(tǒng)袖計資射源，媽熵（庸每單朵位時敘間）外少于陪或者另等于間輸入纏。如鏈果這包個傳死感器亡是單誼個的片，那喊么它柳們相攏等。策讓誠代表足資源貫的狀章態(tài)，州它產(chǎn)奸生一吸連串泳的標訴號鋸；讓必代表凝狀態(tài)石統(tǒng)計毀資源宮，它牧產(chǎn)生牽、輸紅出封修閉的捷標號霧。這容個鏈鬧接的旅系統(tǒng)子可以崇被吼“婆生產(chǎn)干狀態(tài)引區(qū)間比”牢的袍“捏（混）秩”暑所代完表。驚這兩料點的益區(qū)間蝶（玉）和湯（漏）被職一條暈線連胳接，汪如果破可以咱得出山x剖，從街到肺，這仰條線蒙是給蘆出的不在這熄種情粥況下噴可能物的咐x術(shù)。這倉條線誰是一娛個標獎簽的就標號鎮(zhèn)。這撞個輸壇出的邁熵可鬼以像我重量猾和等傭狀態(tài)愚那樣斤被計煩算出犯來。竊如果刮這個襯和的蘭結(jié)果或少于枝或者足等于傭，那政么熵密不會否增加箱。如逼果這嶼個傳拒感器像不是甚單個筑的，湊它輸吩出與脫反向善的傳黎感器濾相一司致。激如果舌，逢和屈是輸張出的避這個近資源漠的熵留，那慧么獲,吵所以疤。糧假如句我們筐有一勁個約并束可勝能序寸列的惹系統(tǒng)化，其芬類型吃由像炸圖2計的線園狀圖丟描述遠。如冷果概類率勾被分黨配到唇多樣續(xù)的吸連接并狀態(tài)控到狀促態(tài)藍的線左條限，這魯將變誘為一嗎個信艘源。丘存在鬧一個逼使熵社結(jié)果劇取得愈最大欣值的恒特殊夏分配屈（見默附錄非4）年。三定理宰8：就將約行束系牽統(tǒng)考武慮為壘一個名容量乞為摧的信癥道。丹如果并我們者指派押其中干是符春號切從狀喬態(tài)留到狀嘆態(tài)狗的周幟期，攔并且漏滿足侍然后彼取得青最大肯值并去且等煙于森。示通過散蛻變往概率閘的適燃當(dāng)指玉派，粒一個接信道凝的符她號熵物可以像在信士道容學(xué)量上含取得酬最大鳳值。麥討昂樸揀欠梁沈蓋9.砌無躁欲聲信蔑道的御基本閉原理兆我們丈現(xiàn)在鄙證明炎對酸的解叉釋使正如牢通過臨證明海確定簡信道元容量映需要勢用最養(yǎng)有效餡的譯喊碼產(chǎn)期生信暑息的叨比率露。釋定理啟9：港取一夜個熵費值為臂（比朝特每斤符號椒）的謹信源供和一蒜個容驚量為劇C湯（比吸特每臭秒）很的信氣道。立而后峽就有鴿可能盲編碼車信源佩的輸躁出，肝在信剩道上慨以這腿樣一態(tài)種勤符號惱每秒父的晉平均艦傳輸池速率籃傳輸斷，其蟻中鄙是一裕個任來意小趕的域橡。不被可能辯以大場于速的速粉率砌傳輸重。昆定理脫的相準反部燙分，濱不可漢能被階超越辨，可掙以記療錄每匹秒輸噴入的必信道城熵等賤于信捷源來啟證明碧，因毒為傳毛達者具必須兩是非垮單一搜的，明并且餅熵不肌能超顆越信宏道容避量。搬因此葬，并鋤且每捎秒的嗎符號縱數(shù)目耐等于痛。版定理法的第嫂一部領(lǐng)分將滾以兩息種不于同的殖方法被證明口。第奧一種羨方法匆是考族慮一紹系列愉由信暖源產(chǎn)霞生的浪N袍個字腳符的釘所有克序列連。對窄一個苦大數(shù)索N兼，我灘們可塌以分圾成兩贏組，郵一組炎包括漫少于西個成脫員，井另一記組包割括少距于貝個成對員（迷其中乎R太是不桶同符阿號數(shù)罩目的圈對數(shù)頁），襲并且積有一撲個小斜于紋的總濃概率挽。隨梁著及N厚的增略加猾和森趨向測于境0攤。信掌道中仆信號環(huán)數(shù)目陡的周川期培T含大于麻，巷T班大的趨時候傲小。瀉如果刺我們勻選擇恐然后交當(dāng)段和藍充分姨大（鏟盡管豈很小那）且滾有一糖些增嘗量時研對于參高概漂率的寇組將校有足梅夠的令信道柱符號故的序卷列數(shù)么目。雜高概躍率組墨任意恭的一葡對一挎的方鎮(zhèn)式編品碼到鋪集合唯。保膛留序砍列被貓大的開序列戲描述車，逐以不泳被用互在隔高概沾率組錫的一魯個序忽列開旗始和姓結(jié)束僻。這益?zhèn)€特召殊序江列為矛一個眾不同誠的編勁碼擔(dān)她當(dāng)起救始和躲結(jié)束吊的信執(zhí)號。羊在中仆間一紗個充獻分的識時間塌被允販許對制所有笛低概村率信短息給序出足換夠不息同的奧序列押。纖這需醉要享其中累很小臺。符駛號信昌息每煙秒的閣平均探傳輸留速度命將會河大于耽當(dāng)魯N殲增加盾時，中，紫和鄰趨向笑于林0促且速槽度趨恥向于挑?；瓦€有書另一銅個履文行譯聽碼的某方法奏，因蹦此定擾理的包證明藝可以打描述沉如下款：遭以概棉率遞璃減的罪順序養(yǎng)安排計長度騎為埋N慚的信盆息，免且假味設(shè)它匹們的石概率沒是芳。默取乞，也遷就是籌是累退積概剃率的遞結(jié)果田，但英不包換括潮。我阿們首符先編己碼成可一個險二進矮制數(shù)顯，信稼息待的二片進制做碼是狂通過惠展開煌為二擇進制壤數(shù)獲墨得的符。擴塞展式英被執(zhí)苗行到株位，求其中嗽是整為數(shù)且勇滿足會：雪。大這樣悶高概花率的踏信息序由短零代碼華描述別，而岔低概榆率的里信息窯由長說代碼嬌描述草。從副這些斷不等晨式我警們有鹽在一屑個或辰更多思的波位，棟的編騰碼將演不同詳于所券有繼駛后編案碼，割因為父所有畜剩余柱至少小這么瑞大，草并且章它們罵的二番進制該擴展繁因此疲在第緣一個砍處不溝同。來從而弊所有嗓的編蜜碼是往不同屈的，畏并且世有可五能從剛它的暈編碼拆重新?lián)p獲得刮信息批。如爺果信勢道序爽列還挎不是眨二進你制數(shù)閣字序嚷列，織它們欺可以投以任蛙意的分方式剪被歸伴因于臟二進亡制數(shù)蔥，并耍且這純樣二戀進制捏碼就逮轉(zhuǎn)化帖為適冷合信度道的辟信號懶。齡二進憤制數(shù)傻字所狐用原悼始信杯息的辦每個翅符號乞的平蹄均數(shù)判目北是容院易估溫計的窩。我佩們有。吐但是惕，因此廟隨著尿的增俘