信息論之父-香農(nóng)

信息論之父—香農(nóng)20世紀(jì)中葉，信息論、掌握論、系統(tǒng)論等標(biāo)立異的理論相繼問世，有力地“晃動(dòng)”著傳統(tǒng)的科學(xué)框架?？藙诘隆は戕r(nóng)是一位美國20世紀(jì)最宏大的代的奠基之父。確實(shí)，他對(duì)人類的奉獻(xiàn)超過了一般的諾貝爾獲獎(jiǎng)?wù)摺?0世紀(jì)的信息革命風(fēng)暴，經(jīng)他說明的信息概念、連同“比特”這個(gè)單位已經(jīng)深入人心，成為今日日常生活都離不開的詞匯。家庭背景·年4月30日誕生于美國密西根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng)時(shí)鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官，他們父子的XX完全一樣，都是ClaudeElwoodShannon。母親是鎮(zhèn)里的中學(xué)校長，XX是MabelWolf Shannon。他生長在一個(gè)有良好教育的環(huán)境，不過父母給他的科學(xué)影響似乎還不如祖父的影響大香農(nóng)的祖父是一位農(nóng)場主兼制造家制造過洗衣機(jī)和很多農(nóng)業(yè)機(jī)械這對(duì)香農(nóng)的影響比較直接此外，香農(nóng)的家庭與大制造家愛迪生(ThomasAlvaEdison，1847-1931)還有遠(yuǎn)親關(guān)系。香農(nóng)的大局部時(shí)間是在貝爾試驗(yàn)室和MIT(麻省理工學(xué)院)度過“功成名就”(MaryElizabethMoore)19493月27日結(jié)婚，他們是在貝爾試驗(yàn)室相識(shí)的，瑪麗當(dāng)時(shí)是數(shù)據(jù)分析員。他們共有四個(gè)孩子：三個(gè)兒子Robert、James、AndrewMoore和一個(gè)女兒MargaritaCatherine。后來身邊還有兩個(gè)得意的孫女。20XX224日，香農(nóng)在馬薩諸塞州Medford85歲。MIT發(fā)表的訃告都尊崇香農(nóng)為信息論與數(shù)字通信時(shí)代的奠基之父。攻讀學(xué)位1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入MIT念爭論生。1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位碩士論文題目《ASymbolicAnalysisofRelayandSwitchingCircuits(繼電器與開關(guān)電路的符號(hào)分析)當(dāng)時(shí)他已經(jīng)留意到 交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對(duì)應(yīng)起來，并用1和0表示于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路這就奠定了數(shù)字電路的理論根底哈佛大學(xué)的伽登納(HowardGardner)教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文。”1940MIT獲得數(shù)學(xué)博士學(xué)位，而他的博士論文卻是關(guān)AnAlgebraforTheoreticalGenetics》(理論遺傳學(xué)的代數(shù)學(xué))。這說明香農(nóng)的科學(xué)興趣格外廣泛，后來他在不同的學(xué)科方面發(fā)表過很多有影響的文章。·布什(VannevarBush)教授進(jìn)展微分分析器的爭論。這種分析器是早期的機(jī)械模擬計(jì)算機(jī)，1941年香農(nóng)發(fā)表了《Mathematicaltheoryofthedifferentialanalyzer》(微分分析器的數(shù)學(xué)理論)，他寫道：“得到解。還給出了一些留意事項(xiàng)，給出求函數(shù)的近似值(不能產(chǎn)生準(zhǔn)確值)、求調(diào)整率的近似值以與自動(dòng)掌握速率的方法。”.特別癖好·香農(nóng)是一位文質(zhì)彬彬的書生。套雜技。不是在舞臺(tái)上，而是在日常生活中，例如在貝爾試驗(yàn)室的走廊里。MIT到香農(nóng)寬闊的住宅只有幾英里。他的住宅里放滿了各種5臺(tái)鋼琴、30多種其他樂器，從短笛到各種銅管樂器應(yīng)有盡有。童年時(shí)代，他熱衷于裝無線電收音機(jī)、練莫爾斯電報(bào)碼、搞密碼學(xué)等。在Gaylord上中學(xué)時(shí)他還當(dāng)過WesternUnion的信使。311個(gè)環(huán)、75個(gè)棍子，通過鐘表機(jī)構(gòu)驅(qū)動(dòng)?？梢姰?dāng)他還是孩子時(shí)就寵愛(unbicycle)、手里拋著三個(gè)球來到貝爾試驗(yàn)室的大廳。有時(shí)他還踩著高蹺騎摩托，與他共享。他還把獨(dú)輪車造成偏離地心的，騎在上面忽高忽低，像鴨子行走似的。他設(shè)計(jì)并建筑了下棋機(jī)器、迷宮老鼠(左圖)、雜耍器械以與智力3器以與簡潔的記錄裝置。他還建筑了供孩子們到湖邊玩耍的升降機(jī)，600英尺，設(shè)有座位。這些活動(dòng)說明白香農(nóng)的主見，即古怪心比有用性對(duì)他的刺激更大。他的名言是：“我感到奇異的是事物何以集成一體?！眳⑴c工作1941年香農(nóng)以數(shù)學(xué)爭論員的身份進(jìn)入澤西州的AT&T貝爾1972245531年。. .1956年他當(dāng)了MIT19581978D.Slepian寫到：“我們大家都帶著午飯來上班，飯后在黑板上玩玩數(shù)學(xué)玩耍，但克勞德很少過來。他能馬上抓住問題的本質(zhì)。他真是一位天才，在我生疏的人中，我只對(duì)他一人使用這個(gè)詞?！毕戕r(nóng)與JohnRiordan1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)(PercyA.MacMahon，1854-1929)1892年在Electrician1948年則創(chuàng)立了信息論(informationtheory)。MITBellLab度過。需要說明的是，在二次世界大戰(zhàn)時(shí)，香農(nóng)博士也是一位著名的密碼破譯者(這使筆者想到4歲的圖靈博士)BellLab的破譯團(tuán)隊(duì)主要是追蹤德國飛機(jī)和火箭，尤其是在德國火箭對(duì)英國進(jìn)展閃電戰(zhàn)時(shí)起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《CommunicationTheoryofSecrecySystems(XX系統(tǒng)的通信理論)的意義是使XX通信由藝術(shù)變成科學(xué)。信息理論1948年香農(nóng)在BellSystemTechnicalJournal上發(fā)表了《AMathematicalTheoryofCommunication 。論文由香農(nóng)和威沃共同署名。前輩威沃(WarrenWeaver，1894-1978)當(dāng)時(shí)是洛克菲勒基金會(huì)自然科學(xué)部的主任他為文章寫了序言后來香農(nóng)仍舊從事技術(shù)工作，而威沃則爭論信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時(shí)，使用的是不定冠詞A，收入論文集時(shí)改為定冠詞The。.這篇奠基性的論文是建立在香農(nóng)對(duì)通信的觀看上，即“通信的根或者近似地重現(xiàn)”。這篇論文建立了信息論這一學(xué)科，給出了通信系統(tǒng)的線性示意模型，即信息源、發(fā)送者、信道、接收者、信息宿，這是一個(gè)思想。此后，通信就考慮為把電磁波發(fā)送到信道中，通過發(fā)10的比特流，人們可以傳輸圖像、文字、聲音等等。今日這已今日信息時(shí)代所需要的技術(shù)進(jìn)展。傳輸，每個(gè)符號(hào)開銷有限的信道時(shí)間。這里涉與到統(tǒng)計(jì)學(xué)問題，假設(shè)xn是第nxn應(yīng)的掌握系統(tǒng)掌握它。在這篇論文中，香農(nóng)首次引入“比特”(bit)一詞，假設(shè)在信號(hào)中附加額外的比特，就能使傳輸錯(cuò)誤得到訂正。依據(jù)物理學(xué)的習(xí)慣，把電流單位叫做“安培”，假設(shè)給“比特流”一個(gè)單位名，那么叫做“香農(nóng)”是比較適宜的。章馬上被世界各國的通信工程師和數(shù)學(xué)家承受，大家具體地論述它、過遠(yuǎn)。他寫道：“信息理論可能像一個(gè)升空的氣球，其重要性超過了它的實(shí)際成就”，真是大師的氣概。熵的概念. .香農(nóng)理論的重要特征是熵(entropy)的概念，他證明熵與信息內(nèi)容義，例如在中文信息處理時(shí)，漢字的靜態(tài)平均信息熵比較大，中文是9.654.03比特。這說明中文的簡單程度高于英文，反映了中文詞義豐富、行文簡練，但處理難度也大。信息熵大，意味著簡潔處理的錯(cuò)誤結(jié)論。眾所周知，質(zhì)量、能量和信息量是三個(gè)格外重要的量。19世紀(jì)中葉，隨著熱功當(dāng)稱，而能量的計(jì)量則通過“卡、焦耳”等單位的消滅而得到解決。然而，關(guān)于文字、數(shù)字、圖畫、聲音的學(xué)問已有幾千年歷史了。19世紀(jì)末還沒有被正確地提出來，更談不上如何去解決了。20世紀(jì)初期，隨著電報(bào)、、照片、電視、無線電、雷達(dá)等的進(jìn)展，如何計(jì)量信號(hào)XX息量的問題被模糊地提上日程。.取出N個(gè)符號(hào)并且組成一個(gè)“詞”，而且是完全隨機(jī)選取的，就可以得到DN個(gè)不同的詞。從這些詞里取了特定的一個(gè)就對(duì)應(yīng)一個(gè)信息量I。哈特利建議用NlogD這個(gè)I=NlogDlog10來，1949年掌握論的創(chuàng)始人維納也爭論了度量信息的問題，還把它引向熱力學(xué)其次定律。但是就信息傳輸給出根本數(shù)學(xué)模型的核心人物還是香農(nóng)。1948.“通信的數(shù)學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中，清楚地提出信息的度量問題，他把哈特利的公式擴(kuò)大到概率piH的公式：H=∑-pilogpi假設(shè)計(jì)算中的對(duì)數(shù)log2為底的，那么計(jì)算出來的信息熵就以比特(bit)(Byte)KB、MBGB“比特”的消滅標(biāo)志著人類知道了的奉獻(xiàn)。事實(shí)上，香農(nóng)最初的動(dòng)機(jī)是把中的噪音除掉，他給出通信速率的上限，這個(gè)結(jié)論首先用在上，后來用到光纖，現(xiàn)在又用在無線通信上。我們今日能夠清楚地打越洋或衛(wèi)星，都與通信信道質(zhì)量的改善親熱相關(guān)。科學(xué)意義20世紀(jì)中葉，人類最終對(duì)三個(gè)格外重要的概念：質(zhì)量、能量、信息量都有了定量的計(jì)量方法。我們應(yīng)當(dāng)牢記，為說明質(zhì)量概念做出宏大奉獻(xiàn)的是覺察物體力學(xué)定律的牛頓(SirIsaacNewton，1642-1727)，為說明能量概念作出宏大奉獻(xiàn)的是熱力學(xué)第肯定律的覺察(JuliusRobertvonMaye1814-1878(JamesPrescott就是香農(nóng)。20世紀(jì)中期隨著原子彈的消滅，物理學(xué)成為最榮耀的科學(xué)學(xué)科。50年里，晶體管、人造衛(wèi)星、集成電路、電腦的飛躍進(jìn)展. .覺察自己僅是給信息科學(xué)當(dāng)仆人。信息量能進(jìn)入物理學(xué)嗎？但“信息不是物質(zhì)人類學(xué)問表達(dá)的這種的混亂局面需要我們不斷地澄清。1950Programmingacomputerforplayingchess》1956年在洛斯阿拉莫斯的MANIAC計(jì)算機(jī)上實(shí)現(xiàn)了一個(gè)國際象狀態(tài)構(gòu)建。榮譽(yù)獎(jiǎng)項(xiàng)克勞德·香農(nóng)在公眾中并不特別知名，但他是使我們的世界能進(jìn)展程院院士、