信息論概述與機(jī)械工程中的信息論

信息論概述與機(jī)械工程中的信息論

摘要信息論是一門新興學(xué)科，是在長期的通信工程實(shí)踐中，與通信技術(shù)、概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)相結(jié)合逐步發(fā)展起來的一門學(xué)科。信息論中主要的概念包括信息，自信息，互信息和信息熵。本文介紹了信息論的產(chǎn)生和發(fā)展，簡要介紹了信息論幾個主要概念的定義和推導(dǎo)，重點(diǎn)介紹了信息熵，最后討論了信息論相關(guān)知識在機(jī)械工程專業(yè)的應(yīng)用。關(guān)鍵詞：信息論，信息熵，機(jī)械工程專業(yè)第一章緒論§1-1引言人類的社會生活是不能離開信息的，人類不僅時刻需要從自然界獲得信息，而且人與人之間也需要進(jìn)行通訊，交流信息，離開信息，人類就不能生存。人們獲得信息的方式有兩種；一種是直接的，即通過自己的感覺器官，耳聞、目睹、鼻嗅、口嘗、體觸等直接了解外界情況；一種是間接的，即通過語言、文字、信號……等等傳遞消息而獲得信息。在人類社會的早期，只應(yīng)用語言手勢直接交流信息，但隨著社會的進(jìn)步，尤其是科學(xué)水平的進(jìn)步，傳統(tǒng)的信息獲取方式已經(jīng)不能滿足人類的發(fā)展要求，人類開始探索快速有效地獲取信息的方法，從而導(dǎo)致了一門新的學(xué)科——信息論的誕生?！?-2信息論信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)的理論，是研究信息的計(jì)量、發(fā)送、傳遞、交換、接收和儲存的一門學(xué)科。1-2-1信息論的誕生和發(fā)展信息論的創(chuàng)始人是美貝爾電話研究所的數(shù)學(xué)家香農(nóng)(C.E.Shannonl91)，他為解決通訊技術(shù)中的信息編碼問題，把發(fā)射信息和接收信息作為一個整體的通訊過程來研究，提出通訊系統(tǒng)的一般模型；同時建立了信息量的統(tǒng)計(jì)公式，奠定了信息論的理論基礎(chǔ)。1948年香農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文，成為信息論誕生的標(biāo)志。其實(shí)，1922年卡松就提出邊帶理論，指明信號在調(diào)制(編碼)與傳送過程中與頻譜寬度的關(guān)系。1922年哈特萊發(fā)表《信息傳輸》的文章，首先提出消息是代碼、符號而不是信息內(nèi)容本身，使信息與消息區(qū)分開來，并提出用消息可能數(shù)目的對數(shù)來度量消息中所含有的信息量，為信息論的創(chuàng)立提供了思路。香農(nóng)創(chuàng)立信息論，實(shí)際是在前人研究的基礎(chǔ)上完成的。在信息論的發(fā)展中，還有許多科學(xué)家對它做出了卓越的貢獻(xiàn)。法國物理學(xué)家L.布里淵(L.Brillouin)1956年發(fā)表《科學(xué)與信息論》專著，從熱力學(xué)和生命等許多方面探討信息論，使熱力學(xué)中爭論了一個世紀(jì)之久的“麥克斯韋爾妖”的佯謬問題得到了滿意的解釋。英國神經(jīng)生理學(xué)家(W.B.Ashby)1964年發(fā)表的《系統(tǒng)與信息》等文章，還把信息論推廣應(yīng)用于生物學(xué)和神經(jīng)生理學(xué)領(lǐng)域，也成為信息論的重要著作［11這些科學(xué)家們的研究，以及后來從經(jīng)濟(jì)、管理和社會的各個部門對信息論的研究，使信息論遠(yuǎn)遠(yuǎn)地超越了通訊的范圍。1-2-2信息論的發(fā)展現(xiàn)狀信息論近期發(fā)展的主要特點(diǎn)是向多學(xué)科結(jié)合方向發(fā)展，其重要的發(fā)展方向有如下幾種：信息論與密碼學(xué)通信中的安全與保密問題是通信編碼問題的又一種表示形式，由香農(nóng)提出的保密系統(tǒng)模型仍然是近代密碼學(xué)的基本模型,，算法信息論與分形數(shù)學(xué)由于香農(nóng)熵，柯爾莫哥洛夫與豪斯道夫位數(shù)的等價性在理論上已經(jīng)得到證明，從而使信息論，計(jì)算機(jī)科學(xué)與分形理論都找到了他們的匯合點(diǎn)。信息論在統(tǒng)計(jì)與智能計(jì)算中的應(yīng)用信息論與統(tǒng)計(jì)理論的結(jié)合已經(jīng)有許多突出的成果出現(xiàn)。其主要特點(diǎn)是統(tǒng)計(jì)理論正在從線性問題轉(zhuǎn)向非線性問題，信息的度量可以作為研究非線性問題的工具，如果用交互信息來取代統(tǒng)計(jì)中的相關(guān)系數(shù)，更能發(fā)現(xiàn)二維隨機(jī)變量的相互依賴程度。智能計(jì)算中的信息統(tǒng)計(jì)問題，信息量與統(tǒng)計(jì)存在許多本質(zhì)的聯(lián)系，在微分流形中，F(xiàn)isher信息矩陣式Kullback-Laiber熵的偏微分，由此關(guān)系而引出的信息幾何理論是智能計(jì)算的基礎(chǔ)⑵。§1-3自信息與互信息香農(nóng)在《通信的數(shù)學(xué)理論》引言部分就提出“通信中的基本問題就是在某一點(diǎn)精確或近似的再生另一點(diǎn)選擇的信息”未解決這一問題，他在這篇論文中開創(chuàng)性的利用概率論、數(shù)理統(tǒng)計(jì)、隨機(jī)過程建立了通信系統(tǒng)的數(shù)學(xué)模型，提出了自信息、互信息、信息熵等概念,這一部分我們將重點(diǎn)討論自信息與互信息，信息熵留待下一部分具體描述。1-3-1自信息用Ig)=l0g(1/R)表示信源發(fā)出的符號的自信息。自信息具有兩個含義：當(dāng)符號

x.輸出前，表示符號X.被輸出的不確定性；當(dāng)符號X.輸出后，表示符號X.所含有的信息量[3]。i i i i1-3-2互信息互信息有三個不同角度的定義。從信源出發(fā)的定義：站在信源一端，當(dāng)信源沒有發(fā)送時，信息發(fā)送方對信宿收到符號右的不確定度是I(右)；而當(dāng)信源發(fā)送符號x.后，信息發(fā)送方對信宿收到符號右的不確定度是I(y.lx.),從這個意義上定義互信息。1 1Jii從信宿出發(fā)對互信息的定義：站在信宿一端，當(dāng)沒有接收時，信息接收方對信源發(fā)送符號x.的不確定度是I(y.)；而當(dāng)信宿接收到符號y.,信息接收方對信源發(fā)送符號x.的不確定度是I(y.lx.)，從這個意義上定義互信息。Jii從整個系統(tǒng)出發(fā)對互信息的定義：如果從整個系統(tǒng)的全局出發(fā)，通信前，信源發(fā)送隨

機(jī)變量X和信宿接收隨機(jī)變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計(jì)獨(dú)立：P(x.，y.)=iJiP(x.)?P(y.)i Ji此時，有關(guān)符號x.和符號y.的聯(lián)合自信息量：i JiI'(x.y.)=log[1/P(x.)P(y.)]=I(x.)+I(y.)通信后，信源發(fā)送隨機(jī)變量X和信宿接收隨機(jī)變量Y之間由信道的統(tǒng)計(jì)性相聯(lián)系，其聯(lián)合概率密度：P(x.,y.)=P(x.)?P(y.lx.)=P(y.)?P(x.ly.)i"i i "ii "i i"i此時有關(guān)于符號x.和符號y.的聯(lián)合自信息量：i JiI(x.y.)=log[1/P(x.)?P(y.lx.)]=log[1/P(y.)?P(x.ly.)]通信后的互信息量，等于前后不確定度的差。事實(shí)上，以上三種互信息的定義是一致的［3?！?-4本文的主要內(nèi)容本文的大略概括了信息論的基本知識，介紹了信息論的發(fā)展過程，信息論中常見的名詞定義，重點(diǎn)介紹了信息熵的概念和推導(dǎo)公式（以離散信源模型為例），以及相關(guān)的條件熵,聯(lián)合熵等概念。并對信息論在機(jī)械工程領(lǐng)域的應(yīng)用做了大概說明。第二章信息熵及相關(guān)概念推導(dǎo)公式信息爛是1948年香農(nóng)（Shannon）在論文“通信的數(shù)學(xué)理論”中引入的，解決了對信息的量化度量問題。他對信息的定義：事物運(yùn)動狀態(tài)或存在方式的不確定性的描述。在香農(nóng)一開始尋找信息量定名稱時，數(shù)學(xué)家馮?諾依曼建議稱為爛，理由是不定性函數(shù)在統(tǒng)計(jì)力學(xué)中已經(jīng)用在爛下面了。在熱力學(xué)中爛是物質(zhì)系統(tǒng)狀態(tài)的一個函數(shù)，它表示微觀粒子之間無規(guī)則的排列程度，即表示系統(tǒng)的紊亂度，維納說：“信息量的概念非常自然地從屬于統(tǒng)計(jì)學(xué)的一個古典概念——爛?！?-1信息熵基于Shannon創(chuàng)立的信息爛理論，信息是不守恒的、無序的，它可以共享、傳遞、儲存、轉(zhuǎn)換，系統(tǒng)要向有序方向發(fā)展必須有負(fù)爛的輸入⑷。信息和爛有內(nèi)在的聯(lián)系，一般地，信息量越大，爛就越小，系統(tǒng)就越有序，結(jié)構(gòu)性就越強(qiáng)；反之，信息量越小，爛就越高，系統(tǒng)就越無序，結(jié)構(gòu)性就越差［習(xí)。信息與爛是一個相反的量，它表示系統(tǒng)獲得后無序狀態(tài)的減少或消除，即消除不定性的大小?！?-2信息熵公式推導(dǎo)離散信源的模型：定義1［6］：設(shè)某一概率系統(tǒng)X中有n個事件（X】，X2，……，X,……X），第i個事件X.產(chǎn)生1 2 i n i的概率為R（i=1，2，3，……n）,當(dāng)事件X.產(chǎn)生后，給出的信息量就稱為自信息：I（X.）=log2（1/p.）單位為bit。自信息的數(shù)學(xué)期望即平均自信息量，它的值稱為信息爛，簡記為H（X），則有如下公式：n H(X)=E[1(X)]=-Xp>log2j=1由公式推導(dǎo)可以得知：（1）信息爛的大小可以用來描述信息系統(tǒng)的平均不確定程度。若某一信息系統(tǒng)中某一知識產(chǎn)生的概率為1,其他事件產(chǎn)生的概率為0,由上式計(jì)算后可知，該系統(tǒng)的信息爛H=0,它就是一個確定系統(tǒng)，不確定度為0。（2）如果某一信息系統(tǒng)中，其等價類是均勻的則表示系統(tǒng)中每一知識產(chǎn)生的分類基數(shù)相等，該系統(tǒng)的信息爛具有最大值（在相同對象數(shù)的情況下）即該系統(tǒng)的不確定性最大。根據(jù)信息爛的定義可知爛值越大看，不確定性就越大。那么，搞清楚它所需要的信息量也就越大［7-8］。§2-3條件熵在信源X輸出X.的條件下，信源Y再輸出Y.所能提供的平均信息量⑹，稱為條件熵。記1 J為H(YIX)。條件熵有如下公式：ft H(Y\X)=E[1(Y\X)]=》4蟲Y\X=Xt)i=ln m=- Up兇旦內(nèi)i=l ；=1§2-4聯(lián)合熵兩個互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的信息熵為信源X的熵加上在X已知條件下信源Y的條件熵，稱為XY的聯(lián)合熵⑹。符合記為H(XY)或H(XUY)。公式表達(dá):H(XUY)=H(X)+H(YIX)第三章信息理論在機(jī)械工程方面的應(yīng)用目前，信息理論在機(jī)械工程方面的應(yīng)用并不普遍，這個結(jié)果通過論文搜索就可以看出,大概每搜索6篇有關(guān)信息論的論文，只能找到一篇論文與機(jī)械工程專業(yè)相關(guān)。從目前論文檢索情況來看，信息論的應(yīng)用和它自身的特點(diǎn)有很密切的關(guān)系，常應(yīng)用于信息量大，需要進(jìn)行信息篩選整理，需要對信息數(shù)據(jù)進(jìn)行數(shù)理統(tǒng)計(jì)工作的領(lǐng)域，土地和城市規(guī)劃常用到信息論的有關(guān)知識。機(jī)械工程方面的應(yīng)用，一是集中于傳感器的信息處理方面。例如視覺，聽覺，嗅覺等。這些傳感器研究的特點(diǎn)都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分?jǐn)?shù)據(jù)。已經(jīng)開始初步探索的是機(jī)器人的語音識別，主要研究方式依舊是模板匹配，音頻對比⑼。二是在產(chǎn)品檢測，測量領(lǐng)域的應(yīng)用，例如目前的表面粗糙度Ra（算術(shù)平均偏差）往往只出檢驗(yàn)的結(jié)果，而沒有考慮檢驗(yàn)結(jié)果的不確定因素。為了保證Ra測量結(jié)果的完整性和有效性，有論文提出了一種表面粗糙度Ra測量不確定度的計(jì)算方法。該方法依據(jù)表面粗糙度最小二乘檢驗(yàn)的基本原理計(jì)算檢驗(yàn)結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計(jì)算檢驗(yàn)結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢［10］。第四章結(jié)論物質(zhì)、能量、信息是構(gòu)成這個世界的三大要素，因此材料科學(xué)、能源科學(xué)和信息科學(xué)構(gòu)成了世界發(fā)展的三大支柱。信息論是信息科學(xué)中最基礎(chǔ)的理論，由香農(nóng)在1948年正式提出。信息論中最基礎(chǔ)的概念是信息，信息論是一門新興學(xué)科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎(chǔ)上，衍生出其他的相關(guān)概念。信息論目前在機(jī)械工程領(lǐng)域應(yīng)用還不是特別普遍，因?yàn)樾畔⒄摫旧硎腔跀?shù)理統(tǒng)計(jì)的學(xué)科，它的研究目的是收集大量信息進(jìn)行篩選甄別計(jì)算，得出整體結(jié)論而不是討論個體情況。信息論的這一特點(diǎn)意味著它將主要用于需接收大量數(shù)據(jù)的研究領(lǐng)域,包括機(jī)器人應(yīng)用傳感器的研究領(lǐng)域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識等，還有質(zhì)量檢測領(lǐng)域。參考文獻(xiàn)⑴韓曉平.當(dāng)能源充滿智慧——中國能源網(wǎng)首席信息官.中外企業(yè)家，2009（5）［2］ 沈世鎰.信息論基礎(chǔ)與應(yīng)用.北京，高等教育出版社，2004.15［3］ 艾科拜爾.艾合麥提.信息論中關(guān)于互信息的三種不同理解的統(tǒng)一性.中小企業(yè)管理與科技，2009，（6）：225［4］ 姬桂珍，吳承禎，洪偉，朱文華等.武夷山市土地利用結(jié)構(gòu)信息熵動態(tài)研究［.安全與環(huán)境學(xué)報(bào)，2004，4（4）：41244.［5］ 嚴(yán)志強(qiáng)，路汝成.基于信息熵的小城鎮(zhèn)土地利用結(jié)構(gòu)變化及其持續(xù)利用研究—以廣西北流市為例.廣西師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2008，25（4）：70-74⑹傅祖蕓.信息論基礎(chǔ)理論與應(yīng)用.北京:電子工業(yè)出版社，2001［7］PawlakZ.Roughsets：probabi