信息熵和性質(zhì)和應(yīng)用

..論文題目信息熵及其性質(zhì)和應(yīng)用學(xué)生專業(yè)班級信息與計(jì)算科學(xué)09級2班學(xué)生學(xué)號姓名20093992指導(dǎo)教師吳慧完成時間20XX06月25日2012年06月25日課程論文任務(wù)書學(xué)生姓名指導(dǎo)教師吳慧論文題目信息熵及其性質(zhì)和應(yīng)用論文內(nèi)容〔需明確列出研究的問題：研究信息熵的目的就是為了更深入的了解信息熵,更好的了解信息熵的作用,更好地使用它解決現(xiàn)實(shí)生活中的問題。文中介紹了信息熵的定義和性質(zhì)及其應(yīng)用。使我們對信息熵有跟深入的了解。資料、數(shù)據(jù)、技術(shù)水平等方面的要求：論文要符合一般學(xué)術(shù)論文的寫作規(guī)范,具備學(xué)術(shù)性、科學(xué)性和一定的創(chuàng)造性。文字要流暢、語言要準(zhǔn)確、論點(diǎn)要清楚、論據(jù)要準(zhǔn)確、論證要完整、嚴(yán)密,有獨(dú)立的觀點(diǎn)和見解。內(nèi)容要理論聯(lián)系實(shí)際,計(jì)算數(shù)據(jù)要求準(zhǔn)確,涉及到他人的觀點(diǎn)、統(tǒng)計(jì)數(shù)據(jù)或計(jì)算公式等要標(biāo)明出處,結(jié)論要寫的概括簡短。參考文獻(xiàn)的書寫按論文中引用的先后順序連續(xù)編碼。發(fā)出任務(wù)書日期06月15日完成論文日期06月25日教研室意見〔簽字院長意見〔簽字信息熵及其性質(zhì)和應(yīng)用信息與計(jì)算科學(xué)專業(yè)指導(dǎo)教師吳慧摘要：信息熵是隨機(jī)變量不確定性的度量,文中從信息熵的定義出發(fā),結(jié)合信息熵的性質(zhì),介紹了目前信息熵在具體問題中的應(yīng)用。信息是一個十分通俗而又廣泛的名詞,它是人類認(rèn)識世界、改造世界的知識源泉。人類社會發(fā)展的速度,在一定程度上取決于人類對信息利用的水平,所以對信息的度量就很有必要。香農(nóng)提出信息的一種度量,熵的定義形式,它是隨機(jī)變量不確定性的度量,文中主要介紹熵的性質(zhì)及其應(yīng)用。關(guān)鍵詞；信息熵性質(zhì)應(yīng)用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidelynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.Keywords:informationentropypropertiesapplication引言:作為一種通俗的解釋,熵是一種不規(guī)則性的測量尺度．這一種解釋起源于香農(nóng)在通訊理論的研究中,為確定信息量而提出的一種熵測度．對于離散概率分布p=<p1,p…,pn>,香農(nóng)熵定義為H<X>=E[I<>]=log在p1+p2+p3+…pk=1的條件下,為使H〔X最大,顯然是pi＝1/k〔i=1,2,…,k,即在等概率分布情況下H<X>達(dá)到最大值,換句話說,熵的值與不規(guī)則度〔如果以等概率分布作為不規(guī)則性的極端表現(xiàn)是一致的．這是熵作為一個概率測度的理論基礎(chǔ)．物理學(xué)的發(fā)展為熵理論提供了更為現(xiàn)實(shí)的應(yīng)用背景,熱力學(xué)的第二法則既是所謂熵增大的法則,對孤立的系統(tǒng),系統(tǒng)的熱力學(xué)狀態(tài)只能假定在熵增大的方向上起變化,Boltzmann原理把熵引入了熱力學(xué)的研究領(lǐng)域,他所提供的著名關(guān)系式S=klogw〔ｗ是系統(tǒng)狀態(tài)的概率是后來Planck的量變論及愛因斯坦的光量子理論開展的基礎(chǔ)．人們對熵的認(rèn)識和應(yīng)用很長一段時間內(nèi)都局限于理論物理領(lǐng)域,直到本世紀(jì)中葉,一些人開始注意到熵對系統(tǒng)不確定性度量的一般性,試圖在行為科學(xué)和社會科學(xué)中更廣泛地引用熵,對一些復(fù)雜現(xiàn)象加以刻劃。信息熵<entropy>的概念設(shè)一個離散型隨機(jī)變量和它的概率分布為任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負(fù)值,即I<>=-log。自信息量I<>是指某一信源X發(fā)出某一消息信號所含有的信息量,發(fā)出的消息不同,它們所含的信息量也就不同,因此自信息量是一個隨機(jī)變量,它不能用來作為整個信源的信息測度。香農(nóng)將平均自信息量定義為信息熵,簡稱為熵。即H<X>=E[I<>]=log。二、信息熵的性質(zhì)1、對稱性：設(shè)某一概率系統(tǒng)中n個事件的概率分布為,當(dāng)對事件位置的順序進(jìn)行任意置換后,得到新的概率分布為,并有以下關(guān)系成立:H<>=H<>它表示概率系統(tǒng)中事件的順序雖不同,但概率系統(tǒng)的熵值是不變的,即概率系統(tǒng)的熵與事件的順序無關(guān)。2、非負(fù)性：因?yàn)槊總€p<1,所以它們的以不小于1的數(shù)為底的對數(shù)是不大于零的。3、確定性：設(shè)信息系統(tǒng)中,任一事件產(chǎn)生的概率為1,則其他事件產(chǎn)生的概率為0。這是一種確定的系統(tǒng),對于這樣的系統(tǒng)有:H<1,0>=H<1,0,0>=H<1,0,0,0>=…=H<1,0,0,…,0>=0若信源中只要有一個事件是必然事件,則其余事件為不可能事件。此時,信源中每個事件對熵的貢獻(xiàn)都為0,因而熵總為零。4、擴(kuò)展性：若集合X有n個事件,另一集合Y中有n+1個事件,但集合X和Y的差別只是多了一個概率近于零的事件,則兩個集合的熵值是一樣的。即一個事件的概率和集合中其它事件相比很小時,它對于集合的熵值的貢獻(xiàn)就可以忽略不計(jì)。式子表達(dá)如下：5、可加性與強(qiáng)可加性：〔涉及到了兩個變量！H〔XY為兩個隨機(jī)變量的聯(lián)合熵?？杉有裕篐〔XY等于X的無條件熵,加上已知X時Y的條件概率的熵的平均值,即條件熵對于X與Y獨(dú)立的情況有：〔強(qiáng)可加性6、遞增性：〔子集再劃分,第n個分為m個按照定義證明：例題：計(jì)算7、極值性：可利用兩個引理證明；〔以后再利用Jensen證明。引理1：對于x>0引理2：其中：8、上凸性：是P的上凸函數(shù)即對于和兩個概率矢量,有：函數(shù)f的圖象幾何解釋：f<EP>總在Ef<P>上邊9、1證明離散平穩(wěn)信源有,試說明等式成立的條件。解：=根據(jù)信源的平穩(wěn)性,有=,因此有等式成立的條件是9、2證明離散信源有,并說明等式成立的條件。證明而=即代入上述不等式,有等號成立的條件是：9、3在連續(xù)信源中,根據(jù)差熵、條件差熵和聯(lián)合差熵的定義,證明〔1h<X|Y>h<X>,當(dāng)且僅當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時等號成立；〔2當(dāng)且僅當(dāng)X1X2彼此統(tǒng)計(jì)獨(dú)立時等式成立。證明：〔1等號成立當(dāng)且僅當(dāng)p<x|y>p<x>,即p<x,y>p<x>p<y>,因此僅當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時等號成立?！?根據(jù)條件概率密度的相關(guān)公式,有根據(jù)〔1的結(jié)論,條件差熵小于差熵,因此有等號成立當(dāng)且僅當(dāng)即9、4N維連續(xù)型隨機(jī)序列,有概率密度以及以及。證明：當(dāng)隨機(jī)序列的分量各自達(dá)到正態(tài)分布并彼此統(tǒng)計(jì)獨(dú)立時熵最大。最大熵為證明：等號成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。而對于任何一個分量而言,當(dāng)時,高斯分布的差熵最大,為因此原序列差熵的最大值為：+=9、5N維連續(xù)型隨機(jī)序列,其各分量幅度分別受限為。證明：當(dāng)隨機(jī)序列的分量各自達(dá)到均勻分布并彼此統(tǒng)計(jì)獨(dú)立時熵最大。最大熵為證明：等號成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。而對于任何一個分量而言,當(dāng)幅度分別受限為[,]iiab時,均勻分布的差熵最大,為因此原序列差熵的最大值為：==三、熵的應(yīng)用熵是信息理論中一個非常重要的概念,它是衡量一個隨機(jī)變量取值的不確定性程度。而就數(shù)據(jù)集合而言,熵可以作為數(shù)據(jù)集合的不規(guī)則程度的量度,所謂的不規(guī)則程度指的是集合中前后數(shù)據(jù)元素之間時序依賴關(guān)系的強(qiáng)弱。對一個具體的系統(tǒng)來說,如果這個系統(tǒng)隨機(jī)性很大、非?；靵y、毫無秩序,則此系統(tǒng)的信息熵就一定很大。反之,如果一個系統(tǒng)是確定的、具有一定的規(guī)則、服從一定的秩序,則此系統(tǒng)的信息熵就一定小。因此,可以把信息熵引申應(yīng)用到對事物集合中一些相互對立性質(zhì)的量度,判斷事物集合中的有序與無序、確定性與隨機(jī)性、組織性與散漫性、規(guī)則性與雜亂性、簡并性與多樣性,并對其相互對立的概念進(jìn)行量度。結(jié)合信息熵的性質(zhì),它的應(yīng)用十分廣泛,在各個學(xué)科中都有它的影子。目前文獻(xiàn)中信息熵在具體問題中的應(yīng)用有信息熵在教學(xué)質(zhì)量分析中的應(yīng)用,信息熵在學(xué)生評教結(jié)果分析中的應(yīng)用探析,信息熵在數(shù)據(jù)集分割中的應(yīng)用,信息熵方法及其在教育信息處理中的應(yīng)用,信息熵在缺陷漏磁信號量化中的應(yīng)用,信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用,信息熵在圖書分類決策中的應(yīng)用,信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用,信息熵在粗糙集信息檢索模型中的應(yīng)用,信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究,信息熵在工程造價風(fēng)險分析中的應(yīng)用研究,信息熵缺陷漏磁信號量化中的應(yīng)用,信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用,信息熵在圖書分類決策中的應(yīng)用,信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用,信息熵在粗糙集信息檢索模型中的應(yīng)用,信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究,信息熵在工程造價風(fēng)險分析中的應(yīng)用研究,信息熵在設(shè)計(jì)風(fēng)險管理中的應(yīng)用研究,信息熵在大型水利水電工程網(wǎng)絡(luò)管理系統(tǒng)信息集成中的應(yīng)用,信息熵在體育綜合服務(wù)質(zhì)量模糊評價中的應(yīng)用,信息熵在水污染物總量區(qū)域公平分配中的應(yīng)用,信息熵在項(xiàng)目溝通管理中的應(yīng)用,信息熵在競爭情報(bào)計(jì)量分析中的應(yīng)用,信息熵在體繪制視圖選取中的應(yīng)用,信息熵在基因調(diào)控網(wǎng)絡(luò)構(gòu)建中的應(yīng)用,信息熵在入侵檢測中的應(yīng)用,信熵在建設(shè)工程評標(biāo)中的應(yīng)用,信息熵在農(nóng)業(yè)技術(shù)擴(kuò)散中的應(yīng)用研究,信息熵在電子測量誤差分析中的應(yīng)用,信息熵在臨床定量診斷分析中的應(yīng)用,信息熵在建筑工程管理中的應(yīng)用,信息熵在粗糙集理論中的應(yīng)用,信息熵在優(yōu)化問題中的應(yīng)用,信息熵方法在胃癌診斷中的應(yīng)用,信息熵在泥沙研究中的應(yīng)用,信息熵在煤田勘探中的應(yīng)用,信息熵理論在安全系統(tǒng)中的應(yīng)用,信息熵在臨床醫(yī)學(xué)中的應(yīng)用,信息熵在水系統(tǒng)中的應(yīng)用研究,信息熵在現(xiàn)代生物醫(yī)學(xué)中的應(yīng)用,信息熵理論在煤炭企業(yè)經(jīng)濟(jì)效益評價中的應(yīng)用等。四、結(jié)束語信息熵的性質(zhì)和應(yīng)用還遠(yuǎn)遠(yuǎn)不止文中列出的具體應(yīng)用,這需要更多的人去學(xué)習(xí)信息熵的相關(guān)知識,利用信息熵這個有力的工具去研究或解決自己學(xué)科中的相關(guān)問題,所以我們相信信息熵的應(yīng)用前景十分廣闊。參考文獻(xiàn)[1]曹雪虹,張宗橙.信息論與編碼［M］.北京:清華大學(xué)出版社,2004.[2]沈世鎰,XX華.信息論基礎(chǔ)與應(yīng)用［M］.北京:高等教育出版社,2004.[3]周蔭清.信息理論基礎(chǔ)［M］.北京:北京航空航天大學(xué)出版社,2006.[4]張少艷.信息熵在教學(xué)質(zhì)量分析中的應(yīng)用［J］.紅河學(xué)院學(xué)報(bào),2007年第5卷第2期:77-79.[5]傅祖蕓編著《信息論－基礎(chǔ)理論與應(yīng)用》,電子工業(yè)出版社,2006,第二版.課程論文成績評定表學(xué)生姓名董強(qiáng)專業(yè)班級信息與計(jì)算科學(xué)2009級02班論文題目信息熵及其性質(zhì)和應(yīng)用指導(dǎo)教師評語及意見：指導(dǎo)教師評閱成績：