信息論模糊熵

1、模糊不確定性的度量模糊熵摘要: 熵是模糊變量的一個(gè)重要的數(shù)字特征，用來(lái)度量模糊變量的不確定性，是處理模糊信息的重要工具。模糊集用來(lái)描述元素?zé)o法明確界定是否屬于給定集合的集合類。模糊變量則是取值于這種具有不確定性的模糊集的變量。本文主要介紹模糊集模糊變量模糊熵簡(jiǎn)單的定義及其性質(zhì)，文中最后通過(guò)例子具體介紹模糊熵的實(shí)際應(yīng)用。關(guān)鍵詞:熵，模糊變量，模糊集，模糊程度，包含關(guān)系1. 模糊集與熵 集合的概念是邏輯和數(shù)學(xué)中最基本的概念之一。集合中非常重要且基本的性質(zhì)為矛盾律和排中律，滿足矛盾律和排中律的集合就是清晰集。即一個(gè)元素可以明確的表示屬于或是不屬于這個(gè)集合，任意選定的元素可以被明確界定，對(duì)應(yīng)于數(shù)理邏輯

2、就是一個(gè)命題要么是真的要么是假的。但是在實(shí)際客觀事務(wù)的描述中很多集合和命題不滿足這種特性，如“水很熱”，顯然這個(gè)集合中的元素?zé)o法被明確界定，這是因?yàn)椤盁帷焙汀安粺帷敝g不存在明確的分界。 定義函數(shù) 為模糊集 的隸屬函數(shù)，表示 中的元素屬于模糊集 的程度，隸屬度越大，表示該元素屬于集合 的程度就越大，隸屬度為0表示該元素完全不屬于集合 ，隸屬度為1則表示該元素完全屬于集合 。1.1 模糊集合的一般性理論回顧 如果我們對(duì)周圍的一切細(xì)加考察的話不難發(fā)現(xiàn)，普通集合無(wú)法描述像“天氣好”“個(gè)子高”“美麗”這樣的模糊概念，因?yàn)槠胀厦枋龅母拍钣羞@樣的特點(diǎn)：一個(gè)對(duì)象要么符合該概念，要么不符合該概念，二者必居

3、其一，沒(méi)有模棱兩可的情況，而對(duì)于模糊概念來(lái)說(shuō)，一對(duì)象是否符合它，不能簡(jiǎn)單的用“是”或“否”來(lái)回答，因?yàn)閷?duì)象既不完全符合，也不完全不符合，而是在某種程度上符合該概念。 模糊集合的概念論域X上的模糊集合A*由隸屬函數(shù)來(lái)表征,其中在實(shí)軸的閉區(qū)間0,1上取值, 的值反映了X中的元素x對(duì)于A*的隸屬程度.模糊集合完全由隸屬函數(shù)所刻畫(huà). 的值接近于1,表示x隸屬于A*的程度很高; 接近于0,表示x隸屬于A*的程度很低;當(dāng)?shù)闹涤驗(yàn)?,1二值, 演化為普通集合的特征函數(shù),A*便演化為普通集合A.我們可以認(rèn)為模糊集合時(shí)普通集合的一般化.1.1.2 模糊集合的表示方法就論域的類型而言,模糊集合有以下兩種表示方法:

4、1. 設(shè)論域X是有限集或可數(shù)集,令X=,X上的任一模糊集A*,其隸屬函數(shù)為,i=1,2,3,n,則此時(shí)A*可以表示成:A*=這里的的符號(hào)不是簡(jiǎn)單的加，除，而是只有符號(hào)意義的2. 設(shè)論域X是無(wú)限集,則此時(shí)X上的一個(gè)模糊集A*可以表示為:A*= 同樣的積分符號(hào)也不再表示積分,只是無(wú)窮邏輯和的意義1.2 一般熵的基本概念 熵是一個(gè)一般性的概念，它度量了一個(gè)系統(tǒng)或一段信息的不確定性。信源熵H(S)定義為一個(gè)信源中事件的自信息的統(tǒng)計(jì)平均值，即 H(S)= 一個(gè)事件的自信息是隨其不確定程度的增大而增大的，所以信源熵可以被認(rèn)為是一個(gè)系統(tǒng)不穩(wěn)定性的度量。而模糊熵描述了一個(gè)模糊集合的模糊性程度，是度量模糊集的模

5、糊程度的一種具體形式。2. 模糊度2.1 模糊度的定義模糊度是描述模糊集的模糊程度的數(shù)量指標(biāo)，用一個(gè)怎樣的數(shù)量指標(biāo)來(lái)描述模糊集的模糊程度，一種一般的定義是：1、普通集是不模糊的，標(biāo)志它的模糊程度的數(shù)量應(yīng)該為0；2、而對(duì)任一，若,則，此時(shí)A是隸屬性最難確認(rèn)的模糊集，標(biāo)志其模糊程度的數(shù)量應(yīng)為1；3、又,所以A與的模糊程度是相同的；4、此外，模糊集A的模糊性應(yīng)具有單調(diào)變化的性質(zhì)，即A越接近0.5，A的模糊性越大，A越遠(yuǎn)離0.5，A的模糊性越小?？啥x模糊度如下：若映射d:模糊集U0,1滿足：1， d(A)=0AU2， d(A)=1A(u)=0.53， 若對(duì)任一uiU,有A(ui) B(ui) 0.5

6、,或A(ui) B(ui) 0.5,則d(A) d(B)4， d(A)=d() 則d(A)稱為模糊集A的模糊度。這是一個(gè)公理化的定義，它只給出了模糊度最基本的要求，但此定義不適用于計(jì)算，在實(shí)用中還需給出其具體的形式。由定義知，模糊度的具體形式不是唯一的，后面面給出一種可計(jì)算的模糊度3. 模糊集的熵3.1 模糊變量 模糊變量的概念是用來(lái)描述模糊事件或模糊約束。若為可能空間到實(shí)直線上的函數(shù)，則稱為可能性空間上的模糊變量，相應(yīng)的集合稱為的內(nèi)核稱為 的支撐同樣可以導(dǎo)出隸屬函數(shù).我們可以知道，通過(guò)模糊變量的隸屬函數(shù)可以導(dǎo)出具有相同隸屬函數(shù)的模糊集，另一方面任何一個(gè)正則的模糊集都可以導(dǎo)出一個(gè)具有相同隸屬函

7、數(shù)的模糊變量。盡管模糊集和模糊變量在數(shù)學(xué)表達(dá)方式上具有這樣的一致性，但是，兩者之間仍存在著本質(zhì)上的差別。模糊集的隸屬函數(shù)刻畫(huà)了集合與其表示的具有不確定性的概念之間的相容性，即其中的元素屬于該集合的程度。然而，模糊變量及可信性理論涉及的則是相反的問(wèn)題，即在模糊變量的隸屬函數(shù)已知的情況下，特定事件發(fā)生的可能性。模糊變量和模糊集內(nèi)在含義上的差別導(dǎo)致了其在不確定性方面呈現(xiàn)不同的性質(zhì)，這主要體現(xiàn)為模糊集的不確定性僅僅體現(xiàn)在其元素?zé)o法明確界定，而模糊變量則不同，即使其支撐中的元素都具有隸屬度1，這樣對(duì)于特定事件發(fā)生的可能性為1，盡管如此，該事件也不一發(fā)生，也就是說(shuō)仍然存在著一定的不確定性，也就是說(shuō)模糊變量

8、的不確定性還依賴于其支撐中的元素的多少，即模糊變量取值范圍的大小。模糊變量的取值范圍越大，可能發(fā)生的事件的數(shù)量就越多，相應(yīng)的不確定性就越大。這樣由于模糊變量蘊(yùn)含的不確定性具有自身的特點(diǎn)，在確定具有什么樣隸屬函數(shù)的模糊變量其不確定度最大時(shí)，也和模糊集情形時(shí)有所不同。在模糊集情形時(shí)，也和模糊集情形時(shí)有所不同。在模糊集情形時(shí)，全集中的所有元素的隸屬度都為 時(shí)，這些元素在屬于這個(gè)集合和不屬于這個(gè)集合兩方面同具有相同的程度，因此這624個(gè)集合就要有最大的不確定度。而這種情況下，顯然存在一個(gè)模糊變量使得其具有這樣的隸屬函數(shù)，這是因?yàn)樵谖覀兘o定的公理系統(tǒng)中，我們總認(rèn)為存在著某一事件，其發(fā)生的可能性為1。由此

9、，在模糊變量情形下，當(dāng)所有可能發(fā)生的事件都具有相同的最大可能性時(shí)，其不確定度最大，而且，可能發(fā)生的事件的數(shù)量越多，其不確定度也越大。3.2 模糊熵1.熵是一個(gè)一般性的概念，它度量了一個(gè)系統(tǒng)或一段信息的不確定性。2.模糊熵描述了一個(gè)模糊集的模糊性程度。3.一般的定義1： （1）分明集是不模糊的，則分明集的模糊熵為0；（2）1/2是隸屬性最難確認(rèn)的模糊集，1/2的模糊性應(yīng)最大（3）模糊集A與 距1/2的1遠(yuǎn)近程度是相同的，則要求A與 的模糊程度一樣（4）模糊集A的模糊性應(yīng)具有單調(diào)變化的性質(zhì)，即A越接近1/2,A的模糊性越大； A越遠(yuǎn)離1/2,A的模糊性越小 。 4.模糊熵定理: 模糊熵定理的幾何圖

10、示。由對(duì)稱性，完整模糊方形的四個(gè)點(diǎn)到各自的最近頂點(diǎn)、最遠(yuǎn)頂點(diǎn)的距離都相等.該定理正式宣告了西方邏輯的終止其中另外一種定義：類似于信息論中熵的定義 3.3 熵的包含度定理1.如何用模糊集合間的關(guān)系表征某個(gè)模糊集合的模糊程度2.包含度是模糊中最基本的有代表性的一個(gè)數(shù)值3.熵-包含度定理： 說(shuō)明:將包含度定理中的A、B分別用和代替,并注意到交集 是并集的子集，即可證得: 該定理表明了整體是其部分的一部分的程度。4. 模糊熵的應(yīng)用:模糊熵的應(yīng)用很廣泛,以下就是模糊熵的一些應(yīng)用:1. 冀魯豫交界區(qū)地下流體模糊熵值的變化與地震的關(guān)系 地震研究 2003 01 2. 一種基于代價(jià)函數(shù)和模糊熵的圖像分割方法 光子學(xué)報(bào) 2003 12 3. 基于遺傳算法和模糊熵的前視紅外圖像分割 紅外與毫米波學(xué)報(bào) 2003 06 4. 基于Fuzzy集的Vague集的模糊熵 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版) 2003 01 5. 模糊決策樹(shù)中參數(shù)對(duì)模糊熵的敏感性分析 計(jì)算機(jī)工程 2003 11 6. 基于模糊熵及遺傳算法的圖像增強(qiáng)技術(shù) 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2003 03 7. 利用模糊熵進(jìn)行參數(shù)有效性分析的語(yǔ)音情感識(shí)別 電路與系統(tǒng)學(xué)報(bào) 2003 03 8. 基于模糊熵聚類和Kalman濾波的區(qū)域跟蹤 測(cè)控技術(shù) 2003 11 9. 基于極大模糊熵原理的模糊推理三I算法 模糊系統(tǒng)與數(shù)學(xué) 2003 04 10. “關(guān)于Vag