模糊集合與模糊信息熵課程設計

1、模糊集合與模糊信息熵1948年，信息論的創(chuàng)始人Shannon發(fā)表了通信的數(shù)學理論，研究了通信系統(tǒng)，用概率方法開辟了對信息的了解和研究。21世紀的社會是一個信息大爆炸的社會，我們的身邊有著各種各樣的信息，人們對于如何有效處理這些信息的渴望促進了信息論的發(fā)展。在信息科學發(fā)展中，模糊信息理論是一個迅速發(fā)展的信息科學的分支，它與Shannon信息論有著很大的差別，是一種基于模糊集理論的信息科學，在通信，計算機，聲吶，雷達，導航，制導，空間測控等各種電子系統(tǒng)中，模糊信息的提取，處理和利用占有極為重要的地位。本文詳細介紹了模糊信息與模糊信息熵的概念，在了解熵的發(fā)展歷程和深刻認識模糊信息概念的基礎上，研究模

2、糊集合與模糊信息熵的基本性質(zhì)，并利用模糊熵的性質(zhì)解決了一些問題。一信息的概念信息是指反應客觀世界中各種事物的特征和變化的組合，是一種有用的組合。信息具有普遍性，傳遞性，識別性，轉(zhuǎn)換性，存儲，再生，共享性，價值性，時效性等性質(zhì)。二模糊性指客觀事物的差異在中介過渡時呈現(xiàn)的“異此異彼”性模糊性就是無法確定其界限的性質(zhì)，事件本身的含義就是不明確的，但事件發(fā)生與否是明確的。例：“老張的病不輕”，老張有病是明確的，但老張病重到何種程度是不明確的。模糊概念：無明確的外延的概念，可以用集合來描述（即集合可以表示概念，一個概念有其外延和內(nèi)涵，內(nèi)涵指的是符合此概念的對象所具有的共同屬性，外延指的是符合此概念的那些

3、對象的全體）模糊理論不對事物做簡單的肯定與否定，而是用隸屬度來反應某一事物屬于某范疇的程度，用這種方法來表示客觀事物存在的模糊性。例：關(guān)于人，“年輕”的這個概念。究竟多大年齡以下為“年輕”，這個標準是以每個人的主觀感覺為依據(jù)的，很難劃定。我們不妨把年輕到什么程度的問題，用01之間的數(shù)來表示，如1540歲分別表示成：15-1.0,20-0.9,25-0.8,30-0.6,35-0.4,40-0.2.這就是一個模糊集合，由于這些程度是構(gòu)成該集合的元素，因此使它們對應起來的函數(shù)就稱之為隸屬度函數(shù)。（可見模糊性的東西本身是沒有明確的界限）三模糊信息與事物的模糊性想聯(lián)系的信息稱之為模糊信息。也可以說，模

4、糊信息是以模糊狀態(tài)顯現(xiàn)出的一種表現(xiàn)形式。模糊信息論與香農(nóng)信息論同屬于語法信息（將事物形式因素的信息部分稱為“語法信息”）的研究領(lǐng)域，但有著不同的研究對象，不同的研究工具，不同的應用環(huán)境和不同的研究目標。四模糊信息與模糊集合定義4.1（集合）：給定論域X和給定的某一性質(zhì)P,X中具有性質(zhì)P的元素所組成的總體，叫做集合，簡稱為集?？捎窒率奖硎荆篈x|p(x)(4.1)式中的p(x)為“x具有性質(zhì)p”的縮寫。設A是論域X上的集合，記RA(x)=1xeA0 x電A(4-2)為集合A的特征函數(shù)。對任一x都有唯一確定的特征函數(shù)卩A(x)e01與之對應這種對應的關(guān)系成為映射。即R(x):XT0,1A(4.3)

5、集合A可由R(x)來確定：A定義4.2(特征空間)：A=xIR(x)=1A(4.4)設論域為X，xeX，稱X為對象空間，x的n個特性用特征矢量(p,p，,p)表TOC o 1-5 h z12n示。(p，p，p)所有可能的取值的集合，稱為特征空間。12n定義4.3(隸屬度函數(shù))卩(x):AX中的一個模糊集合A1由隸屬度函數(shù)卩(x=(p,p，p)，x具有性質(zhì)A12n(p,p，,p)來描述。它是一個定義在對象空間X上的特性空間到區(qū)間0,1的函數(shù)變換12n(映射)。卩(x=(p,p，p)在x點的數(shù)值表示x在A中的隸屬度A12n=0稱為x對A無隸屬度；1RA(x)=1稱為x對A有滿隸屬度；(4.5)11

6、T1稱為X對A有較高隸屬度。1定義4.4(模糊集合):令X是一個點(對象)集合，X是A中的一個元素，令p,p，p是x的n個感興12n趣的特性，那么一個x中的模糊集合A為A二(x,R(x二(p,p，p)IxeA,R(x二(p,p，p)為隸屬度函數(shù)A12nA12n也即論域X上的模糊集合A由隸屬度函數(shù)巴(x)來表征。其中，巴(x)在實軸的閉區(qū)間0，1取值，巴(x)的值反應了x中的元素x對于A的隸屬程度。性質(zhì)4.1：A,B如對VxeX，均有卩(x)二卩(x)(4.6)AB則稱A和B相等，記為A=B。性質(zhì)4.2：A,B如對VxeX，均有卩(x)0為A的支集A與B的交集記做ADB，對VxeX，均有卩(x)

7、=卩(x)D卩(x)=min(卩(x),卩(x)(4.8)TOC o 1-5 h zADBABbABA與B的并集記做AUB，對VxeX，均有卩(x)=卩(x)U卩(x)=max(卩(x),卩(x)(4.9)AUBABbABA的補集記做Ac，對VxeX，均有卩(x)=1卩(x)(4.10)AcA性質(zhì)4.5：模糊集運算的基本定律，設為論域，為中的任意模糊子集，下列等式成立冪等律：ADA=A,AUA=A結(jié)合律：AD(BDC)=(ADB)DCAU(BUC)=(AUB)UC交換律：ADB=BDA,AUB=BUAAD(BUC)=(ADB)U(ADC)分配律：分配律：AU(BDC)=(AUB)D(AUC)同

8、一律：AP0=A,AU二A零一律：an二,au0=0吸收律：An(AUB)=A,AU(AnB)=A得摩根律：(AnB)c=ACUBc(AUB)c=AcnBc雙重否定律：(Ac)c=A性質(zhì)4.6：設A,BgF(x)A與B的代數(shù)積，記做AB(4.11)卩(x)=卩(x)卩(x)TOC o 1-5 h zABABA與B的代數(shù)和，記做A+B卩(x)=p(x)+p(x)-卩(x)卩(x)(4.12)(A+B)ABABA與B的有界積，記做AB(4.13)卩(x)=max(0,卩(x)+p(x)-1)(AB)ABA與B的有界和，記做AB(4.14)卩(x)=min(1，卩(x)+y(x)(AB)AB性質(zhì)4.

9、7：模糊集A,B,C的有界運算具有如下性質(zhì)：結(jié)合律：(AB)C=A(BC)(AB)C=A(BC)交換律：AB=BA,AB=BA得摩根律：(AB)c=AcBc(AB)c=AcBc同一律：A0=A,A=A，零一律：AO=O,A0=0互補律：AAc=O,AAc=0模糊集與普通集合，即分明集不同，由于不能以取值0或1來決定所考慮的元素是否屬于該集合而體現(xiàn)出了不確定性，這種不確定性在迷糊數(shù)學中就是模糊性。五熵的概念以及發(fā)展歷程德國物理學家克勞修斯(R.Clausius)在19世紀60年代把熵作為熱力學的一個概念而提出。之所以要提出熵概念，是由于熱力學第一定律(能量守恒與轉(zhuǎn)化定律)不足以描述自然界的能流變

10、化規(guī)律，因而需要一個描述轉(zhuǎn)化的量和轉(zhuǎn)化的概念，這就是熵。熵可以表示一個物質(zhì)系統(tǒng)中能量衰竭程度，是用以判別自發(fā)過程的一個狀態(tài)函數(shù)?？藙谛匏轨兀鲮卦?熱力學第二定律)：系統(tǒng)的熵只能從低到高，而且絕不會向相反的方向進行。玻爾茲曼熵：熵是系統(tǒng)在某一熱力學狀態(tài)下分子運動混亂程度大小的一種度量。申農(nóng)熵(信息熵)：表達了關(guān)于事物不確定性的數(shù)學度量。信息熵雖是源于熱力學及統(tǒng)計力學熵，而又有所異化了的熵。熵既是狀態(tài)量又是遷移量，而從本質(zhì)上來說卻是透過狀態(tài)(不確定性，混亂等)代表的一種非永恒，非平衡，非實體的思想觀念。六模糊信息熵DeLuca與Trmini以模糊集理論的形式定義了一種非概率熵，這種熵是所考慮狀

11、態(tài)不確定的整體度量，可看成為與隨機試驗無關(guān)的信息的度量，這種熵在不確定性主要來自內(nèi)部而不是統(tǒng)計上的情形是有用處的。因此它給出了狀態(tài)模糊程度的一種度量，它也可被看成在作出決策時受到的一種平均內(nèi)在信息。對模糊集的模糊程度的數(shù)量化是模糊集理論的一個重要方面。一般模糊性的度量稱為模糊熵，它是一個映射E(X):FS(x)TR+(6.1)S式中：FS(x)為有限離散論域X上的所有模糊子集的集合。s模糊熵都應滿足以下的四條公理。其中卩(X)為模糊集A的隸屬函數(shù)，VxgXAP:E(A)=0o卩(x)=0或11AP:E(A)取最大值o卩(x)=1/22AP:如果AYB,則H(A)yH(B),其中“AyB”表示A

12、比B峰化3卩(X)(X)，若卩(X)(x),若卩(X)1/2ABBP:E(A)=E(Ac),其中Ac為A的補集4P表明任何分明集不存在模糊性，所以它的模糊熵為零；P表明在FS(X)中僅有一個12S模糊集具有最大程度的模糊性：P說明若A峰化則意味著它的模糊性減少了；P表明模糊34集A與它的補集具有相同的模糊性。Zadeh最先提出了度量迷糊不確定性的設想，這種方法是與概率聯(lián)系在一起的，設x(i=1,2,n)出現(xiàn)的概率是p，貝IiiE(A)=-r(x)plogp(6.2)Aiiii=1不滿足PP，從形式上看，它僅是加權(quán)Shannon熵。14在不參照概率的條件下，DeLuca與Trmini給出了迷糊性

13、的度量E(A)=一K工卩(x)log卩(x)+1卩(x)loglp(x)(6.3)AAAAx式中：K為歸一化因子。滿足pp14Hgashi與Klir提出一種觀點。以模糊集A與它的補集之間Ac的差異的缺少程度來度量其模糊性。顯然，模糊集A和它的補集Ac之間的差異程度越小，則該集合越模糊。設d為一般的距離度量，則A的熵被定義為E(A)二d(B,Be)d(A,Ac)d式中：B為論域X內(nèi)的任意一個分明子集，選擇它的原則是使得d(B,Be)可能是FS(X)S中與補集c運算有關(guān)的最大的距離。N.R.Pal與S.K.Pal.以指數(shù)形式導出了另一類模糊熵定義：E(A)二K卩(x)exp卩(x)+1(x)exp

14、1卩(x)AiAiAiAii=1式中K為常數(shù)。(6.4)滿足PP14(APB)工count(A)(6.5)設A,BeFS(APB)工count(A)(6.5)S(B,A)/S(A,B)=(工count(APB)/工count(B)/(工count或工count(A)/工count(B)=S(B,A)/S(A,B)(6.6)這里S(A,B)表示集合A屬于集合B的程度，或A處于B中子集的程度，亦稱為B對A的模糊(AP(APB)/工count(A)(6.7)S(A,B)=Degree(AuB)=工count其中工count(A)=xy(x)(6.8)A兩邊取對數(shù)得：In(工count(A)/工cou

15、nt(B)=In(S(B,A)/S(A,B)(6.9)S(B,A)/S(A,B)可看成模糊似然比。隨著兩個模糊信息A和B之間的子集度的減少，式中的比率將趨近于1。所以式中的右邊可被解釋為鑒別所需的信息量，這種鑒別有利于A而不有利于B。讓卩()和卩()分別是A和B的隸屬度函數(shù)，那么，從式中可以推出：ln(工卩(x)/工卩(x)=ln(S(B,A)/S(A,B)(6.10)AiBiii對某個x，i=1,2,n,為鑒別所需要的信息量為iI(A,B:x)=ln(y(x)/y(x)(6.11)1iAiBi因此，有利于A而不有利于B,為了鑒別所需要的模糊期望信息是：I(A,B)=Sy(x)ln(卩(x)/

16、卩(x)(6.12)1AiAiBii類似的，在Bc中鑒定Ac所需要的模糊信息期望是:cI(A,Bc)=E1-y(x)ln(1-y(x)/(1-y(x)1AiAiBii模糊偏熵與模糊關(guān)聯(lián)熵定義6.1:設A,BeFS(X),則A關(guān)于B的偏熵定義為SE(A)=Xy(x)ln卩(x)+1卩(x)lnl卩(x)(6.14)BBiAiBiAii=1式中B稱為基準模糊集。在此定義中，按慣例規(guī)定OlnO=0,InO=-g。與模糊集的熵定義相類似，偏熵E(A)也是模糊集A的不確定性程度的一種度量。B性質(zhì)6.(1非負性)：E(A)0,VA,BeFS(X)BSE(A)(nln2)E(B),E(B)nln2E(A),

17、VA,BeFS(X)TOC o 1-5 h zBASE(Ac.)=E(A)=E(AAAc)=E(AUAc),VAeFS(X),其中Ac為A的補。A1AcAUAcAAAcSE(Ac)=E(A)，其中Ac，Bc分別是A,B的補。BcB性質(zhì)6.(2可加性)：E(AUB)+E(AAB)=E(A)+E(B)(6.15)CCCC定義6.2：對于給定的模糊集A，當基準模糊集B變化時，有-丫lnmax卩(x),1一卩(x)E(A)OE(A;B)nln2E(A)+E(B),當且僅當A=B時，E(A;B)=nln2E(A)+E(B)E(AUB;AAB)=E(A;B),VA,BeFS(X)SE(AUB;C)0，VA

18、,BeFS(X)S性質(zhì)6.4：VA.BeFS(X),0p(B),p(A),p(A;B)(x),X-二x/xeX,卩(x)Y卩(x)ABAB以上式給定的模糊熵定義為例，來研究兩個模糊熵之間的熵關(guān)系。雖然在下面借用了Shannon熵的提法，但從概念上是完全不同的定義6.4：設A,BeFSs(X),則它們之間的聯(lián)合熵被定義為：TOC o 1-5 h zE(AUB)=-K工卩(x)v(x)log卩(x)v(x)AiBiAiBixeX+1卩(x)vy(x)logl卩(x)vy(x)(6.21)AiBiAiBiEV(x)log卩(x)+卩(x)log卩(x)+1卩(x)log1卩(x)+乙:B/B、/a1

19、(6.22)AiAAA1卩(x)10g1-R(x)xeX+xeXBiBi定義6.5：給定B下A的條件熵以及給定A下B的條件熵分別定義為E(A/B)=KY卩(x)log卩(x)一卩(x)log卩(x)AABBxeX+1-卩(x)10g1-卩(x)-1-卩(x)log1-卩(x)AABBE(B/A)二-K工卩(x)log卩(x)-卩(x)log卩(x)(6.24)BBAAxeX-+1-卩(x)logl-卩(x)-1-卩(x)logl-卩(x)BBAA性質(zhì)6.6：E(A/B)E(A),E(B/A)E(B)(6.25)性質(zhì)6.7：E(AUB)二E(A)+E(B)-E(AAB)(6.26)定義6.6：稱E(AAB)=E(A)-E(A/B)=E(B)-E(B/A)=E(BAA)為模糊集A與B的模糊交互熵模糊交互熵E(AAB)或E(AUB)度量了模糊集與所共有的模糊信息，在某種程度上描述了它們之間的相似性。在已知B下的A模糊不確定性，小于A本身的模糊不確定性，也就是說，A所包含的模糊信息量在B確知的條件下減少了。這種減少量是絕對減少量，下面將定義模糊信息的相對減少量。定義6.7設模糊集A和B定義在論域上，則分別稱T(A,B)=E(A)-E(A/B)/E(A)=1-