中科院《模式識別》課件——第八

1、第八章 模糊模式識別方法簡介8.1 引言 1965年，Zadeh提出了著名的模糊集理論，創(chuàng)建了一個新的學科 模糊數(shù)學 (L.A. Zadeh, “Fuzzy Sets”, Information and Control, Vol. 8, 1965, 338-353.) 。 模糊集理論是對傳統(tǒng)集合理論的一種推廣 在傳統(tǒng)集合理論中，一個元素或者屬于一個集合，或者不屬于一個集合； 對于模糊集而言，每一個元素都是以一定的程度隸屬于某個集合，也可以同時以不同的程度屬于幾個集合。 現(xiàn)實生活中大量使用的一些含義確定但又不準確的語言表述，比如“今天天氣很熱”，“車速很高”等，模糊數(shù)學能夠較好地表達。8.1 引

2、言 模糊數(shù)學的幾種不同名稱 模糊集：它是相對于經(jīng)典的集合理論而言的； 模糊邏輯：它是相對于傳統(tǒng)的“是或者不是”而言的； 模糊數(shù)學是一種更廣泛的叫法，更傾向于指從數(shù)學角度對模糊集和模糊邏輯的研究； 從應用的角度，很多人習慣于用模糊系統(tǒng)的稱法，用來指采用了模糊數(shù)學思想和理論的方法或系統(tǒng)，而其中采用的一些技術往往稱為模糊技術或模糊方法。 模糊數(shù)學名詞本身也具有很大的模糊性，但其實質都是基本相同的，因此這里不去嚴格區(qū)分這些說法。8.1 引言 模糊數(shù)學的應用 將模糊技術應用于各個不同領域，產(chǎn)生了一些新的學科分支 和人工神經(jīng)網(wǎng)絡相結合，產(chǎn)生了模糊神經(jīng)網(wǎng)絡； 應用到自動控制中，產(chǎn)生了模糊控制技術和系統(tǒng)，并得

3、到了很好的效果（地鐵模糊控制系統(tǒng)，洗衣機、電飯鍋的模糊控制等）； 應用到模式識別領域，產(chǎn)生了模糊模式識別。8.1 引言 模糊模式識別的形成 模式識別從一開始就是模糊技術應用研究的一個活躍領域 人們針對一些模糊式識別問題設計了相應的模糊模式識別系統(tǒng)； 對傳統(tǒng)模式識別的一些方法，人們用模糊數(shù)學對它們進行了改進。 模糊技術在模式識別中的研究與應用逐漸形成了模糊模式識別這一新的學科分支。8.2 模糊集的基本知識 隸屬度函數(shù) 隸屬度函數(shù)是表示一個對象x隸屬于集合A的程度的函數(shù)，通常記作A(x) 其自變量范圍是所有可能屬于集合A的對象（即集合A所在空間的所有點），取值范圍是0, 1，即 ； A(x)=1表

4、示x完全屬于集合A，相當于傳統(tǒng)集合概念上的 ； A(x)=0表示x完全不屬于集合A，相當于傳統(tǒng)集合概念上的 。8.2 模糊集的基本知識 模糊集合 一個定義在空間X=x上的隸屬度函數(shù)就定義了一個模糊集合A，或者叫做定義了在空間X=x上的一個模糊子集A。 對于有限個對象，模糊集合A可以表示為或者寫成8.2 模糊集的基本知識 模糊集合 借用傳統(tǒng)集合中的概念，模糊集合中的xi仍然稱為模糊集A中的元素。 與模糊集相對應，傳統(tǒng)的集合可以稱作確定集合或脆集合（通常在沒有指明是模糊集時所說的集合是指確定集合）。 空間X中A的隸屬度大于0的對象的集合叫做模糊集A的支持集S(A)，即 支持集中的元素稱作模糊集A的

5、支持點，或不嚴格地稱作模糊集A的元素。 確定集可以看作是模糊集的特例，即隸屬度函數(shù)之取1或0時的集合。8.2 模糊集的基本知識 模糊集合 如果模糊集中的元素可以用一個標量x來表征，則隸屬度函數(shù)A(x)就是x的一個單變量函數(shù)。 例：用水溫表示“開水”這個概念。8.2 模糊集的基本知識 模糊集合 在上例中 如果用確定集合表示，則“開水”的定義是水溫為100攝氏度的水（圖a）；或者標準放寬一些為水溫在80-100攝氏度之間的水（圖b）。 如果用模糊集表示，則可用隸屬度函數(shù)在表征水開得程度（圖c） 模糊集表示更接近于我們?nèi)粘５睦斫狻?.2 模糊集的基本知識 模糊集合 模糊集通?？梢杂脕肀硎灸撤N人為的概

6、念（比如上面提到的“開水”），即用數(shù)學形式來表達人們的語言變量，因此隸屬度函數(shù)需要人為定義。 一些常見的單變量隸屬度函數(shù)的形式包括斜臺階型、三角型、梯型、高斯函數(shù)型等。8.2 模糊集的基本知識 模糊集運算 對于定義在同一空間X=x上的兩個模糊集A和B，模糊數(shù)學中定義的最基本運算有 并：模糊集A和B的并集 的隸屬度函數(shù)定義為C(x)=maxA(x), B(x)； 交：模糊集A和B的并集 的隸屬度函數(shù)定義為C(x)=minA(x), B(x)或C(x)=A(x) B(x) ； 補：模糊集A和補集C=A的隸屬度函數(shù)定義為C(x)=1- A(x)。8.2 模糊集的基本知識 模糊集運算 并、交和補運算在

7、一維情況下的圖例 與確定集合中不同，在模糊集中，集合的補集與原集合的交并不是空集。8.2 模糊集的基本知識 模糊集運算 d個變量x=x1, x2, , xd上的多變量隸屬度函數(shù)通常定義為d個單變量隸屬度函數(shù)的張量積，即 A(x)=A(1)(x1) A(2)(x2) A(d)(xd) 其中A(1), A(2), A(d)分別對應于各個變量的模糊集，A(i)(xi)是各自相應的單變量隸屬度函數(shù)。 建立在模糊集概念和相關運算基礎上的推理成為模糊推理。8.3 模糊特征和模糊分類 模糊化特征 模糊模式識別就是在解決模式識別問題時，引進模糊邏輯的方法或思想。 模糊特征是指根據(jù)一定的模糊化規(guī)則（通常根據(jù)具體

8、應用領域的專門知識人為確定或經(jīng)過計算確定），把原來的一個或幾個特征變量分成多個模糊變量，使每個模糊變量表達原特征的某一局部特征，用這些新的模糊特征代替原來的特征，進行模式識別。8.3 模糊特征和模糊分類 模糊化特征 例子：在某個問題中，人的體重本來一個特征使用?，F(xiàn)在根據(jù)需要可以把體重特征分為“偏輕”、“中等”和“偏重”三個模糊特征，每個模糊特征的取值實際上是一個新的連續(xù)變量，它們表示的不再是體重的數(shù)值，而是關于這個體重的描述，即分別屬于“偏輕”、“中等”和“偏重”的程度。8.3 模糊特征和模糊分類 模糊化特征 把原來的一個特征變?yōu)槿舾蓚€模糊特征的目的在于使新特征更好地反映問題的本質。 在很多情

9、況下，用一個特征（比如體重）參與分類（例如判斷是否患有某種可能導致體重變化的疾病），正確分類結果與該特征之間可能是復雜的非線性關系。 如果能根據(jù)有關知識適當?shù)靥崛∧：卣?，雖然特征數(shù)可能增多，但卻可能使分類結果與特征之間的關系線性化，從而大大簡化后面分類器的設計，提高分類器的性能。 如果我們對所提取的特征與要研究的分類問題之間的關系有一定的先驗知識，則采用這種方法往往能取得良好的效果。8.3 模糊特征和模糊分類 結果的模糊化 模式識別中的分類就是把樣本空間（或樣本集）分成若干個子集。 我們可以用模糊子集的概念來代替確定子集，從而得到模糊的分類結果，或者說使分類結果模糊化。8.3 模糊特征和模糊

10、分類 結果的模糊化 在模糊化的分類結果中，一個樣本將不再屬于每個確定的類別，而是以不同的程度屬于各個類別。 這種結果與原來確定的分類結果相比有兩個顯著優(yōu)點 在分類結果中可以反映出分類的不確定性，有利于用戶根據(jù)結果進行決策； 如果分類是多極的，即本系統(tǒng)的分類結果將與其它系統(tǒng)的分類結果一起作為下一級分類決策的依據(jù)，則模糊化的分類結果通常更有利于下一級的分類，因為模糊化的分類結果比明確的分類結果中包含更多的信息。8.3 模糊特征和模糊分類 結果的模糊化 如果訓練樣本中已知的類別標號就是以模糊類的隸屬度函數(shù)的形式給出的，那么我們就需要對原有的模式識別方法進行改變，以適應這種模糊類別的劃分（如模糊k近鄰

11、法）。 這里所說的結果的模糊化，是指訓練樣本和分類器仍是確定的，只是根據(jù)后續(xù)的需要把最終的輸出分類結果進行模糊化。 結果的模糊化并沒有固定的方法，通常需要結合有關知識，根據(jù)所用的分類器進行設計，比如可以根據(jù)樣本離類別中心的距離、離分類面的距離或與已知樣本之間的某種相似性程度、以及神經(jīng)網(wǎng)絡輸出的相對大小等作為模糊化的依據(jù)。8.4 模糊聚類方法 模糊C均值算法 動態(tài)聚類方法的目的是把n個樣本劃分到c個類別中的一個，使各樣本與其所在類均值的誤差平方和最小，即使如下準則函數(shù)最?。浩渲衜i為第i類的樣本均值， 是分到第i類的所有樣本。 使上述準則最小化的基本方法就是C均值方法。 將這種硬分類變?yōu)槟：诸?/p>

12、，即可得到模糊C均值方法。8.4 模糊聚類方法 模糊C均值算法 為了實現(xiàn)模糊聚類，可將問題的有關符號重新定義如下：xi, i=1,2,n是n個樣本組成的樣本集合，c為預定的類別數(shù)目，mi (i=1,2,c)為每個聚類中心， j(xi)是第i個樣本對第j類的隸屬度函數(shù)。 用隸屬度函數(shù)定義的聚類損失函數(shù)可寫成：其中b1是一個可以控制聚類結果的模糊程度的常數(shù)。8.4 模糊聚類方法 模糊C均值算法 在不同的隸屬度定義方法下最小化上述損失函數(shù)，可得到不同的模糊聚類方法，其中最有代表性的是模糊C均值算法，它要求一個樣本對于各個聚類的隸屬度函數(shù)之和為1，即8.4 模糊聚類方法 模糊C均值算法 在上述約束條件

13、下求聚類損失函數(shù)的極小值。令Jf對mi和j(xi)的偏導數(shù)為0，可得必要條件如下：8.4 模糊聚類方法 模糊C均值算法 用迭代方法求解上述必要條件，即得模糊C均值算法，其步驟如下：（1）設定聚類數(shù)目c和參數(shù)b（2）初始化各個聚類中心mi（3）重復如下運算，直到各個樣本的隸屬度值穩(wěn)定 用當前的聚類中心根據(jù)必要條件中j(xi)的算式計算隸屬度函數(shù)； 用當前的隸屬度函數(shù)根據(jù)必要條件中mj的算式更新計算聚類中心；8.4 模糊聚類方法 模糊C均值算法 當算法收斂時，就得到了各類的聚類中心和各個樣本對于各類的隸屬度值，從而完成了模糊聚類劃分。 如果需要，還可以將模糊聚類結果進行去模糊化，即用一定的規(guī)則把模

14、糊聚類劃分轉化為確定性分類。8.4 模糊聚類方法 改進的模糊C均值算法 在模糊C均值算法中，由于引入了歸一化條件 ，在樣本集不理想的情況下可能導致分類結果不好。 例如：如果某個孤立樣本遠離各類的聚類中心，本來它嚴格屬于各類的隸屬度都很小，但由于歸一化條件的要求，將會使它對各類都有較大的隸屬度（比如兩類情況下各類的隸屬度都是0.5），這種孤立樣本的存在將影響迭代的最終結果。8.4 模糊聚類方法 改進的模糊C均值算法 為了克服這種缺陷，人們提出了放松的歸一化條件，使所有樣本對各類的隸屬度總和為n，即： 在這個新的條件下，計算mi的公式不變，而計算j(xi)的公式變?yōu)椋?.4 模糊聚類方法 改進的模

15、糊C均值算法 仍用前面給出的模糊C均值算法步驟，而隸屬度的更新進行了修改，即為改進的模糊C均值算法。 顯然，用改進的模糊C均值算法得到的隸屬度可能大于1，因此并不是通常意義上的隸屬度函數(shù)。 必要時，可以把最終得到的隸屬度函數(shù)進行歸一化處理，這時已不會影響聚類結果。 如果聚類結果要求進行去模糊化，可以直接利用這里得到的隸屬度函數(shù)進行。8.4 模糊聚類方法 改進的模糊C均值算法 改進的模糊C均值算法較前面提到的模糊C均值算法具有更好的魯棒性，它不但可以在有孤立樣本存在的情況下得到較好的聚類效果，而且可以放松隸屬度條件，而且因為放松了隸屬度條件，使最終聚類結果對預先確定的聚類數(shù)目不十分敏感。 與確定性C均值算法和模糊C均值算法一樣，改進的模糊C均值算法仍然對聚類中心的初值十分敏感，為了得到較好的結果，可以用確定性C均值算法或模糊C均值算法的結果作為初值。8.5 討論 模糊集理論是為了表達人的自然語言和推理中的不確定方面而提出的，因此其應用中往往不可避免地帶有一定的主觀因素，比如隸屬度函數(shù)的選