模糊聚類綜述

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)模糊聚類綜述摘要：本文首先對(duì)模糊聚類進(jìn)行了概述，然后論述了模糊據(jù)類分析法，最后從四個(gè)方面綜述模糊聚類的研究進(jìn)展，并論述了其在模式識(shí)別及圖像處理中的應(yīng)用。關(guān)鍵詞：模糊聚類，模糊相似矩陣，圖像處理聚類分析是一種數(shù)據(jù)劃分或分組處理的重要手段和方法。其操作的目的在于將特征空間中一組沒(méi)有類別標(biāo)記的矢量按某種相似性準(zhǔn)則劃分到若干個(gè)子集中，使得每個(gè)子集代表整個(gè)樣本集的某個(gè)或者某些特征和性質(zhì)。從這個(gè)意義上講，聚類又稱為無(wú)監(jiān)督的分類。 傳統(tǒng)的聚類分析把每個(gè)樣本嚴(yán)格地劃分到某一類，屬于硬劃

2、分的范疇。實(shí)際上，樣本并沒(méi)有嚴(yán)格的屬性，它們?cè)谛詰B(tài)和類屬方面存在著中介性。隨著模糊集理論的提出，硬聚類被推廣為模糊聚類。在模糊聚類中，每個(gè)樣本不再僅屬于某一類，而是以一定的隸屬度分屬于每一類。換句話說(shuō)，通過(guò)模糊聚類分析，得到了樣本屬于各個(gè)類別的不確定性程度，即建立起了樣本對(duì)于類別的不確定性的描述，這樣就能更準(zhǔn)確地反映現(xiàn)實(shí)世界。 1.模糊聚類分析法 聚類分析是對(duì)事物按一定要求進(jìn)行分類的數(shù)學(xué)方法。實(shí)際的分類問(wèn)題常伴有模糊性，因此，聚類問(wèn)題用模糊數(shù)學(xué)的方法解決更確切。在實(shí)際的模糊聚類問(wèn)題中，主要有用模糊等價(jià)關(guān)系進(jìn)行的聚類分析和基于模糊擬序關(guān)系的聚類分析。其中，前者較為常用。聚類分析的步驟 步驟一：標(biāo)

3、定。 設(shè)X：為被分類對(duì)象全體，每一對(duì)象由一組數(shù)據(jù)表征。建立x上的模糊相似關(guān)系R，R可表示為模糊相似矩陣R，其中與的相似度可根據(jù)實(shí)際情況，從下列方法中選擇一種來(lái)規(guī)定。數(shù)量積： ，其中M為一適當(dāng)正數(shù)，滿足M.夾角余弦：3）相關(guān)系數(shù)：，其中，。其它還有：最大最小法，算術(shù)平均最小法，幾何平均最小法，絕對(duì)值指數(shù)法等。以上各種方法，究竟選擇哪一種，根據(jù)實(shí)際問(wèn)題的特點(diǎn)進(jìn)行選擇。步驟二:聚類(畫(huà)聚類圖)。 用上述方法建立起來(lái)的模糊關(guān)系R，一般只具有自反性與對(duì)稱性，不滿足傳遞性。一般需求模糊矩陣R的傳遞閉包t(R)(包含R的最小的模糊傳遞矩陣)，使其具有傳遞性，再進(jìn)行分類，求聚類圖。 最后，確定最佳閾值。聚類圖

4、給出各k值的分類，形成一種動(dòng)態(tài)聚類，便于全面了解樣本的聚類。最后根據(jù)實(shí)際需要合理選擇某閾值，在適當(dāng)閾值上進(jìn)行截取，便可得到所需分類。聚類的方法 方法一：傳遞閉包法。步驟如下： (1)從傳遞矩陣R出發(fā)，利用平方法，依次計(jì)算直至首次出現(xiàn)，可以證明就是R的傳遞閉包t(R)。 (2)t(R)為模糊等價(jià)矩陣，取從1取到0，依次截得等價(jià)關(guān)系，它們各自將X分類。由于，這就是說(shuō)對(duì)于，屬于同一類，則對(duì)于，也屬于同一類。因而由所得的分類是由所得分類的加細(xì)。這樣當(dāng)從1取到0時(shí)，所得分類逐步歸并，可形成一個(gè)聚類圖。 方法二：直接聚類法。即建立模糊相似矩陣R后，不需求其傳遞閉包，直接從R出發(fā)，可求得聚類圖。其步驟如下：

5、 (1)取1(最大值)，求每個(gè)的相似類將滿足的與放在一類，構(gòu)成相似類。由于R不滿足傳遞性，不同的相似類可能有公共元素，此時(shí)將有公共元素的相似類歸并?？梢宰C明：關(guān)于的相似類可歸并為關(guān)于的等價(jià)類。于是可得關(guān)于傳遞閉包對(duì)應(yīng)于1的等價(jià)類。 (2)取等于次大值。從R中找出所有，將上述對(duì)應(yīng)于1的等價(jià)類中與歸并。可以證明：通過(guò)對(duì)高閾值的等價(jià)類(關(guān)于的歸并，可直接得到對(duì)應(yīng)低閾值的等價(jià)類(關(guān)于)，歸并原則是，若，將與合并，于是可得對(duì)應(yīng)于的等價(jià)類。 (3)取等于第三大值。從中找出所有，將對(duì)應(yīng)于的的等價(jià)類中與。歸并，將所有這種情況歸并后，可得的對(duì)應(yīng)于的等價(jià)類。 (4)依此類推，直至歸并至X成為一類。 方法三：聚類分

6、析的最大樹(shù)法。 (1)先畫(huà)出被分類的元素集，從矩陣R中按從大到小的順序依次連邊，標(biāo)上權(quán)重，若在某一步會(huì)出現(xiàn)回路，便不畫(huà)那一步。直至所有元素有路相通為止，這樣就得到一棵最大樹(shù)T。 (2)取定閾值，在T中砍去權(quán)重小于的邊，便可將元素分類，互相連通的元素歸為同類?？梢宰C明：T中去掉小于的邊，將T分裂成若干樹(shù)，則 (i1，2，m)的頂點(diǎn)集對(duì)應(yīng)的等價(jià)類。2在Ruspini和Bezdek等學(xué)者的努力下，模糊聚類逐步成為聚類分析研究的主流。八十年代后，其研究主要集中在：(1)模糊聚類新方法研究；(2)模糊聚類算法的實(shí)現(xiàn)途徑； (3)聚類有效性研究；(4)聚類的實(shí)際應(yīng)用等四個(gè)方面。 以下就這四個(gè)方面綜述模糊聚

7、類的研究進(jìn)展，并指出進(jìn)一步研究的主要方向。2.1 模糊聚類新方法研究進(jìn)展 第一個(gè)系統(tǒng)地研究模糊聚類的是Ruspini。1969年他定義了數(shù)據(jù)集模糊劃分的概念。同時(shí)，Zadeh，Tarmura等也提出基于相似關(guān)系和模糊關(guān)系的聚類方法。但由于該類方法不適于大數(shù)據(jù)集，這方面的工作已經(jīng)開(kāi)展的很少了。 為解決模糊聚類問(wèn)題人們作了各種嘗試；比如借助圖論、數(shù)據(jù)集的凸分解、動(dòng)態(tài)規(guī)劃以及基于難以辨別關(guān)系等技術(shù)。然而由于種種原因，這些方法均不能奏效。實(shí)際中受到普遍歡迎的是基于目標(biāo)函數(shù)的聚類方法，它具有設(shè)計(jì)簡(jiǎn)單、解決問(wèn)題的范圍廣，最終可以歸結(jié)為優(yōu)化問(wèn)題等優(yōu)點(diǎn)。因此隨著計(jì)算機(jī)的發(fā)展，該方法成為模糊聚類分析的主要手段。

8、 基于目標(biāo)函數(shù)的模糊聚類方法首先由Ruspini提出，但真正有效的算法-模糊c-均值算法卻是由Dunn給出的。Bezdek又將其進(jìn)一步擴(kuò)展，建立起模糊聚類理論。從此，該類模糊聚類蓬勃發(fā)展起來(lái)，目前已形成龐大的體系。2.2 聚類算法實(shí)現(xiàn)途徑的研究進(jìn)展 基于目標(biāo)函數(shù)的模糊聚類實(shí)際上是一個(gè)非線形規(guī)劃問(wèn)題。因此也必然存在對(duì)初始化敏感、容易陷入局部極值點(diǎn)、求解過(guò)程緩慢等局限。為此，人們?cè)谒惴▽?shí)現(xiàn)的途徑方面進(jìn)行著不懈的努力，借助各種技術(shù)尋求快速最優(yōu)聚類的新方法。 現(xiàn)有聚類目標(biāo)函數(shù)優(yōu)化方法大致可以分為基于梯度、神經(jīng)網(wǎng)絡(luò)和進(jìn)化計(jì)算三種途徑2.3聚類有效性研究進(jìn)展 對(duì)于給定的數(shù)據(jù)集，如果己知有聚類結(jié)構(gòu)，則需要用

9、算法來(lái)確定這個(gè)結(jié)構(gòu)。而大多數(shù)聚類算法需要事先給定數(shù)據(jù)集的聚類數(shù)，如果聚類數(shù)選取的不合適，會(huì)使劃分結(jié)果與數(shù)據(jù)集的真正結(jié)構(gòu)不相符，從而導(dǎo)致分類失敗。關(guān)于數(shù)據(jù)集的最佳聚類數(shù)確定問(wèn)題屬于聚類有效性范疇。 2.4模糊聚類的應(yīng)用 模糊聚類理論的發(fā)展推動(dòng)了它在生產(chǎn)實(shí)踐中的應(yīng)用。由于模糊聚類的強(qiáng)大功能，使得它已經(jīng)在眾多的領(lǐng)域獲得令人矚目的成功應(yīng)用。而且隨著理論的不斷發(fā)展和完善，必將發(fā)揮更大的作用。 鑒于模糊聚類與模式識(shí)別的天然聯(lián)系，使得它在識(shí)別領(lǐng)域首先獲得了最為廣泛的應(yīng)用；其次，在圖像處理中經(jīng)常需要處理無(wú)監(jiān)督的分類問(wèn)題，因此理所當(dāng)然的成為重要的分析工具；此外，在通訊系統(tǒng)中的信道均衡、矢量量化編碼中的碼書(shū)設(shè)計(jì)、

10、時(shí)間序列的預(yù)測(cè)、RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、參數(shù)估計(jì)、醫(yī)學(xué)診斷、氣候分類、食品分類、水質(zhì)分析等領(lǐng)域中也發(fā)揮著重大的作用。以下我們主要從模式識(shí)別和圖像處理等方面綜括模糊聚類的應(yīng)用。2.4.1模糊聚類在模式識(shí)別中的應(yīng)用 在模式識(shí)別中，兩個(gè)最主要的分支為有監(jiān)督的分類和無(wú)監(jiān)督分類兩個(gè)方面，其中無(wú)監(jiān)督分類與聚類分析相對(duì)應(yīng)。在沒(méi)有訓(xùn)練樣本的情況下，模糊聚類可根據(jù)數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)通過(guò)機(jī)器學(xué)習(xí)自動(dòng)劃分特征空間，達(dá)到自動(dòng)分類的目的。 特征維數(shù)很大的情況下，不但耗時(shí)，而且分類效果也不一定好，甚至?xí)斐伞熬S數(shù)災(zāi)難”。Bezdek等人提出用模糊聚類進(jìn)行特征優(yōu)選，在分類效果影響不大的條件下大大壓縮了布爾特征維數(shù)。如何對(duì)一般非

11、布爾變量的特征進(jìn)行優(yōu)選將是一個(gè)很有意義的研究課題。Hough變換在線條檢測(cè)中獲得了廣泛的應(yīng)用，但峰值檢測(cè)問(wèn)題一致困繞著Hough變換的實(shí)際應(yīng)用，Jolion等人提出基于模糊聚類的峰值檢測(cè)方法，使得Houg變換不用人為干預(yù)，從而可以自動(dòng)實(shí)現(xiàn)。 在一些具體的應(yīng)用方面，模糊聚類也獲得了廣泛應(yīng)用。比如，Chan，Zhang和吳佑壽等人分別用模糊聚類做漢字字符識(shí)別的預(yù)分類，得到了較好的分類效果；Huang等在語(yǔ)音識(shí)別應(yīng)用模糊聚類也獲得成功；Huang等提出用模糊聚類進(jìn)行雷達(dá)回波庫(kù)的建立和分類；Bezdek等還利用模糊聚類提取分類規(guī)則，用以設(shè)計(jì)基于IfThen規(guī)則的分類器，實(shí)驗(yàn)結(jié)果均證明了該方法的有效性；

12、同時(shí)Antonio等用模糊聚類進(jìn)行系統(tǒng)辨識(shí)，獲得了優(yōu)于神經(jīng)網(wǎng)絡(luò)方法的結(jié)果；此外，在不變性模式識(shí)別、物體檢測(cè)等領(lǐng)域也同樣獲得了成功的應(yīng)用。模糊聚類在圖像處理中的應(yīng)用 圖像處理是計(jì)算機(jī)視覺(jué)的重要組成部分，由于人視覺(jué)的模糊性使圖像處理適合模糊處理，同時(shí)訓(xùn)練樣本圖像的匱乏又要求無(wú)監(jiān)督處理分析，而模糊聚類正好滿足這兩方面的要求，于是模糊聚類在圖像處理中發(fā)揮著不可替代的作用。 模糊聚類在圖像處理中最為廣泛的應(yīng)用為圖像分割。由于圖像分割問(wèn)題可以等效為圖像灰度的無(wú)監(jiān)督分類，因此早在1979年Coleman和Andrews就提出用聚類算法進(jìn)行圖像分割，此后，隨著模糊聚類理論的發(fā)展，人們又結(jié)合塔型結(jié)構(gòu)、小波分析等一些新技術(shù)，提出了多種基于模糊聚類的灰度圖像