K 均值聚類法

1、K-均值聚類法0聚類是對(duì)數(shù)據(jù)空間中數(shù)據(jù)對(duì)象進(jìn)行分類，位于同一類中的數(shù)據(jù)對(duì)象之間的相似度較大，而位于不同類之間的數(shù)據(jù)對(duì)象差異度較大。聚類是一種無監(jiān)督學(xué)習(xí)，能自動(dòng)對(duì)數(shù)據(jù)集進(jìn)行劃分。常見的聚類算法：k-means,DBSCAN,CURE等算法。簡單地講，聚類的結(jié)果就是得到數(shù)據(jù)集中數(shù)據(jù)對(duì)象的類別信息。例如,將以下幾種物品玫瑰、紅楓、松樹、老虎、大象、綿羊等進(jìn)行聚類,就應(yīng)該得到玫瑰、紅楓、松樹屬于同一類,老虎、大象、綿羊?qū)儆谝活?可以對(duì)這自己對(duì)這兩類賦予標(biāo)記,如“植物”、“動(dòng)物”這兩個(gè)標(biāo)記分別代表聚類空間中的兩個(gè)類。算法：第一步：選K個(gè)初始聚類中心，z1(1),z2(1),，zK(1),其中括號(hào)內(nèi)的序號(hào)

2、為尋找聚類中心的迭代運(yùn)算的次序號(hào)。聚類中心的向量值可任意設(shè)定，例如可選開始的K個(gè)模式樣本的向量值作為初始聚類中心。第二步:逐個(gè)將需分類的模式樣本x按最小距離準(zhǔn)則分配給K個(gè)聚類中心中的某一個(gè)zj(1)。假設(shè)i=j時(shí)，則，其中k為迭代運(yùn)算的次序號(hào)，第一次迭代k=1,Sj表示第j個(gè)聚類，其聚類中心為zj。第三步：計(jì)算各個(gè)聚類中心的新的向量值，zj(k+1)，j=1,2,K求各聚類域中所包含樣本的均值向量:其中Nj為第j個(gè)聚類域Sj中所包含的樣本個(gè)數(shù)。以均值向量作為新的聚類中心，可使如下聚類準(zhǔn)則函數(shù)最?。涸谶@一步中要分別計(jì)算K個(gè)聚類中的樣本均值向量，所以稱之為K-均值算法。第四步：若，j=1,2K，則

3、返回第二步，將模式樣本逐個(gè)重新分類，重復(fù)迭代運(yùn)算；若，j=1,2K，則算法收斂，計(jì)算結(jié)束聚類的用途是很廣泛的。在商業(yè)上，聚類可以幫助市場分析人員從消費(fèi)者數(shù)據(jù)庫中區(qū)分出不同的消費(fèi)群體來，并且概括出每一類消費(fèi)者的消費(fèi)模式或者說習(xí)慣。它作為數(shù)據(jù)挖掘中的一個(gè)模塊，可以作為一個(gè)單獨(dú)的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層的信息，并且概括出每一類的特點(diǎn)，或者把注意力放在某一個(gè)特定的類上以作進(jìn)一步的分析；并且，聚類分析也可以作為數(shù)據(jù)挖掘算法中其他分析算法的一個(gè)預(yù)處理步驟。聚類分析的算法可以分為劃分法(PartitioningMethods)、層次法(HierarchicalMethods)、基于密度的方法(den

4、sity-basedmethods)、基于網(wǎng)格的方法(grid-basedmethods)、基于模型的方法(Model-BasedMethods)。聚類是數(shù)據(jù)挖掘的重要分支之一，引入模糊理論的模糊聚類分析為現(xiàn)實(shí)數(shù)據(jù)提供了模糊處理能力，在許多領(lǐng)域被廣泛應(yīng)用。在本文中，總結(jié)了模糊聚類的原則和通用的方法，討論了常用的模糊聚類算法，討論了這些算法的優(yōu)缺點(diǎn)、存在的問題以及前景展望。模糊C-均值聚類算法是目前廣泛使用的模糊聚類算法。但它也存在一些缺點(diǎn)，例如模糊C-均值(FCM)聚類算法受初始化影響較大，在迭代時(shí)容易陷入局部極小。本文從引入隸屬度函數(shù)、引入消息熵和類中心的約束出發(fā)，研究了模糊C-均值的改進(jìn)方

5、法。在此基礎(chǔ)上，提出了一種改進(jìn)的模糊C-均值聚類算法。其基本思想是：通過對(duì)數(shù)im據(jù)對(duì)象的模糊隸屬度增加一個(gè)加權(quán)值，以及在算法中引入模糊聚類有效性函數(shù)對(duì)聚類數(shù)目c進(jìn)行優(yōu)選。為了證明改進(jìn)FCM算法的實(shí)用性,我們將該算法應(yīng)用于兩個(gè)領(lǐng)域：網(wǎng)絡(luò)入侵檢測和Web日志挖掘。入侵檢測是網(wǎng)絡(luò)安全的第二道防線。在本文中，分析了入侵檢測技術(shù)的要點(diǎn)，提出了一種基于改進(jìn)FCM算法的網(wǎng)絡(luò)入侵檢測方法。該方法的優(yōu)點(diǎn)是不需要標(biāo)示或訓(xùn)練數(shù)據(jù)集。文中使用KDD99數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)結(jié)果顯示該方法檢測未知入侵檢測是有效的，而且它提高了入侵檢測系統(tǒng)的檢測率和誤警率。最后，我們使用改進(jìn)的模糊聚類算法來分析Web日志數(shù)據(jù)，以實(shí)現(xiàn)Web用戶聚類，即根據(jù)用戶的