模塊8 聚類分析《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》教學(xué)課件

《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》?精品課件合集《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》

第八章聚類分析二、

K-means算法

一、聚類的基本原理主要內(nèi)容三、聚類算法的性能評(píng)價(jià)指標(biāo)四、DBSCAN算法

五、GMM聚類算法4一、聚類的基本原理

聚類（clustering)是將數(shù)據(jù)集劃分或者識(shí)別為若干個(gè)有意義的簇的過程，是一種典型的無監(jiān)督數(shù)據(jù)挖掘方法。

目標(biāo)是：簇內(nèi)的數(shù)據(jù)對(duì)象之間更相似（或相關(guān)的），而不同簇的數(shù)據(jù)對(duì)象之間更不相似（不相關(guān)的），即：“高的簇內(nèi)相似性，低的簇間相似性”簇間相似性小簇內(nèi)相似性大一、聚類的基本原理聚類算法具有廣泛行業(yè)應(yīng)用，例如：市場(chǎng)營(yíng)銷生物信息學(xué)工程規(guī)劃土地使用地震研究一、聚類的基本原理總體上，聚類算法大體上可以分成以下幾類：基于劃分的方法：如k-means算法、k-medoids算法、

CLARANS算法等基于層次的方法：如AGNES算法、DIANA算法、BIRCH算法等基于密度的方法：如DBSCAN算法、OPTICS算法、DPC算法等基于網(wǎng)格的方法：如STING算法、CLIQUE算法等基于模型的方法：如GMM算法、AP算法等。二、K-means算法

k-means是聚類分析中最經(jīng)典、應(yīng)用最廣泛的一種基于劃分的聚類算法。二、K-means算法kmeans算法在Blobs數(shù)據(jù)集上聚類過程地示意圖：二、K-means算法

二、K-means算法迭代過程中SSE值的變化情況：二、K-means算法參數(shù)k的選取方法k-means算法需要事先確定簇的數(shù)量，也即，參數(shù)k。過大或過小的k值均不能獲得高質(zhì)量的聚類結(jié)果。

常用的方法：（1）使用快速聚類方法估計(jì)簇的數(shù)量

（2）

基于SSE值的肘部法SSE（誤差平方和）的計(jì)算公式：二、K-means算法思考：取不同k值時(shí)的SSE值的變化？

二、K-means算法肘部法的原理：

SSE值隨著k值的變化曲線呈現(xiàn)一個(gè)手肘的形狀，如下圖所示，而這個(gè)肘部位置對(duì)應(yīng)的k值是對(duì)實(shí)際聚類簇?cái)?shù)的理想的估計(jì)。這也是該方法被稱為“肘部法”的原因。二、K-means算法

初始質(zhì)心的選擇對(duì)聚類結(jié)果有很大的影響。一旦初值選擇不合適，可能使得聚類過程變得緩慢，甚至無法得到正確的聚類結(jié)果初始質(zhì)心的選擇問題二、K-means算法

初始質(zhì)心的選擇方法：

（1）多次運(yùn)行k-means，選擇SSE值最低的聚類結(jié)果

（2）使用特殊規(guī)則選擇初始質(zhì)心例如kmeans++算法選擇初始質(zhì)心時(shí)采用了質(zhì)心應(yīng)該彼此盡量遠(yuǎn)離的原則。(3)使用預(yù)先設(shè)定的初始質(zhì)心二、K-means算法

在scikit-learn的cluster模塊中提供了Kmeans類。創(chuàng)建一個(gè)k-means聚類模型的典型過程如下（假設(shè)預(yù)置的簇?cái)?shù)量為4）：model=KMeans(n_clusters=4)它的主要參數(shù)包括：K-means的實(shí)現(xiàn)方法二、K-means算法

對(duì)于由200個(gè)對(duì)象組成的Blobs(二維)數(shù)據(jù)集，使用k-means算法將它聚類成4個(gè)簇。二、K-means算法K-means算法的代碼實(shí)現(xiàn):代碼部分1：二、K-means算法代碼部分2：二、K-means算法代碼部分3：二、K-means算法

K-means是一種應(yīng)用非常廣泛的聚類算法，其主要優(yōu)點(diǎn)有：（1）原理簡(jiǎn)單、收斂速度快（2）伸縮性好，能處理大規(guī)模數(shù)據(jù)（3）聚類效果較好，特別是針對(duì)球形簇或者凸簇的聚類效果好。k-means的優(yōu)缺點(diǎn)分析K-means算法也存在一些明顯的缺點(diǎn)：（1）在非凸簇上的聚類效果不好（2）當(dāng)簇大小差異顯著時(shí)簇聚類效果不好

(3)對(duì)于含噪聲的數(shù)據(jù)集聚類效果不好二、K-means算法k-means的優(yōu)缺點(diǎn)分析

三、聚類算法的性能評(píng)價(jià)指標(biāo)

評(píng)價(jià)聚類結(jié)果的準(zhǔn)則是：簇內(nèi)（Inter-cluster）越緊密、簇間（Intra-cluster）越分離越好。

誤差平方和（SSE）可以用來評(píng)價(jià)聚類結(jié)果的質(zhì)量，但是它只度量了簇的內(nèi)聚性，并且只適合球型簇或者凸簇。

根據(jù)評(píng)價(jià)時(shí)是否已知數(shù)據(jù)集的實(shí)際簇劃分結(jié)果，評(píng)價(jià)指標(biāo)可以分為：1.內(nèi)部度量指標(biāo)2.外部度量指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)

內(nèi)部度量指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)外部度量指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)外部度量指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)

三、聚類算法的性能評(píng)價(jià)指標(biāo)

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法DBSCAN算法識(shí)別一個(gè)簇的過程是：從某個(gè)核心點(diǎn)出發(fā)，獲得密度相連的最大數(shù)據(jù)對(duì)象集合，組成一個(gè)聚類簇。

并且，它能夠自動(dòng)確定簇的數(shù)量。

算法步驟為：

四、DBSCAN算法

使用scikit-learn的cluster模塊提供的DBSCAN類，可以輕松創(chuàng)建一個(gè)DBSCAN聚類模型。典型的方法如下：model=DBSCAN(eps=0.2,min_samples=4)它的主要參數(shù)如下：DBSCAN的實(shí)現(xiàn)

四、DBSCAN算法

四、DBSCAN算法實(shí)現(xiàn)代碼：

代碼部分1：

四、DBSCAN算法代碼部分2：

四、DBSCAN算法代碼部分3：

四、DBSCAN算法DBSCAN算法的聚類結(jié)果：

五、GMM聚類算法高斯混合模型（GaussianMixtureModel,GMM）假設(shè)每一個(gè)簇都是由一個(gè)指定參數(shù)的高斯分布所生成，整個(gè)數(shù)據(jù)集是由多個(gè)高斯分布混合而成。GMM聚類模型通過估計(jì)出每一個(gè)高斯分布的參數(shù)和混合系數(shù)，從而明確地給出生成數(shù)據(jù)集的概率密度函數(shù)。因此，GMM能夠顯式地估計(jì)出數(shù)據(jù)集的分布模型，是一種基于概率的生成式聚類算法。

五、GMM聚類算法

五、GMM聚類算法

五、GMM聚類算法

采用EM（ExpectationMaximization,期望最大化）算法進(jìn)行迭代地優(yōu)化求解。

五、GMM聚類算法GMM算法步驟：

五、GMM聚類算法和K-means的比較

觀察GMM算法的步驟，可以發(fā)現(xiàn)它和K-means的算法步驟有類似之處，它們都需要事先指定簇的數(shù)量K，都是迭代地將數(shù)據(jù)劃分到不同的簇，然后更新每個(gè)簇的均值。實(shí)際上，有一些學(xué)者將K-means算法看成GMM算法的特殊情況。但是，GMM算法遠(yuǎn)比K-means復(fù)雜。（1）GMM是基于概率的模型，能夠估計(jì)出數(shù)據(jù)對(duì)象屬于每一個(gè)簇的概率，而不是簡(jiǎn)單地依據(jù)距離來劃分?jǐn)?shù)據(jù)。（2）GMM通過特定參數(shù)的高斯分布去描述一個(gè)簇，簇的形狀可以是橢圓形，而不像K-means那樣只擅長(zhǎng)識(shí)別球形的簇，因而適用范圍更廣。（3）GMM能估計(jì)出數(shù)據(jù)集的概率密度函數(shù)，因而還能生成同分布的新數(shù)據(jù)，因而是一種生成式模型。

五、GMM聚類算法GMM的實(shí)現(xiàn)使用Scikit-learn的mixture模塊中GaussianMixture類，可以輕松創(chuàng)建一個(gè)GMM聚類模型，它的主要類參數(shù)、屬性和函數(shù)如下。

五、GMM聚類算法創(chuàng)建一個(gè)GMM聚類模型的典型過程如下： model=GaussianMixture(n_components=3, covariance_type='full',random_state=12)獲得GMM聚類算法對(duì)數(shù)據(jù)集的聚類結(jié)果的操作語(yǔ)句如下： y_pred=model.fit_predict(X)

五、GMM聚類算法GMM聚類算法實(shí)現(xiàn)對(duì)圖8-2所示的Blobs數(shù)據(jù)集的聚類結(jié)果：(見代碼8-4)

五、GMM聚類算法輪廓系數(shù)為0.553，AMI為0.828GMM算法是一種基于概率的生成式聚類算法，它的優(yōu)點(diǎn)包括：（1）聚類結(jié)果可以表示為數(shù)據(jù)對(duì)象屬于某一個(gè)簇的概率，結(jié)果更具可解釋性。Ga