(1.21)-6.4大數(shù)據(jù)分析與挖掘建模-聚類分析

大數(shù)據(jù)分析與挖掘建模BIGDATA

通過對顧客消費行為的分析，找到有價值的顧客。1大數(shù)據(jù)分析與挖掘建模概述2預(yù)知考試能否及格——邏輯回歸3預(yù)測商場銷量的高低——決策樹4顧客消費價值分析——聚類分析6發(fā)電廠發(fā)電量的預(yù)測——神經(jīng)網(wǎng)絡(luò)5西紅柿與排骨的關(guān)系——關(guān)聯(lián)規(guī)則4.1聚類分析4.1.1定義

聚類：指根據(jù)數(shù)據(jù)對象之間的相似性，把一組數(shù)據(jù)對象劃分為多個有意義組的過程，每個組稱為類或簇（cluster），同一個簇內(nèi)的數(shù)據(jù)對象之間具有較高的相似性，不同簇內(nèi)的數(shù)據(jù)對象之間相差則較大。4.1聚類分析

4.1.2基本思想把分類對象按一定規(guī)則分成若干類，這些類不是事先給定的，而是根據(jù)數(shù)據(jù)的特征來確定的。劃分原則是組內(nèi)距離最小化而組間距離最大化。4.1聚類分析

4.1.3聚類方式類別主要算法劃分(分裂)方法K-Means算法、K-MEDOIDS算法、CLARANS算法層次分析法BIRCH算法、CURE算法、CHAMELEON算法基于密度的方法DBSCAN算法、DENCLUE算法、OPTICS算法基于網(wǎng)格的方法STING算法、CLIOUE算法、WAVE-USTER算法基于模型的方法統(tǒng)計學(xué)方法、神經(jīng)網(wǎng)絡(luò)方法基于概率的方法GMM算法4.1聚類分析

4.1.4聚類算法算法名稱算法描述K-Means算法在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K。K-MEDOIDS算法選用簇中離平均值最近的對象為簇中心。系統(tǒng)聚類分類的單位由高到低呈樹形結(jié)構(gòu)，且所處的位置越低，其包含的對象就越少。4.2K-Means聚類

4.2.1定義K-Means算法是典型的基于距離的非層次聚類算法，在誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K，采用距離作為相似性的評價指標(biāo)，距離越近相似度越大。

目的：把n個點劃分到k個聚類中，使每個點都屬于離它最近的均值對應(yīng)的聚類，來作為聚類的標(biāo)準(zhǔn)。4.2K-Means聚類

4.2.2算法過程

（d）4.2K-Means聚類

4.2.3常用參數(shù)參數(shù)名稱說明n_clusters接收int,表示簇的個數(shù)Init接收str,表示初始簇中心的獲取方法n_init

表示獲取初始簇中心的更迭次數(shù)Max_iter表示最大迭代次數(shù)tol表示容忍度，即算法收斂的條件precompute_distances表示是否需要提前計算距離randomstate表示隨機生成簇中心的狀態(tài)條件copy_X表示是否在運行算法時將原始訓(xùn)練數(shù)據(jù)復(fù)制一份4.2K-Means聚類

4.2.4常用方法方法說明fit(X,y=None,sampleweight=None)sklearn中通用的方法，表示對數(shù)據(jù)x進行K-Means聚類fit_predict(X,y=None,sampleweight=None)計算簇中心，并為簇分配序號fit_transform(X,y=None,sampleweight=None)對樣本進行聚類，并轉(zhuǎn)換為簇距離空間get_params(deep=True)獲取模型參數(shù)predict(X,sampleweight=None)預(yù)測X中每個樣本所屬的簇score(X,y=None,sample_weight=None)與K-Means算法目標(biāo)相反的值setparams(**params)設(shè)置模型的參數(shù)transform(X)將X轉(zhuǎn)換為簇距離空間4.3項目實戰(zhàn)

4.3.1項目分析4.3項目實戰(zhàn)

4.3.2