八斗7期-直播15聚類算法kmeans

1、O u t L i n e聚類基本知識(shí)層次聚類法Kmeans聚類【實(shí)踐】基于MLlib的Kmeans聚類 八 斗 大 數(shù) 據(jù) ， 盜 版 基 礎(chǔ) 知 識(shí)將數(shù)據(jù)劃分到不同的類里，使相似的數(shù)據(jù)在同一類里，不相似的數(shù)據(jù)在不同類里無(wú)監(jiān)督學(xué)習(xí)應(yīng)用：文本聚類、圖像聚類和商品聚類 便于發(fā)現(xiàn)規(guī)律，以解決數(shù)據(jù)稀疏問(wèn)題 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)層次聚類 vs. 非層次聚類 不同類之間有無(wú)包含關(guān)系 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)硬聚類 vs. 軟聚類硬聚類：每個(gè)對(duì)象只屬于一個(gè)類A：class1B：class2C：class3軟聚類：每個(gè)對(duì)象以某個(gè)概率屬于每個(gè)類A：class1:0.

2、5, class2:0.2, class3:0.3B：class1:0.3, class2:0.3, class3:0.5C：class1:0.4, class2:0.5, class3:0.1 八 斗 大 數(shù) 據(jù)， 盜 版 向量表示 每個(gè)對(duì)象用一個(gè)向量表示，可以視為高例如：根據(jù)身高體重來(lái)判斷的一個(gè)點(diǎn) 男(1.67, 62)男(1.75, 65)男(1.8, 75)女(1.62, 48)女(1.68, 52)女(1.76, 60) 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)向量表示每個(gè)對(duì)象用一個(gè)向量表示，可以視為高所有對(duì)象形成數(shù)據(jù)空間相似度計(jì)算：Cosine、點(diǎn)積計(jì)算質(zhì)心的一個(gè)點(diǎn) 八 斗 大

3、 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)基 礎(chǔ) 知 識(shí)距離矩陣、相似度矩陣 給出聚類對(duì)象之間的距離（或相似性度量） 八 斗 大 數(shù) 據(jù)， 盜 版 評(píng)價(jià)方法：評(píng)價(jià)法（ernal Evalution）：沒(méi)有外部標(biāo)準(zhǔn)，非監(jiān)督式同類是否相似，跨類是否相異外部評(píng)價(jià)法（External Evalution）：外部標(biāo)準(zhǔn)，監(jiān)督式跟外部標(biāo)準(zhǔn)的一致性如何 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)基 礎(chǔ) 知 識(shí)Davies-Bouldin index 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)分類指標(biāo)： 準(zhǔn)確度（accuracy） 精度（Preci）（Recall） F值（F-measure） 八 斗 大 數(shù) 據(jù)，

4、 盜 版 基 礎(chǔ) 知 識(shí)矩陣 準(zhǔn)確度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22) 精度（Preci）: C11 / (C11 + C21 )（Recall）: C11 / (C11 + C12 ) 八 斗 大 數(shù) 據(jù)， 盜 版 基 礎(chǔ) 知 識(shí)矩陣 準(zhǔn)確度（accuracy）: (50+35) / (35+5+10+50) = 85% 精度（Preci）: 50 / (50+5) = 90.9%（Recall）: 50 / (50 + 10) = 83.3% 八 斗 大 數(shù) 據(jù)， 盜 版 O u t L i n e聚類基本知識(shí)層次聚類法Kmean

5、s聚類【實(shí)踐】基于MLlib的Kmeans聚類 八 斗 大 數(shù) 據(jù) ， 盜 版 層 次 聚 類 算 法自底向上 凝聚層次聚類自頂向下層次聚類 八 斗 大 數(shù) 據(jù)， 盜 版 凝 聚 層 次 聚 類 算 法算法描述：1、將每一個(gè)對(duì)象歸為一類，共得到N類，每類僅包含一個(gè)對(duì)象2、找到最接近的兩個(gè)類合并成一個(gè)類3、重新計(jì)算新的類與所有舊類之間的距離4、重復(fù)2/3，直到最后合并為一個(gè)類為止（此類包含N個(gè)對(duì)象） 八 斗 大 數(shù) 據(jù)， 盜 版 凝 聚 層 次 聚 類 過(guò) 程 八 斗 大 數(shù) 據(jù)， 盜 版 凝 聚 層 次 聚 類 樹 狀 圖 描 述 八 斗 大 數(shù) 據(jù)， 盜 版 凝 聚 層 次 聚 類 算 法每

6、次迭代需要重新計(jì)算新的類與舊類之間的距離計(jì)算方式： 單鏈（Single linkage）：最近距離 全鏈（compleinkage）：最遠(yuǎn)距離 組合鏈（average linkage）：平均距離 八 斗 大 數(shù) 據(jù)， 盜 版 凝 聚 層 次 聚 類 算 法類間距離計(jì)算：MinMaxGroup average 八 斗 大 數(shù) 據(jù)， 盜 版 層 次 聚 類 算 法 總 結(jié)算法簡(jiǎn)單層次用于概念聚類（生成概念、文檔層次樹）聚類對(duì)象的兩種表示法都適用處理大小不同的簇簇選取步驟在樹狀圖生成之后 八 斗 大 數(shù) 據(jù)， 盜 版 O u t L i n e聚類基本知識(shí)層次聚類法Kmeans聚類【實(shí)踐】基于MLl

7、ib的Kmeans聚類 八 斗 大 數(shù) 據(jù) ， 盜 版 K 平 均 （ K - m e a n s ） 聚 類算法描述： 任意選擇K個(gè)點(diǎn)作為初始聚類中心 根據(jù)每個(gè)聚類的中算每個(gè)對(duì)象與這些中心的距離，并根據(jù)最小距離重新對(duì)相應(yīng)對(duì)象進(jìn)行劃分重新計(jì)算每個(gè)聚類的中心當(dāng)滿足一定條件，如類別劃分不再發(fā)生變化時(shí)，算法終止，否則繼續(xù)步驟2和3 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類計(jì)算每個(gè)對(duì)象與這

8、些中心的距離：歐式距離重新計(jì)算每個(gè)聚類的中心對(duì)象：中心對(duì)象：均值當(dāng)滿足一定條件，則算法終止：損失函數(shù)：WCSS步驟3：最小化簇內(nèi)對(duì)象到質(zhì)心的距離步驟4：重新計(jì)算質(zhì)心，從而最小化WCSS 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 小 結(jié)K的選擇中心點(diǎn)的選擇隨機(jī)多輪隨機(jī)：選擇最小的WCSS優(yōu)點(diǎn)算法簡(jiǎn)單、有效時(shí)間復(fù)雜度：O(nkt)N個(gè)聚類對(duì)象，K個(gè)類，T個(gè)迭代次數(shù) 八 斗 大 數(shù) 據(jù)， 盜 版 K 平 均 （ K - m e a n s ） 聚 類 小 結(jié)處理非球面（凸型）聚類密度，大小不同的聚類（受K的限制，難于發(fā)現(xiàn)自然的聚類） 部分解決方法：增加聚類個(gè)數(shù) 八 斗 大 數(shù) 據(jù)， 盜 版 V S .層 次 聚 類K - m e a n