




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、數(shù)據(jù)挖掘 聚類算法八斗學(xué)院數(shù)據(jù)挖掘聚類算法O u t L i n e八聚類基本知識(shí)斗層次聚類法Kmeans聚類【實(shí)踐】基于MLlib的Kmeans聚類 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八將數(shù)據(jù)劃分到不同的類里,使相似斗的數(shù)據(jù)在同一類里,不相似的數(shù)據(jù)在不同類里 無監(jiān)督學(xué)習(xí) 應(yīng)用:文本聚類、圖像聚類和商品聚類 便于發(fā)現(xiàn)規(guī)律,以解決數(shù)據(jù)稀疏問題 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí) 層次聚類 vs. 非層次聚類 不同類之間有無包含關(guān)系 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八硬聚類 vs. 軟聚類斗 硬聚類:每個(gè)對(duì)象只屬于一個(gè)類 A:class1 B:class2 C:class
2、3 軟聚類:每個(gè)對(duì)象以某個(gè)概率屬于每個(gè)類 A:class1:0.5, class2:0.2, class3:0.3 B:class1:0.3, class2:0.3, class3:0.5 C:class1:0.4, class2:0.5, class3:0.1 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八向量表示 每個(gè)對(duì)象用一個(gè)向量表示,可以視為高的一個(gè)點(diǎn) 例如:根據(jù)身高體重來 男(1.67, 62) 男(1.75, 65) 男(1.8, 75) 女(1.62, 48) 女(1.68, 52) 女(1.76, 60) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八向量表示斗 每個(gè)對(duì)象用一個(gè)向量
3、表示,可以視為高的一個(gè)點(diǎn) 所有對(duì)象形成數(shù)據(jù)空間 相似度計(jì)算: Cosine、點(diǎn)積 計(jì)算質(zhì)心 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八距離矩陣、相似度矩陣斗 給出聚類對(duì)象之間的距離(或相似性度量) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八評(píng)價(jià)方法:斗 內(nèi)部評(píng)價(jià)法(Internal Evalution): 沒有外部標(biāo)準(zhǔn),非監(jiān)督式 同類是否相似,跨類是否相異 外部評(píng)價(jià)法(External Evalution): 外部標(biāo)準(zhǔn),監(jiān)督式 跟外部標(biāo)準(zhǔn)的一致性如何 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八Davies-Bouldin index斗 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八分類指標(biāo)
4、:斗 準(zhǔn)確度(accuracy) 精度(Precision) (Recall) F值(F-measure) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八矩陣斗 準(zhǔn)確度(accuracy): (C11+C22) / (C11 + C12 + C21 + C22) 精度(Precision): C11 / (C11 + C21 )(Recall): C11 / (C11 + C12 ) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法基 礎(chǔ) 知 識(shí)八矩陣斗 準(zhǔn)確度(accuracy): (50+35) / (35+5+10+50) = 85% 精度(Precision): 50 / (50+5) = 90.9%(Re
5、call): 50 / (50 + 10) = 83.3% 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法O u t L i n e八聚類基本知識(shí)斗層次聚類法Kmeans聚類【實(shí)踐】基于MLlib的Kmeans聚類 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法層 次 聚 類 算 法八自底向上 凝聚層次聚類 自頂向下層次聚類 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法凝 聚 層 次 聚 類 算 法八算法描述:斗 1、將每一個(gè)對(duì)象一類,共得到N類,每類僅包含一個(gè)對(duì)象 2、找到最接近的兩個(gè)類合并成一個(gè)類 3、重新計(jì)算新的類與所有舊類之間的距離 4、重復(fù)2/3,直到最后合并為一個(gè)類為止(此類包含N個(gè)對(duì)象) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法凝 聚 層 次
6、 聚 類 過 程八斗 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法凝 聚 層 次 聚 類 樹 狀 圖 描 述 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法凝 聚 層 次 聚 類 算 法八每次迭代需要重新計(jì)算新的類斗與舊類之間的距離 計(jì)算方式: 單鏈(Single linkage):最近距離 (complete linkage):最遠(yuǎn)距離 組合鏈(average linkage):平均距離 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法凝 聚 層 次 聚 類 算 法八類間距離計(jì)算:斗 Min Max Group average 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法層 次 聚 類 算 法 總 結(jié)八算法簡(jiǎn)單斗 層次用于概念聚類(生成概念、文檔層次樹) 聚類
7、對(duì)象的兩種表示法都適用 處理大小不同的簇 簇選取步驟在樹狀圖生成之后 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法O u t L i n e八聚類基本知識(shí)斗層次聚類法Kmeans聚類【實(shí)踐】基于MLlib的Kmeans聚類 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八算法描述:斗 任意選擇K個(gè)點(diǎn)作為初始聚類中心 根據(jù)每個(gè)聚類的中算每個(gè)對(duì)象與這些中心的距離,并根據(jù)最小距離重新對(duì)相應(yīng)對(duì)象進(jìn)行劃分 重新計(jì)算每個(gè)聚類的中心 當(dāng)滿足一定條件,如類別劃分不再發(fā)生變化時(shí),算法終止,否則繼續(xù)步驟2和3 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八
8、斗 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八計(jì)算每個(gè)對(duì)象與這些中心的距離斗: 歐式距離 重新計(jì)算每個(gè)聚類的中心對(duì)象: 中心對(duì)象:均值 當(dāng)滿足一定條件,則算法終止: 損失函數(shù):WCSS 步驟3:最小化簇內(nèi)對(duì)象到質(zhì)心的距離 步驟4:重新計(jì)算質(zhì)心,從而最小化WCSS 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八斗 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類八斗 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類 小 結(jié)八K的選擇斗 中心點(diǎn)的選擇 隨機(jī) 多輪隨機(jī):選擇最小的WCSS 優(yōu)點(diǎn) 算法簡(jiǎn)單、有效 時(shí)間復(fù)雜度:O(nkt) N個(gè)聚類對(duì)象,K個(gè)類,T個(gè)迭代次數(shù) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K 平 均 ( K - m e a n s ) 聚 類 小 結(jié)八處理非球面(凸型)聚類斗 密度,大小不同的聚類(受K的限制,難于發(fā)現(xiàn)自然的聚類) 部分解決方法:增加聚類個(gè)數(shù) 八斗大數(shù)據(jù) 數(shù)據(jù)挖掘聚類算法K - m e a n s
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 住房出租合同范本
- 演替過程碳循環(huán)-洞察及研究
- 以上的員工轉(zhuǎn)正自我鑒定
- 前房角破裂的護(hù)理查房
- 乙肝恢復(fù)期的健康教育
- 維修人才短缺對(duì)策-洞察及研究
- 子宮直腸瘺個(gè)案護(hù)理
- 2025屆廣東省東莞中學(xué)松山湖學(xué)校物理高二第二學(xué)期期末學(xué)業(yè)水平測(cè)試試題含解析
- 高級(jí)技工學(xué)校綜合評(píng)審標(biāo)準(zhǔn)及流程解讀
- 地方高校本科教育質(zhì)量評(píng)估與教學(xué)改革策略
- 彩色完整測(cè)試頁(yè)(測(cè)試版)
- 推理小說簡(jiǎn)介
- 熱射病的診斷與治療
- GB/T 9074.18-2017自攻螺釘和平墊圈組合件
- 長(zhǎng)沙梅溪湖國(guó)際新城產(chǎn)業(yè)組織與西區(qū)土地一級(jí)開發(fā)
- GB/T 3768-2017聲學(xué)聲壓法測(cè)定噪聲源聲功率級(jí)和聲能量級(jí)采用反射面上方包絡(luò)測(cè)量面的簡(jiǎn)易法
- 臨床診療指南(急診醫(yī)學(xué))
- GB 2811-2007安全帽
- 胸腔積液PPT.ppt 課件
- 斷指再植術(shù)后的切口
- 曾國(guó)藩為官之道
評(píng)論
0/150
提交評(píng)論