k-means聚類(lèi)、EM聚類(lèi)、模糊聚類(lèi)比較.ppt

聚類(lèi),IRLAB,大綱,聚類(lèi)分析簡(jiǎn)介 層次聚類(lèi) 單連接和全連接聚類(lèi) 組平均聚類(lèi) 應(yīng)用：改進(jìn)語(yǔ)言模型 自頂向下聚類(lèi) 非層次聚類(lèi) K-均值 EM算法,什么是聚類(lèi)分析?,聚類(lèi): 數(shù)據(jù)對(duì)象的集合 在同一個(gè)類(lèi)中，數(shù)據(jù)對(duì)象是相似的 不同類(lèi)之間的對(duì)象是不相似的 聚類(lèi)分析 一個(gè)數(shù)據(jù)集合分組成幾個(gè)聚類(lèi) 聚類(lèi)是一種無(wú)監(jiān)督分類(lèi):沒(méi)有預(yù)定義的類(lèi) 典型應(yīng)用 作為一個(gè)獨(dú)立的工具 透視數(shù)據(jù)分布 可以作為其他算法的預(yù)處理步驟,聚類(lèi)算法類(lèi)型,層次聚類(lèi)與非層次聚類(lèi) 自底向上與自上向下（凝聚與分裂） K-均值 軟聚類(lèi)與硬聚類(lèi) K-均值 模糊聚類(lèi)（EM算法）,層次聚類(lèi),自底向下的聚類(lèi) 每一項(xiàng)自成一類(lèi) 迭代，將最近的兩類(lèi)合為一類(lèi) 自頂向下的聚類(lèi) 將所有項(xiàng)看作一類(lèi) 找出最不相似的項(xiàng)分裂出去成為兩類(lèi),類(lèi)的相似度度量,我們可以知道兩個(gè)項(xiàng)之間的相似度，但是聚類(lèi)要求知道類(lèi)與類(lèi)之間的相似度 三種方法： 單連接方法 全連接方法 組平均方法,非層次聚類(lèi),K-均值 硬聚類(lèi) 計(jì)算每個(gè)類(lèi)的中心 EM算法 考慮稀疏數(shù)據(jù) 公式 用EM算法計(jì)算P( ci|w1),K-均值,將n個(gè)向量分到k個(gè)類(lèi)別中去 選擇k個(gè)初始中心 計(jì)算兩項(xiàng)距離 計(jì)算均值,K-均值算法,EM-算法,算法族 以前的一個(gè)例子：前向后項(xiàng)算法是EM算法的一個(gè)例子 可以用于任意的概率模型E(likelihood)及max likelihood estimite估計(jì),模糊聚類(lèi),經(jīng)典的k均值聚類(lèi)算法的一部迭代中，每一個(gè)樣本點(diǎn)都被認(rèn)為是完全屬于某一類(lèi)別。 模糊聚類(lèi)放松這一條件，假定每個(gè)樣本是模糊隸屬于某一類(lèi)的。 每類(lèi)是一個(gè)高斯分布 樣本集合模擬成一個(gè)高斯混合分布,點(diǎn)集x1,xn K個(gè)類(lèi) Z為二維數(shù)組，zij為1表示xi在j類(lèi)中，否則為0 每個(gè)j類(lèi)定義為一個(gè)高斯分布,EM算法,用先前的概率累加 任意一項(xiàng)xi的概率,EM算法,參數(shù) 給定參數(shù)下x的值,EM算法,找到zij的期望值并用它計(jì)算最大似然估計(jì)，反復(fù)迭代，直到收斂。,EM算法