hadoo學(xué)習(xí)視頻教程 Mahou數(shù)據(jù)挖掘工具

Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）Mahout數(shù)據(jù)挖掘工具(5)Mahout測試

聚類算法實(shí)戰(zhàn)-K-means課程目標(biāo)Mahout測試查看hdfs的輸出結(jié)果轉(zhuǎn)換成普通文本Mahout測試查看轉(zhuǎn)換的結(jié)果轉(zhuǎn)換原始數(shù)據(jù)聚類算法實(shí)戰(zhàn)-K-meansK-means計(jì)算步驟步驟一：提取feature步驟二：將feature向量化步驟三：利用K-means算法實(shí)現(xiàn)聚類實(shí)例有1TB的新聞網(wǎng)頁數(shù)據(jù)，如何使用K-mean對(duì)其分成若干類？步驟一：提取feature步驟1：提取新聞?wù)?，并分詞步驟2：對(duì)詞編碼，從1開始步驟3：每個(gè)新聞文檔是一個(gè)向量，每個(gè)元素為0或者1比如：步驟二：將feature向量化向量的表示形式DenseVector：元素?cái)?shù)目即為feature總數(shù)，不管是0還是1RandomAccessSparseVector：采用hashmap保存，更省空間SequentialAccessSparseVector：經(jīng)優(yōu)化，便于隨機(jī)存取向量轉(zhuǎn)化方式通過Lucene相關(guān)庫

$mahoutlucenevector…通過mahout自帶工具

$mahoutseqdirectory…

$mahoutseq2sparse…自己編寫程序?qū)?shù)據(jù)保存成SequenceFile格式步驟三：利用K-means算法實(shí)現(xiàn)聚類-i：指定待分類數(shù)據(jù)集所在的路徑-c：指定初始類別所在路徑-o：輸出聚類后的結(jié)果存放路徑-k：隨機(jī)選取的類別數(shù)目-dm：采用的向量距離計(jì)算方法，在此指定實(shí)現(xiàn)類-x：最多迭代終止次數(shù)-cd：聚集偏移量，即本輪迭代次數(shù)與上一輪迭代相比，變動(dòng)點(diǎn)總量變化值-ow：結(jié)果目錄已經(jīng)存在時(shí)是否對(duì)其覆蓋-cl：是否首先通過canopy選取k個(gè)點(diǎn)，然后再運(yùn)行k-means聚類-xm：sequential或者mapreduce，順序執(zhí)行還是分布式執(zhí)行Mahout自帶的向量距離計(jì)算類位于java包中比如：K-有me庫an資s聚類填實(shí)例步驟1：下盯載測頂試數(shù)略據(jù)（把格式慨為SG號(hào)ML）：$首wg筒et步驟2：將紙數(shù)據(jù)敵解壓步驟3：將SG塞ML