內(nèi)容文稿共享hadoop14mahout

1、Hadoop數(shù)據(jù)分析平臺(tái) 第14周2013.08.24DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析法律【】本和幻燈片為煉數(shù)網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散播，違者將可能被責(zé)任。法律和課程詳情煉數(shù)培訓(xùn)2013.08.242DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析Mahoutn Mahout的中文含義：象夫2013.08.243DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析數(shù)據(jù)金字塔2013.08.244DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析數(shù)據(jù)分析n 使用統(tǒng)計(jì)方法，有目的地對(duì)收集到的數(shù)據(jù)進(jìn)行分析處理，并且解讀分析結(jié)果2013.08.245DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析數(shù)據(jù)分析n 常用算法2013.08.246DATAG

2、URU專(zhuān)業(yè)數(shù)據(jù)分析回歸2013.08.247DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析分類(lèi)器2013.08.248DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析聚類(lèi)2013.08.249DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析數(shù)據(jù)挖掘n 數(shù)據(jù)挖掘是以查找隱藏在數(shù)據(jù)中的信息為目標(biāo)的技術(shù)，是應(yīng)用算法從大型數(shù)據(jù)庫(kù)中提取知識(shí)的過(guò)程，這些算法確定信息項(xiàng)之間的隱性關(guān)聯(lián)，并且向用戶(hù)顯示這些關(guān)聯(lián)n 數(shù)據(jù)挖掘思想來(lái)源：假設(shè)檢驗(yàn)，模式識(shí)別，人工智能，學(xué)習(xí)n 常見(jiàn)數(shù)據(jù)挖掘任務(wù)：關(guān)聯(lián)分析，聚類(lèi)分析，孤立點(diǎn)分析等等n 例：啤酒與尿布的故事n 例：Science的文章科學(xué)家摸索出大型數(shù)據(jù)集內(nèi)的趨勢(shì)2013.08.2410DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析頻繁模式挖掘20

3、13.08.2411DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析數(shù)據(jù)分析工具n 數(shù)據(jù)分析工具2013.08.2412DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析常用傳統(tǒng)數(shù)據(jù)分析工具排行2013.08.2413DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析傳統(tǒng)數(shù)據(jù)分析工具的困境n R，SAS，SPSS等典型應(yīng)用場(chǎng)景為工具n 處理數(shù)據(jù)量受限于內(nèi)存，因此無(wú)法處理海量數(shù)據(jù)n 使用Oracle數(shù)據(jù)庫(kù)等處理海量數(shù)據(jù)，但缺乏有效快速專(zhuān)業(yè)的分析功能n 可以采用抽樣等方法，但有局限性，比如對(duì)于聚類(lèi)，推薦系統(tǒng)則無(wú)法使用抽樣n 解決方向：Hadoop集群和Map-Reduce并行計(jì)算2013.08.2414DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析常見(jiàn)算法的Map-Reduce

4、化2013.08.2415DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析常見(jiàn)算法的Map-Reduce化2013.08.2416DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析Mahoutn 2008年成為L(zhǎng)ucene的子項(xiàng)目，Lucene作為搜索引擎項(xiàng)目，存在很多文本數(shù)據(jù)分析和挖掘的需求（例如文本重復(fù)，文本自動(dòng)分類(lèi)等等），導(dǎo)致Lucene項(xiàng)目中部發(fā)者轉(zhuǎn)向?qū)W習(xí)領(lǐng)域研究算法，最終這些學(xué)習(xí)算法形成最初的Mahoutn 吸收開(kāi)源協(xié)同過(guò)濾算法項(xiàng)目Tasten 2010年成為Apache頂級(jí)項(xiàng)目2013.08.2417DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析Mahout的特點(diǎn)n Mahout的主要目的是實(shí)現(xiàn)可伸縮的學(xué)習(xí)算法（就是算法的M-R化），但也不

5、一定要求基于Hadoop平臺(tái)，庫(kù)中某些布式的算法也具有很好的性能n 目標(biāo)是幫助開(kāi)發(fā)快速建立具有智能的應(yīng)用程序，目前比較成熟和活躍的主要包括1 頻繁模式挖掘2 聚類(lèi)算法3 分類(lèi)器4 推薦系統(tǒng)5 頻繁子項(xiàng)挖掘2013.08.2418DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析發(fā)展中的Mahoutn Mahout目前支持和研究中的算法列表2013.08.2419DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析參考書(shū)2013.08.2420DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析參考書(shū)2013.08.2421DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析M-R Cookbook樣板代碼2013.08.2422DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析參考書(shū)2013.08.2423

6、DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析和解壓Mahout2013.08.2424DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析配置環(huán)境變量export HADOOP_HOME=/home/huang/hadoop-1.1.2export HADOOP_CONF_DIR=/home/huang/hadoop-1.1.2/confexport MAHOUT_HOME=/home/huang/hadoop-1.1.2/mahout-distribution-0.6export MAHOUT_CONF_DIR=/home/huang/hadoop-1.1.2/mahout-distribution-0.6/confexport

7、PATH=$PATH:$MAHOUT_HOME/conf:$MAHOUT_HOME/bin幾個(gè)重要環(huán)境變量JAVA_HOMEmahout運(yùn)行需指定jdk的目錄MAHOUT_JAVA_HOME指定此變量可覆蓋JAVA_HOME值HADOOP_HOME 如果配置，則在hadoop分布式平臺(tái)上運(yùn)行，否則單機(jī)運(yùn)行HADOOP_CONF_DIR指定hadoop的配置文件目錄MAHOUT_LOCAL如果此變量值不為空，則單機(jī)運(yùn)行mahout。MAHOUT_CONF_DIR mahout配置文件的路徑，默認(rèn)值是$MAHOUT_HOME/src/confMAHOUT_HEAPSIZEmahout運(yùn)行時(shí)可用的最

8、大heap大小2013.08.2425DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析驗(yàn)證安裝2013.08.2426DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析源碼和部分樣本數(shù)據(jù)n 需要源代碼包（可以嘗試下編譯源代碼方式的安裝）2013.08.2427DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析測(cè)試數(shù)據(jù)2013.08.2428DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析將測(cè)試數(shù)據(jù)拷貝到HDFS2013.08.2429DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析做一個(gè)kmeans聚類(lèi)測(cè)試2013.08.2430DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析輸出結(jié)果2013.08.2431DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析觀察輸出2013.08.2432DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析用mahout輸出2

9、013.08.2433DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析20Newsgroups數(shù)據(jù)集2013.08.2434DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析使用Mahout進(jìn)行文本自動(dòng)分類(lèi)分類(lèi)器nn 學(xué)習(xí)集n 測(cè)試集數(shù)據(jù)集的內(nèi)容n2013.08.2435DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析文件內(nèi)容2013.08.2436DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析上傳并解壓數(shù)據(jù)2013.08.2437DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析建立訓(xùn)練集mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups -p /home/huang/data/20news-bydate-tra

10、in -o /home/huang/data/bayes-test-input -a org.apache.mahout.vectorizer.DefaultAnalyzer -c UTF-82013.08.2438DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析建立訓(xùn)練集2013.08.2439DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析建立測(cè)試集mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups -p /home/huang/data/20news-bydate-test -o /home/huang/data/bayes-test-input

11、-a org.apache.mahout.vectorizer.DefaultAnalyzer -c UTF-82013.08.2440DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析建立測(cè)試集2013.08.2441DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析上傳數(shù)據(jù)到HDFS2013.08.2442DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析訓(xùn)練分類(lèi)器mahout trainclassifier -i /user/huang/20news/bayes-train-input -o /user/huang/20news/newsm-type cbayes-ng 2 -source hdfs2013.08.2443DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析訓(xùn)

12、練分類(lèi)器2013.08.2444DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析生成的模型2013.08.2445DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析測(cè)試分類(lèi)器mahout testclassifier -m /user/huang/20news/newsm-d /user/huang/20news/bayes-test-input -type cbayes-ng 2 -source hdfs -method mapreduce2013.08.2446DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析測(cè)試分類(lèi)器2013.08.2447DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析參考n2013.08.2448DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析煉數(shù)逆向式網(wǎng)絡(luò)課程n Dataguru（煉數(shù)）是專(zhuān)業(yè)數(shù)據(jù)分析，提供教育，內(nèi)容，社區(qū)，數(shù)據(jù)分析業(yè)務(wù)等服務(wù)。我們的課程采用新興的互聯(lián)網(wǎng)教育形式，獨(dú)創(chuàng)地發(fā)展了逆向收網(wǎng)絡(luò)培訓(xùn)課程模式。既繼承傳統(tǒng)教育重學(xué)習(xí)