廈門大學(xué)計算機科學(xué)系研究生課程

1、廈門大學(xué)計算機科學(xué)系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用上機練習(xí)MapReduce編程初級實踐主講教師：林子雨廈門大學(xué)數(shù)據(jù)庫實驗室二零一五年九月目錄目錄 TOC o 1-3 h z u HYPERLINK l _Toc430676849 1作業(yè)題目 PAGEREF _Toc430676849 h 1 HYPERLINK l _Toc430676850 2作業(yè)目的 PAGEREF _Toc430676850 h 1 HYPERLINK l _Toc430676851 3作業(yè)性質(zhì) PAGEREF _Toc430676851 h 1 HYPERLINK l _Toc430676852 4作業(yè)考核方法 PA

2、GEREF _Toc430676852 h 1 HYPERLINK l _Toc430676853 5作業(yè)提交日期與方式 PAGEREF _Toc430676853 h 1 HYPERLINK l _Toc430676854 6實驗平臺 PAGEREF _Toc430676854 h 1 HYPERLINK l _Toc430676855 7實驗內(nèi)容和要求 PAGEREF _Toc430676855 h 1 HYPERLINK l _Toc430676856 8實驗報告 PAGEREF _Toc430676856 h 4 HYPERLINK l _Toc430676857 附錄1:任課教師介紹

3、 PAGEREF _Toc430676857 h 4 HYPERLINK l _Toc430676858 附錄2：課程教材介紹 PAGEREF _Toc430676858 h 5廈門大學(xué)計算機科學(xué)系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用 上機練習(xí) MapReduce編程初級實踐主講教師：林子雨 /linziyu 第 PAGE 5頁大數(shù)據(jù)技術(shù)原理與應(yīng)用MapReduce編程初級實踐上機練習(xí)說明主講教師：林子雨E-mail: HYPERLINK mailto:ziyulin ziyulin 個人主頁： HYPERLINK /linziyu /linziyu作業(yè)題目MapReduce編程初級實踐。作業(yè)目的1

4、.通過實驗掌握基本的MapReduce編程方法；2.掌握用MapReduce解決一些常見的數(shù)據(jù)處理問題，包括數(shù)據(jù)去重、數(shù)據(jù)排序和數(shù)據(jù)挖掘等。作業(yè)性質(zhì) 課后作業(yè)，必做，作為課堂平時成績。作業(yè)考核方法 提交上機實驗報告，任課老師根據(jù)上機實驗報告評定成績。作業(yè)提交日期與方式林子雨編著大數(shù)據(jù)技術(shù)原理與應(yīng)用教材第七章MapReduce內(nèi)容結(jié)束后的下一周周六晚上9點之前提交。實驗平臺已經(jīng)配置完成的Hadoop偽分布式環(huán)境。實驗內(nèi)容和要求1.編程實現(xiàn)文件合并和去重操作對于兩個輸入文件，即文件A和文件B，請編寫MapReduce程序，對兩個文件進行合并，并剔除其中重復(fù)的內(nèi)容，得到一個新的輸出文件C。下面是輸入

5、文件和輸出文件的一個樣例供參考。 輸入文件A的樣例如下：20150101 x20150102 y20150103 x20150104 y20150105 z20150106 x輸入文件B的樣例如下：20150101 y20150102 y20150103 x20150104 z20150105 y根據(jù)輸入文件A和B合并得到的輸出文件C的樣例如下：20150101 x20150101 y20150102 y20150103 x20150104 y20150104 z20150105 y20150105 z20150106 x2. 編寫程序?qū)崿F(xiàn)對輸入文件的排序現(xiàn)在有多個輸入文件，每個文件中的每行內(nèi)

6、容均為一個整數(shù)。要求讀取所有文件中的整數(shù)，進行升序排序后，輸出到一個新的文件中，輸出的數(shù)據(jù)格式為每行兩個整數(shù)，第一個數(shù)字為第二個整數(shù)的排序位次，第二個整數(shù)為原待排列的整數(shù)。下面是輸入文件和輸出文件的一個樣例供參考。輸入文件1的樣例如下：33371240輸入文件2的樣例如下：416395輸入文件3的樣例如下：14525根據(jù)輸入文件1、2和3得到的輸出文件如下：1 12 43 54 125 166 257 338 379 3910 4011 453. 對給定的表格進行信息挖掘下面給出一個child-parent的表格，要求挖掘其中的父子輩關(guān)系，給出祖孫輩關(guān)系的表格。輸入文件內(nèi)容如下：child p

7、arentSteven LucySteven JackJone LucyJone JackLucy MaryLucy FrankJack AliceJack JesseDavid AliceDavid JessePhilip DavidPhilip AlmaMark DavidMark Alma輸出文件內(nèi)容如下：grandchild grandparentSteven AliceSteven JesseJone AliceJone JesseSteven MarySteven FrankJone MaryJone FrankPhilip AlicePhilip JesseMark AliceM

8、ark Jesse實驗報告廈門大學(xué)計算機系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用實驗報告題目：姓名日期實驗環(huán)境：實驗內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）： 附錄1:任課教師介紹林子雨(1978),男,博士,廈門大學(xué)計算機科學(xué)系助理教授,主要研究領(lǐng)域為數(shù)據(jù)庫,實時主動數(shù)據(jù)倉庫,數(shù)據(jù)挖掘.主講課程：大數(shù)據(jù)技術(shù)原理與應(yīng)用辦公地點：廈門大學(xué)海韻園科研2號樓E-mail: ziyulin個人主頁：/linziyu數(shù)據(jù)庫實驗室網(wǎng)站：附錄2：課程教材介紹大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲、處理、分析與應(yīng)用，由廈門大學(xué)計算機科學(xué)系教師林子雨博士編著，是中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材。本書定位為大數(shù)據(jù)技術(shù)入門教材，為讀者搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構(gòu)建知識體系、闡明基本原理、引導(dǎo)初級實踐、了解相關(guān)應(yīng)用”為原則，為讀者在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。全書共有13章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù) 庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、流計算、圖計算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排