大數(shù)據(jù)技術(shù)原理與應(yīng)用-上機練習(xí)-安裝Hadoop

1、廈門大學(xué)計算機科學(xué)系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用上機練習(xí)安裝Hadoop主講教師：林子雨廈門大學(xué)數(shù)據(jù)庫實驗室二零一五年九月目錄目錄 TOC o 1-3 h z u HYPERLINK l _Toc430675614 1作業(yè)題目 PAGEREF _Toc430675614 h 1 HYPERLINK l _Toc430675615 2作業(yè)目的 PAGEREF _Toc430675615 h 1 HYPERLINK l _Toc430675616 3作業(yè)性質(zhì) PAGEREF _Toc430675616 h 1 HYPERLINK l _Toc430675617 4作業(yè)考核方法 PAGEREF _

2、Toc430675617 h 1 HYPERLINK l _Toc430675618 5作業(yè)提交日期與方式 PAGEREF _Toc430675618 h 1 HYPERLINK l _Toc430675619 6實驗平臺 PAGEREF _Toc430675619 h 1 HYPERLINK l _Toc430675620 7實驗內(nèi)容和要求 PAGEREF _Toc430675620 h 1 HYPERLINK l _Toc430675621 7.1下載相關(guān)軟件 PAGEREF _Toc430675621 h 1 HYPERLINK l _Toc430675622 7.2安裝Linux虛擬機

3、 PAGEREF _Toc430675622 h 2 HYPERLINK l _Toc430675623 7.3進行Hadoop偽分布式安裝 PAGEREF _Toc430675623 h 2 HYPERLINK l _Toc430675624 8實驗報告 PAGEREF _Toc430675624 h 2 HYPERLINK l _Toc430675625 附錄1:任課教師介紹 PAGEREF _Toc430675625 h 2 HYPERLINK l _Toc430675626 附錄2：課程教材介紹 PAGEREF _Toc430675626 h 2廈門大學(xué)計算機科學(xué)系研究生課程大數(shù)據(jù)技術(shù)

4、原理與應(yīng)用 上機練習(xí) 安裝Hadoop主講教師：林子雨 /linziyu 第 PAGE 3頁大數(shù)據(jù)技術(shù)原理與應(yīng)用安裝Hadoop上機練習(xí)說明主講教師：林子雨E-mail: HYPERLINK mailto:ziyulin ziyulin 個人主頁： HYPERLINK /linziyu /linziyu作業(yè)題目安裝Hadoop。作業(yè)目的1.掌握Linux虛擬機安裝方法。Hadoop在Linux操作系統(tǒng)上運行可以發(fā)揮最佳性能，鑒于目前很多讀者可能正在使用Windows操作系統(tǒng)，因此，為了完成本書的后續(xù)實驗，這里有必要通過本實驗讓讀者掌握在Windows操作系統(tǒng)上搭建Linux虛擬機的方法。2.掌

5、握Hadoop的偽分布式安裝方法。很多讀者并不具備集群環(huán)境，需要在一臺機器上模擬一個小的集群，因此，需要通過本實驗讓讀者掌握在單機上進行Hadoop的偽分布式安裝方法。作業(yè)性質(zhì) 課后作業(yè)，必做，作為課堂平時成績。作業(yè)考核方法 提交上機實驗報告，任課老師根據(jù)上機實驗報告評定成績。作業(yè)提交日期與方式林子雨編著大數(shù)據(jù)技術(shù)原理與應(yīng)用教材第二章大數(shù)據(jù)處理架構(gòu)Hadoop內(nèi)容結(jié)束后的下一周周六晚上9點之前提交。實驗平臺操作系統(tǒng)：Windows系統(tǒng)或者CentOS7（推薦）。虛擬機軟件：推薦使用的開源虛擬機軟件為VirtualBox 。VirtualBox是一款功能強大的免費虛擬機軟件，它不僅具有豐富的特色

6、，而且性能也很優(yōu)異，簡單易用，可虛擬的系統(tǒng)包括Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2甚至Android 4.0系統(tǒng)等操作系統(tǒng)。讀者可以在Windows系統(tǒng)上安裝VirtualBox軟件，然后在VirtualBox上安裝并且運行Linux操作系統(tǒng)。本次實驗?zāi)J的Linux發(fā)行版為CentOS7。實驗內(nèi)容和要求下載相關(guān)軟件如果讀者正在使用Linux操作系統(tǒng)，可以跳過本步，不需要下載相關(guān)軟件。如果讀者正在使用Windows操作系統(tǒng)，請下載VirtualBox4.3.20和CentOS7鏡像文件。VirtualBox4.3.20的下載地址：/wik

7、i/DownloadsCentOS7的鏡像文件下載地址：/centos/7/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso安裝Linux虛擬機如果讀者正在使用Linux操作系統(tǒng)，則不需要了解Windows系統(tǒng)上的Linux虛擬機安裝方法。如果讀者正在使用Windows操作系統(tǒng)，則需要在Windows系統(tǒng)上安裝Linux虛擬機。首先，在Windows系統(tǒng)上安裝虛擬機軟件VirtualBox4.3.20；然后，在虛擬機軟件VirtualBox上安裝CentOS7操作系統(tǒng)。進行Hadoop偽分布式安裝在Linux環(huán)境下完成偽分布式環(huán)境的搭建，并運行Hadoop自

8、帶的WordCount實例檢測是否運行正常。實驗報告廈門大學(xué)計算機系研究生課程大數(shù)據(jù)技術(shù)原理與應(yīng)用實驗報告題目：姓名日期實驗環(huán)境：實驗內(nèi)容與完成情況：出現(xiàn)的問題：解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）： 附錄1:任課教師介紹林子雨(1978),男,博士,廈門大學(xué)計算機科學(xué)系助理教授,主要研究領(lǐng)域為數(shù)據(jù)庫,實時主動數(shù)據(jù)倉庫,數(shù)據(jù)挖掘.主講課程：大數(shù)據(jù)技術(shù)基礎(chǔ)辦公地點：廈門大學(xué)海韻園科研2號樓E-mail: ziyulin個人主頁：/linziyu數(shù)據(jù)庫實驗室網(wǎng)站：附錄2：課程教材介紹大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲、處理、分析與應(yīng)用，由廈門大學(xué)計算機科學(xué)系教師林子雨博士編著，是中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材。本書定位為大數(shù)據(jù)技術(shù)入門教材，為讀者搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構(gòu)建知識體系、闡明基本原理、引導(dǎo)初級實踐、了解相關(guān)應(yīng)用”為原則，為讀者在大數(shù)據(jù)領(lǐng)域“深耕細作”奠定基礎(chǔ)、指明方向。全書共有13章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù) 庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、流計算、圖計算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排