《Hadoop大數(shù)據(jù)原理與應(yīng)用》實驗指導(dǎo)書

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程

實驗（實訓(xùn)）指導(dǎo)書

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

一、課程基本信息

課程名稱：大數(shù)據(jù)技術(shù)原理及應(yīng)用課程編碼：

課程類別：

口公共必修課程□公共選修課程口數(shù)學(xué)與自然科學(xué)類課程

□工程基礎(chǔ)類課程□專業(yè)基礎(chǔ)類課程團專業(yè)必修課程

□專業(yè)方向課程口專業(yè)選修課程□專業(yè)實踐環(huán)節(jié)

適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技

課程學(xué)分：3學(xué)分計劃課時：48（理論32,實驗16）

術(shù)，計算機科學(xué)與技術(shù)

先修課程：面向?qū)ο蟪绦蛟O(shè)計、Python語言程序設(shè)計、操作系統(tǒng)、數(shù)據(jù)庫原理

后繼課程：數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)存儲與管理技術(shù)、數(shù)據(jù)挖掘、大數(shù)據(jù)開發(fā)技術(shù)、大

數(shù)據(jù)高級編程、數(shù)據(jù)可視化技術(shù)

制定人：徐魯輝審核人：批準(zhǔn)人：

二、課程任務(wù)、目的

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》圍繞“構(gòu)建知識體系、闡明基本原理、引導(dǎo)初級實踐、了解

相關(guān)應(yīng)用”的指導(dǎo)思想，著重講述大數(shù)據(jù)技術(shù)的基本原理、基本方法、技術(shù)工具和相關(guān)應(yīng)用，

幫助學(xué)生構(gòu)建完整的大數(shù)據(jù)技術(shù)知識體系，使學(xué)生了解大數(shù)據(jù)技術(shù)在行業(yè)領(lǐng)域中的最新發(fā)展

趨勢和前沿知識，熟悉大數(shù)據(jù)應(yīng)用的整個生命周期，能夠熟練使用Hadoop、Spark等主流大

數(shù)據(jù)平臺及其生態(tài)系統(tǒng)中的技術(shù)工具完成基本的大數(shù)據(jù)應(yīng)用閉環(huán)操作，達到知行合一、以用

促學(xué)的目的。

知識目標(biāo)：

1.理解大數(shù)據(jù)基本概念，了解大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)、人工智能的關(guān)系，了解當(dāng)前大

數(shù)據(jù)的崗位及需求、學(xué)習(xí)路線：

2.認識大數(shù)據(jù)處理平臺Hadoop,熟練掌握全分布模式Hadoop集群的部署基本過程；

3.理解分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲機制和數(shù)據(jù)讀寫過程，熟練掌握

HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS編程；

4.理解分布式計算框架MapReduce的編程思想和作業(yè)執(zhí)行流程，掌握MapReduce簡單

編程，了解當(dāng)前其他主流的大數(shù)據(jù)計算框架如Spark、Storm；

5.理解YARN體系架構(gòu)和工作原理，掌握YARNWebUhYARNShell的基本使用，了解

ResourceManager高可用機制的原理與配置，了解HDFSNameNode高可用機制、HDFS

NameNodeFederation>HDFSSnapshots；

6.理解分布式協(xié)調(diào)框架ZooKeeper的執(zhí)行原理和應(yīng)用場景，掌握ZooKeeper集群的部

署和ZooKeeperShell常用命令的使用；

7.理解NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的區(qū)別、分布式數(shù)據(jù)庫HBase的數(shù)據(jù)模型、體系架

構(gòu)和運行機制，熟練掌握HBase集群的部署、HBaseShell常用命令的使用；

8.理解Hive的體系架構(gòu)和執(zhí)行流程，掌握Hive的部署和連接方式，熟練掌握Hive基

本操作包括HiveDDL>HiveDML的書寫和HiveShell命令的使用;

9.理解數(shù)據(jù)遷移框架Sqoop、日志采集系統(tǒng)Flume、分布式發(fā)布/訂閱消息系統(tǒng)Kafka的

作用、架構(gòu)和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；

10.了解數(shù)據(jù)可視化的概念、作用和過程，理解常用的數(shù)據(jù)可視化圖形，了解當(dāng)前主流

的數(shù)據(jù)可視化工具。

能力目標(biāo)：培養(yǎng)學(xué)生學(xué)以致用，能夠綜合利用Hadoop大數(shù)據(jù)平臺及其生態(tài)中各個工具

解決實際大數(shù)據(jù)應(yīng)用方面的基本問題，提高學(xué)生閱讀外文科技文獻能力，增強學(xué)生發(fā)現(xiàn)問題、

分析問題、解決問題能力，與學(xué)科競賽和項目緊密結(jié)合，穩(wěn)步培養(yǎng)和提高學(xué)生的動手實踐能

力、自主創(chuàng)新能力、團隊協(xié)作能力、寫作表達能力。

情感目標(biāo)：通過對我國大數(shù)據(jù)技術(shù)、傳統(tǒng)優(yōu)秀文化的介紹，增強學(xué)生的民族自豪感，提

升學(xué)生的愛國主義精神，增強文化自信；將專業(yè)知識與服務(wù)社會相結(jié)合，培養(yǎng)學(xué)生的社會責(zé)

任感，樹立正確三觀，使學(xué)生更為深刻的理解專業(yè)內(nèi)涵，提高學(xué)習(xí)內(nèi)驅(qū)力，培養(yǎng)科學(xué)素養(yǎng)，

內(nèi)化為道德準(zhǔn)則、科學(xué)思維和行為規(guī)范。

三、實驗項目內(nèi)容與學(xué)時分配

序?qū)嶒瀸嶒?/p>

實驗名稱實驗內(nèi)容學(xué)時

號類型要求

1.規(guī)劃部署。

2.準(zhǔn)備機器。

3.準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改

主機名；編輯域名映射；安裝和配置

實驗1部署全分Java；安裝和配置SSH免密登錄。

1布模式Hadoop集4.獲取和安裝Hadoop。2綜合型必修

群5.配置全分布模式Hadoop集群。

6.關(guān)閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動和驗證Hadoopo

9.關(guān)閉Hadoop,,

1.啟動全分布模式Hadoop集群，守

護進程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager、NodeManager和

JobHistoryServer?

2.查看HDFSWeb界面。

3.練習(xí)HDFSShell文件系統(tǒng)命令和系

統(tǒng)管理命令。

4.在Hadoop集群主節(jié)點上搭建

2實驗2實戰(zhàn)HDFS2設(shè)計型必修

HDFS開發(fā)環(huán)境Eclipseo

5.使用HDFSJavaAPI編寫HDFS文件

操作程序,實現(xiàn)上傳本地文件到HDFS

的功能，采用本地執(zhí)行和集群執(zhí)行的

兩種執(zhí)行方式測試，觀察結(jié)果。

6.使用HDFSJavaAPI編寫HDFS文件

操作程序,實現(xiàn)查看上傳文件在HDFS

集群中位置的功能，采用本地執(zhí)行和

集群執(zhí)行的兩種執(zhí)行方式測試，觀察

結(jié)果“

7.關(guān)閉全分布模式Hadoop集群。

1.啟動全分布模式Hadoop集群，守

護進程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager^NodeManager和

JobHistoryServero

2.在Hadoop集群主節(jié)點上搭建

MapReduce開發(fā)環(huán)境Eclipse。

3.查看Hadoop自帶的MR-App單詞

計數(shù)源代碼WordCount.java,在

Eclipse項目MapReduceExample下建

實驗3立新包com.xijing.mapreduce,模仿內(nèi)

32設(shè)計型必修

MapReduce編程(1)置的WordCount示例，自己編寫一個

WordCount程序，最后打包成JAR形

式并在Hadoop集群上運行該MR-

App,查看運行結(jié)果。

4.分別在自編MapReduce程序

WordCount運行過程中和運行結(jié)束

后查看MapReduceWebUI界面。

5.分別在自編MapReduce程序

WordCount運行過程中和運行結(jié)束

后練習(xí)MapReduceShell常用命令。

6.關(guān)閉Hadoop集群。

1.啟動全分布模式Hadoop集群，守

護進程包括NameNode>DataNode、

實驗4

4SecondaryNameNode、2設(shè)計型必修

MapReduce編程(2)

ResourceManager>NodeManager和

JobHistoryServero

2.在Eclipse項目MapReduceExample

下建立新包com.xijing.mapreduce,編

寫MapReduce程序，已知某個超市的

結(jié)算記錄，從左往右各字段的含義依

次是會員編號、結(jié)算時間、消費金額

和用戶身份，要求計算出會員和非會

員的平均消費金額。最后打包成JAR

形式并在Hadoop集群上運行該MR-

App,查看運行結(jié)果。

3.分別在自編MapReduce程序運行

過程中和運行結(jié)束后查看YARNWeb

UI界面。

4.分別在自編MapReduce程序運行

過程中和運行結(jié)束后練習(xí)YARNShell

常用命令。

5.關(guān)閉Hadoop集群。

1.規(guī)劃ZooKeeper集群。

2.部署ZooKeeper集群。

實驗5部署3.啟動ZooKeeper集群。

5ZooKeeper集群和4.驗證ZooKeeper集群。2綜合型必修

實戰(zhàn)ZooKeeper5.使用ZooKeeper四字命令。

6.使用ZooKeeperShell常用命令。

7.關(guān)閉ZooKeeper集群。

1.規(guī)劃全分布模式HBase集群。

2.部署全分布模式HBase集群。

實驗6部署全分

3.啟動全分布模式HBase集群。

6布模式HBase集群2綜合型必修

4.驗證全分布模式HBase集群。

和實戰(zhàn)HBase

5.使用HBaseWebUL

6.使用HBaseShell常用命令。

7.關(guān)閉全分布模式HBase集群。

1.規(guī)劃Hive。

2.部署本地模式Hive。

實驗7部署本地3.啟動Hive。

7模式Hive和實戰(zhàn)4.驗證Hive。2綜合型必修

Hive5.配置和使用HiveWebUI?

6.使用HiveShell常用命令。

7.關(guān)閉Hive。

1.規(guī)劃安裝。

2.安裝和配置Sqoop。

3.驗證Sqoop。

8實驗8實戰(zhàn)Sqoop4.使用SqoopShell完成數(shù)據(jù)從關(guān)系2綜合型必修

數(shù)據(jù)庫(Oracle、MySQL、PostgreSQL

等)到Hadoop(HDFS/Hive/HBase)

的導(dǎo)入和導(dǎo)出。

合計學(xué)時16

說明：

1.實驗設(shè)置要注意內(nèi)容更新，體系設(shè)計科學(xué)合理，實驗項目名稱要準(zhǔn)確規(guī)范。

2.實驗要求為：必修、選修。

3.實驗類型為：演示型、驗證型、綜合型、設(shè)計型。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

目錄

一'課程基本信息...................................................II

二'課程任務(wù)、目的.................................................II

三、實驗項目內(nèi)容與學(xué)時分配........................................Ill

實驗1部署全分布模式Hadoop集群...................................1

一'實驗?zāi)康?...................................................1

二、實驗環(huán)境....................................................2

三'實驗內(nèi)容...................................................2

四、實驗原理....................................................2

（一）Linux基本命令.........................................2

（―）vim編輯器.............................................6

（三）Java基本命令..........................................7

（四）SSH安全通信協(xié)議.......................................8

（五）Hadoop.................................................9

五、實驗步驟...................................................13

（-）規(guī)劃部署..............................................13

（-）準(zhǔn)備機器..............................................16

（三）準(zhǔn)備軟件環(huán)境..........................................17

（四）獲取和安裝Hadoop.....................................27

（五）配置全分布模式Hadoop集群.............................28

（六）關(guān)閉防火墻............................................38

（七）格式化文件系統(tǒng)........................................39

（八）啟動和驗證Hadoop.....................................40

（九）關(guān)閉Hadoop...........................................53

六、實驗報告要求...............................................54

七、拓展訓(xùn)練——部署偽分布模式Hadoop集群......................55

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

（-）部署偽分布模式Hadoop集群之規(guī)劃部署...................55

（二）部署偽分布模式Hadoop集群之準(zhǔn)備機器...................55

（三）部署偽分布模式Hadoop集群之準(zhǔn)備軟件環(huán)境...............56

（四）部署偽分布模式Hadoop集群之獲取和安裝Hadoop..........60

（五）部署偽分布模式Hadoop集群之配置Hadoop................60

（六）格式化文件系統(tǒng)........................................63

（七）啟動和驗證偽分布模式Hadoop集群.......................64

（八）關(guān)閉偽分布模式Hadoop集群.............................71

思考與練習(xí)題................................................72

參考文獻....................................................72

實驗2實戰(zhàn)HDFS...................................................74

一、實驗?zāi)康?..................................................74

二、實驗環(huán)境...................................................75

三、實驗內(nèi)容...................................................75

四、實驗原理...................................................75

（―）初識HDFS.............................................75

（二）HDFS體系架構(gòu).........................................76

（三）HDFS文件存儲原理.....................................78

（四）HDFS接口.............................................84

五、實驗步驟...................................................91

（―）啟動Hadoop集群.......................................91

（二）使用HDFSShell.......................................92

（三）使用HDFSWebUI......................................94

（四）搭建HDFS開發(fā)環(huán)境EcIipse.............................96

（五）使用HDFSJavaAPI編程..............................97

（六）關(guān)閉Hadoop集群......................................115

六'實驗報告要求..............................................115

七'拓展訓(xùn)練——搭建HDFSNameNodeHA..........................115

思考與練習(xí)題..................................................121

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

參考文獻......................................................121

實驗3MapReduce編程（1）..........................................123

一、實驗?zāi)康?.................................................123

二、實驗環(huán)境..................................................123

三'實驗內(nèi)容.................................................124

四、實驗原理..................................................124

（一）MapReduce編程思想...................................124

（二）MapReduce作業(yè)執(zhí)行流程...............................126

（三）MapReduceWebUI.....................................128

（四）MapReduceSheI1......................................128

（五）MapReduceJavaAPI..................................130

五、實驗步驟..................................................132

（―）啟動Hadoop集群......................................132

（二）搭建MapReduce開發(fā)環(huán)境EcIipse.....................132

（三）編寫并運行MapReduce程序WordCount..................132

（四）練習(xí)使用MapReduceShell命令.........................148

（五）練習(xí)使用MapReduceWebUI界面.......................149

（六）關(guān)閉Hadoop集群......................................150

六'實驗報告要求..............................................150

思考與練習(xí)題..................................................150

參考文獻......................................................151

實驗4MapReduce編程⑵.........................................152

一、實驗?zāi)康?.................................................152

二、實驗環(huán)境..................................................152

三'實驗內(nèi)容.................................................153

四、實驗原理..................................................153

（―）YARN簡介...........................................153

（二）YARN體系架構(gòu)........................................155

（三）YARNWebUI..........................................157

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

（四）YARNShell...........................................158

（五）YARNJavaAPI編程...................................160

五、實驗步驟..................................................161

（―）啟動Hadoop集群......................................161

（二）編寫并運行MapReduce程序.............................162

（三）練習(xí)使用YARNShelI命令..............................169

（四）練習(xí)使用YARNWebUI界面.............................169

（五）關(guān)閉Hadoop集群......................................170

六、實驗報告要求..............................................170

思考與練習(xí)題..................................................170

參考文獻......................................................171

實驗5部署ZooKeeper集群和實戰(zhàn)ZooKeeper..........錯誤!未定義書簽。

一、實驗?zāi)康?...................................錯誤!未定義書簽。

二、實驗環(huán)境...................................錯誤!未定義書簽。

三、實驗內(nèi)容....................................錯誤!未定義書簽。

四、實驗原理....................................錯誤!未定義書簽。

（-）ZooKeeper系統(tǒng)模型.....................錯誤!未定義書簽。

（-）ZooKeeper工作原理....................錯誤!未定義書簽。

（三）部署ZooKeeper.........................錯誤!未定義書簽。

（四）ZooKeeper四字命令.....................錯誤!未定義書簽。

（五）ZooKeeperSheII.......................錯誤!未定義書簽。

（六）ZooKeeperJavaAPI....................錯誤!未定義書簽。

五、實驗步驟...................................錯誤!未定義書簽。

（-）規(guī)劃ZooKeeper集群.....................錯誤!未定義書簽。

（二）部署ZooKeeper集群.....................錯誤!未定義書簽。

（三）啟動ZooKeeper集群....................錯誤!未定義書簽。

（四）驗證ZooKeeper集群....................錯誤!未定義書簽。

（五）使用ZooKeeper四字命令................錯誤!未定義書簽。

（六）使用ZooKeeperShell常用命令..........錯誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

（七）關(guān)閉ZooKeeper集群.....................錯誤!未定義書簽。

六'實驗報告要求...............................錯誤!未定義書簽。

七、拓展訓(xùn)練...................................錯誤!未定義書簽。

（―）搭建ZooKeeper開發(fā)環(huán)境Eelipse........錯誤!未定義書簽。

（二）ZooKeeper編程實踐：ZooKeeper文件系統(tǒng)的增刪改查錯誤！未定

義書簽。

（三）ZooKeeper編程實踐：循環(huán)監(jiān)聽...........錯誤!未定義書簽。

思考與練習(xí)題...................................錯誤!未定義書簽。

參考文獻........................................錯誤!未定義書簽。

實驗6部署全分布模式HBase集群和實戰(zhàn)HBase........錯誤!未定義書簽。

一'實驗?zāi)康?..................................錯誤!未定義書簽。

二、實驗環(huán)境...................................錯誤!未定義書簽。

三、實驗內(nèi)容....................................錯誤!未定義書簽。

四、實驗原理...................................錯誤!未定義書簽。

（-）初識HBase.............................錯誤!未定義書簽。

（二）HBase數(shù)據(jù)模型.........................錯誤!未定義書簽。

（三）HBase體系架構(gòu).........................錯誤!未定義書簽。

（四）部署HBase............................錯誤!未定義書簽。

（五）HBase接口.............................錯誤!未定義書簽。

五、實驗步驟....................................錯誤!未定義書簽。

（-）規(guī)劃全分布模式HBase集群...............錯誤!未定義書簽。

（二）部署全分布模式HBase集群..............錯誤!未定義書簽。

（三）啟動全分布模式HBase集群..............錯誤!未定義書簽。

（四）驗證全分布模式HBase集群...............錯誤!未定義書簽。

（五）使用HBaseShell和HBaseWebUI.......錯誤!未定義書簽。

（六）關(guān)閉全分布模式HBase集群..............錯誤!未定義書簽。

六'實驗報告要求...............................錯誤!未定義書簽。

七、拓展訓(xùn)練...................................錯誤!未定義書簽。

（―）搭建HBase開發(fā)環(huán)境Eelipse............錯誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

（-）HBase編程實踐：HBase表的增刪改........錯誤!未定義書簽。

思考與練習(xí)題...................................錯誤!未定義書簽。

參考文獻.......................................錯誤!未定義書簽。

實驗7部署本地模式Hive和實戰(zhàn)Hive................錯誤!未定義書簽。

一、實驗?zāi)康?...................................錯誤!未定義書簽。

二、實驗環(huán)境...................................錯誤!未定義書簽。

三、實驗內(nèi)容....................................錯誤!未定義書簽。

四、實驗原理...................................錯誤!未定義書簽。

（-）初識Hive..............................錯誤!未定義書簽。

（-）Hive體系架構(gòu)..........................錯誤!未定義書簽。

（三）Hive數(shù)據(jù)類型..........................錯誤!未定義書簽。

（四）Hive文件格式.........................錯誤!未定義書簽。

（五）Hive數(shù)據(jù)模型..........................錯誤!未定義書簽。

（六）Hive函數(shù)..............................錯誤!未定義書簽。

（七）部署Hive..............................錯誤!未定義書簽。

（八）Hive接口..............................錯誤!未定義書簽。

五'實驗步驟....................................錯誤!未定義書簽。

（一）規(guī)劃Hive..............................錯誤!未定義書簽。

（二）部署本地模式Hive......................錯誤!未定義書簽。

（三）驗證Hive..............................錯誤!未定義書簽。

（四）使用HiveShell........................錯誤!未定義書簽。

六'實驗報告要求...............................錯誤!未定義書簽。

七、拓展訓(xùn)練...................................錯誤!未定義書簽。

（―）搭建HBase開發(fā)環(huán)境Eelipse.............錯誤!未定義書簽。

（二）Hive編程實踐：操縱Hive數(shù)據(jù)庫和表...一錯誤!未定義書簽。

思考與練習(xí)題...................................錯誤!未定義書簽。

參考文獻.......................................錯誤!未定義書簽。

實驗8實戰(zhàn)Sqoop..................................錯誤!未定義書簽。

一、實驗?zāi)康?..................................錯誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實驗指導(dǎo)書

二、實驗環(huán)境...................................錯誤!未定義書簽。

三、實驗內(nèi)容...................................錯誤!未定義書簽。

四、實驗原理...................................錯誤!未定義書簽。

（―）初識Sqoop............................錯誤!未定義書簽。

（二）Sqoop體系架構(gòu).........................錯誤!未定義書簽。

（三）安裝Sqoop............................錯誤!未定義書簽。

（四）SqoopShelI............................錯誤!未定義書簽。

（五）SqoopAPI..............................錯誤!未定義書簽。

（五）實驗步驟..................................錯誤!未定義書簽。

（-）規(guī)劃安裝..............................錯誤!未定義書簽。

（二）安裝和配置Sqoop......................錯誤!未定義書簽。

（三）驗證Sqoop............................錯誤!未定義書簽。

（四）使用SqoopSheII.......................錯誤!未定義書簽。

思考與練習(xí)題...................................錯誤!未定義書簽。

參考文獻.......................................錯誤!未定義書簽。

附件：實驗報告樣式及評分標(biāo)準(zhǔn).......................錯誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實驗指導(dǎo)書實驗1部署全分布模式Hadoop集群

實驗1部署全分布模式Had。叩集群

本實驗的知識地圖如圖1-1所示（?表示重點?表示難點）。

1.熟維拿握Linux基本命令

2.解象?握Java基本命令

，先修技能，3.理解SSH安全通信協(xié)議

4.理解Hadoop基礎(chǔ)知識：運行環(huán)境、運行模式、生態(tài)系統(tǒng)、體系

架構(gòu)'配M文件等

桀群架構(gòu)規(guī)劃：主節(jié)點、從節(jié)點、1團坦址、運行服務(wù)、軟硬件配置

1.砌曲-----------------------------------------------------------

------------軟件選擇：虛擬機工具、Linux捍作口統(tǒng)、Java、SSH、Hadoop

2.準(zhǔn)備機器

配酋靜態(tài)IP

修改主機€

3.準(zhǔn)省軟件環(huán)境，編巖域名映射

,安裝和配意Java

/安裝和配置SSH免密登錄

4下我和安裝Hadoop

新建hadoop.sh:添j?HADOOP_HOME到系統(tǒng)變量PATH

SBHhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIRW

figmapred-env.sh:JAVAHOME,

HADOOP.MAPRED.PID.DIR^

配JSyarnenv.sh:JAVA_HOME.YARN_PID_DIR^

gyicofe-$ite.xml：fs.defaultFS,io.file.buffer.size,

*5.配工全分布慢式Hadoop集群hadoop.tmp.d懵

部署全分布模式實驗步驟|

fiBBhdfs-sitejtml:.dir,

Hadoop集群dfs.datanode.data.dir,node.checkpointdir,

dfs.replication等

配BSmapred-site/ml:mapreduce.framework.nam礴

配置yam-site.xml:yarn.re$ourcemanager.hostname.

yam.nodemanager.aux-services等

Sfislaves

6.關(guān)閉防火墻

7.格式化文件系統(tǒng)

start-dfs.sh

start-yam.sh

啟動Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.啟動和驗證Hadoop方法1：jps查看進程

甄證Hadoop;方法2:WebUI百看界面

方法3:向Hadoop集群提交MapReduce應(yīng)用?J?!WordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.關(guān)閉Hadoopstop-dfs.sh

*BL點：配告全分布-Hadoop集群

實驗重點難點;廣疑點：配宜SSH免密登錄

部著偽分布梗式Hadoop集群

拓展訓(xùn)練

圖1-1實驗1部署全分布模式Hadoop集群知識地圖

一、實驗?zāi)康?/p>

1.熟練掌握Linux基本命令。

2.掌握靜態(tài)IP地址的配置、主機名和域名映射的修改。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實驗指導(dǎo)書實驗1部署全分布模式Hadoop集群

3.掌握Linux環(huán)境下Java的安裝、環(huán)境變量的配置、Java基本命令的使用。

4.理解為何需要配置SSH免密登錄，掌握Linux環(huán)境下SSH的安裝、免密登錄的配置。

5.熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。

二、實驗環(huán)境

本實驗所需的軟硬件環(huán)境包括PC、VMwareWorkstationPro>CentOS安裝包、OracleJDK

安裝包、Hadoop安裝包。

三、實驗內(nèi)容

1.規(guī)劃部署。

2.準(zhǔn)備機器。

3.準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改主機名；編輯域名映射；安裝和配置Java；安裝和

配置SSH免密登錄。

4.獲取和安裝Hadoopo

5.配置全分布模式Hadoop集群。

6.關(guān)閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動和驗證Hadoop。

9.關(guān)閉Hadoopo

四'實驗原理

（一）Linux基本命令

Linux是一套免費使用和自由傳播的類Unix操作系統(tǒng)，是一個基于POSIX和UNIX的多

用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。它能運行主要的UNIX工具軟件、應(yīng)用程

序和網(wǎng)絡(luò)協(xié)議，它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計思想，是

一個性能穩(wěn)定的多用戶網(wǎng)絡(luò)操作系統(tǒng)。

Linux操作系統(tǒng)誕生于1991年10月5日。Linux存在著許多不同的版本，但它們都使用

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實驗指導(dǎo)書實驗1部署全分布模式Hadoop集群

了Linux內(nèi)核。Linux可安裝在各種計算機硬件設(shè)備中，比如手機、平板電腦、路由器、視頻

游戲控制臺、臺式計算機、大型機和超級計算機。

嚴格來講，Linux這個詞本身只表示Linux內(nèi)核，但實際上人們已經(jīng)習(xí)慣用Linux來形容

整個基于Linux內(nèi)核且使用GNU工程各種工具和數(shù)據(jù)庫的操作系統(tǒng)。

此處將介紹實驗中涉及到的一些Linux操作系統(tǒng)的基本命令。

1）查看當(dāng)前目錄

pwd命令用于顯示當(dāng)前目錄，效果如下所示。

[xuluhui@localhost~]$pwd

/home/xuluhui

2）切換目錄

cd命令用來切換目錄，效果如下所示。

[xuluhui@localhost~]$cd/usr/local

[xuluhui@localhostlocal]$pwd

/usr/local

3）羅列文件

Is命令用于查看文件與目錄，效果如下所示。

[xuluhui@localhost~]$Is

DesktopDocumentsDownloadsMusicPicturesPublicTemplatesVideos

4）創(chuàng)建目錄

mkdir命令用于創(chuàng)建目錄，效果如下所示。

[xuluhui@localho