現(xiàn)場演示與編程過程

云計算可靠性研究組1/35Hadoop現(xiàn)場演示與編程過程朱軍劉鍇傅雷揚安徽農(nóng)業(yè)大學(xué)

云計算可靠性研究組2/35

Linux公社（）于2006年9月25日注冊并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計算可靠性研究組3/35主要內(nèi)容

實驗平臺簡介

Hadoop環(huán)境搭建

MapReduce編程云計算可靠性研究組4/35實驗平臺簡介

采用XenServer分布式部署Hadoop浪潮380D5臺虛擬機（CentOS）采用VirtualBox分布式部署HadoopPC5臺虛擬機（CentOS）云計算可靠性研究組5/35采用XenServer分布式部署Hadoop云計算可靠性研究組6/35采用VirtualBox分布式部署Hadoop云計算可靠性研究組7/35Hadoop環(huán)境搭建Hadoop的三種部署模式Hadoop完全分布式部署HDFS節(jié)點故障演示云計算可靠性研究組8/35Hadoop的三種部署模式1、單機模式2、偽分布式模式3、完全分布式模式云計算可靠性研究組9/35

Linux公社（）于2006年9月25日注冊并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計算可靠性研究組10/35IP/hosts:6 7 8 9 0 Namenode/Jobtracker:Secendnamenode:datanode/tasktracker:

Newdatanode:Hadoop完全分布式部署云計算可靠性研究組11/35完全分布式部署步驟一、安裝配置Java環(huán)境二、配置SSH免密碼登錄三、安裝配置Hadoop云計算可靠性研究組12/35安裝配置JAVA1、安裝jdk bin/jdk-6u27-x64.bin2、修改環(huán)境變量

vim~/.bash_profile JAVA_HOME=/usr/local/jdk1.6.0_27 export$JAVA_HOME $PATH=$PATH:$JAVA_HOME/bin云計算可靠性研究組13/35配置SSH免密碼登錄1、生成密鑰

ssh-keygen-trsa

2、拷貝密鑰

ssh-copy-id-i~/.ssh/id_rsa.pubroot@remotehost云計算可靠性研究組14/35安裝配置Hadoop1、解壓Hadoop2、從src復(fù)制配置文件示例3、修改hadoop-evn.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves云計算可靠性研究組15/35core-site-xml<property>

<name>hadoop.tmp.dir</name>

<value>/home/grid/hadoop/tmp</value>#設(shè)定Hadoop臨時目錄

<description></description>

</property><property>

<name></name>

<value>:9100</value>#設(shè)置文件系統(tǒng)路徑</property></configuration>

<property><name>erval</name>#節(jié)點間心跳檢測間隔時間，默認(rèn)10分鐘<value>1000</value></property>云計算可靠性研究組16/35hdfs-site-xml<property>

<name>dfs.relplication</name>##HDFS的副本數(shù)，默認(rèn)為3，如果DataNode的數(shù)量小于這個值會有問題

<value>2</value>

</property><property><name>dfs.permissions</name>##是否對dfs中的文件進行權(quán)限控制<value>false</value></property>云計算可靠性研究組17/35mapred-site-xml<property>

<name>mapred.job.tracker</name>

<value>:9200</value>##設(shè)置MapReduceJob運行的主機和端口

</property>云計算可靠性研究組18/35masters/slaves配置 masters：指定Secondnamenode的主機名

slaves：指定datanode/tasktracker的主機名 將Hadoop目錄同步到所有節(jié)點服務(wù)器云計算可靠性研究組19/35啟動Hadoop格式化分布式文件系統(tǒng)

bin/hadoopnamenode-format2、關(guān)閉所有節(jié)點的防火墻及Selinux 3、在namenode上執(zhí)行

bin/start-all.sh4、查看進程運行情況

$JAVA_HOME/bin/jps云計算可靠性研究組20/35查看Hadoop運行狀態(tài)HDFS狀態(tài)：

MapReduce狀態(tài):

查看文件系統(tǒng)情況: bin/hadoopdfsadmin-report列出文件系統(tǒng)目錄: bin/hadoopfs-ls:9100/云計算可靠性研究組21/35一、增加HDFS節(jié)點

1、新節(jié)點ip/hosts: 0 2、在新節(jié)點上安裝Hadoop，配置應(yīng)與NameNode一致

3、若永久填加該節(jié)點，可修改masters和slaves文件

4、臨時填加節(jié)點，執(zhí)行命令：

bin/hadoop-daemon.shdatanodestart 5、查看，已變?yōu)?個live節(jié)點二、新增節(jié)點故障演示

1、人為Kill掉新增節(jié)點的datanode進程

2、經(jīng)過心跳檢測時間后，查看頁面，新增節(jié)點消失

HDFS節(jié)點故障演示云計算可靠性研究組22/35

Linux公社（）于2006年9月25日注冊并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計算可靠性研究組23/35MapReduce編程MapReduce編程過程編程實例：矩陣相乘程序調(diào)試和發(fā)布云計算可靠性研究組24/35MapReduce編程過程就是繼承類與實現(xiàn)接口的過程。這些類與接口來自于Hadoop的Map-Reduce框架，由框架控制其執(zhí)行流程。Java多態(tài)性：對象的引用型變量。編程過程的三個階段：輸入階段計算階段輸出階段云計算可靠性研究組25/35MapReduce編程過程云計算可靠性研究組26/35與輸入相關(guān)的幾個抽象類InputFormat

文件分割，讀取。FileInputFormat從文件中讀取數(shù)據(jù)。InputSplits

定義了輸入到單個Map任務(wù)的輸入數(shù)據(jù)。RecordReader

定義了如何從數(shù)據(jù)上轉(zhuǎn)化為一個(key,value)對，從而輸出到Mapper類中。云計算可靠性研究組27/35與計算相關(guān)的幾個抽象類Mapper map()方法處理輸入<K1,V1>，產(chǎn)生輸出<K2,V2>。Reducer reduce()方法處理Map的輸入<K2,list(V2)>，產(chǎn)生輸出<K3,V3>。Combiner

實現(xiàn)Reducer接口，對map()輸出進行規(guī)約。Partitioner

分發(fā)map()輸出給不同的Reduce任務(wù)。云計算可靠性研究組28/35與輸出相關(guān)的幾個抽象類OutputFormat

數(shù)據(jù)輸出。FileOutputFormat輸出到文件。RecordWriter

輸出一個記錄到文件中。 云計算可靠性研究組29/35其它重要類與接口Configuration類 讀取配置文件。如：core-default.xml、core-site.xml等。Job類 配置、提交Job，控制其執(zhí)行，查詢其狀態(tài)。Writable接口 序列化輸入輸出。任何Key,Value都需要實現(xiàn)它。WritableComparable接口 可比較的序列化輸入輸出。任何Key都需要實現(xiàn)它。云計算可靠性研究組30/35編程實例：矩陣相乘編程環(huán)境準(zhǔn)備：安裝配置Java環(huán)境安裝配置Hadoop安裝Eclipse(Version:3.5.2)安裝插件hadoop-0.20.2-eclipse-plugin.jar云計算可靠性研究組31/35實例：矩陣相乘將問題分解成MapReduce作業(yè)X<(1,1),(a11,b11)>、<(1,1),(a12,b21)>、<(1,1),(a13,b31)>KeyValuemap:計算各個Value值（求積）reduce:計算Key相同的所有Value的和（求和）云計算可靠性研究組32/35實例：矩陣相乘輸入階段文件MatrixInputFormatMatrixMatrixInputSplitMatrixInputFormat重要方法：publicintreadFile(JobContextcontext);publicList<InputSplit>getSplits(JobContext context);publicRecordReader<IntPair,IntPair> createRecordReader(InputSplitsplit, TaskAttemptContextcontext)云計算可靠性研究組33/35實例：矩陣相乘計算階段MatrixInputSplitMatrixRecordReader<Key,Value>IntPairMatrixMapperFirstPartitionerMatrixReducer框架調(diào)用關(guān)系：MatrixRecordReader.getCurrentKey(),…

extendsRecordReaderContext.getCurrentKey(),… extendsMapContextMatrixMulti.MatrixMapper.map() extendsMapperMapper.run()TaskTracker(MapTask,ReduceTask)JobTrackerMatrixRecordReader重要方法：publicbooleannextKeyValue();publicIntPairgetCurrentKey();publicIntPairgetCurrentValue();云計算可靠性研究組34/35實例：矩陣相乘輸出階段MatrixReducerMultipleOutputFormatLineRecordWriterMultipleOutputFormat方法及調(diào)用關(guān)系：DataOutputStream.write(intb),…LineRecordWriter.write(Kkey,Vvalue)MultiRecordWriter.write(Kkey,Vvalue);MultipleOutputFormatextendsFileOutputFormat .getRecordWriter(TaskAttemptContextjob);