《云計算(第二版)》教材配套課件13-第六章-Hadoop：Google云計算的開源實現(xiàn)2

電子工業(yè)出版社《云計算(第二版)》配套課件解放軍理工大學教授主編華東交通大學制作第6章Hadoop：Google云計算的開源實現(xiàn)

《云計算（第二版）》購買網(wǎng)址：當當網(wǎng)

京東商城姊妹力作《實戰(zhàn)Hadoop》購買網(wǎng)址：當當網(wǎng)

京東商城提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

在Linux系統(tǒng)中安裝Hadoop

1．安裝環(huán)境配置1）安裝Linux虛擬機安裝軟件VMwareWorkstationv7.1.3

2）安裝SSH$sudoapt-getinstallssh3）安裝Java$cd/usr/java/$/mnt/hgfs/share/jdk-6u24-linux-i586.bin4）解壓Hadoop安裝包$tar–zxvf/mnt/hgfs/share/hadoop-0.20.2.tar.gz5）編輯conf/hadoop-env.sh文件$viconf/hadoop-env.sh2．安裝步驟

1）單機模式默認情況下，Hadoop被配置成一個以非分布式模式運行的獨立Java進程，適合開始時做調(diào)試工作WordCount實例

$mkdirinput$cdinput$echo"helloworld">test1.txt$echo"hellohadoop">test2.txt$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinputoutput

查看執(zhí)行結(jié)果$catoutput/*在Linux系統(tǒng)中安裝Hadoop

2．安裝步驟

2）偽分布式模式用不同的Java進程模擬分布式運行中各類節(jié)點（1）Hadoop配置在Linux系統(tǒng)中安裝Hadoop

core-site.xml配置文檔hdfs-site.xml配置文檔mapred-site.xml配置文檔

（2）免密碼SSH設(shè)置生成密鑰對$ssh-keygen-trsa一直按【Enter】鍵，按照默認的選項將生成的密鑰對保存在.ssh/id_rsa文件中進入.ssh目錄$cpid_rsa.pubauthorized_keys

執(zhí)行$sshlocalhost，可以實現(xiàn)用SSH連接并且不需要輸入密碼在Linux系統(tǒng)中安裝Hadoop

將密鑰對保存在.ssh/id.rsa文件中

在Linux系統(tǒng)中安裝Hadoop

（3）Hadoop運行（a）格式化分布式文件系統(tǒng)$bin/hadoopnamenode–format（b）啟動Hadoop守護進程$bin/start-all.sh成功執(zhí)行后將會在本機上啟動NameNode、DataNode、JobTracker、TaskTracker和SecondaryNameNode5個新的Java進程（c）運行WordCount實例

$bin/hadoopdfs–copyFromLocalinputin$bin/hadoopjarhadoop-mapred-examples-0.20.2.jarwordcountinout

查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理的結(jié)果

$bin/hadoopdfs-catout/*

把輸出文件從Hadoop分布式文件系統(tǒng)復制到本地文件系統(tǒng)查看

$bin/hadoopdfs-getoutoutput$catoutput/*（d）停止Hadoop守護進程。最后需要停止Hadoop守護進程$bin/stop-all.sh3）完全分布式模式（1）配置NameNode和DataNode（2）在所有的機器上建立相同的用戶grid

$useradd-mgrid$passwdgrid

（3）SSH配置在所有機器上建立.ssh目錄$mkdir.ssh在ubuntunamenode上生成密鑰對$ssh-keygen-trsa在Linux系統(tǒng)中安裝Hadoop

配置ubuntunamenode的/etc/hosts

ubuntudata1和ubuntudata2的hosts配置

在Linux系統(tǒng)中安裝Hadoop

（3）SSH配置然后一直按【Enter】鍵，就會按照默認的選項將生成的密鑰對保存在.ssh/id_rsa文件中$cd~/.ssh$cpid_rsa.pubauthorized_keys$scpauthorized_keysubuntudata1:/home/grid/.ssh$scpauthorized_keysubuntudata2:/home/grid/.ssh最后進入所有機器的.ssh目錄，改變authorized_keys文件的許可權(quán)限$chmod644authorized_keys（4）在所有機器上配置Hadoop在ubuntunamenode上配置（a）編輯core-site.xml、hdfs-site.xml和mapred-site.xml（b）編輯conf/masters，修改為master的主機名，每個主機名一行，此外即為ubuntunamenode（c）編輯conf/slaves，加入所有slaves的主機名，即ubuntudata1和ubuntudata2（d）把Hadoop安裝文件復制到其他機器上$scp–rhadoop-0.20.2ubuntudata1:/home/grid$scp–rhadoop-0.20.2ubuntudata2:/home/grid（e）編輯所有機器的conf/hadoop-env.sh文件在Linux系統(tǒng)中安裝Hadoop

（5）Hadoop運行格式化分布式文件系統(tǒng)$bin/hadoop

namenode

-format啟動Hadoop守護進程$bin/start-all.sh$/usr/java/jdk1.6.0_24/bin/jps

格式化分布式文件系統(tǒng)

啟動Hadoop守護進程在Linux系統(tǒng)中安裝Hadoop

用戶也可以根據(jù)自己的需要來執(zhí)行如下命令（a）start-all.sh：啟動所有的Hadoop守護進程，包括NameNode、DataNode、JobTracker和Tasktrack（b）stop-all.sh：停止所有的Hadoop守護進程（c）start-mapred.sh：啟動Map/Reduce守護進程，包括JobTracker和Tasktrack（d）stop-mapred.sh：停止Map/Reduce守護進程（e）start-dfs.sh：啟動HadoopDFS守護進程，包括NameNode和DataNode（f）stop-dfs.sh：停止DFS守護進程修改C:\WINDOWS\system32\drivers\etc\hosts文件，加入三臺虛擬機的IP地址及其對應的主機名，即： localhost36ubuntunamenode40ubuntudata141ubuntudata2在Linux系統(tǒng)中安裝Hadoop

NameNode運行狀態(tài)在Linux系統(tǒng)中安裝Hadoop

JobTracker運行狀態(tài)

在Linux系統(tǒng)中安裝Hadoop

（g）運行WordCount實例$bin/hadoopdfs–putinputin$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinout查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理結(jié)果$bin/hadoopdfs-catout/*從Hadoop分布式文件系統(tǒng)復制到本地文件系統(tǒng)查看$bin/hadoopdfs-getoutoutput$catoutput/*（h）停止Hadoop守護進程$bin/stop-all.sh在Linux系統(tǒng)中安裝Hadoop

運行WordCount實例

查看數(shù)據(jù)處理結(jié)果停止Hadoop守護進程運行結(jié)果

在Windows系統(tǒng)中安裝Hadoop

1．安裝環(huán)境配置1）下載安裝Cygwin編輯系統(tǒng)變量，新建系統(tǒng)變量CYGWIN，變量值為ntsectty，如圖6-19所示。編輯系統(tǒng)變量里的Path變量，加入C:\cygwin\bin

2）安裝Java默認的安裝目錄為C:\ProgramFiles\Java\jdk1.6.0_13新建系統(tǒng)變量JAVA_HOME編輯系統(tǒng)變量里的Path變量，加入%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin新建系統(tǒng)變量CLASSPATH，值為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar2.安裝步驟1）單機模式默認的解壓縮目錄為用戶的根目錄，即C:\cygwin\home\Administrator。編輯conf/hadoop-env.sh文件，將JAVA_HOME變量設(shè)置為JAVA安裝的根目錄。例如JAVA安裝在目錄C:\ProgramFiles\Java\jdk1.6.0_13在Windows系統(tǒng)中安裝Hadoop

配置完之后即可運行WordCount實例file1.txt:helloworldhellohadoopfile2.txt:byehadoop運行實例，并將結(jié)果輸出到指定的output目錄（執(zhí)行之前output目錄必須為空，或者不存在這個目錄，否則會出錯）$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput2）偽分布式模式（1）編輯文件conf/core-site.xml和mapred-site.xml（2）安裝配置SSH啟動cygwin$ssh-host-config當詢問“Shouldprivilegeseparationbeused?”時，輸入no當詢問“Doyouwanttoinstallsshdasaservice?”，選擇yes，把sshd作為一項服務安裝當提示“EnterthevalueofCYGWINforthedaemon:[ntsec]”時，選擇ntsec輸入命令$netstartsshd，啟動SSH或通過服務啟動CYGWINsshd在Windows系統(tǒng)中安裝Hadoop

執(zhí)行$ssh-keygen來生成密鑰對，然后一直按【Enter】鍵，就會按照默認的選項將生成的密鑰對保存在.ssh目錄下。將RSA公鑰加入到公鑰授權(quán)文件authorized_keys中$cd.ssh$catid_rsa.pub>>authorized_keys（3）Hadoop運行（a）格式化分布式文件系統(tǒng)$bin/hadoopNameNode–format（b）啟動Hadoop守護進程$bin/start-all.sh（c）運行WordCount實例$bin/hadoopdfs–putinputin$bin/hadoopjarhadoop-0.20.2-examples.jarwordcountinout查看Hadoop分布式文件系統(tǒng)上數(shù)據(jù)處理的結(jié)果$bin/hadoopdfs-catout/*從Hadoop分布式文件系統(tǒng)復制到本地文件系統(tǒng)查看$bin/hadoopdfs-getoutoutput$catoutput/*（d）停止Hadoop守護進程$bin/stop-all.sh在Windows系統(tǒng)中安裝Hadoop

3）完全分布式模式

（1）修改相應文件修改所有機器的C:\WINDOWS\system32\drivers\etc\hosts文件，加入各機器IP地址及其對應的主機名，即： localhost54 centos25453centos25352centos252（2）在所有機器上建立相同的賬戶stony（3）在所有機器上進行SSH配置執(zhí)行$ssh-keygen來生成密鑰對。然后一直按【Enter】鍵，就會按照默認的選項生成密鑰對，并保存在.ssh/id_rsa文件中。執(zhí)行下面的命令將RSA公鑰加入到公鑰授權(quán)文件authorized_keys中：$cd~/.ssh$catid_rsa.pub>>authorized_keys在centos254上執(zhí)行$cd~/.ssh$scpauthorized_keysstony@cenos253:/home/stony/.ssh$scpauthorized_keysstony@cenos252:/home/stony/.ssh在Windows系統(tǒng)中安裝Hadoop

分別進入centos253、centos252和centos251的.ssh目錄，改變authorized_keys文件的許可權(quán)限$chmod644authorized_keys（4）在所有機器上配置Hadoop在centos254上配置$tar-zxvf/cygdrive/d//hadoop-0.20.2.tar.gz$mvhadoop-0.20.2hadoop編輯conf/core-site.xml編輯conf/mapred-site.xml編輯conf/hdfs-site.xml

在Windows系統(tǒng)中安裝Hadoop

編輯conf/master，修改為master的主機名，每個ip一行，在這里就是54。編輯conf/slaves，加入所有slaves的主機名，即53和52。把hadoop復制到其他機器，命令如下：$scp~/hadoopstony@centos253:/home/stony/$scp~/hadoopstony@centos252:/home/stony/編輯所有機器的conf/hadoop-env.sh文件，將JAVA_HOME變量設(shè)置為JAVA安裝的根目錄，不同機器可以使用不同的JAVA版本，但需要jdk1.5版本以上在Windows系統(tǒng)中安裝Hadoop

（5）Hadoop運行格式化分布式文件系統(tǒng)。在centos254上執(zhí)行如下的命令：$bin/hadoop

namenode

-format啟動Hadoop守護進程$bin/start-all.sh同樣的，訪問h