Hadoop安裝部署

1、（Java私塾）Hadoop安裝部署本節(jié)課程概覽Hadoop 在windows 上偽分布式的安裝過(guò)程 Hadoop 在linux  上單節(jié)點(diǎn)偽分布式的安裝過(guò)程 集成Eclipse 開(kāi)發(fā)環(huán)境 Hadoop UI 介紹運(yùn)行WordCounter  事例  第一部分：Hadoop 在windows 上偽分布式的安裝過(guò)程安裝JDK1.下載JDK6u3-jdk-6u29-downloads-523388.html2.解壓   或者直接運(yùn)行.exe安裝后面根據(jù)項(xiàng)目的實(shí)際需要來(lái)進(jìn)行調(diào)整。安裝 Cygwin1.

2、下載Cygwin    網(wǎng)址：  2.安裝Cygwin1. Net Category 下的OpenSSL2.    Base Category 下的sed3.Editors Category 下的vim4.Devel Category  下subversion后面根據(jù)項(xiàng)目的實(shí)際需要來(lái)進(jìn)行調(diào)整。 配置環(huán)境變量1.配置JAVA 環(huán)境變量    PATH 和JAVA_HOME：        JAVA_

3、HOME 指向JDK安裝目錄；        PATH 指向JDK的bin 啟動(dòng) SSHD 服務(wù)1.安裝SSHD   ssh-host-config2. 啟動(dòng)SSHD    net start sshd ssh 的安裝和配置實(shí)現(xiàn)ssh無(wú)密碼登陸$ssh-keygen -t rsa  直接回車，完成后會(huì)在/.ssh/生成兩個(gè)文件：id_dsa 和id_dsa.pub。這兩個(gè)是成對(duì)出現(xiàn)，類似鑰匙和鎖。

4、再把id_dsa.pub 追加到授權(quán)key 里面(當(dāng)前并沒(méi)有authorized_keys $cat/.ssh/id_rsa.pub>>/.ssh/authorized_keys完成后可以實(shí)現(xiàn)無(wú)密碼登錄本機(jī) 安裝 Hadoop1.下載Hadoop/2.解壓Hadoop         tar xzvf hadoop-.tar.gz配置 Hadoop1. 配置hadoop-env.sh2 .配置conf/core-site.xml、conf/hdfs-site.xm

5、l、conf/mapred-site.xml文件概念HDFS:      NameNode  ：管理節(jié)點(diǎn)      DataNode   ：數(shù)據(jù)節(jié)點(diǎn)      SecondaryNamenode : 數(shù)據(jù)源信息備份整理節(jié)點(diǎn) MapReduce       JobTracker  ：任務(wù)管理節(jié)點(diǎn)    

6、;   Tasktracker  ：任務(wù)運(yùn)行節(jié)點(diǎn) 配置文件       core-site.xml   common屬性配置       hdfs-site.xml    HDFS屬性配置       mapred-site.xml  MapReduce屬性配置     

7、;  hadoop-env.sh     hadooop 環(huán)境變量配置修改 hadoop-env.sh配置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk_25core-site.xmljava代碼：查看復(fù)制到剪貼板打印1. <configuration>       2. <property>    3.      

8、  <name></name>    4.        <value>hdfs:/localhost:9000</value>    5. </property>    6. <property>  7.      

9、  <name>hadoop.tmp.dir</name>  8.         <value>/hadoop</value>  9.      </property>  10. </configuration>    hdfs-site.xml  jav

10、a代碼：查看復(fù)制到剪貼板打印1. <configuration>       2.    <property>    3.          <name>dfs.replication</name>    4.       

11、;   <value>1</value>    5.     </property>    6. </configuration>    mapred-site.xmljava代碼：查看復(fù)制到剪貼板打印1. <configuration>       2.   

12、;  <property>    3.          <name>mapred.job.tracker</name>    4.          <value>localhost:9001</value>    5

13、.     </property>    6. </configuration>    啟動(dòng) Hadoop 1.格式化文件系統(tǒng)      hadoop namenode format 2. 啟動(dòng)hadoop      啟動(dòng)所有任務(wù)start-all.sh/stop-all.sh      啟動(dòng)關(guān)閉HDFS: sta

14、rt-dfs.sh/stop-dfs.sh      啟動(dòng)關(guān)閉MapReduce:  start-mapred.sh/stop-mapred.sh       3. 用jps命令查看進(jìn)程,確保有   namenode,dataNode,JobTracker,TaskTracker      第二部分：Hadoop 在linux  上單節(jié)點(diǎn)偽分布式的安裝過(guò)程安裝 JDK$chmod +x jdk-6u27-l

15、inux-i586.bin$./jdk-6u27-linux-i586.bin安裝完后設(shè)置java 環(huán)境變量如下命令 ：/home路徑下$vi .bashrc然后添加如下語(yǔ)句export JAVA_HOME=/home/test/ jdk_27export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.然后. .bashrc使其生效 ssh 的安裝和配置$實(shí)現(xiàn)ssh無(wú)密碼登陸$sudo apt-get install ssh$ssh-keygen 直接回車，完成后會(huì)在/.ssh/生成兩個(gè)文件：id_dsa 和id_dsa.pu

16、b。這兩個(gè)是成對(duì)出現(xiàn)，類似鑰匙和鎖。再把id_dsa.pub 追加到授權(quán)key 里面(當(dāng)前并沒(méi)有authorized_keys $cat/.ssh/id_rsa.pub>>/.ssh/authorized_keys完成后可以實(shí)現(xiàn)無(wú)密碼登錄本機(jī)  Hadoop 安裝1.下載Hadoop/2.解壓Hadoop         tar xzvf hadoop-.tar.gz3. 添加Hadoop Bin到環(huán)境變量中 修改 hadoop-env.sh配

17、置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk_25  conf/core-site.xmljava代碼：查看復(fù)制到剪貼板打印1. <configuration>       2.     <property>    3.           <name>

18、;</name>    4.           <value>hdfs:/localhost:9000</value>    5.       </property>    6.      

19、 <property>  7.            <name>hadoop.tmp.dir</name>  8.            <value>/hadoop</value>  9.     

20、0;  </property>  10. </configuration>    conf/hdfs-site.xmljava代碼：查看復(fù)制到剪貼板打印1. <configuration>       2.    <property>    3.        

21、  <name>dfs.replication</name>    4.          <value>1</value>    5.     </property>    6. </configuration>   

22、0;conf/mapred-site.xmljava代碼：查看復(fù)制到剪貼板打印1. <configuration>       2.      <property>    3.          <name>mapred.job.tracker</name>   

23、0;4.          <value>localhost:9001</value>    5.     </property>    6. </configuration>    啟動(dòng) Hadoop 1.格式化文件系統(tǒng)     

24、 hadoop namenode format 2. 啟動(dòng)hadoop     啟動(dòng)關(guān)閉所有服務(wù) start-all.sh/stop-all.sh     啟動(dòng)關(guān)閉HDFS: start-dfs.sh/stop-dfs.sh     啟動(dòng)關(guān)閉MapReduce:  start-mapred.sh/stop-mapred.sh 3. 用jps命令查看進(jìn)程,確保有   namenode,dataNode,JobTracker,TaskTracker 

25、     第三部分：Hadoop UI 介紹Hadoop 重要的端口1.Job Tracker 管理界面：500302.HDFS 管理界面 ：500703.HDFS通信端口：90004.MapReduce通信端口：9001常用訪問(wèn)頁(yè)面1. HDFS 界面        http:/hostname:500702. MapReduce 管理界面        http:/hostname:50030 第四部分：運(yùn)行Word Count 示例相關(guān)步驟及命令1.先在本地磁盤上建立兩個(gè)文件file1和file2      $ echo ”Hello world Bye world" > >