實(shí)作一： Hadoop 單機(jī)安裝.doc

實(shí)作一： Hadoop 單機(jī)安裝1.1. 前言 2. step 1. 設(shè)定登入免密碼 3. step 2. 安裝java 4. step 3. 下載安裝Hadoop 5. step 4. 設(shè)定 hadoop-env.sh 6. step 5. 設(shè)定 hadoop-site.xml 7. step 6. 格式化HDFS 8. step 7. 啟動(dòng)Hadoop 9. step 8. 完成！檢查運(yùn)作狀態(tài)前言 本實(shí)作基於 Ubuntu 8.04 LTS 版本，關(guān)於 Ubuntu 8.04 的安裝程序，請(qǐng)參考Ubuntu 8.04 Server 版安裝步驟。 本課程實(shí)作之電腦教室所提供的作業(yè)環(huán)境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環(huán)境。 本頁面的部分指令，是針對(duì)不熟悉 Linux 文字編輯器的使用者所設(shè)計(jì)的懶人設(shè)定法，您也可以使用習(xí)慣使用的文字編輯器(如:vi,nano,joe等)進(jìn)行修改。 黑底白字的部分為指令或console秀出的畫面，請(qǐng)自行剪貼提示符號(hào) $(代表一般使用者) 或 #(代表最高權(quán)限 root 管理者) 之後的指令。如： /home/DIR$ Copy_Command From To .則複製 Copy_Command From To . 這個(gè)指令，貼到你的console來執(zhí)行。（/home/DIR 代表目前所在的目錄路徑） 白底黑字的部分為文件內(nèi)的內(nèi)容 ，如 I am context.如果熟悉vi,nano,joe等編輯器可複製此區(qū)內(nèi)容貼到文件內(nèi)（雖然此頁面的指令都已經(jīng)簡化過） 登入資訊 使用者 hadooper 群組 hadooper 密碼 * Hadooper 擁有sudoer 的權(quán)限 step 1. 設(shè)定登入免密碼 由於Hadoop用ssh 作機(jī)器間的溝通，因此先設(shè)定登入機(jī)器免密碼的設(shè)定， $ ssh-keygen -t rsa -f /.ssh/id_rsa -P $ cp /.ssh/id_rsa.pub /.ssh/authorized_keys完成後請(qǐng)登入確認(rèn)不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統(tǒng)），以免日後輸入密碼key到手軟 $ ssh localhost$ exit$ ssh localhost$ exitstep 2. 安裝java 由於 Sun Java Runtime 是執(zhí)行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因?yàn)獒崦鎸懗淌饺耘f需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 sun-java6-jdk。並建議刪除原本的 gcj 。 $ sudo apt-get purge java-gcj-compat$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jrestep 3. 下載安裝Hadoop 請(qǐng)至國網(wǎng)中心 TWAREN 的鏡射站下載 Hadoop 0.18.3，並解開壓縮檔到 /opt 路徑。 $ cd /opt/opt$ sudo wget /Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz/opt$ sudo tar zxvf hadoop-0.18.3.tar.gz/opt$ sudo mv hadoop-0.18.3/ hadoop/opt$ sudo chown -R hadooper:hadooper hadoopstep 4. 設(shè)定 hadoop-env.sh 進(jìn)入 hadoop 目錄，做進(jìn)一步的設(shè)定。我們需要修改兩個(gè)檔案，第一個(gè)是 hadoop-env.sh，需要設(shè)定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個(gè)環(huán)境變數(shù)。 /opt$ cd hadoop/opt/hadoop$ cat conf/hadoop-env.sh conf/hadoop-site.xml EOF貼上以下內(nèi)容 hdfs:/localhost:9000 default file system for NDFS mapred.job.tracker localhost:9001 The host:port that job tracker runs at. EOFstep 6. 格式化HDFS 以上我們已經(jīng)設(shè)定好 Hadoop 單機(jī)測試的環(huán)境，接著讓我們來啟動(dòng) Hadoop 相關(guān)服務(wù)，格式化 namenode， secondarynamenode, tasktracker /opt/hadoop$ bin/hadoop namenode -format執(zhí)行畫面如： 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /*STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = /localhostSTARTUP_MSG: args = -formatSTARTUP_MSG: version = 0.18.3STARTUP_MSG: build = /repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by ndaley on Thu Jan 22 23:12:08 UTC 2009*/09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /*SHUTDOWN_MSG: Shutting down NameNode at /localhost*/step 7. 啟動(dòng)Hadoop 接著用 start-all.sh 來啟動(dòng)所有服務(wù)，包含 namenode, datanode, /opt/hadoop$ bin/start-all.sh執(zhí)行畫面如： starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.outlocalhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.outlocalhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.outstarting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.outstep 8. 完成！檢查運(yùn)作狀態(tài) 啟動(dòng)之後，可以檢查以下網(wǎng)址，來觀看服