版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、(Java私塾)Hadoop安裝部署本節(jié)課程概覽Hadoop 在windows 上偽分布式的安裝過(guò)程 Hadoop 在linux 上單節(jié)點(diǎn)偽分布式的安裝過(guò)程 集成Eclipse 開(kāi)發(fā)環(huán)境 Hadoop UI 介紹運(yùn)行WordCounter 事例 第一部分:Hadoop 在windows 上偽分布式的安裝過(guò)程安裝JDK1.下載JDK6u3-jdk-6u29-downloads-523388.html2.解壓 或者直接運(yùn)行.exe安裝后面根據(jù)項(xiàng)目的實(shí)際需要來(lái)進(jìn)行調(diào)整。安裝 Cygwin1.
2、下載Cygwin 網(wǎng)址: 2.安裝Cygwin1. Net Category 下的OpenSSL2. Base Category 下的sed3.Editors Category 下的vim4.Devel Category 下subversion后面根據(jù)項(xiàng)目的實(shí)際需要來(lái)進(jìn)行調(diào)整。 配置環(huán)境變量1.配置JAVA 環(huán)境變量 PATH 和JAVA_HOME: JAVA_
3、HOME 指向JDK安裝目錄; PATH 指向JDK的bin 啟動(dòng) SSHD 服務(wù)1.安裝SSHD ssh-host-config2. 啟動(dòng)SSHD net start sshd ssh 的安裝和配置實(shí)現(xiàn)ssh無(wú)密碼登陸$ssh-keygen -t rsa 直接回車,完成后會(huì)在/.ssh/生成兩個(gè)文件:id_dsa 和id_dsa.pub。這兩個(gè)是成對(duì)出現(xiàn),類似鑰匙和鎖。
4、再把id_dsa.pub 追加到授權(quán)key 里面(當(dāng)前并沒(méi)有authorized_keys $cat/.ssh/id_rsa.pub>>/.ssh/authorized_keys完成后可以實(shí)現(xiàn)無(wú)密碼登錄本機(jī) 安裝 Hadoop1.下載Hadoop/2.解壓Hadoop tar xzvf hadoop-.tar.gz配置 Hadoop1. 配置hadoop-env.sh2 .配置conf/core-site.xml、conf/hdfs-site.xm
5、l、conf/mapred-site.xml文件概念HDFS: NameNode :管理節(jié)點(diǎn) DataNode :數(shù)據(jù)節(jié)點(diǎn) SecondaryNamenode : 數(shù)據(jù)源信息備份整理節(jié)點(diǎn) MapReduce JobTracker :任務(wù)管理節(jié)點(diǎn)
6、; Tasktracker :任務(wù)運(yùn)行節(jié)點(diǎn) 配置文件 core-site.xml common屬性配置 hdfs-site.xml HDFS屬性配置 mapred-site.xml MapReduce屬性配置
7、; hadoop-env.sh hadooop 環(huán)境變量配置修改 hadoop-env.sh配置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk_25core-site.xmljava代碼:查看復(fù)制到剪貼板打印1. <configuration> 2. <property> 3.
8、 <name></name> 4. <value>hdfs:/localhost:9000</value> 5. </property> 6. <property> 7.
9、 <name>hadoop.tmp.dir</name> 8. <value>/hadoop</value> 9. </property> 10. </configuration> hdfs-site.xml jav
10、a代碼:查看復(fù)制到剪貼板打印1. <configuration> 2. <property> 3. <name>dfs.replication</name> 4.
11、; <value>1</value> 5. </property> 6. </configuration> mapred-site.xmljava代碼:查看復(fù)制到剪貼板打印1. <configuration> 2.
12、; <property> 3. <name>mapred.job.tracker</name> 4. <value>localhost:9001</value> 5
13、. </property> 6. </configuration> 啟動(dòng) Hadoop 1.格式化文件系統(tǒng) hadoop namenode format 2. 啟動(dòng)hadoop 啟動(dòng)所有任務(wù)start-all.sh/stop-all.sh 啟動(dòng)關(guān)閉HDFS: sta
14、rt-dfs.sh/stop-dfs.sh 啟動(dòng)關(guān)閉MapReduce: start-mapred.sh/stop-mapred.sh 3. 用jps命令查看進(jìn)程,確保有 namenode,dataNode,JobTracker,TaskTracker 第二部分:Hadoop 在linux 上單節(jié)點(diǎn)偽分布式的安裝過(guò)程安裝 JDK$chmod +x jdk-6u27-l
15、inux-i586.bin$./jdk-6u27-linux-i586.bin安裝完后設(shè)置java 環(huán)境變量如下命令 :/home路徑下$vi .bashrc然后添加如下語(yǔ)句export JAVA_HOME=/home/test/ jdk_27export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.然后. .bashrc使其生效 ssh 的安裝和配置$實(shí)現(xiàn)ssh無(wú)密碼登陸$sudo apt-get install ssh$ssh-keygen 直接回車,完成后會(huì)在/.ssh/生成兩個(gè)文件:id_dsa 和id_dsa.pu
16、b。這兩個(gè)是成對(duì)出現(xiàn),類似鑰匙和鎖。再把id_dsa.pub 追加到授權(quán)key 里面(當(dāng)前并沒(méi)有authorized_keys $cat/.ssh/id_rsa.pub>>/.ssh/authorized_keys完成后可以實(shí)現(xiàn)無(wú)密碼登錄本機(jī) Hadoop 安裝1.下載Hadoop/2.解壓Hadoop tar xzvf hadoop-.tar.gz3. 添加Hadoop Bin到環(huán)境變量中 修改 hadoop-env.sh配
17、置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk_25 conf/core-site.xmljava代碼:查看復(fù)制到剪貼板打印1. <configuration> 2. <property> 3. <name>
18、;</name> 4. <value>hdfs:/localhost:9000</value> 5. </property> 6.
19、 <property> 7. <name>hadoop.tmp.dir</name> 8. <value>/hadoop</value> 9.
20、0; </property> 10. </configuration> conf/hdfs-site.xmljava代碼:查看復(fù)制到剪貼板打印1. <configuration> 2. <property> 3.
21、 <name>dfs.replication</name> 4. <value>1</value> 5. </property> 6. </configuration>
22、0;conf/mapred-site.xmljava代碼:查看復(fù)制到剪貼板打印1. <configuration> 2. <property> 3. <name>mapred.job.tracker</name>
23、0;4. <value>localhost:9001</value> 5. </property> 6. </configuration> 啟動(dòng) Hadoop 1.格式化文件系統(tǒng)
24、 hadoop namenode format 2. 啟動(dòng)hadoop 啟動(dòng)關(guān)閉所有服務(wù) start-all.sh/stop-all.sh 啟動(dòng)關(guān)閉HDFS: start-dfs.sh/stop-dfs.sh 啟動(dòng)關(guān)閉MapReduce: start-mapred.sh/stop-mapred.sh 3. 用jps命令查看進(jìn)程,確保有 namenode,dataNode,JobTracker,TaskTracker
25、 第三部分:Hadoop UI 介紹Hadoop 重要的端口1.Job Tracker 管理界面:500302.HDFS 管理界面 :500703.HDFS通信端口:90004.MapReduce通信端口:9001常用訪問(wèn)頁(yè)面1. HDFS 界面 http:/hostname:500702. MapReduce 管理界面 http:/hostname:50030 第四部分:運(yùn)行Word Count 示例相關(guān)步驟及命令1.先在本地磁盤上建立兩個(gè)文件file1和file2 $ echo ”Hello world Bye world" > >
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 中國(guó)礦業(yè)大學(xué)《煤礦地質(zhì)學(xué)》試卷及參考答案一-真題版
- 小學(xué)6年級(jí)上冊(cè)-試卷習(xí)題試題-人教版數(shù)學(xué)期中練習(xí)
- 連鎖門店?duì)I運(yùn)管理
- 01-絕對(duì)值與相反數(shù)-九大題型
- 【人教】第三次月考卷02【1-3章】
- 七年級(jí)語(yǔ)文上冊(cè)18-我的白鴿課件
- 部編版八年級(jí)語(yǔ)文上冊(cè)期中考試卷(附答案)
- 卡鉗項(xiàng)目評(píng)價(jià)分析報(bào)告
- 體溫計(jì)相關(guān)項(xiàng)目實(shí)施方案
- 跑出一片天觀后感600字合集小學(xué)作文大全
- 醫(yī)院職稱聘任管理辦法修訂
- 塔式起重機(jī)周檢查記錄表
- 音樂(lè)劇鑒賞——歌劇魅影教案資料
- 同舟共濟(jì)活動(dòng)規(guī)則
- ISO9001ISO14001ISO45001內(nèi)審檢查表
- 預(yù)算表格(基站建設(shè)項(xiàng)目工程).doc
- 放射科診斷報(bào)告書(shū)寫規(guī)范、審核制度與流程
- 上海市單位退工證明退工單(打印版)
- 盤扣架支架計(jì)算小程序EXCEL
- 征訂教輔材料告家長(zhǎng)書(shū)2篇
- (精選)物流園區(qū)規(guī)劃設(shè)計(jì)方案
評(píng)論
0/150
提交評(píng)論