Hadoop快速入門

1、項目維基hadoop 0.18 文檔last published: 07/01/2009 00:38:20 文檔概述快速入門集群搭建hdfs 構(gòu)架設(shè)計hdfs 使用指南hdfs 權(quán)限指南hdfs 配額管理指南命令手冊fs shell 使用指南distcp 使用指南map-reduce教程hadoop本地庫streaminghadoop archiveshadoop on demandapi 參考api changes維基常見問題郵件列表發(fā)行說明變更日志pdfhadoop快速入門目的先決條件o支持平臺o所需軟件o安裝軟件下載運(yùn)行 hadoop集群的準(zhǔn)備工作單機(jī)模式的操作方法偽分布式模式的操作方法

2、o配置o免密碼 ssh 設(shè)置o執(zhí)行完全分布式模式的操作方法目的這篇文檔的目的是幫助你快速完成單機(jī)上的hadoop安裝與使用以便你對hadoop分布式文件系統(tǒng) (hdfs) 和 map-reduce框架有所體會，比如在 hdfs 上運(yùn)行示例程序或簡單作業(yè)等。先決條件支持平臺gnu/linux是產(chǎn)品開發(fā)和運(yùn)行的平臺。 hadoop 已在有 2000個節(jié)點(diǎn)的gnu/linux主機(jī)組成的集群系統(tǒng)上得到驗證。win32平臺是作為 開發(fā)平臺 支持的。由于分布式操作尚未在win32平臺上充分測試，所以還不作為一個生產(chǎn)平臺 被支持。所需軟件linux 和 windows所需軟件包括 : 1. javatm1.

3、5.x ，必須安裝，建議選擇sun公司發(fā)行的 java 版本。2. ssh 必須安裝并且保證sshd 一直運(yùn)行，以便用hadoop 腳本管理遠(yuǎn)端hadoop守護(hù)進(jìn)程。windows下的附加軟件需求1. cygwin - 提供上述軟件之外的shell支持。安裝軟件如果你的集群尚未安裝所需軟件，你得首先安裝它們。以 ubuntu linux為例: $ sudo apt-get install ssh $ sudo apt-get install rsync 在 windows平臺上，如果安裝 cygwin 時未安裝全部所需軟件，則需啟動cyqwin安裝管理器安裝如下軟件包：openssh - ne

4、t 類下載為了獲取 hadoop的發(fā)行版，從 apache的某個鏡像服務(wù)器上下載最近的穩(wěn)定發(fā)行版。運(yùn)行 hadoop集群的準(zhǔn)備工作解壓所下載的 hadoop發(fā)行版。編輯 conf/hadoop-env.sh文件，至少需要將java_home設(shè)置為 java 安裝根路徑。嘗試如下命令：$ bin/hadoop 將會顯示 hadoop 腳本的使用文檔?，F(xiàn)在你可以用以下三種支持的模式中的一種啟動hadoop集群：單機(jī)模式偽分布式模式完全分布式模式單機(jī)模式的操作方法默認(rèn)情況下， hadoop被配置成以非分布式模式運(yùn)行的一個獨(dú)立java 進(jìn)程。這對調(diào)試非常有幫助。下面的實(shí)例將已解壓的 conf 目錄拷貝

5、作為輸入， 查找并顯示匹配給定正則表達(dá)式的條目。輸出寫入到指定的output 目錄。$ mkdir input $ cp conf/*.xml input $ bin/hadoop jar hadoop-*-examples.jar grep input output dfsa-z.+ $ cat output/* 偽分布式模式的操作方法hadoop可以在單節(jié)點(diǎn)上以所謂的偽分布式模式運(yùn)行，此時每一個 hadoop守護(hù)進(jìn)程都作為一個獨(dú)立的java 進(jìn)程運(yùn)行。配置使用如下的 conf/hadoop-site.xml: localhost:9000 mapred.jo

6、b.tracker localhost:9001 dfs.replication 1 免密碼 ssh 設(shè)置現(xiàn)在確認(rèn)能否不輸入口令就用ssh 登錄 localhost: $ ssh localhost 如果不輸入口令就無法用ssh 登陸 localhost，執(zhí)行下面的命令：$ ssh-keygen -t dsa -p -f /.ssh/id_dsa $ cat /.ssh/id_dsa.pub /.ssh/authorized_keys 執(zhí)行格式化一個新的分布式文件系統(tǒng)：$ bin/hadoop namenode -format 啟動 hadoop守護(hù)進(jìn)程：$ bin/start-all.sh

7、hadoop守護(hù)進(jìn)程的日志寫入到 $hadoop_log_dir 目錄 ( 默認(rèn)是$hadoop_home/logs). 瀏覽 namenode 和 jobtracker 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：namenode - http:/localhost:50070/jobtracker - http:/localhost:50030/將輸入文件拷貝到分布式文件系統(tǒng)：$ bin/hadoop fs -put conf input 運(yùn)行發(fā)行版提供的示例程序：$ bin/hadoop jar hadoop-*-examples.jar grep input output dfsa-z.+ 查看輸出文件：將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看：$ bin/hadoop fs -get output output $ cat output/* 或者在分布式文件系統(tǒng)上查看輸出文件：$ bin/hadoop fs -cat output/* 完成全部操作后，停止守護(hù)進(jìn)程：$ bin/stop-all.sh 完全分布式模式的操作方法關(guān)于搭建完全分布式模式的，有實(shí)際意義的集群的資料可以在這里找到。java 與 jni 是 sun