Hadoop和Spark搭建完全分布式集群

1、Hadoop2.7.3+Spark2.1.0完全分布式集群搭建過程.選取三臺服務器（CentOS系統(tǒng)64位）8 主節(jié)點7 從節(jié)點3 從節(jié)點之后的操作如果是用普通用戶操作的話也必須知道root用戶的密碼，因為有些操作是得用root 用戶操作。如果是用root用戶操作的話就不存在以上問題。我是用root用戶操作的。.修改hosts文件修改三臺服務器的hosts文件。vi /etc/hosts在原文件的基礎(chǔ)最后面加上： 8 Master 7 Slave1 3 Slave2修改完成后保存執(zhí)行如下命令。source /etc/hosts.ssh無密碼驗證配置安裝和啟動ssh協(xié)議我們需要兩個服務：ssh和

2、rsync?？梢酝ㄟ^下面命令查看是否已經(jīng)安裝：rpm -qa|grep opensshrpm -qa|grep rsync如果沒有安裝ssh和rsync，可以通過下面命令進行安裝：yum install ssh （安裝 ssh 協(xié)議）yum install rsync （rsync是一個遠程數(shù)據(jù)同步工具，可通過LAN/WAN快速同步多臺主機 間的文件）service sshd restart （啟動服務）配置Master無密碼登錄所有Salve配置Master節(jié)點，以下是在Master節(jié)點的配置操作。1）在Master節(jié)點上生成密碼對，在Master節(jié)點上執(zhí)行以下命令：ssh-keygen -

3、t rsa -P 生成的密鑰對：id_rsa和id_rsa.pub，默認存儲在/root/.ssh目錄下。2）接著在Master節(jié)點上做如下配置，把id_rsa.pub追加到授權(quán)的key里面去。cat /.ssh/id_rsa.pub /.ssh/authorized_keys3）修改ssh配置文件/etc/ssh/sshd_config的下歹U內(nèi)容，將以下內(nèi)容的注釋去掉：RSAAuthentication yes # 啟用 R.SA 認證PubkeyAuthentication yes #啟用公鑰私鑰配對認證方式AuthorizedKeysFile .ssh/authorized_keys

4、#公鑰文件路徑（和上面生成的文件同）4）重啟ssh服務，才能使剛才設(shè)置有效。service sshd restart5）驗證無密碼登錄本機是否成功。ssh localhost6）接下來的就是把公鑰復制到所有的Slave機器上。使用下面的命令進行復制公鑰：scp /root/.ssh/id_rsa.pub rootSlave1:/root/scp /root/.ssh/id_rsa.pub rootSlave2:/root/接著配置Slave節(jié)點，以下是在Slave1節(jié)點的配置操作。1）在/root/下創(chuàng)建.ssh文件夾，如果已經(jīng)存在就不需要創(chuàng)建了。mkdir /root/.ssh2）將Mast

5、er的公鑰追加到Slave1的授權(quán)文件authorized_keys中去。cat /root/id_rsa.pub /root/.ssh/authorized_keys3）修改/etc/ssh/sshd_config,具體步驟參考前面Master設(shè)置的第3步和第4步。4）用Master使用ssh無密碼登錄Slave1ssh 75）把/root/目錄下的id_rsa.pub文件刪除掉。rm -r /root/id_rsa.pub重復上面的5個步驟把Slave2服務器進行相同的配置。配置所有Slave無密碼登錄Master以下是在Slave1節(jié)點的配置操作。1）創(chuàng)建Slave1自己的公鑰和私鑰，并

6、把自己的公鑰追加到authorized_keys文件中，執(zhí)行 下面命令：ssh-keygen -t rsa -P cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys2）將Slave1節(jié)點的公鑰id_rsa.pub復制到Master節(jié)點的/root/目錄下。scp /root/.ssh/id_rsa.pub rootMaster:/root/以下是在Master節(jié)點的配置操作。1）將Slavel的公鑰追加到Master的授權(quán)文件authorized_keys中去。cat /id_rsa.pub /.ssh/authorized_keys2）刪

7、除Slave1復制過來的id_rsa.pub文件。rm -r /root/id_rsa.pub配置完成后測試從Slavel到Master無密碼登錄。ssh 8按照上面的步驟把Slave2和Master之間建立起無密碼登錄。這樣，Master能無密碼驗證登 錄每個Slave，每個Slave也能無密碼驗證登錄到Master。4.安裝基礎(chǔ)環(huán)境（JAVA和SCALA環(huán)境）Java1.8環(huán)境搭建1）下載 jdk-8u121-linux-x64.tar.gz 解壓tar -zxvf jdk-8u121-linux-x64.tar.gz2）添加Java環(huán)境變量，在/etc/profile中添加：export

8、 JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/rt.jarexport JAVA_HOME PATH CLASSPATH3）保存后刷新配置source /etc/profileScala2.11.8 環(huán)境搭建1）下載 scala 安裝包 scala-2.11.8.rpm 安裝rpm -ivh scala-2.11.8.rpm2）添加Scala環(huán)境變量，在/etc/profile中添加：export SCALA_HOME=/usr/share/scalaexport PA

9、TH=$SCALA_HOME/bin:$PATH3）保存后刷新配置source /etc/profile5.Hadoop2.7.3完全分布式搭建以下是在Master節(jié)點操作：1）下載二進制包 hadoop-2.7.3.tar.gz2）解壓并移動到相應目錄，我習慣將軟件放到/opt目錄下，命令如下：tar -zxvf hadoop-2.7.3.tar.gzmv hadoop-2.7.3 /opt3）修改相應的配置文件。修改/etc/profile，增加如下內(nèi)容：電export HADOQP_HQME=/opt/hadoop-2.7.3/export PATH=$PATH:$HADOOP_HOME

10、/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_ROOT_LOGGER=INFO,consoleexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Dja

11、va.library.path=$HADOOP_HOME/lib電修改完成后執(zhí)行：source /etc/profile修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改 JAVA_HOME 如下：export JAVA_HOME=/usr/local/jdk1.8.0_121修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost刪除，改成如下內(nèi)容:SlavelSlave2修改$HADOOP_HOME/etc/hadoop/core-site.xml等configurationfs.defaultFShdfs:/Maste

12、r:9000io.file.buffer.size131072/propertypropertyhadoop.tmp.dir/opt/hadoop-2.7.3/tmp/configuration)修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml電node.secondary.http-addressMaster:50090dfs.replication2.dirfile:/opt/hadoop-2.7.3/hdfs/namedfs.datanode.data.dirfile:/opt/hadoop-2.7.3/hdfs/data/configuration)電復制

13、template,生成xml,命令如下:cp mapred-site.xml.template mapred-site.xml修改$HADOOP_HOME/etc/hadoop/mapred-site.xml電yarnpropertymapreduce.jobhistory.addressMaster:10020/propertymapreduce.jobhistory.addressMaster:19888/configuration)電修改$HADOOP_HOME/etc/hadoop/yarn-site.xml等yarn.nodemanager.aux-servicesmapreduce

14、_shuffleyarn.resourcemanager.addressMaster:8032yarn.resourcemanager.scheduler.addressMaster:8030yarn.resourcemanager.resource-tracker.addressMaster:8031yarn.resourcemanager.admin.addressMaster:8033yarn.resourcemanager.webapp.addressMaster:8088/configuration)4）復制Master節(jié)點的hadoop文件夾到Slavel和Slave2上。scp

15、-r /opt/hadoop-2.7.3 rootSlave1:/optscp -r /opt/hadoop-2.7.3 rootSlave2:/opt5）在 Slave1 和 Slave2 上分別修改/etc/profile,過程同 Master 一樣。6）在Master節(jié)點啟動集群，啟動之前格式化一下namenode：hadoop namenode -format啟動：/opt/hadoop-2.7.3/sbin/start-all.sh至此hadoop的完全分布式環(huán)境搭建完畢。7）查看集群是否啟動成功：jpsMaster 顯示：SecondaryNameNodeResourceManag

16、erNameNodeSlave顯示：NodeManagerDataNode6.Spark2.1.0完全分布式環(huán)境搭建以下操作都在Master節(jié)點進行。1）下載二進制包 spark-2.1.0-bin-hadoop2.7.tgz2）解壓并移動到相應目錄，命令如下：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgzmv hadoop-2.7.3 /opt3）修改相應的配置文件。修改/etc/profie，增加如下內(nèi)容：export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/export PATH=$PATH:$SPARK_HOM

17、E/bin復制 spark-env.sh.template 成 spark-env.shcp spark-env.sh.template spark-env.sh修改$SPARK_HOME/conf/spark-env.sh，添加如下內(nèi)容:export JAVA_HOME=/usr/local/jdk1.8.0_121export SCALA_HOME=/usr/share/scalaexport HADOOP_HOME=/opt/hadoop-2.7.3export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop export SPARK_MASTE

18、R_IP=8export SPARK_MASTER_HOST=8export SPARK_LOCAL_IP=8export SPARK_WORKER_MEMORY=1gexport SPARK_WORKER_CORES=2export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7export SPARK_DIST_CLASSPATH=$（/opt/hadoop-2.7.3/bin/hadoop classpath）復制 slaves.template 成 slavescp slaves.template slaves修改 $SPARK_HOME/conf/slaves，添加如下內(nèi)容：MasterSlave1Slave24）將配置好的spark文件復制到Slave1和Slave2節(jié)點。scp /opt/spark-2.1.0-bin-hadoop2.7 rootSlave1:/optscp /opt/spark-2.1.0-bin-hadoop2.7 rootSlave2:/opt5）修改Slave1和Slave2配置。