大數(shù)據(jù)環(huán)境集群環(huán)境搭建

1、等組件環(huán)境大數(shù)據(jù)，hadoop,spark,hive,ZooKeeper,kafka,flume搭建大數(shù)據(jù)環(huán)境搭建1、CentOS6.52、JDK1.83、Hadoop2.64、Hive1.1.05、ZooKeeper-3.4.96、kafka_2.11-7、Spark2.1.18、flume-ng-1.6.0CentOS6.5防火墻和DNS配置1、關(guān)閉防火墻serviceiptablesstopchkconfigiptablesoffvi/etc/selinux/configSELINUX=disabled2、配置yumyumcleanallyummakecacheyumin

2、stalltelnetJDK1.7安裝1、將jdk-8u131-linux-x64.tar.gz通過上傳到服務(wù)器中2、安裝JDK:把壓縮包放到/usr/java/目錄下tar-zxvfjdk-8u60-linux-x64.tar.gz3、配置jdk相關(guān)的環(huán)境變量vi/.bashrc或者vi/etc/profileexportJAVA_HOME=/usr/java/latestexportPATH=$PATH:$JAVA_HOME/binsource.bashrc或者source/etc/profile4、測(cè)試jdk安裝是否成功：Java-version5、rm-f/etc/udev/rules

3、.d/70-persistent-net.rules安裝第二臺(tái)和第三臺(tái)服務(wù)器1、安裝上述步驟，再安裝兩臺(tái)一模一樣環(huán)境的服務(wù)器，因?yàn)楹竺鎕adoop和spark都是要搭建集群的。2、集群的最小環(huán)境就是三臺(tái)。因?yàn)楹竺嬉罱╖ooKeeper、kafka等集群。3、另外兩臺(tái)機(jī)器的hostname分別設(shè)置為spark2和spark3即可，ip分別為08和094、在安裝的時(shí)候，另外兩臺(tái)服務(wù)器的centos鏡像文件必須重新拷貝一份，放在新的目錄里，使用各自自己的鏡像文件。5、服務(wù)器的硬盤文件也必須重新選擇一個(gè)新的目錄，以更好的區(qū)分。6、安裝好之后，記得要在三臺(tái)機(jī)

4、器的/etc/hosts文件中，配置全三臺(tái)機(jī)器的ip地址到hostname的映射，而不能只配置本機(jī)，這個(gè)很重要！7、在windows的hosts文件中也要配置全三臺(tái)機(jī)器的ip地址到hostname的映射。配置集群ssh免密碼登錄1、首先在三臺(tái)機(jī)器上配置對(duì)本機(jī)的ssh免密碼登錄生成本機(jī)的公鑰，過程中不斷敲回車即可，ssh-keygen命令默認(rèn)會(huì)將公鑰放在/root/.ssh目錄下ssh-keygen-trsa將公鑰復(fù)制為authorized_keys文件，此時(shí)使用ssh連接本機(jī)就不需要輸入密碼了cd/root/.sshcpid_rsa.pubauthorized_keys2、接著配置三臺(tái)機(jī)器互相

5、之間的ssh免密碼登錄使用ssh-copy-id-ispark命令將本機(jī)的公鑰拷貝到指定機(jī)器的authorized_keys文件中（方便好用）x"'"kJ%】卬占??；rootfcparklssh-copy-ld-fspark2.Lroot$spark2'spasstword:nowtrylogql購inrothemachine,wlxh'££lipark2H,andcheckIn:.sshautborized-keysto(rale整surewehaven'tjddedoctrikeysthatyouweren11expe

6、cting.root©sparklHadoop2.4.1集群搭建安裝hadoop包1、使用hadoop-2.4.1.tar.gz，使用WhSCP上傳至UCentOS的/usr/localH錄下o2、將hadoop包進(jìn)行解壓縮：tar-zxvfhadoop-2.4.1.tar.gz3、對(duì)hadoop目錄進(jìn)行重命名：mvhadoop-2.4.1hadoop4、配置hadoop相關(guān)環(huán)境變量vi.bashrc或者vi/etc/profileexportHADOOP_HOME=/usr/local/hadoopexportPATH=$HADOOP_HOM/bin:$HADOOP_HOM/sbi

7、nsource.bashrc修改hadoop相關(guān)的配置文件進(jìn)入/usr/local/hadoop/etc/hadoop目錄下修改core-site.xml<property<name></name><value>hdfs:/spark1:9000</value>/設(shè)置hdfs集群對(duì)外提供的目錄</property>修改hdfs-site.xml/設(shè)置hdfs的一些目錄，放在/usr/local/data的目錄下面<property><name>.dir<

8、/name><value>/usr/local/data/namenode</value></property><property><name>dfs.data.dir</name><value>/usr/local/data/datanode</value></property><property><name>dfs.tmp.dir</name><value>/usr/local/data/tmp</value><

9、/property><property><name>dfs.replication</name><value>3</value>/設(shè)置副本數(shù)修改mapred-site.xml/mapreduce的框架設(shè)置為yarn<property><name></name><value>yarn</value></property>修改yarn-site.xml<property><name>yarn

10、.resourcemanager.hostname</name><value>spark1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>修改slaves文件spark1spark2spark3在另外兩臺(tái)機(jī)器上搭建hadoop1、使用如上配置在另外兩臺(tái)機(jī)器上搭建hadoop，可以使用scp命令將sp

11、ark1上面的hadoop安裝包和.bashrc或者/etc/profile配置文件都拷貝過去。scp-rhadooprootspark1:/usr/local/scp-rhadooprootspark2:/usr/local/scp-r/etc/profilerootspark1:/etc/scp-r/etc/profilerootspark2:/etc/2、要記得對(duì).bashrc文件或者/etc/profile進(jìn)行source,以讓它生效。3、記得在spark2和spark3的/usr/local目錄下創(chuàng)建data目錄。啟動(dòng)hdfs集群1、格式化namenode:在spark1上執(zhí)行以下命

12、令，hdfsnamenode-format2、啟動(dòng)hdfs集群：start-dfs.sh3、驗(yàn)證啟動(dòng)是否成功：jps、50070端口查看是否啟動(dòng)成功spark1:namenode、datanode、secondarynamenodespark2:datanodespark3:datanode啟動(dòng)yarn集群1、啟動(dòng)yarn集群：start-yarn.sh2、驗(yàn)證啟動(dòng)是否成功：jps、8088端口sparkl:resourcemanager、nodemanagerspark2:nodemanagerspark3:nodemanagerhive0.13搭建安裝hive包1、將的apache-hiv

13、e-0.13.1-bin.tar.gz使用WinSCP上傳到spark1的/usr/local目錄下。2、解壓縮hive安裝包：tar-zxvfapache-hive-0.13.1-bin.tar.gz。3、重命名hive目錄：mvapache-hive-0.13.1-binhive4、配置hive相關(guān)的環(huán)境變量，下面以.bashrc文件操作vi.bashrcexportHIVE_HOME=/usr/local/hiveexportPATH=$HIVE_HOME/binsource.bashrc安裝MySQL1、在sparkl上安裝mysql。2、使用yum安裝mysqlserver。yumi

14、nstall-ymysql-serverservicemysqldstartchkconfigmysqldon3、使用yum安裝mysqlconnectoryuminstall-ymysql-connector-java4、將mysqlconnector拷貝到hive的lib包中cp/usr/share/java/mysql-connector-javacal/hive/lib-5.1.17.jar/usr/lo5、在mysql上創(chuàng)建hive元數(shù)據(jù)庫，并對(duì)hive進(jìn)行授權(quán)createdatabaseifnotexistshive_metadata;granttifiedallprivilege

15、sby'hive'onhive_metadata.*to'hive'%'idengrantallprivilegesst'identifiedbyon'hive'hive_metadata.*to'hive'ocalho;grantallprivilegesonhive_metadata.*to'hive'spark1'identifiedby'hiveJflushprivileges;/刷新授權(quán)usehive_metadata;配置hive-site.xmlmvhive-defau

16、lt.xml.templatehive-site.xmlvihive-site.xml<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql:/spark1:3306/hive_metadata?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name&

17、gt;<value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value>&

18、lt;/property<property</name></value>.sh.sh<name>hive.metastore.warehouse.dir<value>/user/hive/warehouse</property>配置hive-env.sh和hive-config.shmvhive-env.sh.templatehive-envvi/usr/local/hive/bin/hive-configexportJAVA_HOME=/usr/java/latestexportHIVE_HOME=/usr/local/hiv

19、eexportHADOOP_HOME=/usr/local/hadoop驗(yàn)證hive是否安裝成功直接輸入hive命令，可以進(jìn)入hive命令行ZooKeeper3.4.5集群搭建安裝ZooKeeper包1、將zookeeper-3.4.5.tar.gz使用WinSCP拷貝到spark1的/usr/local目錄下。2、對(duì)zookeeper-3.4.5.tar.gz進(jìn)行食軍壓縮:tar-zxvfzookeeper-3.4.5.tar.gz。3、對(duì)zookeeper目錄進(jìn)行重命名:mvzookeeper-3.4.5zk。4、配置zookeeper相關(guān)的環(huán)境變量vi.bashrc或者vi/etc/pr

20、ofileexportZOOKEEPER_HOME=/usr/local/zkexportPATH=$ZOOKEEPER_HOMEbinsource.bashrc配置zoo.cfg在/usr/local/zk/conf目錄下vizoo.cfg修改:dataDir=/usr/local/zk/data新增：server.0=spark1:2888:3888server.1=spark2:2888:3888server.2=spark3:2888:3888設(shè)置zk節(jié)點(diǎn)標(biāo)識(shí)cdzkmkdirdatacddatavimyid0搭建zk集群1、在另外兩個(gè)節(jié)點(diǎn)上按照上述步驟配置ZooKeeper，使用sc

21、p將zk和.bashrc拷貝到spark2和spark3上即可。scp-rzkrootslave1:/usr/local/2、唯一的區(qū)別是spark2和spark3的標(biāo)識(shí)號(hào)分別設(shè)置為1和2。及myid中的值修改為1和2啟動(dòng)ZooKeeper集群1、分別在三臺(tái)機(jī)器上執(zhí)行：zkServer.shstart。2、檢查ZooKeeper狀態(tài)：zkServer.shstatus。kafka_2.9.2-0.8.1集群搭建安裝Scala2.11.41、將scala-2.11.4.tgz使用WinSCP拷貝到spark1的/usr/local目錄下。2、對(duì)scala-2.11.4.tgz進(jìn)行解壓縮：tar-

22、zxvfscala-2.11.4.tgz。3、對(duì)scala目錄進(jìn)行重命名：mvscala-2.11.4scala4、配置scala相關(guān)的環(huán)境變量vi.bashrcexportSCALA_HOME=/usr/local/scalaexportPATH=$SCALA_HOMEbinsource.bashrc5、查看scala是否安裝成功：scala-version6、按照上述步驟在spark2和spark3機(jī)器上都安裝好scala。使用scp將scala和.bashrc拷貝到spark2和spark3上即可。安裝Kafka包1、將kafka_2.9.2-0.8.1.tgz使用WinSCP拷貝到sp

23、arkl的/usr/local目錄下。2、對(duì)kafka_2.9.2-0.8.1.tgz進(jìn)行解壓縮：tar-zxvfkafka_2.9.2-0.8.1.tgz。3、對(duì)kafka目錄進(jìn)行改名：mvkafka_2.9.2-0.8.1kafka4、配置kafkavi/usr/local/kafka/config/pertiesbroker.id:依次增長的整數(shù)，0、1、2、3、4,集群中Broker的唯一idzookeeper.connect=07:2181,08:2181,09:21815、安裝slf4j將slf4

24、j-1.7.6.zip上傳到/usr/local目錄下unzipslf4j-1.7.6.zip把slf4j中的slf4j-nop-1.7.6.jar復(fù)制到kafka的libs目錄下面搭建kafka集群1、按照上述步驟在spark2和spark3分別安裝kafka。用scp把kafka拷貝到spark2和spark3行即可。2、唯一區(qū)別的，就是perties中的broker.id，要設(shè)置為1和2啟動(dòng)kafka集群1、在三臺(tái)機(jī)器上分別執(zhí)行以下命令：nohupbin/kafka-server-start.shconfig/perties&（必須在kaf

25、ka的主目錄下執(zhí)行cd/kafka）UseCompressedOops問題'2、解決kafkaUnrecognizedVMoptionvibin/kafka-run-class.shif-z"$KAFKA_JVM_PERFORMANCE_OPTS"thenKAFKA_JVM_PERFORMANCE_OPTS="-server-XX:+UseCompressedOops-XX:+UseParNewGC-XX:+UseConcMarkSweepGC-XX:+CMSClassUnloadingEnabled-XX:+CMSScavengeBeforeRemark

26、-XX:+DisableExplicitGC-Djava.awt.headless=true”fi去掉-XX:+UseCompressedOops即可3、使用jps檢查啟動(dòng)是否成功測(cè)試kafka集群使用基本命令檢查kafka是否搭建成功bin/kafka-topics.sh-zookeeper10:2181,11:2181,12:2181-topicTestTopic-replication-factor1-partitions1-create在spark1上執(zhí)行bin/kafka-console-producer.sh-bro

27、ker-list07:9092,08:9092,09:9092-topicTestTopic在spark2上執(zhí)行bin/kafka-console-consumer.sh-zookeeper07:2181,08:2181,09:2181-topicTestTopic-from-beginningSpark1.3.0集群搭建安裝spark包1、將spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上傳到/usr/local目錄下。2、解壓縮sp

28、ark包：tarzxvfspark-1.3.0-bin-hadoop2.4.tgz。3、更改spark目錄名：mvspark-1.3.0-bin-hadoop2.4spark4、設(shè)置spark環(huán)境變量vi.bashrcexportSPARK_HOME=/usr/local/sparkexportPATH=$SPARK_HOMEbinexportCLASSPATH=.:$CLASSPATH:$JAVA_HOM日lib:$JAVA_HOMEjre/libsource.bashrc修改spark-env.sh文件1、cd/usr/local/spark/conf2、cpspark-env.sh.te

29、mplatespark-env.sh3、vispark-env.shexportJAVA_HOME=/usr/java/latestexportSCALA_HOME=/usr/local/scalaexportSPARK_MASTER_IP=07exportSPARK_WORKER_MEMORY=1gexportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop修改slaves文件spark2spark3安裝spark集群在另外兩個(gè)節(jié)點(diǎn)進(jìn)行一模一樣的配置，使用scp將spark和.bashrc拷貝到spark2和spark3即可。啟動(dòng)

30、spark集群1、在spark目錄下的sbin目錄2、執(zhí)行./start-all.sh3、使用jsp和8080端口可以檢查集群是否啟動(dòng)成功4、進(jìn)入spark-shell查看是否正常Spark1.3.0升級(jí)1.5安裝spark包1、停止Spark1.3.0集群：SPARK_HOME/sbin/stop-all.sh2、將spark-1.5.1-bin-hadoop2.4.tgz使用WinSCP上傳到/usr/local目錄下。3、解壓縮spark包：tarzxvfspark-1.5.1-bin-hadoop2.4.tgz。4、修改spark環(huán)境變量exportSPARK_HOME=/usr/lo

31、cal/spark-1.5.1-bin-hadoop2.4exportPATH=$SPARK_HOMEbinexportCLASSPATH=.:$CLASSPATH:$JAVA_HOM日lib:$JAVA_HOMEjre/libsource.bashrc修改spark-env.sh文件1、cd/usr/local/spark/conf2、cpspark-env.sh.templatespark-env.sh3、vispark-env.shexportJAVA_HOME=/usr/java/latestexportSCALA_HOME=/usr/local/scalaexportSPARK_MA

32、STER_IP=07exportSPARK_WORKER_MEMORY1=gexportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop修改slaves文件spark2spark3安裝spark集群在另外兩個(gè)節(jié)點(diǎn)進(jìn)行一模一樣的配置，使用scp將spark和.bashrc拷貝到spark2和spark3即可。scp-rspark-1.5.1-bin-hadoop2.4rootspark1:/usr/local/啟動(dòng)spark集群1、在spark目錄下的sbin目錄2、執(zhí)行./start-all.sh3、使用jsp和8080端口可以檢查

33、集群是否啟動(dòng)成功4、進(jìn)入spark-shell查看是否正常hadoopfs-putspark.txt/vallines=sc.textFile("hdfs:/spark1:9000/spark.txt")valwords=lines.flatMap(line=>line.split("")valpairs=words.map(word=>(word,1)valcounts=pairs.reduceByKey(_+_)counts.foreach(count=>println(count._1+":"+count._2)flume-ng-1.5.0-cdh5.3.6安裝安裝flume1、將flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。2、對(duì)flume進(jìn)行解壓縮：tar-zxvfflume-ng-1.5.0-cdh5.3.6.tar.gz3、對(duì)flume目錄進(jìn)行重命名：mvapache-flume-1.5.0-cdh5.3.6-binflume4、配置scala相關(guān)的環(huán)境變量exportFLUME_HOME=/usr/local/flumeexportFLUME_CONF_DIR=$FLUME