spark2.課程環(huán)境搭建虛擬機、centos hadoop等

1、上海育創(chuàng)網絡科技有限公司Spark從入門到精通Spark 2.0-課程環(huán)境搭建：虛擬機、CentOS、Hadoop、Spark等講師：中華石杉 （北風網 ）CentOS 6.5集群搭建虛擬機安裝1、使用課程提供的CentOS 6.5鏡像即可，CentOS-6.5-i386-minimal.iso。2、創(chuàng)建虛擬機：打開Virtual Box，點擊“新建”按鈕，點擊“下一步”，輸入虛擬機名稱為spark2upgrade01，選擇操作系統(tǒng)為Linux，選擇版本為Red Hat，分配4096MB內存，后面的選項全部用默認，在Virtual Disk File location and size中，一定

2、要自己選擇一個目錄來存放虛擬機文件，最后點擊“create”按鈕，開始創(chuàng)建虛擬機。3、設置虛擬機網卡：選擇創(chuàng)建好的虛擬機，點擊“設置”按鈕，在網絡一欄中，連接方式中，選擇“Bridged Adapter”。4、安裝虛擬機中的CentOS 6.5操作系統(tǒng)：選擇創(chuàng)建好的虛擬機，點擊“開始”按鈕，選擇安裝介質（即本地的CentOS 6.5鏡像文件），選擇第一項開始安裝-Skip-歡迎界面Next-選擇默認語言-Baisc Storage Devices-Yes, discard any data-主機名:spark2upgrade01-選擇時區(qū)-設置初始密碼為hadoop-Replace Exist

3、ing Linux System-Write changes to disk-CentOS 6.5自己開始安裝。5、安裝完以后，CentOS會提醒你要重啟一下，就是reboot，你就reboot就可以了。CentOS 6.5集群搭建配置網絡vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetONBOOT=yesBOOTPROTO=dhcpservice network restartifconfigBOOTPROTO=staticIPADDR=192.168.0.XNETMASK=GA

4、TEWAY=service network restartvi /etc/hosts配置本機的hostname到ip地址的映射此時就可以使用SecureCRT從本機連接到虛擬機進行操作了CentOS 6.5集群搭建關閉防火墻service iptables stopservice ip6tables stopchkconfig iptables offchkconfig ip6tables offvi /etc/selinux/configSELINUX=disabled關閉windows的防火墻CentOS 6.5集群搭建安裝yumyum clean allyum ma

5、kecacheyum install telnetCentOS 6.5集群搭建安裝JDK 1.71、將jdk-7u60-linux-i586.rpm通過WinSCP上傳到虛擬機中2、安裝JDK：rpm -ivh jdk-7u65-linux-i586.rpm3、配置jdk相關的環(huán)境變量vi .bashrcexport JAVA_HOME=/usr/java/latestexport PATH=$PATH:$JAVA_HOME/binsource .bashrc4、測試jdk安裝是否成功：java -versionCentOS 6.5集群搭建安裝另外兩臺虛擬機1、按照上述步驟，再安裝兩臺一模一樣

6、環(huán)境的虛擬機，唯一的區(qū)別是內存為1024MB。2、另外兩臺機器的hostname分別設置為spark2upgrade02和spark2upgrade03即可。3、在安裝的時候，另外兩臺虛擬機的centos鏡像文件必須重新拷貝一份，使用自己的鏡像文件。4、虛擬機的硬盤文件也重新選擇一個新的目錄。5、安裝好之后，要在三臺機器的/etc/hosts文件中，配置全三臺機器的ip地址到hostname的映射6、在windows的hosts文件中也要配置全三臺機器的ip地址到hostname的映射。CentOS 6.5集群搭建配置集群的SSH免密碼通信1、首先在三臺機器上配置對本機的ssh免密碼登錄ssh

7、-keygen -t rsa生成本機的公鑰，過程中不斷敲回車即可，ssh-keygen命令默認會將公鑰放在/root/.ssh目錄下cd /root/.sshcp id_rsa.pub authorized_keys將公鑰復制為authorized_keys文件，此時使用ssh連接本機就不需要輸入密碼了2、接著配置三臺機器互相之間的ssh免密碼登錄使用ssh-copy-id -i spark命令將本機的公鑰拷貝到指定機器的authorized_keys文件中Hadoop 2.4集群搭建部署hadoop安裝包1、使用課程提供的hadoop-2.4.1.tar.gz，使用WinSCP上傳到Cent

8、OS的/usr/local目錄下。2、將hadoop包進行解壓縮：tar -zxvf hadoop-2.4.1.tar.gz3、對hadoop目錄進行重命名：mv hadoop-2.4.1 hadoop4、配置hadoop相關環(huán)境變量vi .bashrcexport HADOOP_HOME=/usr/local/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource .bashrc5、在/usr/local目錄下創(chuàng)建data目錄Hadoop 2.4集群搭建修改core-site.xml配置文件 hdf

9、s:/spark2upgrade01:9000Hadoop 2.4集群搭建修改hdfs-site.xml配置文件 .dir /usr/local/data/namenode dfs.data.dir /usr/local/data/datanode dfs.tmp.dir /usr/local/data/tmp dfs.replication 3Hadoop 2.4集群搭建修改mapred-site.xml配置文件 yarnHadoop 2.4集群搭建修改yarn-site.xml配置文件 yarn.resourcemanage

10、r.hostname spark2upgrade01 yarn.nodemanager.aux-services mapreduce_shuffleHadoop 2.4集群搭建修改slaves配置文件spark2upgrade01spark2upgrade02spark2upgrade03Hadoop 2.4集群搭建在另外兩臺機器上部署hadoop1、使用scp命令將spark2upgrade01上面的hadoop安裝包和.bashrc配置文件都拷貝過去。2、要記得對.bashrc文件進行source，以讓它生效。3、記得在另外兩臺機器的/usr/local目錄下創(chuàng)建data目錄。Hadoop

11、 2.4集群搭建啟動hdfs集群1、格式化namenode：在spark2upgrade01上執(zhí)行以下命令hdfs namenode -format2、啟動hdfs集群：start-dfs.sh3、驗證啟動是否成功：jps、50070端口spark2upgrade01：namenode、datanode、secondarynamenodespark2upgrade02：datanodespark2upgrade03：datanodeHadoop 2.4集群搭建啟動yarn集群1、啟動yarn集群：start-yarn.sh2、驗證啟動是否成功：jps、8088端口spark2upgrade01

12、：resourcemanager、nodemanagerspark2upgrade02：nodemanagerspark2upgrade03：nodemanagerHive 0.13搭建部署hive安裝包1、將課程提供的apache-hive-0.13.1-bin.tar.gz使用WinSCP上傳到spark1的/usr/local目錄下。2、解壓縮hive安裝包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。3、重命名hive目錄：mv apache-hive-0.13.1-bin hive4、配置hive相關的環(huán)境變量vi .bashrcexport HI

13、VE_HOME=/usr/local/hiveexport PATH=$HIVE_HOME/binsource .bashrcHive 0.13搭建安裝mysql1、在spark2upgrade01上安裝mysql。2、使用yum安裝mysql server。yum install -y mysql-serverservice mysqld startchkconfig mysqld on3、使用yum安裝mysql connectoryum install -y mysql-connector-java4、將mysql connector拷貝到hive的lib包中cp /usr/share/

14、java/mysql-connector-java-5.1.17.jar /usr/local/hive/lib5、在mysql上創(chuàng)建hive元數據庫，并對hive進行授權create database if not exists hive_metadata;grant all privileges on hive_metadata.* to hive% identified by hive;grant all privileges on hive_metadata.* to hivelocalhost identified by hive;grant all privileges on hi

15、ve_metadata.* to hivespark2upgrade01 identified by hive;flush privileges;use hive_metadata;Hive 0.13搭建修改hive-site.xml配置文件mv hive-default.xml.template hive-site.xmlvi hive-site.xml javax.jdo.option.ConnectionURL jdbc:mysql:/spark2upgrade01:3306/hive_metadata?createDatabaseIfNotExist=true javax.jdo.op

16、tion.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName hive javax.jdo.option.ConnectionPassword hiveHive 0.13搭建配置hive-env.sh和hive-config.shmv hive-env.sh.template hive-env.shvi /usr/local/hive/bin/hive-config.shexport JAVA_HOME=/usr/java/latestexport HIVE_HOME=/usr/local

17、/hiveexport HADOOP_HOME=/usr/local/hadoopHive 0.13搭建驗證安裝是否成功直接輸入hive命令，可以進入hive命令行Spark 2.0集群搭建安裝scala 2.111、將課程提供的scala-2.11.4.tgz使用WinSCP拷貝到spark1的/usr/local目錄下。2、對scala-2.11.4.tgz進行解壓縮：tar -zxvf scala-2.11.4.tgz。3、對scala目錄進行重命名：mv scala-2.11.4 scala4、配置scala相關的環(huán)境變量vi .bashrcexport SCALA_HOME=/usr

18、/local/scalaexport PATH=$SCALA_HOME/binsource .bashrc5、查看scala是否安裝成功：scala -version6、在另外兩臺機器上都安裝scala，使用scp將scala和.bashrc拷貝到過去即可。Spark 2.0集群搭建部署spark 2.0安裝包1、將spark-2.0.0-bin-hadoop2.4.tgz使用WinSCP上傳到/usr/local目錄下。自己在 上下載即可。2、解壓縮spark包：tar zxvf spark-2.0.0-bin-hadoop2.4.tgz。3、更改spark目錄名：mv spark-2.0.

19、0-bin-hadoop2.4.tgz spark4、設置spark環(huán)境變量vi .bashrcexport SPARK_HOME=/usr/local/sparkexport PATH=$SPARK_HOME/binexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libsource .bashrcSpark 2.0集群搭建配置spark-env.sh1、cd /usr/local/spark/conf2、cp spark-env.sh.template spark-env.sh3、vi spark-env.shexpor

20、t JAVA_HOME=/usr/java/latestexport SCALA_HOME=/usr/local/scalaexport SPARK_MASTER_HOST=spark2upgrade01export SPARK_WORKER_MEMORY=500mexport HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoopSpark 2.0集群搭建配置slavesspark2upgrade01spark2upgrade02spark2upgrade03Spark 2.0集群搭建在另外兩臺機器上部署spark 2.0在另外兩個節(jié)點進行一模一樣的配置，使

21、用scp將spark和.bashrc拷貝到過去即可。Spark 2.0集群搭建配置spark可以使用hive1、將hive-site.xml放置到spark的conf目錄下2、修改spark/conf和hive/conf下的hive-site.xml hive.metastore.uris thrift:/spark2upgrade01:90833、啟動hive metastore servicehive -service metastore &4、cp hive/lib/mysql-connector-java-5.1.17.jar spark/jars/5、hdfs dfs -chmod

22、777 /tmp/hive-rootSpark 2.0集群搭建啟動spark集群1、在spark目錄下的sbin目錄2、執(zhí)行./start-all.sh3、使用jsp和8080端口可以檢查集群是否啟動成功4、進入spark-shell查看是否正常Spark 2.0集群搭建檢查spark集群能否與hdfs整合使用1、使用 spark-shell -master spark:/spark2upgrade01:7077 -driver-memory 500m -executor-memory 500m啟動2、手工創(chuàng)建一份文件，上傳到hdfs上去，放在/test_data/wordcount.txt中3、在spark-shell中，基于hdfs上的文件，編寫與運行一個wordcount程序val lines = sc.textFile(“hdfs:/spark2upgrade01:9000/test_data/word