2023學(xué)年完整公開課版Spark安裝集群

孟繁興0102目錄集群概況0304配置Spark關(guān)閉Spark集群啟動Spark集群

集群概況masterslave1slave206NameNode/JobHistoryserver/ResourceManager/SecondaryNameNode/Master07DataNode/NodeManager/Worker08DataNode/NodeManager/WorkerSpark安裝目錄包解析Spark配置（1）配置spark-env.sh文件將spark-env.sh.template拷貝到spark-env.shcp./conf/spark-env.sh.template./conf/spark-env.sh編輯spark-env.sh,添加如下內(nèi)容：exportJAVA_HOME=/usr/local/jdkexportSCALA_HOME=/usr/share/scala/exportHADOOP_HOME=/export/servers/hadoopexportHADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoopexportSPARK_MASTER_IP=masterexportSPARK_MASTER_PORT=7077Spark配置slaves文件spark-defaults.confSpark主節(jié)點所在機器及端口，spark://默認寫法是否打開任務(wù)日志功能，默認為false，即不打開任務(wù)日志默認存放位置，配置為一個HDFS路徑即可(2)修改slaves文件和spark-defaults.conf文件Spark配置配置好后，將Master主機上的/usr/local/spark文件夾復(fù)制到各個節(jié)點上在Master主機上執(zhí)行如下命令：cd/usr/local/tar-zcf~/spark.master.tar.gz./sparkcd~scp./spark.master.tar.gzslave01:/home/hadoopscp./spark.master.tar.gzslave02:/home/hadoop在slave01,slave02節(jié)點上分別執(zhí)行下面同樣的操作：rm-rf/usr/local/spark/tar-zxf~/spark.master.tar.gz-C/usr/localchown-Rhadoop/usr/local/spark

啟動Spark集群（1）首先啟動Hadoop集群。在Master節(jié)點主機上運行如下命令：cd/usr/local/hadoop/sbin/start-all.sh（2）啟動Master節(jié)點在Master節(jié)點主機上運行如下命令：cd/usr/local/spark/sbin/start-master.sh（3）啟動所有Slave節(jié)點在Master節(jié)點主機上運行如下命令：$sbin/start-slaves.sh

啟動Spark集群（4）在瀏覽器上查看Spark獨立集群管理器的集群信息在Master主機上打開瀏覽器，訪問http://master:8080,如下圖：

關(guān)閉Spark集群（1）關(guān)閉Master節(jié)點sbin/stop-master.sh（2）關(guān)閉Worker節(jié)點sbin/stop-sla