在HadoopYarn集群上運(yùn)行Spark應(yīng)用

主講：朱佳目錄0102兩種集群模式的工作原理在YARN上啟動(dòng)Spark應(yīng)用03HDFS和Spark兩種集群模式的工作原理1兩種集群模式的工作原理

與獨(dú)立集群一樣，YARN支持客戶端和Spark應(yīng)用程序的集群模式部署。以下是兩種模式的工作原理：在客戶端模式下，Spark驅(qū)動(dòng)程序在部署Spark應(yīng)用程序的客戶端進(jìn)程內(nèi)運(yùn)行，而不在YARN集群中運(yùn)行?？蛻舳耸褂肁pplicationMaster是為了從YARN（ResourceManager）請(qǐng)求資源。在集群模式中，Spark驅(qū)動(dòng)程序在Spark使用的ApplicationMaster進(jìn)程中運(yùn)行，該進(jìn)程由集群上的YARN管理。啟動(dòng)應(yīng)用程序后，客戶端將會(huì)退出。兩種集群模式的工作原理

為了在Hadoop集群中運(yùn)行Spark應(yīng)用程序，必須在spark-env.sh文件中設(shè)置HADOOP_CONF_DIR或YARN_CONF_DIR環(huán)境變量，讓其指向已存儲(chǔ)客戶端Hadoop配置文件的目錄。此目錄中的配置由Spark寫入HDFS存儲(chǔ)并連接到Y(jié)ARN 的ResourceManager。配置被分發(fā)到整個(gè)集群，所以Spark的所有容器都使用相同的配置。在YARN上啟動(dòng)Spark應(yīng)用2在YARN上啟動(dòng)Spark應(yīng)用

使用以下命令在客戶端模式啟動(dòng)Spark應(yīng)用程序： $spark-submit\--classorg.apache.spark.examples.SparkPi\ --masterclient\--deploy-modecluster\--executor-memory4g\--executor-cores1\--queuemyqeue\lib/spark-examples*.jar在YARN上啟動(dòng)Spark應(yīng)用

使用以下命令在YARN集群模式啟動(dòng)Spark應(yīng)用程序： $spark-submit\--classorg.apache.spark.examples.SparkPi\ --masteryarn\--deploy-modecluster\--executor-memory4g\--executor-cores1\--queuemyqeue\lib/spark-examples*.jar在YARN上啟動(dòng)Spark應(yīng)用

在YARN模式下可以使用，在客戶端模式下不可使用的參數(shù)：--num-executors：分配的執(zhí)行器個(gè)數(shù)--executors-memory：為每個(gè)執(zhí)行器分配的內(nèi)存--executors-cores：為每個(gè)執(zhí)行器分配的CPU核數(shù)HDFS和Spark3HDFS和Spark如果使用HDFS作為Spark的數(shù)據(jù)源，則必須要在Spark類路徑中包含以下兩個(gè)文件： hdfs-site.xml：包含HDFS客戶端的默認(rèn)行為。core-site.xml：設(shè)置默認(rèn)文件系統(tǒng)名稱。為了讓Spark查看這些