Spark運行模式與作業(yè)提交

Spark運行模式及作業(yè)提交2目錄01作業(yè)提交02Local模式03Standalone模式04SparkonYarn模式作業(yè)提交3spark-submitSpark所有模式均使用spark-submit命令提交作業(yè)，其格式如下：./bin/spark-submit\--class<main-class>\#應(yīng)用程序主入口類

--master<master-url>\#集群的MasterUrl--deploy-mode<deploy-mode>\#部署模式

--conf<key>=<value>\#可選配置

...#otheroptions<application-jar>\#Jar包路徑

[application-arguments]#傳遞給主入口類的參數(shù)需要注意的是：在集群環(huán)境下，application-jar必須能被集群中所有節(jié)點都能訪問，可以是HDFS上的路徑；也可以是本地文件系統(tǒng)路徑，如果是本地文件系統(tǒng)路徑，則要求集群中每一個機器節(jié)點上的相同路徑都存在該Jar包。作業(yè)提交4deploy-mode有cluster和client兩個可選參數(shù)，默認為client。這里以SparkOnYarn模式對兩者進行說明：在cluster模式下，SparkDrvier在應(yīng)用程序的Master進程內(nèi)運行，該進程由群集上的YARN管理，提交作業(yè)的客戶端可以在啟動應(yīng)用程序后關(guān)閉；在client模式下，SparkDrvier在提交作業(yè)的客戶端進程中運行，Master進程僅用于從YARN請求資源。deploy-mode5master-url作業(yè)提交MasterURLMeaninglocal使用一個線程本地運行Sparklocal[K]使用K個worker線程本地運行Sparklocal[K,F]使用K個worker線程本地運行,第二個參數(shù)為Task的失敗重試次數(shù)local[*]使用與CPU核心數(shù)一樣的線程數(shù)在本地運行Sparklocal[*,F]使用與CPU核心數(shù)一樣的線程數(shù)在本地運行Spark

第二個參數(shù)為Task的失敗重試次數(shù)作業(yè)提交6local[*,F]使用與CPU核心數(shù)一樣的線程數(shù)在本地運行Spark

第二個參數(shù)為Task的失敗重試次數(shù)spark://HOST:PORT連接至指定的standalone集群的master節(jié)點。端口號默認是7077。spark://HOST1:PORT1,HOST2:PORT2如果standalone集群采用Zookeeper實現(xiàn)高可用，則必須包含由zookeeper設(shè)置的所有master主機地址。mesos://HOST:PORT連接至給定的Mesos集群。端口默認是5050。對于使用了ZooKeeper的Mesoscluster來說，使用

mesos://zk://...

來指定地址，使用

--deploy-modecluster

模式來提交。yarn連接至一個YARN集群，集群由配置的

HADOOP_CONF_DIR

或者

YARN_CONF_DIR來決定。使用

--deploy-mode

參數(shù)來配置

client

或

cluster

模式。Local模式7Local模式下提交作業(yè)最為簡單，不需要進行任何配置，提交命令如下：#本地模式提交應(yīng)用spark-submit\--classorg.apache.spark.examples.SparkPi\--masterlocal[2]\/usr/app/spark-2.4.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.0.jar\100#傳給SparkPi的參數(shù)spark-examples_2.11-2.4.0.jar是Spark提供的測試用例包，SparkPi用于計算Pi值Standalone模式8Standalone是Spark提供的一種內(nèi)置的集群模式，采用內(nèi)置的資源管理器進行管理。下面按照如圖所示演示1個Mater和2個Worker節(jié)點的集群配置，這里使用兩臺主機進行演示：hadoop001：由于只有兩臺主機，所以hadoop001既是Master節(jié)點，也是Worker節(jié)點;hadoop002：Worker節(jié)點。Standalone模式9提交作業(yè)#以client模式提交到standalone集群spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://hadoop001:7077\--executor-memory2G\--total-executor-cores10\/usr/app/spark-2.4.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.0.jar\100#以cluster模式提交到standalone集群spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://207.184.161.138:7077\--deploy-modecluster\--supervise\#配置此參數(shù)代表開啟監(jiān)督，如果主應(yīng)用程序異常退出，則自動重啟Driver--executor-memory2G\--total-executor-cores10\/usr/app/spark-2.4.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.0.jar\100SparkonYarn模式10Spark支持將作業(yè)提交到Y(jié)arn上運行，此時不需要啟動Master節(jié)點，也不需要啟動Worker節(jié)點。#以client模式提交到y(tǒng)arn集群spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modeclient\--executor-memory2G\--num-executors10\/usr/app/spark-2.4.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.0.jar\100#以cluster模式提交到y(tǒng)arn集群spark-submit\--classorg.apache.spark.examples.SparkPi\--mas