2023學(xué)年完整公開(kāi)課版Spark示例

孟繁興目錄0102安裝SparkSpark示例安裝Spark1安裝Spark安裝Spark并使其運(yùn)行非常簡(jiǎn)單。在下面的例子中，使用一個(gè)Ubuntu服務(wù)器來(lái)安裝和配置Spark。雖然可以從源代碼構(gòu)建，但這里我們從Spark的下載站點(diǎn)http:/l下載預(yù)編譯的二進(jìn)制文件。雖然可以使用wget(也可以使用curl)從Apache軟件鏡像位置獲取Hadoop壓縮包，但是這里我們使用另外一種方法下載。安裝Spark1．首先，確保path中包含Java和Python，并且將$JAVA_HOME環(huán)境變量的值設(shè)為Java的安裝目錄。2．前往Spark的下載頁(yè)面/downloads.html.3選擇最新的Spark版本，并確保是Hadoop2.4或更高版本的預(yù)構(gòu)建軟件包。使用以下命令下載軟件包，然后解壓縮二進(jìn)制文件。最后，為了簡(jiǎn)單起見(jiàn)，將包含二進(jìn)制文件的文件夾重命名為spark。安裝Spark$wget/spark-1.4.0-bin-hadoop2.4.tgz$.tar-zxfspark-1.4.0-bin-hadoop2.4.tgz$sudomvspark-1.4.0-bin.-hadoop2.4spark請(qǐng)注意，最新的Spark二進(jìn)制程序是使用最新并且穩(wěn)定的Hadoop版本開(kāi)發(fā)的。安裝Spark1.在/opt下創(chuàng)建一個(gè)組織目錄，作為Spark的安裝目錄(Linux的/opt目錄存放附加軟件的二進(jìn)制文件)。完成后，把spark目錄移動(dòng)到新建目錄下。$sudomkdir-p/opt/mycompany$sudomvspark/opt/mycompany2．把spark安裝目錄的擁有者改為root，把文件權(quán)限改為0755。$sudochown-Rroot:root/opt/mycompany/spark$sudochmod-R755/opt/mycompany/spark安裝Spark3．執(zhí)行以下命令，創(chuàng)建一個(gè)spark配置目錄的軟鏈接。$cd/opt/mycompany/spark$sudomvspark/conf/*/etc/spark$sudoln-s/etc/sparkconf4．在.bashrc文件中將spark路徑添加到PATH變量中。$echo"exportPATH=$PATH:/opt/mycompany/spark/bin">>home/hduser/.bashrc安裝Spark5.創(chuàng)建spark的日志和臨時(shí)目錄。$sudomkdir-p/var/log/spark$sudochown-Rhduser:hduser/var/log/spark$sudomkdir/tmp/spark安裝Spark6．最后，配置Spark，使其和Hadoop協(xié)同工作，并使用在上一步中創(chuàng)建的日志和臨時(shí)目錄。$cd/etc/spark$echo"exportHADOOP_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop">>sparkenv.sh安裝Spark$echo"exportYARN_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop">>sparkenv.sh$echo"exportSPARK_LOG_DIR=/var/log/spark">>spark-env.sh$echo'exportSPARK_WORKER_DIR=/tmp/spark">>spark-env.shSpark示例2Spark示例Spark自帶了一些樣例，可以使用其中一些樣例來(lái)試運(yùn)行新安裝的Spark。Spark基于Scala、Java、Python和R的樣例程序位于examples/src/main路徑下。使用bin/run-example<class>[params]從安裝目錄運(yùn)行樣例程序。例如:./bin/run-exampleSparkPi10Spark使用spark-submit腳本（下一章會(huì)介紹）運(yùn)行此程序。如果