2023學年完整公開課版Spark示例

孟繁興目錄0102安裝SparkSpark示例安裝Spark1安裝Spark安裝Spark并使其運行非常簡單。在下面的例子中，使用一個Ubuntu服務器來安裝和配置Spark。雖然可以從源代碼構建，但這里我們從Spark的下載站點http:/l下載預編譯的二進制文件。雖然可以使用wget(也可以使用curl)從Apache軟件鏡像位置獲取Hadoop壓縮包，但是這里我們使用另外一種方法下載。安裝Spark1．首先，確保path中包含Java和Python，并且將$JAVA_HOME環(huán)境變量的值設為Java的安裝目錄。2．前往Spark的下載頁面/downloads.html.3選擇最新的Spark版本，并確保是Hadoop2.4或更高版本的預構建軟件包。使用以下命令下載軟件包，然后解壓縮二進制文件。最后，為了簡單起見，將包含二進制文件的文件夾重命名為spark。安裝Spark$wget/spark-1.4.0-bin-hadoop2.4.tgz$.tar-zxfspark-1.4.0-bin-hadoop2.4.tgz$sudomvspark-1.4.0-bin.-hadoop2.4spark請注意，最新的Spark二進制程序是使用最新并且穩(wěn)定的Hadoop版本開發(fā)的。安裝Spark1.在/opt下創(chuàng)建一個組織目錄，作為Spark的安裝目錄(Linux的/opt目錄存放附加軟件的二進制文件)。完成后，把spark目錄移動到新建目錄下。$sudomkdir-p/opt/mycompany$sudomvspark/opt/mycompany2．把spark安裝目錄的擁有者改為root，把文件權限改為0755。$sudochown-Rroot:root/opt/mycompany/spark$sudochmod-R755/opt/mycompany/spark安裝Spark3．執(zhí)行以下命令，創(chuàng)建一個spark配置目錄的軟鏈接。$cd/opt/mycompany/spark$sudomvspark/conf/*/etc/spark$sudoln-s/etc/sparkconf4．在.bashrc文件中將spark路徑添加到PATH變量中。$echo"exportPATH=$PATH:/opt/mycompany/spark/bin">>home/hduser/.bashrc安裝Spark5.創(chuàng)建spark的日志和臨時目錄。$sudomkdir-p/var/log/spark$sudochown-Rhduser:hduser/var/log/spark$sudomkdir/tmp/spark安裝Spark6．最后，配置Spark，使其和Hadoop協(xié)同工作，并使用在上一步中創(chuàng)建的日志和臨時目錄。$cd/etc/spark$echo"exportHADOOP_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop">>sparkenv.sh安裝Spark$echo"exportYARN_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop">>sparkenv.sh$echo"exportSPARK_LOG_DIR=/var/log/spark">>spark-env.sh$echo'exportSPARK_WORKER_DIR=/tmp/spark">>spark-env.shSpark示例2Spark示例Spark自帶了一些樣例，可以使用其中一些樣例來試運行新安裝的Spark。Spark基于Scala、Java、Python和R的樣例程序位于examples/src/main路徑下。使用bin/run-example<class>[params]從安裝目錄運行樣例程序。例如:./bin/run-exampleSparkPi10Spark使用spark-submit腳本（下一章會介紹）運行此程序。如果