大數(shù)據(jù)分析及應用項目教程(Spark SQL)（微課版） 課件 第2章 實踐環(huán)境準備

第2章實踐環(huán)境準備Hadoop集群環(huán)境搭建第一部分環(huán)境準備啟動Hadoop集群運行經(jīng)典案例wordcount安裝Hadoop學習目標和要求1、掌握Hadoop集群環(huán)境搭建的環(huán)境準備工作，包括配置主機名、防火墻設置、免密登錄設置、Java環(huán)境設置。2、掌握安裝Hadoop的過程、配置文件設置及啟動集群的方法。3、會在Hadoop集群運行經(jīng)典案例wordcount。環(huán)境準備1、集群節(jié)點規(guī)劃此集群由三個節(jié)點構(gòu)成，分別是master、slaver01、slaver02。集群搭建部署均在虛擬機中完成，使用VMwareWorkstation16Pro虛擬計算機軟件。環(huán)境準備2、配置主機名和IP（1）修改對應虛擬機的IP地址：

vi/etc/sysconfig/network-scripts/ifcfg-ens33（2）將三臺虛擬機的主機名修改為master、slaver01、slaver02。

hostnamectlset-hostname主機名（3）重啟網(wǎng)絡，使網(wǎng)絡配置生效。

systemctlrestartnetwork環(huán)境準備3、連接MobaXterm終端工具使用MobaXterm終端工具，為master、slaver01和slaver02創(chuàng)建SSH連接。環(huán)境準備4、關(guān)閉防火墻

防火墻是對服務器進行保護的一種服務，但有時候會帶來很多麻煩，它會妨礙Hadoop集群間的相互通信，所以我們要關(guān)閉防火墻。關(guān)閉master、slaver01和slaver02主機的防火墻，并設置開機不自啟。systemctlstatusfirewalldsystemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld環(huán)境準備5、關(guān)閉SElinuxSELINUX是對系統(tǒng)安全級別更細粒度的設置。關(guān)閉master、slaver01和slaver02主機的SElinux。vi/etc/sysconfig/selinux環(huán)境準備6、修改/etc/hosts文件修改master、slaver01和slaver02主機的/etc/hosts文件，建立主機和ip地址之間的映射關(guān)系。vi/etc/hosts7、配置免密登錄首先在master節(jié)點創(chuàng)建生成密鑰。將密鑰拷貝到slaver01和slaver02兩個節(jié)點，完成免密登錄配置。環(huán)境準備8、配置Java環(huán)境在master節(jié)點上傳JDK軟件包并解壓。在.bash_profile文件中配置環(huán)境變量。使用source.bash_profile命令，使.bash_profile文件配置生效。查看Java版本，驗證安裝成功。使用scp命令將jdk解壓安裝相關(guān)文件分發(fā)到slaver01和slaver02節(jié)點。安裝Hadoop

由于三個節(jié)點都需要安裝Hadoop，為了提高部署效率，先在master節(jié)點進行部署安裝，然后將相關(guān)的文件和配置拷貝分發(fā)到另外兩個節(jié)點中。上傳Hadoop安裝包并解壓。修改環(huán)境變量。使環(huán)境變量生效。修改hadoop的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers。分發(fā)Hadoop和環(huán)境變量文件到slaver01和slaver02。格式化HDFS文件系統(tǒng)。啟動Hadoop集群1、啟動Hadoop集群只需要在master節(jié)點輸入start-all.sh。接著查看各節(jié)點的服務進程。2、打開Google瀏覽器，輸入地址30:8088，可以打開Yarn頁面。3、輸入地址30:9870，可以打開HDFS頁面。案例wordcount通過經(jīng)典案例wordcount，體驗Hadoop運行MapReduce計算。1、在本地root目錄下創(chuàng)建一個txt文件，輸入一段自定義文字。2、上傳文本到到hdfs。案例wordcount3、運行命令并查看結(jié)果hadoopjarhadoop-mapreduce-examples-3.2.1.jarwordcount/input/outputSpark集群部署與使用第二部分Spark安裝啟動SparkSpark集群測試學習目標和要求1、掌握Spark集群安裝配置方法。2、會啟動關(guān)閉Spark集群。3、能使用Spark-shell進行簡單編程測試。Spark安裝1、上傳軟件包使用MobaXterm工具，將軟件包上傳至master節(jié)點的root目錄下，然后將其解壓到/usr/local目錄中。Spark安裝2、在.bash_profile文件中修改環(huán)境變量執(zhí)行source.bash_profile使環(huán)境變量生效Spark安裝3、修改Spark配置文件（1）配置spark-env.sh文件（2）配置workers文件4、復制修改spark啟動腳本，避免和hadoop的啟動腳本沖突。5、分發(fā)Spark安裝文件到slaver01和slaver02。啟動Spark1、在master節(jié)點輸入start-spark-all.sh，啟動Spark。2、查看各節(jié)點服務進程狀態(tài)（此處已經(jīng)啟動Hadoop集群）啟動Spark3、Web查看Spark主頁情況在瀏覽器中輸入地址30:8080/，進行查看。Spark集群測試1、使用spark-submit工具提交Spark作業(yè)spark-submit提交任務及參數(shù)說明：--class：應用程序的主類，僅針對java或scala應用。--master：master的地址，提交任務到哪里執(zhí)行，例如spark://host:port,yarn,local。--driver-memory：driver進程所使用的內(nèi)存數(shù)量，以字節(jié)為單位?？梢灾付ú煌暮缶Y如“512m”或“15g”，默認是1G。--executor-memory：executor使用的內(nèi)存數(shù)量，以字節(jié)為單位?？梢灾付ú煌暮缶Y如“512m”或“15g”，默認是1G。--total-executor-cores：所有executor總共的核數(shù)。僅僅在mesos或者standalone下使用。Spark集群測試Spark集群測試2、使用Spark-sql（1）輸入spark-sql命令，啟動spark-sql。（2）使用SQL命令，執(zhí)行創(chuàng)建數(shù)據(jù)庫、創(chuàng)建表等操作。Spark集群測試3、使用Sparkshell（1）輸入spark-shell命令，啟動spark-shell。（2）執(zhí)行SparkShell常用命令Spark集群測試（2）執(zhí)行SparkShell常用命令①:help命令，查看SparkShell常用的命令Spark集群測試（2）執(zhí)行SparkShell常用命令②:paste命令，進入paster模式Scala安裝第三部分下載安裝包安裝配置學習目標和要求1、會下載、安裝配置Scala工具。2、能啟動Scala進行編程測試。下載安裝包通過連接地址/download/2.13.6.html直接下載scala-2.13.6.tgz壓縮包。安裝配