實訓4 部署YARN集群

實訓3.1部署YARN集群1.實訓目的通過本實訓熟悉如何構(gòu)建YARN分布式集群，并能夠使用YARN集群提交一些簡單的任務，理解YARN在Hadoop生態(tài)中的作用與意義。2.實訓內(nèi)容構(gòu)建YARN集群，并使用YARN集群提交簡單的任務，觀察任務提交之后YARN的執(zhí)行過程。3.實訓要求以小組為單元進行實訓，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實訓任務，具體參考實訓操作環(huán)節(jié)。4.準備知識需要有計算機基礎(chǔ)及Linux基礎(chǔ)能力，可參考教材后面的Linux附件資料。5.實訓步驟（1）在master機器上進行YARN配置①編輯YARN的配置文件修改文件為“/opt/software/hadoop-3.3.4/etc/hadoop/yarn-site.xml”在master節(jié)點執(zhí)行：cd/opt/software/hadoop-3.3.4/etc/hadoopvimyarn-site.xml將如下內(nèi)容添加到最后兩行的<configuration></configuration>標簽之間： <property><name>yarn.resourcemanager.hostname</name><value>master</value><description>表示ResourceManager服務器</description></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>表示ResourceManager監(jiān)聽的端口</description></property><property><name>yarn.nodemanager.local-dirs</name><value>/opt/software/hadoop-3.3.4/yarn/local-dir1,/opt/software/hadoop-3.3.4/yarn/local-dir2</value><description>表示NodeManager中間數(shù)據(jù)存放的地方</description></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value><description>表示這個NodeManager管理的內(nèi)存大小</description></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>2</value><description>表示這個NodeManager管理的cpu個數(shù)</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>為MapReduce應用打開shuffle服務</description></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>4</value><description>配置虛擬內(nèi)存與物理內(nèi)存比例，默認值是2.1</description></property>yarn-site.xml是YARN守護進程的配置文件，將虛擬內(nèi)存與物理內(nèi)存的比例調(diào)整成4倍，避免執(zhí)行任務時報錯。②拷貝配置文件到slave1、slave2~/shell/scp_call.shyarn-site.xml（2）啟動HDFS和YARN在master節(jié)點執(zhí)行（如已啟動則無需啟動）。操作效果如圖2-所示。start-dfs.shstart-yarn.sh圖3-4啟動HDFS和YARN圖示（3）驗證YARN啟動成功查看各節(jié)點的進程情況圖3-4查看各節(jié)點的進程（4）查看YARN的WebUI界面在瀏覽器中打開master的ip地址加端口：31:8088格式：master的ip:8088。如圖2-46所示。圖3-4查看YARN的WebUI界面（5）提交MapReduce任務①編輯MapReduce配置文件修改文件為“/opt/software/hadoop-3.3.4/etc/hadoop/mapred-site.xml”在master節(jié)點執(zhí)行：vimmapred-site.xml編輯此文件，在此文件的configuration標簽間中加入以下內(nèi)容：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>yarn.app.mapreduce.am.resource.mb</name><value>1024</value></property><property><name>yarn.app.mapreduce.am.resource.cpu-vcores</name><value>1</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property>此配置指定了MapReduce作業(yè)運行在YARN上，同時對JobHistoryserver進行配置，方便查看相關(guān)日志；MapReduce作業(yè)需要的內(nèi)存和虛擬cpu數(shù)；并且配置了MapReduce作業(yè)相關(guān)的環(huán)境變量。②拷貝配置文件到slave1、slave2~/shell/scp_call.shmapred-site.xml③提交MapReduce任務接下來提交Hadoop內(nèi)置的估算π值的任務。在master節(jié)點執(zhí)行：hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jarpi510命令最后兩個兩個參數(shù)的含義：第一個參數(shù)是指要運行map的次數(shù)，這里是5次；第二個參數(shù)是指每個map任務，取樣的個數(shù)；而兩數(shù)相乘即為總的取樣數(shù)。執(zhí)行過程如圖3-5所示。圖3-5提交PI任務過程（6）實訓結(jié)果①提交PI任務之后WebUI界面上看到的信息。如圖3-6、圖3-