module03mapreduce和yarn分布式計算引擎技術(shù)02安裝部署

修訂記錄建議直接將本膠片另存，然后在此膠片的基礎(chǔ)上進行編輯。本部分包含：培訓目標、目錄、習題、總結(jié)、問題等模板。參考IT解決方案產(chǎn)品培訓課程開發(fā)內(nèi)容要素，按照模塊開發(fā)。課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEH13-711FusionInsightHDV100R002C60V1.0開發(fā)/優(yōu)化者時間審核人開發(fā)類型（新開發(fā)/優(yōu)化）陳志強003457512016年6月高冬冬wx321719新開發(fā)本頁不打印MapReduce和Yarn

安裝部署學完本課程后，您將能夠:掌握MR,YARN組件安裝部署掌握MR,YARN常用配置參數(shù)熟悉MR,YARN監(jiān)控告警部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標原生頁面介紹MR,YARN部署原則及約束服務名稱角色名稱內(nèi)存最小要求依賴關(guān)系角色業(yè)務部署原則YARNRM（ResourceManager）2GB依賴于HDFS和ZooKeeper分別部署在2個控制節(jié)點上，主備配置。NM(NodeManager)2GB至少部署在3個數(shù)據(jù)節(jié)點上，與HDFS的DataNode保持一致。MapReduceJobHistoryServer2GB依賴于HDFS，Yarn,ZooKeeper部署在1個控制節(jié)點上，用于存儲任務運行記錄。部署規(guī)劃部署方法新建部署擴容部署減容部署組件配置健康檢查關(guān)鍵指標原生頁面介紹新建部署1、進入安裝頁面，選擇“手動安裝”（也可選擇“模板安裝”，這里以手動安裝為例），點擊確定。新建部署2、輸入主機IP以及主機root用戶密碼，點擊“發(fā)現(xiàn)主機”，選擇發(fā)現(xiàn)成功的節(jié)點，點擊“下一步”。3、選擇安裝服務根據(jù)業(yè)務需要選擇待安裝的服務。當選擇MapReduce服務時，系統(tǒng)會自動為其選擇依賴的ZooKeeper,HDFS,YARN等服務。4、拓撲設(shè)置根據(jù)拓撲規(guī)劃，將組件部署到指定節(jié)點上。完成設(shè)置后點擊“下一步”。新建部署5、提交安裝完成上述操作后，進入確認頁面，確認頁面包含前面步驟的概要信息。然后點擊“提交”。6、部署完成提交集群安裝請求后，界面顯示安裝集群進度，全部步驟完成后點擊“完成”。部署規(guī)劃部署方法新建部署擴容部署減容部署組件配置健康檢查關(guān)鍵指標原生頁面介紹擴容部署在以下條件發(fā)生時，需進行NodeManager擴容：FusionInsightManager上已經(jīng)正確設(shè)置了MapReduceJobExecutionTimeout（AlarmID:18006）監(jiān)控轉(zhuǎn)告警。系統(tǒng)收到此告警且排除了MapReduce服務不可用和部分NodeManager異常的場景。擴容方式：如果集群內(nèi)仍有部分安裝了DataNode實例的節(jié)點未安裝NodeManager，且在集群角色部署規(guī)劃中允許這些節(jié)點安裝NodeManager實例，可直接在這些節(jié)點上添加NodeManager實例完成擴容。節(jié)點擴容后在新增節(jié)點上添加DataNode實例與NodeManager實例。擴容部署擴容前準備。擴容部署如有告警先清除告警，再進行擴容操作。擴容部署擴容約束實例擴容的目標節(jié)點不要選擇ResourceManager、JobHistory或者NameNode所在的節(jié)點。在ResourceManager或者JobHistory上增加或刪除NodeManager或DataNode會導致ResourceManager或者JobHistory出現(xiàn)“配置狀態(tài)”處于“過期”，此時需要重啟服務才能恢復。實例擴容的目標節(jié)點不要選擇HMaster所在的節(jié)點。擴容部署1、在安裝了YARN服務的集群管理界面，進入“服務管理”界面，點擊YARN服務，進入YARN服務界面,點擊“實例”頁簽，進入YARN實例界面,點擊“添加實例”操作。擴容部署2、若擴容主機不在主機列表里，需點擊“添加主機”，輸入主機IP以及主機root用戶密碼，點擊“發(fā)現(xiàn)主機”，選擇發(fā)現(xiàn)成功的節(jié)點，點擊“下一步”,在擴容的節(jié)點上規(guī)劃YARN的角色，如NM，點擊“下一步”。擴容部署3、按照提示步驟完成實例擴容。部署規(guī)劃部署方法新建部署擴容部署減容部署組件配置健康檢查關(guān)鍵指標原生頁面介紹減容部署點擊“服務管理>YARN>實例”，進入YARN實例界面，選擇待減容的實例，點擊“更多操作”中的“退服”操作。部署規(guī)劃部署方法組件配置常用參數(shù)說明及配置建議監(jiān)控告警健康檢查關(guān)鍵指標原生頁面介紹常用參數(shù)說明及配置建議參數(shù)建議值說明yarn.scheduler.minimum-allocation-vcores1ResourceManager中每個容器請求的最小分配值，用虛擬CPU核數(shù)表示。低于該值的請求將不生效。設(shè)置值將配置為最低。yarn.scheduler.minimum-allocation-mb512為ResourceManager中每個container請求分配的最小內(nèi)存。單位：MB。如果請求的內(nèi)存量很少，將分配該參數(shù)設(shè)置的內(nèi)存量。yarn.scheduler.maximum-allocation-mb6144為ResourceManager中每個container請求分配的最大內(nèi)存。單位：MB。如果請求的內(nèi)存量很多，將分配該參數(shù)設(shè)置的內(nèi)存量。常用參數(shù)說明及配置建議參數(shù)建議值說明yarn.nodemanager.log-dirs/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs本地化后任務日志文件的存儲位置。yarn.nodemanager.local-dirs/srv/BigData/hadoop/data1/nm/localdir,/srv/BigData/hadoop/data2/nm/localdir本地化后任務數(shù)據(jù)文件的存儲位置。yarn.nodemanager.resource.memory-mb實際節(jié)點內(nèi)存的75%分配給Yarn的內(nèi)存資源。部署規(guī)劃部署方法組件配置常用參數(shù)說明及配置建議監(jiān)控告警健康檢查關(guān)鍵指標原生頁面介紹監(jiān)控選擇Yarn的服務監(jiān)控可以在Yarn服務頁面右上角點擊定制選擇監(jiān)控選項。監(jiān)控告警-Yarn服務監(jiān)控已經(jīng)成功提交任務到各個隊列的信息集群中各個隊列可用的資源監(jiān)控告警-ResourceManager監(jiān)控ResourceManager已使用的內(nèi)存ResourceManager的CPU使用率監(jiān)控告警-JobHistoryServer監(jiān)控JobHistoryServer的CPU使用率JobHistoryServer的已使用內(nèi)存部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標原生頁面介紹健康檢查關(guān)鍵指標部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標原生頁面介紹原生頁面介紹原生頁面介紹本章首先介紹了MapReduce&Yarn的部署規(guī)劃原則，以及部署方法。接著介紹安裝后組件的參數(shù)配置，如何對MapReduce&Yarn做健康檢查，最后介紹了原生頁面。MapReduce和Yarn分別依賴于哪些服務運行？擴容部署有哪些方法？如何檢查MapReduce和Yarn的狀態(tài)是否健康？習題1.MapReduce的安裝依賴哪些組件（）A.Yarn,Hbase,Hive B.zookeeper,HDFS,YarnC.HDFS,Hive D.Solr,Hbase,zookeeper2.Yarn默認分配給每個conta