建立運(yùn)行MapReduce程序的依賴環(huán)境

建立運(yùn)行MapReduce程序的依賴環(huán)境2學(xué)習(xí)任務(wù)初步了解Ambari分布式架構(gòu)本地連接遠(yuǎn)程Hadoop環(huán)境3知識(shí)目標(biāo)Ambari分布式架構(gòu)是什么如何搭建一個(gè)Ambari平臺(tái)本地如何與Hadoop環(huán)境建立連接01能力目標(biāo)了解Ambari分布式架構(gòu)能夠搭建出Ambari平臺(tái)熟練配置插件連接遠(yuǎn)程Hadoop環(huán)境02學(xué)習(xí)目標(biāo)4目錄01Hadoop分布式集群的平臺(tái)介紹02搭建Hadoop環(huán)境03配置MapReduce程序的依賴環(huán)境5Hadoop分布式集群的平臺(tái)介紹本實(shí)驗(yàn)大數(shù)據(jù)平臺(tái)是基于Ambari的Hadoop分布式集群配置管理工具，該平臺(tái)通過安裝向?qū)磉M(jìn)行集群的搭建，簡(jiǎn)化了集群供應(yīng)。同時(shí)，他還有一個(gè)監(jiān)控組件，叫做Ambari-Metrics，可以提前配置好關(guān)鍵的運(yùn)維指標(biāo)（metrics），然后收集集群的中服務(wù)、主機(jī)等運(yùn)行狀態(tài)等信息，通過WEB的方式顯示出來。我們可以直接查看HadoopCore（HDFS和MapReduce）及相關(guān)項(xiàng)目（如HBase、Hive和HCatalog）是否健康。它的用戶界面非常直觀，用戶可以輕松有效地查看信息并控制集群。6Hadoop分布式集群的平臺(tái)介紹本實(shí)驗(yàn)大數(shù)據(jù)平臺(tái)支持作業(yè)與任務(wù)執(zhí)行的可視化與分析，能夠更好地查看依賴和性能。通過一個(gè)完整的RESTfulAPI把監(jiān)控信息暴露出來，集成了現(xiàn)有的運(yùn)維工具。平臺(tái)可以收集度量指標(biāo)，并且支持系統(tǒng)報(bào)警。7Hadoop分布式集群的平臺(tái)介紹其中Ambari是一個(gè)分布式架構(gòu)的軟件，主要由兩部分組成：AmbariServer和AmbariAgent，如圖1-1所示。AmbariServer會(huì)讀取Stack和Service的配置文件。當(dāng)用Ambari創(chuàng)建集群的時(shí)候，AmbariServer傳送Stack和Service的配置文件以及Service生命周期的控制腳本到AmbariAgent。8Hadoop分布式集群的平臺(tái)介紹Agent拿到配置文件后，會(huì)下載安裝公共源里軟件包（Redhat，就是使用yum服務(wù)）。安裝完成后，AmbariServer會(huì)通知Agent去啟動(dòng)Service。之后AmbariServer會(huì)定期發(fā)送命令到Agent檢查Service的狀態(tài)，Agent上報(bào)給Server，并呈現(xiàn)在Ambari的GUI上，方便用戶了解到集群的各種狀態(tài)，并進(jìn)行相應(yīng)的維護(hù)。9搭建遠(yuǎn)程Hadoop環(huán)境配置主機(jī)名。修改hosts文件。配置yum源、NTP服務(wù)和SSH服務(wù)。禁用TransparentHugePages。#echonever>/sys/kernel/mm/transparent_hugepage/enabled安裝配置JDK基本環(huán)境配置10搭建遠(yuǎn)程Hadoop環(huán)境創(chuàng)建MariaDB數(shù)據(jù)庫。MariaDB[(none)]>createdatabaseambari;MariaDB[(none)]>grantallprivilegesonambari.*to'ambari'@'localhost'identifiedby'bigdata';MariaDB[(none)]>grantallprivilegesonambari.*to'ambari'@'%'identifiedby'bigdata';MariaDB[(none)]>useambari;MariaDB[ambari]>source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB[ambari]>quit配置Ambari-server11搭建遠(yuǎn)程Hadoop環(huán)境#ambari-serversetup#ambari-serversetup--jdbc-db=mysql--jdbc-driver=/usr/share/java/mysql-connector-java.jar安裝配置ambari-server12搭建遠(yuǎn)程Hadoop環(huán)境#vi/etc/ambari-agent/conf/ambari-agent.ini[server]hostname=master.hadoop#ambari-agentrestart#tail-f/var/log/ambari-agent/ambari-agent.logINFO2017-01-1209:44:20,919Controller.py:265-Heartbeatresponsereceived(id=1340)INFO2017-01-1209:44:30,820Heartbeat.py:78-BuildingHeartbeat:{responseId=1340,timestamp=1484214270820,commandsInProgress=False,componentsMapped=True}配置ambari-agent13配置MapReduce的依賴環(huán)境若本地Windows上有Hadoop環(huán)境，此處“Hadoopinstallationdirectory”直接可填本地Hadoop安裝路徑；若需要使用eclipse操作遠(yuǎn)程的Hadoop環(huán)境，則需要將遠(yuǎn)程Hadoop環(huán)境的依賴包保存到本地，“Hadoopinstallationdirectory”填保存包的路徑。添加插件需要的jar包14配置MapReduce的依賴環(huán)境本實(shí)驗(yàn)的Hadoop是遠(yuǎn)程環(huán)境，為了方便，我們直接將遠(yuǎn)程Hadoop環(huán)境的所有依賴保存到本地。本實(shí)驗(yàn)Hadoop的安裝路徑在：4:/usr/hdp/-129/hadoop，我們將這個(gè)目錄下的所有文件借助工具傳輸?shù)奖镜豔indows上，保存在D:\hadoop下?；氐絜clipse，“Hadoopinstallationdirectory”填寫“D:\hadoop”。添加插件需要的jar包15配置MapReduce的依賴環(huán)境<property><description>Theaddressoftheschedulerinterface.</description><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:50010</value></property>配置Map/Reduce(v2)Master找到y(tǒng)arn-site.xml>yarn.resourcemanager.scheduler.address。找到其對(duì)應(yīng)的host與端口號(hào)：16配置MapReduce的依賴環(huán)境找到${yarn.resourcemanager.hostname}這里是host,其值即是yarn.resourcemanager.hostname屬性的值，內(nèi)容是host，之后將對(duì)應(yīng)的host與post填入Map/Reduce(v2)Master；然后保存,轉(zhuǎn)到ProjectExplorer，點(diǎn)擊新建的名稱；然后點(diǎn)擊F5刷新下，就會(huì)出現(xiàn)hdfs的目錄界面。配置Map/Reduce(v2)Master17配置MapReduce的依賴環(huán)境查看hadoop/etc/hadoop下的配置文件：hdfs-site.xml

>找到node.rpc-address.hadoop-test.nn1。配置DFSMaster18配置MapReduce的依賴環(huán)境這里的hadoop-test是nameservice的名稱;或者說是hadoop集群的此hdfs的路徑前綴。和core-site.xml中的fs.defaultFs相對(duì)應(yīng)。配置DFSMaster19配置MapReduce的依賴環(huán)境在“NewHadooplocation...”中填寫“Map/Reduce(v2)Master”和“DFSMast