Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用課件項(xiàng)目2Hadoop大數(shù)據(jù)平臺(tái)的構(gòu)建

1、Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用Hadoop大數(shù)據(jù)項(xiàng)目2 Hadoop大數(shù)據(jù)平臺(tái)的構(gòu)建項(xiàng)目2 任務(wù)2.1 搭建Ambari Hadoop系統(tǒng)A任務(wù)2.2使用Apache Ambari管理Hadoop集群B項(xiàng)目描述任務(wù)2.1 搭建Ambari Hadoop系統(tǒng)AB項(xiàng)目描述項(xiàng)目描述通過(guò)分析學(xué)生專(zhuān)業(yè)課程技能考核、學(xué)生就業(yè)、學(xué)生學(xué)習(xí)興趣、企業(yè)崗位需求、互聯(lián)網(wǎng)招聘等數(shù)據(jù)信息，建立崗位模型、知識(shí)模型和學(xué)情模型，指導(dǎo)公司進(jìn)行就業(yè)和學(xué)情分析系統(tǒng)的研發(fā)。在綜合分析相關(guān)技術(shù)和應(yīng)用實(shí)踐的前提下，選擇了主流的Hadoop大數(shù)據(jù)平臺(tái)，并采用Apache Ambari管理平臺(tái)構(gòu)建Hadoop開(kāi)發(fā)環(huán)境。項(xiàng)目描述任務(wù)2.1

2、搭建Ambari Hadoop系統(tǒng)任務(wù)描述1. 借助學(xué)習(xí)論壇、網(wǎng)絡(luò)視頻等網(wǎng)絡(luò)資源和各種圖書(shū)資源，學(xué)習(xí)Cloudera Manager、Ambari和MapR等大數(shù)據(jù)平臺(tái)管理工具。2. 借助學(xué)習(xí)論壇、網(wǎng)絡(luò)視頻等網(wǎng)絡(luò)資源和各種圖書(shū)資源，學(xué)習(xí)Hadoop生態(tài)系統(tǒng)的相關(guān)技術(shù)，了解各項(xiàng)技術(shù)的功能。3. 完成Ambari的安裝與配置。任務(wù)目標(biāo)1. 了解Hadoop背景知識(shí)，熟悉Hadoop的生態(tài)系統(tǒng)。2. 學(xué)會(huì)Hadoop分布式集群的組建方法。 3. 學(xué)會(huì)Ambari Server和Ambari Agent的配置方法。任務(wù)2.1 搭建Ambari Hadoop系統(tǒng)任務(wù)描述知識(shí)準(zhǔn)備1. 認(rèn)識(shí)Hadoop平臺(tái)

3、產(chǎn)品相比于SQL數(shù)據(jù)庫(kù)，Hadoop在某些方面仍然顯得不夠完善。Cloudera、Hortonworks、MapR是最具有代表性的公司，他們帶來(lái)眾多的創(chuàng)新并提供強(qiáng)大的集群工具。這些管理工具分別是Cloudera Manager、Ambari和MapR，它們均能對(duì)集群進(jìn)行自動(dòng)化安裝、管理、監(jiān)控、診斷和集成。如圖2-1所示為3大Hadoop平臺(tái)的供應(yīng)商。下面向讀者擴(kuò)展一下這些公司的產(chǎn)品服務(wù)。圖2-1 三大Hadoop平臺(tái)的供應(yīng)商知識(shí)準(zhǔn)備1. 認(rèn)識(shí)Hadoop平臺(tái)產(chǎn)品圖2-1 三大Hado圖1-7 Apache Spark 開(kāi)源項(xiàng)目（1）Cloudera圖1-7 Apache Spark 開(kāi)源項(xiàng)目（

4、1）Cloud圖2-3 HDP資源棧（2）Hortonworks（3）MapR圖2-3 HDP資源棧（2）Hortonworks（3）Ma2. 熟悉Hadoop生態(tài)系統(tǒng)MindmapSuitable for all categories business and personal presentation（14（1）Ambari（6）Pig（4）Oozie（5）Hive（13）Sqoop（11）YARN（12）HDFS（7）Shark（8）MapReduce（3）HBase（2）ZooKeeper（9）Tez（10）Spark（14）Flume2. 熟悉Hadoop生態(tài)系統(tǒng)MindmapSui

5、table任務(wù)實(shí)施Ambari管理平臺(tái)通過(guò)安裝向?qū)?lái)進(jìn)行集群的搭建，簡(jiǎn)化了集群供應(yīng)。Ambari支持作業(yè)與任務(wù)執(zhí)行的可視化與分析，能夠更好地查看依賴(lài)和性能。Ambari是一個(gè)分布式架構(gòu)的軟件，主要由Ambari Server和 Ambari Agent兩部分組成，如圖2-5所示。圖2-5 Ambari Server架構(gòu)任務(wù)實(shí)施Ambari管理平臺(tái)通過(guò)安裝向?qū)?lái)進(jìn)行集群的搭建，簡(jiǎn)（1）基本環(huán)境配置本任務(wù)以?xún)膳_(tái)節(jié)點(diǎn)為例來(lái)組建 Hadoop分布式集群，這里采用的系統(tǒng)版本為CentOS 7，具體要求見(jiàn)表2-1。根據(jù)表中的資源配置來(lái)組建大數(shù)據(jù)基礎(chǔ)平臺(tái)。圖1-8 Apache Storm開(kāi)源項(xiàng)目主機(jī)名內(nèi)存

6、硬盤(pán)IP地址角色master8 GB100 GB31Ambari-Server、Ambari-Agent、MySQLslave14 GB100 GB33Ambari-Agent（1）基本環(huán)境配置圖1-8 Apache Storm開(kāi)源項(xiàng)目首先需要配置主機(jī)名。 配置主機(jī)名。# master# hostnamectl set-hostname master# hostnamemaster# slave1# hostnamectl set-hostname slave1# hostnameslave11首先需要配置主機(jī)名。 配置 修改 hosts 映射文件。# master# vi /etc/host

7、s31 master.hadoop master33 slave1.hadoop# slave1# vi /etc/hosts31 master.hadoop33 slave1.hadoop slave12 修改 hosts 映射文 配置Yum源。# master將BigData-v2.0-BASE.iso復(fù)制到/mnt目錄下，將其中的ambari 解壓到/opt目錄下，并在master節(jié)點(diǎn)配置ftp服務(wù)。注意：因?yàn)榘惭b大數(shù)據(jù)相關(guān)軟件包時(shí)，可能會(huì)用到相關(guān)依賴(lài)軟件包，所以需要配置CentOS 7 Yum 源，可以配置CentOS 7的本地Yum源文件，如果有網(wǎng)絡(luò)的話(huà)也可以配置公網(wǎng)的Yum源。這里

8、可以采用本地 CentOS 7 Yum 源。#master& slave1# cd /etc/yum.repos.d/# rm -vf *注意：如果配置公網(wǎng)Yum源，則不需要?jiǎng)h除原來(lái)的repo文件。3 配置Yum源。# mas編寫(xiě)REPO文件，指定Ambari安裝包路徑和CentOS 7安裝包路徑。# vi ambari.repo centos7baseurl=0/centos7/（注：具體的Yum 源根據(jù)真實(shí)環(huán)境配置，本次為實(shí)驗(yàn)室測(cè)試環(huán)境。）gpgcheck=0 enabled=1 name=centos ambari name=ambaribaseurl=1/ambari（注：具體的Yum

9、 源根據(jù)真實(shí)環(huán)境配置，本次為實(shí)驗(yàn)室測(cè)試環(huán)境。）編寫(xiě)REPO文件，指定Ambari安裝包路徑和CentOS enabled=1 gpgcheck=0#master# yum -y install httpd將/mnt/目錄下的HDP-2.4-BASE和HDP-UTILS-0兩個(gè)文件夾拷貝到/var/www/html/目錄下。啟動(dòng)httpd服務(wù)。# systemctl enable httpd.service# systemctl status httpd.serviceenabled=1 配置ntp。# master# yum -y install ntp# vi /etc/ntp.conf注釋

10、或者刪除以下4行server 0. iburst server 1. iburst server 2. iburstserver 3. iburst添加以下兩行server fudge stratum 10#systemctl enable ntpd#systemctl start ntpd4# slave1# yum -y install ntpdate# ntpdate master.hadoop# systemctl enable ntpdate 配置ntp。# mast 配置SSH。# master& slave1檢查 2個(gè)節(jié)點(diǎn)是否可以通過(guò)無(wú)密鑰相互訪問(wèn)，如果未配置，則進(jìn)行SSH無(wú)密碼

11、公鑰認(rèn)證配置。如下：# yum install openssh-clients# ssh-keygen# ssh-copy-id master.hadoop# ssh-copy-id slave1.hadoopssh登錄遠(yuǎn)程主機(jī)查看是否成功。# ssh master.hadoop# exit# ssh slave1.hadoop# exit5 配置SSH。# mast 禁用 Transparent Huge Pages。操作系統(tǒng)后臺(tái)有一個(gè)khugepaged 的進(jìn)程，它會(huì)一直掃描所有進(jìn)程占用的內(nèi)存，在可能的情況下會(huì)把4k page交換為Huge Pages，在這個(gè)過(guò)程中，對(duì)于操作的內(nèi)存的各種分

12、配活動(dòng)都需要各種內(nèi)存鎖，直接影響程序的內(nèi)存訪問(wèn)性能，并且這個(gè)過(guò)程對(duì)于應(yīng)用是透明的，在應(yīng)用層面不可控制，對(duì)于專(zhuān)門(mén)為4k page優(yōu)化的程序來(lái)說(shuō)，可能會(huì)造成隨機(jī)的性能下降現(xiàn)象。#master& slave1# cat /sys/kernel/mm/transparent_hugepage/enabledalways madvise never# echo never /sys/kernel/mm/transparent_hugepage/enabled# echo never /sys/kernel/mm/transparent_hugepage/defrag# cat /sys/kernel/m

13、m/transparent_hugepage/enabledalways madvise never重啟后失效，需要再次執(zhí)行。6 禁用 Transparen 安裝配置 JDK。#master# mkdir /usr/jdk64/# mount -o loop XianDian-BigData-v2.0.5-BASE.iso /mnt/# cd /mnt/# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77 export PATH=$

14、JAVA_HOME/bin:$PATH# source /etc/profile#Java versionJava version 1.8.0_77Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)7 安裝配置 JDK。#mas# slave1#mkdir /usr/jdk64/#scp 06:/mnt/jdk-8u77-linux-x64.tar.gz .# tar -zxvf jdk-8u77-linux-x64

15、.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77 export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile#Java versionJava version 1.8.0_77Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)# slave1（2） 配置Ambar

16、i Server#master# yum -y installambari-server配置MariaDB數(shù)據(jù)庫(kù)。#master安裝MariaDB數(shù)據(jù)庫(kù)。# yum install mariadb mariadb-server mysql-connector-java啟動(dòng)MariaDB數(shù)據(jù)庫(kù)。# systemctl enable mariadb# systemctl start mariadb配置MariaDB數(shù)據(jù)庫(kù)。#mysql_secure_installation按Enter 鍵確認(rèn)后設(shè)置數(shù)據(jù)庫(kù) root 密碼，這里設(shè)置為“bigdata”Remove anonymous users?

17、Y/n yDisallow root login remotely? Y/n nRemove test database and access to it? Y/n yReload privilege tables now? Y/n y（2） 配置Ambari Server創(chuàng)建Ambari數(shù)據(jù)庫(kù)。# mysql -uroot -pbigdataMariaDB (none) create database ambari;MariaDB (none) grant all privileges on ambari.* to ambarilocalhost identified by bigdata;

18、MariaDB (none) grant all privileges on ambari.* to ambari% identified by bigdata; MariaDB (none) use ambari;MariaDB ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB ambari Bye創(chuàng)建Ambari數(shù)據(jù)庫(kù)。安裝配置Ambari Server。#master# ambari-server setupWARNING: SELinux is set to permiss

19、ive mode and temporarily disabled. OK to continue y/n (y)?Customize user account for ambari-server daemon y/n (n)? nChecking JDK.1 Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 2 Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 3 Custom JDK=Enter choice (1): 3Pat

20、h to JAVA_HOME: /usr/jdk64/jdk1.8.0_77Validating JDK on Ambari Server.done. Completing setup.Configuring database.Enter advanced database configuration y/n (n)? yConfiguring database.安裝配置Ambari Server。= Choose one of the following options:1 - PostgreSQL (Embedded) 2 - Oracle3 - MySQL4 - PostgreSQL5

21、- Microsoft SQL Server (Tech Preview) 6 - SQL Anywhere= Enter choice (1): 3Hostname (localhost): Port (3306):Database name (ambari): Username (ambari):Enter Database Password (bigdata):Proceed with configuring remote database connection properties y/n (y)? Ambari Server setup completed successfully.

22、=啟動(dòng)Ambari Server服務(wù)。# ambari-server start打開(kāi)瀏覽器，登錄頁(yè)面 31:8080/，在“用戶(hù)名”的文本框中輸入“admin”，在“密碼”的文本框中輸入“admin”，如圖2-6所示。圖2-6 Ambari登錄頁(yè)面啟動(dòng)Ambari Server服務(wù)。圖2-6 Ambari（3）配置Ambari Agent# master& slave1安裝Ambari Agent并修改ambari-agent.ini文件指定Ambari Server的地址或者主機(jī)名。# yum -y install ambari-agent# vi /etc/ambari-agent/con

23、f/ambari-agent.iniserverhostname= master# ambari-agent restart打開(kāi)Ambari Agent的log日志文件/var/log/ambari-agent/ambari-agent.log，查看是否存在“Building Heartbeat: responseId = ”等字樣，如果有則表示Ambari Server和Ambari Agent之間已經(jīng)成功傳遞了心跳連接信號(hào)。# tail -f /var/log/ambari-agent/ambari-agent.logINFO 2017-01-12 09:44:20,919 Control

24、ler.py:265 - Heartbeat response received (id = 1340) INFO 2017-01-12 09:44:30,820 Heartbeat.py:78 - Building Heartbeat: responseId = 1340,timestamp = 1484214270820, commandsInProgress = False, componentsMapped = True（3）配置Ambari Agent（4）部署管理 Hadoop集群登錄頁(yè)面http:/IPAddress:8080/，在“用戶(hù)名”的文本框中輸入“admin”，在“密碼

25、”的文本框中輸入“admin”。接下來(lái)就可以啟動(dòng)安裝向?qū)?、?chuàng)建集群和安裝服務(wù)。如圖2-7和圖2-8所示。圖2-7 Ambari管理頁(yè)面（4）部署管理 Hadoop集群圖2-7 Ambari管理頁(yè)圖2-8 Ambari安裝向?qū)D2-8 Ambari安裝向?qū)г凇斑x擇安裝棧”時(shí)指定安裝源HDP-2.4和HDP-UTILS-0的位置。指定相應(yīng)的目標(biāo)主機(jī)并選擇手動(dòng)注冊(cè)主機(jī)，選擇所需要安裝的服務(wù)，本任務(wù)需安裝HDFS、YARN+MapReduce2、Zookeeper、Ambari Metrics、Hive、HBase、Mahout、Sqoop、Spark等服務(wù)。在整個(gè)過(guò)程需要設(shè)置Grafana Admi

26、n和Hive的密碼。部署完成頁(yè)面，如圖2-9所示。圖2-9 部署完成頁(yè)面在“選擇安裝?！睍r(shí)指定安裝源HDP-2.4和HDP-UTIL單擊頁(yè)面導(dǎo)航欄的“主界面”按鈕，在主界面中可以查看集群狀態(tài)和監(jiān)控信息，如圖2-10所示。單擊頁(yè)面導(dǎo)航欄的“主界面”按鈕，在主界面中可以查看集群狀態(tài)和監(jiān)控信息，如圖2-10所示。至此，大數(shù)據(jù)基礎(chǔ)平臺(tái)已經(jīng)部署完畢了。圖2-10 平臺(tái)主界面單擊頁(yè)面導(dǎo)航欄的“主界面”按鈕，在主界面中可以查看集群狀態(tài)和任務(wù)2.2使用Apache Ambari管理Hadoop集群任務(wù)目標(biāo)1. 學(xué)會(huì)使用Ambari Web管理界面對(duì)Hadoop服務(wù)進(jìn)行管理的方法。2. 學(xué)會(huì)使用Ambari W

27、eb管理界面對(duì)集群主機(jī)進(jìn)行管理的方法。3. 學(xué)會(huì)使用Ambari Web管理界面對(duì)Hadoop服務(wù)進(jìn)程進(jìn)行管理的方法。4. 學(xué)會(huì)使用Ambari Web管理界面對(duì)服務(wù)配置文件進(jìn)行管理的方法。任務(wù)2.2使用Apache Ambari管理Hadoop集群（1）服務(wù)管理在頁(yè)面左側(cè)的服務(wù)列表中，可以選中任何一個(gè)想要操作的服務(wù)。以 HDFS為例，單擊左側(cè)服務(wù)列表中的“HDFS”按鈕后，就會(huì)在服務(wù)列表右側(cè)看到該服務(wù)的相關(guān)信息，如圖2-11所示。圖2-11 HDFS概要展示頁(yè)面（1）服務(wù)管理在頁(yè)面左側(cè)的服務(wù)列表中，可以選中任何一個(gè)想要Hadoop的集群部署完成后，并不知道這個(gè)集群是否可用。這時(shí)候就可以借助“運(yùn)行服務(wù)檢查”命令來(lái)確保集群服務(wù)可以正常運(yùn)行。選擇這個(gè)命令后，就會(huì)在彈出的對(duì)話(huà)框中出現(xiàn)如圖2-12所示的HDFS服務(wù)操作進(jìn)度顯示。當(dāng)進(jìn)度條執(zhí)行完畢后，全綠代表服務(wù)運(yùn)行正常，全紅代表服務(wù)運(yùn)行失敗，黃色代表出現(xiàn)告警信息。圖2-12 HDFS服務(wù)操作進(jìn)度顯示Hadoop的集群部署完成后，并不知道這個(gè)集群是否可用。這時(shí)“服務(wù)操作”下拉菜單中的“啟動(dòng)”、“停止”、“重啟所有”3個(gè)命令的含義分別是指：?jiǎn)?dòng)、停止、重啟集群中所有該服務(wù)的進(jìn)程。當(dāng)執(zhí)行進(jìn)度頁(yè)面打開(kāi)時(shí)，可以進(jìn)入查看每個(gè)主機(jī)進(jìn)程的操作進(jìn)度和運(yùn)行l(wèi)og，如圖2-13所示。圖2