Hadoop平臺搭建與應用（第2版）（微課版） 課件 項目7 Ambari搭建與集群管理

任務7.1搭建AmbariHadoop系統(tǒng)任務實施1．Ambari的安裝與配置（1）基本環(huán)境配置因為Docker容器都在同一個網段內直接互通，配置hosts文件后每次重啟都會重置，所以不需要對主機名（hostname）進行額外設置。①

配置NTP在master節(jié)點安裝網絡時間協(xié)議（NTP），操作命令如下。[root@masteropt]#yuminstall-yntp配置ntp.conf文件，操作命令及文件編輯如下。[root@masteropt]#vi/etc/ntp.conf//注釋或者刪除以下4行代碼#pool0.iburst#pool1.iburst#pool2.iburst#pool3.iburst//添加以下兩行代碼serverfudgestratum10[root@masteropt]#systemctlenablentpd[root@masteropt]#systemctlstartntpd在slave1節(jié)點安裝和配置網絡時間協(xié)議（NTP），操作命令如下。[root@slave1opt]#yuminstall-yntpdate#[root@slave1opt]#ntpdate

master[root@slave1opt]#systemctlenablentpd②安裝與配置SSH安裝軟件并分別在master和slave1節(jié)點執(zhí)行命令“ssh-keygen-trsa”生成密鑰對，操作命令及結果如下。[root@master~]#yuminstall-yopenssh

openssh-clientsopenssh-serverwhichnet-toolsLoadedplugins:fastestmirror,ovlDeterminingfastestmirrors[root@master~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.#分別執(zhí)行“ssh-copy-idmaster”和“ssh-copy-idslave1”命令分發(fā)公鑰完成認證配置操作，操作命令及結果如下。[root@master~]#ssh-copy-idmaster#省略部分內容Areyousureyouwanttocontinueconnecting(yes/no)?yesroot@master'spassword:andchecktomakesurethatonlythekey(s)youwantedwereadded.

[root@master~]#ssh-copy-idslave1Areyousureyouwanttocontinueconnecting(yes/no)?yesroot@slave1'spassword:③通過SSH登錄遠程主機，查看master節(jié)點能否免密登錄master和slave1節(jié)點，操作命令及結果如下。[root@master~]#sshmaster

Lastlogin:WedMar815:09:422023from[root@master~]#exitlogoutConnectiontomasterclosed.[root@master~]#sshslave1Lastlogin:WedMar815:55:022023frommaster.ambari[root@slave1~]#exitlogoutConnectiontoslave1closed.[root@master~]#④禁用SELinux的操作過程如下。編輯/etc/selinux/config配置文件，將配置項修改如下。（宿主機中）SELINUX=disabled⑤禁用TransparentHugePages的操作過程如下。CentOS6版本開始引入了透明大頁（TransparentHugePages，THP)，從CentOS7版本開始，默認啟用該特性默認（操作系統(tǒng)后臺會生成一個名為khugepaged的進程），它會一直掃描所有進程占用的內存，在可能的情況下，其會把4kPage交換為HugePages，在這個過程中，對操作的內存的各種分配活動都需要各種內存鎖，直接影響了程序內存的訪問性能，且此過程對于應用是透明的，在應用層面不可控制，對于專門為4kPage優(yōu)化的程序來說，可能會造成隨機性能下降現(xiàn)象，操作命令及結果如下。[root@CentOS~]#cat/sys/kernel/mm/transparent_hugepage/enabled[always]madvisenever[root@CentOS~]#echonever>/sys/kernel/mm/transparent_hugepage/enabled[root@CentOS~]#echonever>/sys/kernel/mm/transparent_hugepage/defrag[root@CentOS~]#cat/sys/kernel/mm/transparent_hugepage/enabledalwaysmadvise[never]重啟后代碼會失效，需要再次執(zhí)行。⑥安裝配置JDK的操作過程如下。在master節(jié)點安裝配置JDK，操作命令及結果如下。[root@masteropt]#tar-zxvfjdk-8u181-linux-x64.tar.gz-C/usr/lib[root@masterlib]#cd/usr/lib[root@masterlib]#mvjdk1.8.0_181jdk1.8.0

[root@masterlib]#vim~/.bashrcexportJAVA_HOME=/usr/lib/jdk1.8.0PATH=$PATH:$JAVA_HOME/bin

[root@masterlib]#source~/.bashrc

[root@masterlib]#java-versionjavaversion"1.8.0_181"Java(TM)SERuntimeEnvironment(build1.8.0_181-b13)JavaHotSpot(TM)64-BitServerVM(build25.181-b13,mixedmode)在slave1節(jié)點安裝配置JDK，操作命令及結果如下。[root@masterlib]#scp-r~/.bashrcslave1:~/.bashrc[root@masterlib]#scp-r/usr/lib/jdk1.8.0slave1:/usr/lib[root@slave1opt]#source~/.bashrc[root@slave1opt]#java-versionjavaversion"1.8.0_181"Java(TM)SERuntimeEnvironment(build1.8.0_181-b13)JavaHotSpot(TM)64-BitServerVM(build25.181-b13,mixedmode)（2）設置本地倉庫①安裝制作本地庫的工具。使用curl命令來驗證網頁是否可以訪問，操作命令及結果如下。[root@master~]#yum-yinstallyum-utils

createrepocurl[root@master~]#yum-yinstallhttpd[root@master~]#/sbin/chkconfighttpdonNote:Forwardingrequestto'systemctlenablehttpd.service'.Createdsymlinkfrom/etc/systemd/system/multi-user.target.wants/httpd.serviceto/usr/lib/systemd/system/httpd.service.[root@master~]#/sbin/servicehttpdstartRedirectingto/bin/systemctlstarthttpd.service[root@master~]#curl0如果不能訪問通常會報錯：302或404等錯誤代碼。②創(chuàng)建Web服務目錄，操作命令如下。[root@master~]#mkdir-p/var/www/html/③將ambari-、HDP-和HDP-GPL-等壓縮包解壓到/var/www/html/中，將HDP-utils目錄通過“mv”命令移動到/var/www/html/下，操作命令及結果如下。[root@masteropt]#tar-zxvf

ambari--centos7.tar.gz-C/var/www/html/[root@masteropt]#tar-zxvfHDP--centos7-rpm.tar.gz-C/var/www/html/[root@masteropt]#tar-zxvfHDP-GPL--centos7-gpl.tar.gz-C/var/www/html/[root@masteropt]#mvHDP-UTILS/var/www/html/④為了使用上述配置的Web服務器作為yum源服務器，需要操作命令及配置“priorities.conf”如下。[root@masteropt]#yum-yinstallyum-plugin-priorities[root@masteropt]#vi/etc/yum/pluginconf.d/priorities.conf#文件內容如下[main]enabled=1gpgcheck=0⑤將準備好的ambari.repo和hdp.repo文件移動到/etc/yum.repos.d目錄下，編輯ambari.repo文件內容，注意baseurl的修改值，具體操作如下。#VERSION_NUMBER=-1[ambari-]name=ambariVersion-ambari-baseurl=0/ambari/centos7/-1gpgcheck=0gpgkey=0/ambari/centos7/-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1⑥編輯hdp.repo文件內容，注意baseurl的修改值，具體操作如下。（文本位于頁面下方）#VERSION_NUMBER=-292[HDP-]name=HDPVersion-HDP-baseurl=0/HDP/centos7/-292/gpgcheck=0gpgkey=0/HDP/centos7/-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

[HDP-UTILS-2]name=HDP-UTILSVersion-HDP-UTILS-2baseurl=0/HDP-UTILS/centos7/1/gpgcheck=0gpgkey=0/HDP-UTILS/centos7/1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

[HDP-GPL-]name=HDP-GPLVersion-HDP-GPL-baseurl=0/HDP-GPL/centos7/-292/gpgcheck=0gpgkey=0/HDP-GPL/centos7/-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1(3)配置MySQL數(shù)據庫Ambariserver需要一個數(shù)據庫存儲元數(shù)據，默認使用PostgreSQL數(shù)據庫。默認的用戶名和密碼是：ambari/bigdata。但是一般情況下，還需要安裝Hive和Ranger，因此也需要一個存元數(shù)據的數(shù)據庫。于是，在此選用MySQL做為第三方數(shù)據庫來使用。在該任務中將使用RMP包安裝MySQL數(shù)據庫。①禁用SELinux服務，過程如下。如果不禁用的話，后面啟動MySQL服務會被阻止。另外，不要自行卸載CentOS自帶的mariadb數(shù)據庫，安裝過程會自動替換mariadb，自行卸載可能會帶來一些操作問題。②解壓mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar，過程如下。解壓mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar，并在解壓目錄下，使用yum命令進行安裝，操作命令如下。[root@masteropt]#tar-xvfmysql-5.7.27-1.el7.x86_64.rpm-bundle.tar[root@masteropt]#yuminstallmysql-community-{server,client,common,libs}-*③完成安裝后，編輯/etc/f文件，在[mysqld]配置項中添加skip-grant-tables,過程如圖所示。④對MySQL數(shù)據庫執(zhí)行初始化，過程如下。執(zhí)行命令mysqld--defaults-file=/etc/f--initialize-insecure--user=mysql，命令執(zhí)行結束后，執(zhí)行命令servicemysqldrestart，重啟mysql服務，操作命令及結果如下。[root@masteropt]#mysqld--defaults-file=/etc/my.cnf--initialize-insecure--user=mysql[root@masteropt]#servicemysqldrestart⑤MySQL權限設置，操作命令及結果如下。[root@master~]#mysql-uroot-p#直接回車進入，沒有密碼，進入MySQL后，通過執(zhí)行setglobalread_only=0命令，#用來關掉數(shù)據庫的只讀屬性。mysql>setglobalread_only=0;mysql>flushprivileges;#通過執(zhí)行setglobalread_only=1命令，用來設置數(shù)據庫為只讀mysql>setglobalread_only=1;mysql>flushprivileges;mysql>exit;⑥將MySQL的驅動jar包移動到/usr/share/java目錄下，如果該目錄下沒有此目錄，需要先自行創(chuàng)建該目錄，操作命令如下。[root@masteropt]#mkdir-p/usr/share/java[root@masteropt]#mvmysql-connector-java-5.1.40.jar/usr/share/java/（4）配置AmbariServer①安裝AmbariServer，操作命令如下。[root@master~]#yum-yinstallambari-server修改配置文件perties，操作命令如下。[root@master~]#vi/etc/ambari-server/conf/ambari.properties為配置AmbariServer與MySQL的連接,還需要在配置文件的最后添加如下內容。server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.40.jar②AmbariServer需要一個數(shù)據庫存儲元數(shù)據，該任務使用M相應ySQL作為第三方數(shù)據庫。下面為Ambari創(chuàng)建的數(shù)據庫和用戶，操作命令如下。mysql>createdatabaseambaridefaultcharacterset='utf8';mysql>CREATEUSER'ambaridba'@'localhost'IDENTIFIEDBY'123456';如果執(zhí)行“CREATEUSER'ambaridba'@'localhost'IDENTIFIEDBY'123456';”報錯,請運行命令“FLUSHPRIVILEGES;”后，再次運行。mysql>CREATEUSER'ambaridba'@'%'IDENTIFIEDBY'123456';mysql>GRANTALLPRIVILEGESONambari.*TO'ambaridba'@'localhost';mysql>GRANTALLPRIVILEGESONambari.*TO'ambaridba'@'%';mysql>FLUSHPRIVILEGES;進入MySQL，使用新創(chuàng)建的ambari數(shù)據庫，執(zhí)行“source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql”命令。mysql>useambari;mysql>source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

#重啟MySQL服務servicemysqldrestart③安裝AmbariServer，操作命令如下。[root@master~]#ambari-serversetup需要注意的是，在所有操作需要進行選擇的時候，選擇y，在提示“CheckingJDK…”時，選擇3，并輸入JDK安裝路徑，如圖所示。此外，在系統(tǒng)提示“Chooseoneofthefollowoptions”時選擇3，在Hostname提示項中輸入master容器IP地址，在Port和Databasename提示項中選擇默認值（直接回車即可），在Username提示項中輸入“ambaridba”，在“EnterDatabasePassword”提示項中輸入密碼“123456”，在“Re-enterpassword”提示項中再次重復輸入密碼“123456”進行確認。配置完成后，如果可以看到“Successfully”字樣即表示配置成功，如圖所示。④執(zhí)行命令“ambari-serverstart”,啟動ambari-server，操作命令及結果如下。[root@master~]#ambari-serverstartUsingpython/usr/bin/pythonStartingambari-serverAmbariServerrunningwithadministratorprivileges.Organizingresourcefilesat/var/lib/ambari-server/resources...Ambaridatabaseconsistencycheckstarted...ServerPIDat:/var/run/ambari-server/ambari-server.pidServeroutat:/var/log/ambari-server/ambari-server.outServerlogat:/var/log/ambari-server/ambari-server.logWaitingforserverstartServerstartedlisteningon8080

DBconfigsconsistencycheck:noerrorsandwarningswerefound.AmbariServer'start'completedsuccessfully.訪問“http://宿主機IP:8080”，在打開的頁面中輸入正確的用戶名和密碼，默認都是“admin”，登錄頁面如圖所示。執(zhí)行命令“ambari-serverstop”，停止ambari-server服務，執(zhí)行命令“ambari-serverstatus”，查看ambari-server的狀態(tài)，操作命令及結果如下。[root@master~]#ambari-serverstop[root@master~]#ambari-serverstatusUsingpython/usr/bin/pythonAmbari-serverstatusAmbariServerrunningFoundAmbariServerPID:258at:/var/run/ambari-server/ambari-server.pid2.部署管理Hadoop集群登錄頁面http://{IP地址}:8080/，在“用戶名”文本框中輸入“admin”，在“密碼”文本框中輸入“admin”，即可啟動安裝向導、創(chuàng)建集群和安裝服務。Ambari管理界面如圖所示。單擊“啟動安裝向導”開始部署，安裝向導提示為集群起名稱，此處名稱設置為“hdpCluster”，然后單擊“Next”按鈕，如圖所示。在新頁面中，單擊“AddVersion”菜單選項，進行版本的選擇，如圖所示。在圖7-8中單擊“AddVersion”菜單，打開AddVersion窗口，輸入標志版本文件的URL，如圖所示。單擊“ReadVersionInfo”按鈕，修改默認設置為“UseLocalRepository”，并移除除了redhat7以外的版本。默認設置頁面，如圖所示。移除其他版本后，設置對應版本的“BaseURL”，如圖所示。隨后需要設置“TargetHosts”，此處設置為“master”，同時需要設置“HostRegistrationInformation”，在輸入框中粘貼master節(jié)點的id_rsa文件的內容，如圖所示。單擊“RegisterandConfirm”按鈕，打開“ConfirmHosts”界面，并等待認證結果。在該界面中經常會出現(xiàn)認證失敗，此時可以單擊“Failed”鏈接，查看失敗原因，如圖所示。下面給出錯誤的解決方案。（1）修改權限，操作命令如下。[root@mastercentos7]#chmodo=r/var/lib/ambari-agent/data（2）編輯ambari-agent.ini文件，操作命令及修改文件如下。[root@mastercentos7]#vi/etc/ambari-agent/conf/ambari-agent.ini#末尾添加配置如下[security]force_https_protocol=PROTOCOL_TLSv1_2（3）更新openssl版本，操作命令如下。[root@mastercentos7]#yuminstallopenssl最后單擊“RetryFailed”按鈕，

直到“Status”項為“Success”為止，需要注意的是該處必須全部檢查通過，才能保證后續(xù)操作的順利實現(xiàn)，如圖所示。在檢查成功后，ambari-agent安裝就成功了。接下來就進入安裝Hadoop組件的環(huán)節(jié)。單擊“Next”按鈕，選擇要安裝的軟件，操作演示中，我們選擇安裝“HDFS”、“Zookeeper”和“AmbariMetrics”3個組件，如圖所示。選擇組件后，單擊“Next”按鈕，將會打開“AssignMasters”界面，如圖所示。根據負載均衡的原則，將要安裝的組件指派給Master節(jié)點。在圖7-17中單擊“Next”按鈕,

打開“AssignSlavesandClient”界面，可根據需要指派master上安裝的組件，這里選擇安裝“DataNode”和“Client”。單擊“Next”按鈕，如圖所示。在打開的“CustomizeServices”頁面中，查看各項的參數(shù)配置，主要看內存配置，例如“Javaheapsize”等，根據機器總內存大小來分配，這些參數(shù)待集群建好后都是可以調整的。單擊“AmbariMetrics”鏈接，在打開頁面中的紅色提示框中輸入默認密碼，“admin”，如圖所示。單擊“SmartSense”鏈接，在頁面的右邊部分輸入默認密碼“admin”，如圖所示。在兩個紅色提示處理完成后，單擊“Next”按鈕，

進入“Review”頁面，可以下載集群節(jié)點服務部署信息，如圖所示。再次確認安裝軟件正確后，單擊“Deploy”按鈕，開始全自動化的部署安裝，部署操作完成，如圖所示。單擊“Next”按鈕，打開“Summary”頁面，查看軟件安裝進程的情況，并單擊“Complete”按鈕，完成軟件的安裝和部署操作。如圖所示。單擊頁面導航欄中的“Dashboard”按鈕

，在主頁面中可以查看集群狀態(tài)和監(jiān)控信息，如圖所示。2．利用Ambari擴展集群可以利用Ambari擴展已經搭建好的集群，主要過程如下。（1）單擊導航條中“Hosts”,進入“Hosts”界面，

單擊左上角的“Actions”下拉按鈕，在彈出的下拉列表中選擇“AddNewHosts”選項，如圖所示。（2）進入“AddHostWizard”界面，需要輸入新增的機器名（包含完整域名）及AmbariService機器上生成的私鑰，如圖所示。(3)在“ConfirmHosts”頁面，若出現(xiàn)failed，重復master節(jié)點的修改操作，并重新部署，直到“Status”顯示“Success”。如圖所示。選擇slave1節(jié)點安裝的組件，如圖所示。通過復選框選擇slave1節(jié)點要安裝的組件，操作完成后，即可安裝AmbariAgent，并安裝選擇的組件。

（5）隨后的“Configurations”和“Review”頁面，Ambari為用戶選擇了默認的配置。單擊“Next”按鈕即可，轉到“Install,StartandTest”頁面進行服務的部署，等待部署完成后單擊“Next”按鈕，如圖所示。當添加主機設置完成時，可以從“Hosts”界面中看到新的機器，以及安裝的模塊，如圖所示。任務7.2

使用Ambari管理Hadoop集群任務實施集群管理包含服務管理、主機管理、進程管理和配置管理。1．服務管理在主界面左側的服務列表中，可以選擇任意一個想要操作的服務。以HDFS為例，選擇左側服務列表中的“HDFS”進項后，可在界面右側看到該服務的相關信息。選擇“概要”選項卡，可以看到HDFS運行的進程信息，包括運行狀態(tài)、資源使用情況及監(jiān)控信息。單擊頁面導航欄中的“服務”按鈕，單擊導航欄下方的“服務操作”下拉按鈕，在彈出的下拉列表中看到很多服務的控制進項，如“啟動”“停止”“重啟”等，如圖7-32所示。通過這些控制項，可以對服務進行管理。Hadoop的集群部署完成后，并不知道這個集群是否可用。此時可以借助“運行服務檢查”選項來確保集群服務正常運行。選擇此選項后，會在彈出的對話框中顯示，如圖所示。其實，這里就是通過向HDFS文件系統(tǒng)/tmp目錄中上傳一個臨時文件來檢測系統(tǒng)運行是否正常。當進度條執(zhí)行完畢后，全綠代表服務運行正常，全紅代表服務運行失敗，黃色代表出現(xiàn)告警信息?！胺詹僮鳌毕吕斜碇械摹皢印薄巴Ｖ埂薄爸貑ⅰ?個選項的含義分別是指啟動、停止、重啟集群中所有該服務的進程。當進入HDFS服務重啟界面時，可以查看每個主機進程的操作進度和運行日志，如圖所示。在“服務操作”下拉列表中有“打開維護模式”進項，該選項用于在用戶調試或者維護過程中抑制不必要的告警信息，以及避免批量操作的影響（啟動所有服務、停止所有服務、重啟所有服務等）。維護模式中有不同的級別設置，分別是服務級別、主機級別及進程級別。3種級別之間存在著覆蓋關系。例如，由于HDFS部署在多臺主機中，當它的維護模式功能啟用后，HDFS便不會產生任何新的告警。當用戶重啟集群所有服務時，該服務會忽略這個批量操作。當用戶重啟一個機器的所有進程時，該服務的進程也會被忽略。在主界面左側的服務列表的最下方有一個“動作”按鈕，單擊該按鈕，可以彈出對服務進行操作的下拉列表，其中包含“增加服務”“啟動所有服務”“停止所有服務”等進項。2．主機管理單擊導航欄中的“主機”按鈕，可以打開Ambari所管理的主機列表，如圖所示。單擊導航欄左下方的“動作”下拉按鈕，在彈出的下拉列表中列出了與主機相關的動作的選項，其效果和“服務操作”是類似的，只是執(zhí)行的范圍不一樣，如圖所示。當用戶在“動作”下拉列表中選擇“顯示主機”→“主機”→“啟動所有組件”選項時，Ambari會啟動主機中的所有服務。當用戶在“動作”下拉列表中選擇“所有主機”→“DataNodes”→“停止所有組件”選項時，Ambari會關閉所有機器關于