保姆級別CDH安裝運(yùn)維手冊

PreparedforPAGEhao.shi@ruis.ioCDH運(yùn)維手冊hao.shi@ruis.ioCDH運(yùn)維手冊

目錄1. ClouderaManager使用 12. 配置安裝源 22.1. 配置Linux源 22.2. 配置CDH源 33. 集群管理 43.1. 升級CM和CDH 43.1.1. Cloudera升級概述 43.1.2. CDH升級概述 63.1.3. JDK升級 63.1.4. 配置安裝源 73.1.5. 升級CM 73.1.6. 升級CDH 143.2. 升級JDK 223.2.1. JDK8安裝包準(zhǔn)備 233.2.2. 部署JDK8到集群 243.2.3. ClouderaManager配置 243.2.4. 驗(yàn)證集群JDK8環(huán)境 253.2.5. 常見問題 263.3. 升級Kafka和Spark 263.3.1. 設(shè)置源地址 263.3.2. 更換SparkCSD文件 263.3.3. 配置Spark2的JAVA環(huán)境變量 293.4. 集群數(shù)據(jù)備份 293.4.1. namenode節(jié)點(diǎn)元數(shù)據(jù)備份 293.4.2. 備份MySQL元數(shù)據(jù) 313.4.3. 集群用戶數(shù)據(jù)備份 313.5. 卸載CDH 323.5.1. 數(shù)據(jù)備份 323.5.2. 停止所有服務(wù) 323.5.3. 刪除集群 343.5.4. 停止CM相關(guān)服務(wù) 343.5.5. 卸載所有服務(wù) 343.5.6. 移除ClouderaManager和用戶數(shù)據(jù) 353.5.7. 移除用戶數(shù)據(jù) 363.5.8. 停止并移除外部數(shù)據(jù)庫 373.6. 遷移數(shù)據(jù)庫 383.6.1. 環(huán)境說明 383.6.2. 停止所有集群服務(wù) 383.6.3. 停止CM服務(wù) 393.6.4. 備份原數(shù)據(jù)庫數(shù)據(jù) 403.6.5. 安裝數(shù)據(jù)庫 403.6.6. 啟動(dòng)數(shù)據(jù)庫 403.6.7. 初始化數(shù)據(jù)庫 403.6.8. 導(dǎo)入備份數(shù)據(jù)至新庫 413.6.9. 修改CM的數(shù)據(jù)庫配置信息 413.6.10. 啟動(dòng)CM服務(wù) 423.6.11. 修改集群服務(wù)配置 423.6.12. 啟動(dòng)所有集群服務(wù) 443.7. 遷移Clouderamanager 443.7.1. 環(huán)境說明 443.7.2. 服務(wù)器配置 443.7.3. 配置安裝源 473.7.4. 安裝ClouderaManager服務(wù) 493.7.5. 為CM配置外部數(shù)據(jù)庫 493.7.6. 停止所有集群服務(wù) 503.7.7. 停止CM服務(wù) 513.7.8. 遷移原CM節(jié)點(diǎn)數(shù)據(jù) 513.7.9. 更新集群所有節(jié)點(diǎn)的CMServer指向 513.7.10. 啟動(dòng)CM服務(wù) 523.7.11. 啟動(dòng)所有集群服務(wù) 523.8. 集群功能測試 523.8.1. 安全測試 523.8.2. 性能測試 534. 集群節(jié)點(diǎn)管理 584.1. 增加節(jié)點(diǎn) 584.1.1. 異構(gòu)節(jié)點(diǎn)說明 584.1.2. 環(huán)境說明 584.1.3. 服務(wù)器配置 594.1.4. 配置kerberos客戶端 624.1.5. 模板準(zhǔn)備 644.1.6. 安裝CDH 674.1.7. 應(yīng)用主機(jī)模板 724.1.8. 遷移角色組 734.1.9. 增加節(jié)點(diǎn)后續(xù)配置 754.2. 刪除節(jié)點(diǎn) 764.3. HDFS數(shù)據(jù)平衡 784.3.1. Balance參數(shù)說明 784.3.2. 查看數(shù)據(jù)分布情況 794.3.3. 使用CM 804.3.4. 額外注意事項(xiàng) 815. 集群用戶管理 815.1. Clouderamanager用戶添加 815.1.1. 未配置CM和LDAP的集成 815.1.2. 已經(jīng)配置CM和LDAP的集成 825.2. HUE用戶添加 835.2.1. 未配置HUE和LDAP的集成 835.2.2. 已經(jīng)配置HUE和LDAP的集成 855.2.3. 設(shè)置用戶為HUE的超級管理員 875.2.4. 設(shè)置用戶在HUE中的權(quán)限 875.3. 集群用戶添加 885.3.1. linux用戶添加 885.3.2. 為用戶生成kaytab 926. 集群資源管理 936.1. YARN動(dòng)態(tài)資源池 936.1.1. 前期配置 946.1.2. 資源池設(shè)置 966.1.3. 創(chuàng)建資源池 1006.1.4. YARN任務(wù)放置規(guī)則配置 1016.2. 靜態(tài)資源池 1027. 集群安全管理 1047.1. HDFS的權(quán)限控制 1047.1.1. 通過命令行授權(quán) 1057.1.2. 通過HUE授權(quán) 1067.2. Sentry簡介 1097.2.1. Sentry術(shù)語 1097.2.2. Sentry語法 1107.2.3. Sentry的管理員設(shè)置 1127.3. Hive和Impala的權(quán)限管理 1137.3.1. 可授權(quán)對象 1147.3.2. Hive/Impala操作所需要的權(quán)限 1147.3.3. 操作示例 1197.4. Hbase的權(quán)限管理 1347.4.1. 設(shè)置Hbase的超級用戶 1347.4.2. Hbase權(quán)限設(shè)置 135PAGE1睿勢數(shù)據(jù)ClouderaManager使用ClouderaManager是CDH市場領(lǐng)先的管理平臺(tái)。作為業(yè)界第一的端到端ApacheHadoop的管理應(yīng)用，ClouderaManager對CDH的每個(gè)部件都提供了細(xì)粒度的可視化和控制，從而設(shè)立了企業(yè)部署的標(biāo)準(zhǔn)。通過ClouderaManger，運(yùn)維人員得以提高集群的性能，提升服務(wù)質(zhì)量，提高合規(guī)性并降低管理成本。ClouderaManager設(shè)計(jì)的目的是為了使得對于企業(yè)數(shù)據(jù)中心的管理變得簡單和直觀。通過

ClouderaManager，可以方便地部署并且集中式的操作完整的大數(shù)據(jù)軟件棧。該應(yīng)用軟件會(huì)自動(dòng)化安裝過程，從而減少了部署集群的時(shí)間。通過ClouderaManager可以提供一個(gè)集群范圍內(nèi)的節(jié)點(diǎn)實(shí)時(shí)運(yùn)行狀態(tài)視圖。同時(shí)，還提供了一個(gè)中央控制臺(tái)，可以用于配置集群。不僅如此，ClouderaManager通過包含一系列的報(bào)道和診斷工具，可以幫助優(yōu)化集群性能，并且提高利用率。ClouderaManager能夠提供以下的功能:自動(dòng)化Hadoop安裝過程，大幅縮短部署時(shí)間提供實(shí)時(shí)的集群概況，例如節(jié)點(diǎn)、服務(wù)的運(yùn)行狀況提供了集中的中央控制臺(tái)對集群的配置進(jìn)行更改包含全面的報(bào)告和診斷工具，幫助優(yōu)化性能和利用率ClouderaManager

的架構(gòu)如圖所示，主要由如下幾部分組成:服務(wù)端/Server:ClouderaManager的核心。主要用于管理webserver和應(yīng)用邏輯。它用于安裝軟件，配置，開始和停止服務(wù)，以及管理服務(wù)運(yùn)行的集群。代理/agent:安裝在每臺(tái)主機(jī)上。它負(fù)責(zé)啟動(dòng)和停止的進(jìn)程，部署配置，觸發(fā)安裝和監(jiān)控主機(jī)。數(shù)據(jù)庫/Database:存儲(chǔ)配置和監(jiān)控信息。通?？梢栽谝粋€(gè)或多個(gè)數(shù)據(jù)庫服務(wù)器上運(yùn)行的多個(gè)邏輯數(shù)據(jù)庫。例如，所述的Cloudera管理器服務(wù)和監(jiān)視后臺(tái)程序使用不同的邏輯數(shù)據(jù)庫。ClouderaRepository:用于軟件分發(fā)由Cloudera軟件倉庫?？蛻舳?Clients:提供了一個(gè)與Server交互的接口:管理平臺(tái)/AdminConsole:提供一個(gè)管理員管理集群和ClouderaManage的基于網(wǎng)頁的交互界面。API:為開發(fā)者提供了創(chuàng)造自定義ClouderaManager程序的API。配置安裝源配置Linux源安裝前選擇一臺(tái)機(jī)器安裝配置本地源并安裝http服務(wù)，如utility01掛載redhat的安裝光盤，/root/rhel-server-x86_64-dvd.is為iso鏡像的地址mount-oloop-tiso9660/root/rhel-server-x86_64-dvd.iso/mnt/boson在/etc/yum.repos.d下添加rhel6.repo文件[rhel6]name=RedhatEnterpriseLinuxbaseurl=file:///mnt/bosonenabled=1gpgcheck=1gpgkey=file:///mnt/boson/RPM-GPG-KEY-redhat-release安裝http服務(wù)yum-yinstallhttpd設(shè)置開機(jī)自啟動(dòng)chkconfighttpdon啟動(dòng)http服務(wù)servicehttpdstart將光盤內(nèi)容拷貝到/var/www/html下scp-r/mnt/boson/var/www/html/redhat/確認(rèn)使用http:///redhat可以訪問到下載的文件夾。在其他服務(wù)器上配置源，在/etc/yum.repos.d下添加rhel.repo文件[local]name=RedhatEnterpriseLinuxbaseurl=/redhatenabled=1gpgcheck=1gpgkey=http:///redhat/RPM-GPG-KEY-redhat-release配置CDH源由于本次在內(nèi)網(wǎng)環(huán)境安裝，需要在cloudera官網(wǎng)下載cm安裝包和cdhparcel包c(diǎn)m安裝包下載地址如下，可按照需要選擇自己需要的版本，目前采用的版本為5.11.2/cm5/repo-as-tarball/cdhparcel包下載地址如下，請選擇和cm配套的版本/cdh5/parcels/下載后將所有安裝包傳輸至內(nèi)網(wǎng)環(huán)境任一機(jī)器，解壓縮后的目錄結(jié)構(gòu)如下（僅為示意）：將所有文件拷貝至/var/www/html/供集群使用，確認(rèn)使用http:///cdh和http:///cm可以訪問到安裝包在/etc/yum.repos.d/文件夾下創(chuàng)建repo文件，如cloudera-manager.repo，內(nèi)容如下。[cloudera-manager]baseurl=http:///cm/5/gpgkey=http:///RPM-GPG-KEY-clouderagpgcheck=1集群管理升級CM和CDHCloudera升級概述下面描述的流程適用于由ClouderaManager管理的集群，對于不是由ClouderaManager管理的集群升級，請參考：/documentation/enterprise/latest/topics/cdh_ig_upgrade_command_line.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f99CDH和ClouderaManager不用同時(shí)升級，但是需要保證ClouderaManager和CDH版本的兼容。ClouderaManager可以管理當(dāng)前或以前的major版本的CDH，或相同minor版本的CDH，或較低minor版本的CDH。比如，CloudearManager5.7.1可以管理CDH5.7.2，CDH5.6.1和CDH4.8.6，但是不能管理CDH5.8.1.ClouderaManager5.x不能管理CDH3.x。升級時(shí)具體有如下幾種選擇：評估升級影響一般需要規(guī)劃一個(gè)足夠長的維護(hù)窗口(停機(jī)時(shí)間)進(jìn)行升級。根據(jù)需要升級的組件，集群的節(jié)點(diǎn)數(shù)，以及不同的硬件情況，可能需要一整天來進(jìn)行升級。開始升級之前，需要做好一些前置條件準(zhǔn)備以及關(guān)鍵數(shù)據(jù)備份，這篇文檔在講述升級步驟時(shí)也會(huì)說明。升級之前，需要查閱ClouderaManager的/documentation/enterprise/release-notes/topics/rg_release_notes.html了解API更改，不推薦的功能，新的功能以及不兼容的更改。同時(shí)需要檢查/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html來確認(rèn)支持的操作系統(tǒng)，JDK，數(shù)據(jù)庫和其他組件。ClouderaManager升級概述升級ClouderaManager包括以下步驟：1.在CM節(jié)點(diǎn)上升級ClouderaManagerServer，使用操作系統(tǒng)的命令，比如Redhat的yum。也可以手動(dòng)通過tarballs來升級。2.在所有主機(jī)上升級ClouderaManageragent，ClouderaManager的升級向?qū)Э梢詭椭闵塧gent(JDK升級可選)，同時(shí)也可以手動(dòng)的通過tarballs升級JDK和agent。ClouderaManager升級，可以參考官網(wǎng)文檔：/documentation/enterprise/latest/topics/cm_upgrade.html#concept_q1q_mbs_wxCDH升級概述CDH升級包含Hadoop相關(guān)組件的升級，可以使用ClouderaManager來升級CDH，采用parcel或package的方式都可以。建議使用parcels來升級CDH，因?yàn)镃louderaManager管理這些parcels自動(dòng)下載，分發(fā)和激活。JDK升級在升級ClouderaManager和CDH之前，請確保集群內(nèi)的所有主機(jī)都是使用受支持的OracleJDK參考：/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html。同時(shí)，所有主機(jī)必須使用相同版本的JDK參考：/documentation/enterprise/latest/topics/cdh_cm_upgrading_to_jdk8.html#xd_583c10bfdbd326ba-590cb1d1-149e9ca9886--7c46配置安裝源配置新的CM和CDH源修改/etc/yum.repos.d/cloudera-manager.repo指向新的CM源[cloudera-manager]name=ClouderaManager,Version5.13.0baseurl=31/cm/5gpgkey=31/cm/RPM-GPG-KEY-clouderagpgcheck=1升級CM暫停cms服務(wù)選擇集群-ClouderaManagementService，選擇停止備份數(shù)據(jù)庫在數(shù)據(jù)庫所在服務(wù)器上執(zhí)行如下命令備份原數(shù)據(jù)庫數(shù)據(jù)mysqldump-uroot-p-A>/root/oldmysql.dump停止CM服務(wù)停止cloudera-scm-server和所有cloudera-scm-agentservicecloudera-scm-serverstopservicecloudera-scm-agentstop在ClouderaManager上備份以下目錄scp-r/etc/cloudera-scm-server//root/cm_bak/scp-r/etc/cloudera-scm-agent//root/cm_bak/升級CMyumcleanallyumupgradecloudera-manager-servercloudera-manager-daemonscloudera-manager-agent重啟Clouderamanagerservicecloudera-scm-serverstart登入CM執(zhí)行升級向?qū)M會(huì)自動(dòng)啟動(dòng)升級向?qū)顚慍M源選擇安裝JDK和JCE輸入SSH登錄憑證等待升級完成檢查主機(jī)正確性

升級完成進(jìn)入審核更改向?qū)Ы缑嬷貑louderaManagementService重啟完成CM顯示過期配置，重啟服務(wù)重啟完成升級CDH停止集群服務(wù)備份NameNode上的HDFSMetastore，注意，此目錄實(shí)際地址需要在CM的HDFS配置中查看cd/dfs/tar-czvf/root/nn_bak/nn_backup.tar.gznn/在數(shù)據(jù)庫所在服務(wù)器上執(zhí)行如下命令備份原數(shù)據(jù)庫數(shù)據(jù)mysqldump-uroot-p-A>/root/newmysql.dump向集群中添加新版的CDH存儲(chǔ)庫在主頁選擇升級集群，進(jìn)入升級向?qū)нx擇升級版本確認(rèn)備份通過檢測等待parcel分發(fā)完成通過主機(jī)正確性驗(yàn)證選擇完整集群升級等待升級完成升級完成最終化元數(shù)據(jù)升級在最終化元數(shù)據(jù)之前，進(jìn)行幾天甚至幾周的運(yùn)行觀察集群是否正常，在發(fā)現(xiàn)所有任務(wù)都沒有任何異常情況后，再進(jìn)行最終化元數(shù)據(jù)操作。一旦進(jìn)行最終化元數(shù)據(jù)之后，就不能回滾到老的版本了，除非有數(shù)據(jù)備份。對NameNode的主備節(jié)點(diǎn)都執(zhí)行最終化元數(shù)據(jù)升級操作：功能驗(yàn)證建議參照集群功能測試確認(rèn)集群功能。升級JDKCDH支持的JDK包括JDK7以及JDK8。Cloudera提供相應(yīng)JDK包，并可以通過CM自動(dòng)在集群中部署安裝。CDH的版本都能提供對OracleJDK7的支持，而JDK8的支持則需要CDH5.3之后的版本。目前在CDH發(fā)行版中自帶的JDK版本為1.7.0_67版本。參考文檔：/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdkJDK7版本支持情況：JDK7SupportedinallC5.x1.7u80Recommended/Latestversiontested1.7u75Recommended1.7u67Recommended1.7u55MinimumrequiredJDK8版本支持情況：JDK8SupportedinC5.3andHigher1.8u131Recommended/Latestversiontested1.8u121Recommended1.8u111Recommended1.8u102Recommended1.8u91Recommended1.8u74Recommended1.8u31Minimumrequired建議使用Cloudera官網(wǎng)推薦的JDK版本。JDK8安裝包準(zhǔn)備在oracle官網(wǎng)下載JDK81.8u131的安裝包/technetwork/java/javase/downloads/java-archive-javase8-2177648.html下載JDK8的無限制權(quán)限策略文件JCE，如果集群未啟動(dòng)Kerberos，無需下載，但是建議下載，以免日后出現(xiàn)問題。/technetwork/java/javase/downloads/jce8-download-2133166.html解壓下載的兩個(gè)壓縮包，將UnlimitedJCEPolicyJDK8目錄下所有文件拷貝至./jdk1.8.0_131/jre/lib/security目錄下覆蓋原有文件tarzxvfjdk-8u131-linux-x64.tar.gzunzipjce_policy-8.zipcpUnlimitedJCEPolicyJDK8/*jdk1.8.0_131/jre/lib/security/部署JDK8到集群將jdk1.8.0_131目錄拷貝至/usr/java目錄下cp-rjdk1.8.0_131//usr/java/jdk1.8.0_131-cloudera將jdk1.8.0_131-cloudera目錄同步至集群所有節(jié)點(diǎn)的/usr/java目錄下。注意：集群中所有節(jié)點(diǎn)jdk1.8.0_131-cloudera的部署目錄必須一致。nodes=`cat/etc/hosts|grep-v"localhost"|awk'{print$3}'|grep-vkdc*`fortargetin$nodes;doecho$target"==========>";scp-r/usr/java/jdk1.8.0_131-cloudera/$target:/usr/java/;doneClouderaManager配置登錄ClouderaManager的Web管理界面，進(jìn)入主機(jī)列表頁面點(diǎn)擊配置進(jìn)入主機(jī)配置頁面選擇高級類別，在Java主目錄輸入jdk8的路徑并保存配置回到CM主頁根據(jù)頁面提示重啟相應(yīng)服務(wù)驗(yàn)證集群JDK8環(huán)境使用ps-ef命令查看啟動(dòng)的java服務(wù)使用的jdk版本常見問題cloudera-scm-server使用的jdk版本仍然為jdk7，如需將其切換為jdk8，可以刪除CM節(jié)點(diǎn)的/usr/java/jdk1.7.0_67-cloudera文件夾并重啟cmserver升級Kafka和Spark本文以升級Kafka0.11及Spark2.2為例，這兩個(gè)版本都需要JDK1.8的支持，因此需要首先按照將CDH集群JAVA升級至JDK8中的步驟升級JDK設(shè)置源地址根據(jù)配置安裝源配置新的Kafka和Spark2源Kafka下載地址/kafka/parcelsSpark2下載地址/spark2/parcels在集群中增加新的parcel庫更換SparkCSD文件CSD文件下載地址/spark2/csd/將下載的文件放入/opt/cloudera/csd目錄cpSPARK2_ON_YARN-2.2.0.cloudera1.jar/opt/cloudera/csdCSD文件存放的地址可以通過CM中的CustomServiceDescriptors配置項(xiàng)修改重啟cloudera-scm-server服務(wù)servicecloudera-scm-serverrestart設(shè)置parcel下載、分配Parcel包激活parcel包時(shí)提示重啟，選擇滾動(dòng)重啟或重啟激活成功回到CM主頁，根據(jù)提示重啟服務(wù)并下發(fā)客戶端配置配置Spark2的JAVA環(huán)境變量配置Spark2的JAVA環(huán)境變量為JDK8集群數(shù)據(jù)備份namenode節(jié)點(diǎn)元數(shù)據(jù)備份在CM中選擇活動(dòng)的namenode選擇該namenode，進(jìn)入安全模式選擇保存Namespace，此命令將所有edits修改flush到fsimage進(jìn)入活動(dòng)namenode的服務(wù)器，將namenode元數(shù)據(jù)備份，根據(jù)集群namenode目錄進(jìn)行如下操作mkdir/root/namenode_backtar-czvf/root/namenode_back/nn_back.tar.gz/dfs/nn備份MySQL元數(shù)據(jù)在utility01上執(zhí)行以下命令mysqldump-uroot-p-A>/root/oldmysql.dump集群用戶數(shù)據(jù)備份以下路徑為Cloudera默認(rèn)安裝目錄下各組件用戶數(shù)據(jù)，需在安裝相關(guān)組件的所有服務(wù)器上備份數(shù)據(jù)/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var/lib/solr/var/lib/sqoop*/var/lib/zookeeper#data_driver_path為集群環(huán)境部署時(shí)設(shè)置的目錄，如根目錄data_drive_path/dfsdata_drive_path/mapreddata_drive_path/yarn可參考以下備份zookeeper數(shù)據(jù)的方式備份以上所有數(shù)據(jù)mkdirzookeeper_backscp-r/var/lib/zookeeper//root/zookeeper_back/zookeeper_1卸載CDH數(shù)據(jù)備份參考集群數(shù)據(jù)備份備份數(shù)據(jù)停止所有服務(wù)在CM界面中停止所有集群服務(wù)先停止集群服務(wù)再停止cms服務(wù)解除并移除Parcels在CM主頁右上角選擇parcel圖標(biāo)停用所有parcel刪除停用后的parcel，此處以KUDU為例，所有parcel都需刪除刪除集群在CM界面選擇集群，刪除停止CM相關(guān)服務(wù)停止utility01的clouderamanagersystemctlstopcloudera-scm-server停止所有節(jié)點(diǎn)的clouderamanageragentsystemctlstopcloudera-scm-agent也可以使用腳本停止clouderamanageragent，此腳本在utility01上執(zhí)行，并假設(shè)utility01已經(jīng)設(shè)置到所有服務(wù)器的免密登錄，可參考配置操作系統(tǒng)，下同。nodes=`cat/etc/hosts|grep-v"localhost"|awk'{print$3}'|grep-vkdc*`fortargetin$nodes;doecho$target"==========>";ssh-oStrictHostKeyChecking=no$target"servicecloudera-scm-agentstop";done卸載所有服務(wù)在所有集群節(jié)點(diǎn)上運(yùn)行以下命令yumremove'cloudera-manager-*'avro-toolscrunchflume-nghadoop-hdfs-fusehadoop-hdfs-nfs3hadoop-httpfshadoop-kmshbase-solrhive-hbasehive-webhcathue-beeswaxhue-hbasehue-impalahue-pighue-pluginshue-rdbmshue-searchhue-sparkhue-sqoophue-zookeeperimpalaimpala-shellkitellamamahoutooziepigpig-udf-datafusearchsentrysolr-mapreducespark-corespark-masterspark-workerspark-history-serverspark-pythonsqoopsqoop2whirrhue-commonoozie-clientsolrsolr-docsqoop2-clientzookeeperyumcleanall移除ClouderaManager和用戶數(shù)據(jù)殺死ClouderaManager和Managed進(jìn)程在所有集群節(jié)點(diǎn)上運(yùn)行以下命令，將所有服務(wù)器的ClouderaManager和Managed進(jìn)程殺死foruincloudera-scmflumehadoophdfshbasehivehttpfshueimpalallamamapredooziesolrsparksqoopsqoop2yarnzookeeper;dosudokill$(ps-u$u-opid=);done移除ClouderaManager數(shù)據(jù)在所有集群節(jié)點(diǎn)上運(yùn)行以下命令，刪除所有ClouderaManager數(shù)據(jù)umountcm_processesrm–rf/usr/share/cmf/var/lib/cloudera*/var/cache/yum/x86_64/6/cloudera*/var/log/cloudera*/var/run/cloudera*/etc/cloudera*/usr/lib64/cmf移除ClouderaManagerLockFile在所有集群節(jié)點(diǎn)上運(yùn)行以下命令，刪除ClouderaManagerLockFilerm–rf/tmp/.scm_prepare_node.lock移除用戶數(shù)據(jù)在所有集群節(jié)點(diǎn)上運(yùn)行以下命令，刪除用戶所有數(shù)據(jù)#用戶數(shù)據(jù)目錄rm-rf/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var/lib/solr/var/lib/sqoop*/var/lib/zookeeperrm-rf/usr/lib/hadoop/usr/lib/hadoop*/usr/lib/hive/usr/lib/hbase/usr/lib/oozie/usr/lib/sqoop*/usr/lib/zookeeper/usr/lib/bigtop*/usr/lib/flume-ng/usr/lib/hcatalogrm-rf/var/run/hadoop*/var/run/flume-ng/var/run/cloudera*/var/run/oozie/var/run/sqoop2/var/run/zookeeper/var/run/hbase/var/run/hbase/var/run/impala/var/run/hive/var/run/hdfs-sockets#服務(wù)命令rm-rf/usr/bin/hadoop*/usr/bin/zookeeper*/usr/bin/hbase*/usr/bin/hive*/usr/bin/hdfs/usr/bin/mapred/usr/bin/yarn/usr/bin/sqoop*/usr/bin/oozie#集群配置文件目錄rm-rf/etc/cloudera*/etc/hadoop*/etc/zookeeper*/etc/hive*/etc/hue/etc/impala/etc/sqoop*/etc/oozie/etc/hbase*/etc/hcatalog#集群配置文件目錄rm-rf/etc/alternatives/avro-tools/etc/alternatives/beeline/etc/alternatives/catalogd/etc/alternatives/cli_*/etc/alternatives/flume*/etc/alternatives/hadoop*/etc/alternatives/hbase*/etc/alternatives/hcat/etc/alternatives/hdfs/etc/alternatives/hive*/etc/alternatives/hue*/etc/alternatives/impala*/etc/alternatives/llama*/etc/alternatives/load_gen/etc/alternatives/mahout*/etc/alternatives/mapred/etc/alternatives/oozie*/etc/alternatives/pig*/etc/alternatives/pyspark/etc/alternatives/sentry*/etc/alternatives/solr*/etc/alternatives/spark*/etc/alternatives/sqoop*/etc/alternatives/statestored/etc/alternatives/whirr/etc/alternatives/yarn/etc/alternatives/zookeeper*#rm-rf/var/lib/alternatives/avro-tools/var/lib/alternatives/beeline/var/lib/alternatives/catalogd/var/lib/alternatives/cli_*/var/lib/alternatives/flume*/var/lib/alternatives/hadoop*/var/lib/alternatives/hbase*/var/lib/alternatives/hcat/var/lib/alternatives/hdfs/var/lib/alternatives/hive*/var/lib/alternatives/hue*/var/lib/alternatives/impala*/var/lib/alternatives/llama*/var/lib/alternatives/load_gen/var/lib/alternatives/mahout*/var/lib/alternatives/mapred/var/lib/alternatives/oozie*/var/lib/alternatives/pig*/var/lib/alternatives/pyspark/var/lib/alternatives/sentry*/var/lib/alternatives/solr*/var/lib/alternatives/spark*/var/lib/alternatives/sqoop*/var/lib/alternatives/statestored/var/lib/alternatives/whirr/var/lib/alternatives/yarn/var/lib/alternatives/zookeeper*#請修改data_drive_path為自己機(jī)器上的路徑rm-rfdata_drive_path/dfsdata_drive_path/mapreddata_drive_path/yarn#刪除Hadoop相關(guān)服務(wù)安裝目錄、服務(wù)軟件包數(shù)據(jù)，數(shù)據(jù)格式為parcels、服務(wù)軟件包緩存數(shù)據(jù)rm-rf/opt/cloudera/停止并移除外部數(shù)據(jù)庫在安裝mysql的服務(wù)器上進(jìn)行操作。停止mysql數(shù)據(jù)庫，操作如下：servicemysqldstop卸載mysql數(shù)據(jù)庫，操作如下yumremovemysql*刪除mysql數(shù)據(jù)目錄，操作如下rm–rf/var/lib/mysql遷移數(shù)據(jù)庫環(huán)境說明假設(shè)集群已經(jīng)安裝CDH5.12.1并配置了kerberosip及主機(jī)名如下31utility068master067master068slave030slave069slave03數(shù)據(jù)庫安裝在utility01上，遷移到一臺(tái)新的主機(jī)utility076utility02請注意，本次操作僅僅遷移數(shù)據(jù)庫本身，沒有遷移任務(wù)其他服務(wù)。停止所有集群服務(wù)在CM界面中停止所有集群服務(wù)先停止集群服務(wù)再停止cms服務(wù)停止CM服務(wù)停止utility01的clouderamanagersystemctlstopcloudera-scm-server停止所有節(jié)點(diǎn)的clouderamanageragentsystemctlstopcloudera-scm-agent也可以使用腳本停止clouderamanageragent，此腳本在utility01上執(zhí)行，并假設(shè)utility01已經(jīng)設(shè)置到所有服務(wù)器的免密登錄，可參考配置操作系統(tǒng)，下同。nodes=`cat/etc/hosts|grep-v"localhost"|awk'{print$3}'|grep-vkdc*`fortargetin$nodes;doecho$target"==========>";ssh-oStrictHostKeyChecking=no$target"servicecloudera-scm-agentstop";done備份原數(shù)據(jù)庫數(shù)據(jù)在utility01上執(zhí)行以下命令mysqldump-uroot-p-A>/root/oldmysql.dump安裝數(shù)據(jù)庫在utility02上安裝新的數(shù)據(jù)庫yuminstall-yMariaDB-serverMariaDB-client啟動(dòng)數(shù)據(jù)庫servicemysqlstartchkconfigmysqlon初始化數(shù)據(jù)庫#創(chuàng)建root訪問數(shù)據(jù)庫的密碼#禁止遠(yuǎn)程機(jī)器以root用戶登錄#禁止以匿名方式登錄數(shù)據(jù)庫#mysql_secure_installation[...]Entercurrentpasswordforroot(enterfornone):OK,successfullyusedpassword,movingon...[...]Setrootpassword?[Y/n]yNewpassword:Re-enternewpassword:Removeanonymoususers?[Y/n]Y[...]Disallowrootloginremotely?[Y/n]N[...]Removetestdatabaseandaccesstoit[Y/n]Y[...]Reloadprivilegetablesnow?[Y/n]YAlldone!導(dǎo)入備份數(shù)據(jù)至新庫將備份數(shù)據(jù)傳輸至新的數(shù)據(jù)庫服務(wù)器，在utility01上執(zhí)行命令scp/root/oldmysql.dumproot@utility02:/root/在utility02上導(dǎo)入數(shù)據(jù)mysql-uroot-p<oldmysql.dump刷新權(quán)限，在mysql命令行執(zhí)行命令FLUSHPRIVILEGES;修改CM的數(shù)據(jù)庫配置信息修改新CM的數(shù)據(jù)庫配置文件/etc/cloudera-scm-server/perties，將數(shù)據(jù)庫地址指定為新的主機(jī)地址utility02，修改后文件如下#Auto-generatedbyscm_prepare_database.shon2017年11月15日星期三10:07:50CST##ForinformationdescribinghowtoconfiguretheClouderaManagerServer#toconnecttodatabases,seethe"ClouderaManagerInstallationGuide."#com.cloudera.cmf.db.type=mysqlcom.cloudera.cmf.db.host==scmcom.cloudera.cmf.db.user=scmcom.cloudera.cmf.db.setupType=EXTERNALcom.cloudera.cmf.db.password=password啟動(dòng)CM服務(wù)啟動(dòng)所有節(jié)點(diǎn)的clouderamanageragentsystemctlstartcloudera-scm-agent也可以使用腳本啟動(dòng)clouderamanageragentnodes=`cat/etc/hosts|grep-v"localhost"|awk'{print$3}'|grep-vkdc*`fortargetin$nodes;doecho$target"==========>";ssh-oStrictHostKeyChecking=no$target"servicecloudera-scm-agentstart";done啟動(dòng)clouderamanagerserversystemctlstartcloudera-scm-server修改集群服務(wù)配置由于做了數(shù)據(jù)庫遷移，所以需要修改依賴到數(shù)據(jù)庫的服務(wù)配置，否則服務(wù)無法正常啟動(dòng)。這些服務(wù)包括ReportsManager，ActivityMonitor，HiveMetastoreServer，oozie，hue，sentry，ClouderaNavigatorAuditServer，ClouderaNavigatorMetadataServer修改方式為進(jìn)入每個(gè)服務(wù)的配置頁面，搜索數(shù)據(jù)庫主機(jī)，將數(shù)據(jù)庫主機(jī)修改為utility02以ReportsManager，ActivityMonito為例，修改前配置信息如下修改后配置信息如下啟動(dòng)所有集群服務(wù)在新的CM界面中啟動(dòng)所有集群服務(wù)，先啟動(dòng)cms服務(wù)，再啟動(dòng)集群服務(wù)，啟動(dòng)后建議使用集群測試中測試確認(rèn)服務(wù)正常運(yùn)作。遷移Clouderamanager環(huán)境說明假設(shè)集群已經(jīng)安裝CDH5.12.1并配置了kerberosip及主機(jī)名如下31utility068master067master068slave030slave069slave03clouderamanager安裝在utility01上，遷移到一臺(tái)新的主機(jī)utility076utility02請注意，本次操作僅僅遷移clouderamanager本身服務(wù)，沒有遷移數(shù)據(jù)庫，也沒有遷移其他安裝在utility01上的其他服務(wù)。服務(wù)器配置設(shè)置主機(jī)名centos7下可以用以下命令設(shè)置主機(jī)名hostnamectlset-hostname配置完成后使用hostname-f命令確認(rèn)設(shè)置正確。配置/etc/hosts文件在每臺(tái)機(jī)器上設(shè)置/etc/hosts文件如下，添加一行utiliyt02的解析31utility068master067master068slave030slave069slave0325kdc075kdc076utility02關(guān)閉防火墻關(guān)閉utility02的防火墻#停止firewallsystemctlstopfirewalld.service#禁止firewall開機(jī)啟動(dòng)systemctldisablefirewalld.service#確認(rèn)關(guān)閉firewall-cmd--state關(guān)閉SELINUX#臨時(shí)關(guān)閉setenforce0#永久關(guān)閉#/etc/sysconfig/selinux是/etc/selinux/config的一個(gè)軟鏈接sed-is@enforcing@disabled@g/etc/selinux/config#確認(rèn)關(guān)閉/usr/sbin/sestatus-v禁用大內(nèi)存頁面這一參數(shù)默認(rèn)值可能會(huì)導(dǎo)致CDH性能下降#臨時(shí)關(guān)閉echonever>/sys/kernel/mm/transparent_hugepage/enabledechonever>/sys/kernel/mm/transparent_hugepage/defrag#永久關(guān)閉echo"echonever>/sys/kernel/mm/transparent_hugepage/enabled">>/etc/rc.localecho"echonever>/sys/kernel/mm/transparent_hugepage/defrag">>/etc/rc.local#確認(rèn)關(guān)閉grep-iHugePages_Total/proc/meminfocat/proc/sys/vm/nr_hugepagessysctlvm.nr_hugepages禁止交換內(nèi)存內(nèi)存頁面交換在某些情況下會(huì)導(dǎo)致CDH性能下降#forruntimeeffectsudosysctlvm.swappiness=1#forpermanenteffectechovm.swappiness=1>>/etc/sysctl.conf#checkcat/proc/sys/vm/swappiness修改文件描述符大小修改/etc/security/limits.conf，添加*softnofile65535*hardnofile65535配置NTP服務(wù)yuminstall-yntp修改/etc/ntp.conf文件，添加serverserver重啟ntp服務(wù)systemctlrestartntpd配置安裝源配置mysql-connector-java#下載最新的mysql-connector-javawget/get/Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gztar-xzvfmysql-connector-java-5.1.44.tar.gzmkdir-p/usr/share/javasudomvmysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar/usr/share/java/ln-s/usr/share/java/mysql-connector-java-5.1.44-bin.jar/usr/share/java/mysql-connector-java.jar安裝JDK在utility02上安裝oraclejdkyuminstall-yoracle-j2sdk1.7配置kerberos客戶端由于本次使用freeipa，因此在utility02上安裝freeipa的客戶端yuminstallipa-clientopenldap-clients-y#--mkhomedir用戶自動(dòng)創(chuàng)建用戶家目錄，如不需要可以省去ipa-client-install--mkhomedir#命令執(zhí)行過程Continuetoconfigurethesystemwiththesevalues?[no]:yesUserauthorizedtoenrollcomputers:adminPasswordforadmin@CDHTEST.COM:修改/etc/krb5.conf文件在[libdefaults]下增加renew_lifetime=7d在[libdefaults]下注釋下行#default_ccache_name=KEYRING:persistent:%{uid}安裝ClouderaManager服務(wù)在utility02上安裝cm服務(wù)端和客戶端yum-yinstallcloudera-manager-server安裝完成ClouderaManager后暫時(shí)不要啟動(dòng)服務(wù)。注意：新節(jié)點(diǎn)的ClouderaManager版本必須與原ClouderaManager版本一致;節(jié)點(diǎn)上不要安裝CDH的其它組件為CM配置外部數(shù)據(jù)庫使用以下命令設(shè)定cm的數(shù)據(jù)庫，其中第一個(gè)scm為數(shù)據(jù)庫名，第二個(gè)scm為用戶名，password為密碼，由于cm的數(shù)據(jù)庫在utility01上，所以用-h命令指定，如果數(shù)據(jù)庫已經(jīng)遷移，可以在此處指定新的數(shù)據(jù)庫地址，在遷移數(shù)據(jù)庫后，啟動(dòng)集群服務(wù)器還需要一些額外配置，否則某些服務(wù)無法正常啟動(dòng)，具體可參考遷移數(shù)據(jù)庫#-h<MYSQL_HOST>可以不指定，默認(rèn)是localhost#DB_TYPE可以是mysql,oracle等#--scm-host<SCM_HOST>可以不指定，默認(rèn)是本機(jī)#DATABASE即為之前為ClouderaManager配置的數(shù)據(jù)庫#USERNAME/PASSWORD即為可以訪問這個(gè)數(shù)據(jù)庫的用戶#/usr/share/cmf/schema/scm_prepare_database.sh–h<MYSQL_HOST><DB_TYPE>--scm-host<SCM_HOST><DATABASE><USERNAME><PASSWORD>/usr/share/cmf/schema/scm_prepare_database.sh-hutility01mysqlscmscmpassword停止所有集群服務(wù)在CM界面