Cloudera大數(shù)據(jù)平臺環(huán)境搭建CDH傻瓜式說明書

1、Cloudera大數(shù)據(jù)平臺環(huán)境搭建(CDH5.13.1 版)版本v1.0作者郭維忠發(fā)布日期2018-03-10目錄Cloudera 大數(shù)據(jù)平臺環(huán)境搭建 1. 基礎環(huán)境1.1. 軟件環(huán)境1.2. 配置規(guī)劃1.3. 所需要的軟件資源1.4. 修改機器名（所有節(jié)點）1.5. 設置防火墻（所有節(jié)點） 1.6. 配置免密碼登錄SSH1.7. 關閉SELINUX（所有節(jié)點）1.8. 修改 Linux內(nèi)核參數(shù)（所有節(jié)點） 1.9. 其他安裝與配置（所有節(jié)點）1.10. 配置NTP月艮務1.11. 安裝 oracle JDK1.8 （所有節(jié)點） 112. Mysql安裝（主節(jié)點） 2安裝CM2.1. 傳包，解

2、包2.2. 創(chuàng)建數(shù)據(jù)庫2.3. 創(chuàng)建用戶2.4. 制作本地 YUM源2.5. 拷貝jar包2.6. 多改 cloudera-scm-agent酉己置2.7. 啟動 CM Server和Agent2.8. 訪問 CM3.安裝CDH3.1. 登錄后界面 3.2. 選擇CM版本3.3. 指定干機3.4. 詵擇CDH版本出現(xiàn)主機運行狀態(tài)不良”錯誤3.5. 榆杳豐機正確性36.選擇安裝的服務3.7. 角色分配3.8. 數(shù)據(jù)庫設置測試連接報錯：3.9. 群集t置3.10.開始安裝311.安裝室成警告信息：4.常見錯誤4±初始化數(shù)據(jù)庫錯誤：4.2. 未能連接到 Host Monitor 基礎環(huán)境

3、軟件環(huán)境本文將介紹Centos7.4離線安裝CDH和Cloudera Manager過程，軟件版本如下:NO.軟件名稱版本操作系統(tǒng)Centos7.4 64 位JDKjdk-8u151-linux-x64Clouder Manager5.13.1CDH5.13.1數(shù)據(jù)庫Mysql 5.7JDBCmysql-connector-java-.jar配置規(guī)劃本次安裝共5臺服務器，服務器配置及用途如下:NO.機器名稱內(nèi)網(wǎng)IP配置用途node1688C/32Gb/1TB主，CM MysqlDBnode16998C/32Gb/1TB從node170708C/32Gb/1TB從node171718C/32Gb

4、/1TB從node172728C/32Gb/1TB從所需要的軟件資源1) JDKM 境：51jdk-8u151-linux-x64.rpm下載地址：2) CM 包：CM 版本：5.13.1下載地址：3) CDH 包CDH版本：5.13.1,.sha1 ；manifest.json下載地址：4) JDBCS接 jar 包：jar 包版本：5.1.43,mysql-connector-java-5.1.43.jar下載地址：修改機器名(所有節(jié)點)J)修改機器名稱# hostnamectl set-hostname xxx /設置機器名#hostname / 查看本機名這種方式，在Centos7中可

5、以永久性改變主機名稱。2）每個節(jié)點機器，都要配置hosts# vi /etc/hosts內(nèi)容都改為：1/建議保留此行設置防火墻（所有節(jié)點）注：為了簡便，可以先關閉防所有節(jié)點火墻，安裝完成后，再按照下面步驟設置。防火墻常用命令：# firewall-cmd -state（查詢防火墻狀態(tài)）#systemctl stop firewalld.service（關閉防火墻）#systemctl start firewalld.service（開啟防火墻）#systemctl disable firewalld.service（禁止 firewall開機啟動）設置防火墻策略，在所有節(jié)點執(zhí)行下面腳本（執(zhí)行前

6、要啟動防火墻）：集群機器間可以相互訪問/設置可以訪問的端口firewall-cmd -permanent -add-port=0-65535/tcpfirewall-cmd -reload注意：需要在所有的節(jié)點上執(zhí)行，因為涉及到的端口太多了，臨時開放所有端口是為 了安裝起來方便，安裝完畢后可以根據(jù)需要設置防火墻策略，保證集群安全。配置免密碼登錄SSH將子節(jié)點設置為從主節(jié)點ssh無密碼登陸（主節(jié)點訪問從節(jié)點需要無密碼互通，否則后 面會出現(xiàn)問題）在主節(jié)點上執(zhí)行：# cd /進入到根目錄# ssh-keygen -t rsa一路回車，生成無密碼的密鑰對。把公鑰拷貝至node169服務器上？：# sc

7、p /root/.ssh/id_rsa.pub rootnode169:/ 輸入 node169 機器上 root 用戶密碼拷備成功登錄到node169 服務器上:然后在node169服務器上，把公鑰的內(nèi)容追加到authorized_keys 文件末尾（這個文 件也在隱藏文件夾.ssh下，如果沒有可以新建）：# cat id_rsa.pub >> /.ssh/authorized_keys如果提示下面信息，則需要創(chuàng)建./ssh目錄：# bash: /root/.ssh/authorized_keys: No such file or directory創(chuàng)建/.ssh目錄，再追加公鑰

8、內(nèi)容# mkdir /.ssh# cat id_rsa.pub >> /.ssh/authorized_keys并設置authorized_keys的訪問權(quán)限：# chmod 600 /.ssh/authorized_keys測試：在node168點上執(zhí)行ssh node169,正常情況下，不需要密碼就能直接登陸進去在node168節(jié)點出現(xiàn)下面表示成功登錄 node169節(jié)點：以同樣的方式將 公鑰拷貝至其他節(jié)點服務器上。關閉SELINUX（所有節(jié)點）關閉linux SELINUXe全內(nèi)核# setenforce 0（臨時生效）修改/etc/selinux/con巾g下的SELINU

9、X=disabled （重啟后永久生效）# vi /etc/selinux/config內(nèi)容增加：SELINUX=disabled重啟后生效：# reboot查看SELINUX是否關閉：#sestatus（在Centos7中遇到SELINUXC法關閉的問題，重新啟動機器恢復正常）修改Linux內(nèi)核參數(shù)（所有節(jié)點）為避免安裝過程中出現(xiàn)的異常問題，首先調(diào)整Linux內(nèi)核參數(shù)。1）設置swappiness ,控制換出運行時內(nèi)存的相對權(quán)重，Cloudera建議將swappiness 設置為 10 :/ 查看 swappiness# cat /proc/sys/vm/swappiness/永久性修改，執(zhí)

10、行下面兩條命令# sysctl -w vm.swappiness=10# echo vm.swappiness = 10 >> /etc/sysctl.conf2）關閉透明大頁面：自CentOS6版本開始引入了 Transparent Huge Pages（THP）從CentOS7版本開始，該特 性默認就會啟用。盡管THP的本意是為提升內(nèi)存的性能，不過某些數(shù)據(jù)庫廠商還是建議直 接關閉THP,否則可能會導致性能出現(xiàn)下降。首先查看透明大頁是否啟用，always never表示已啟用，always neve門表示已禁用：# cat /sys/kernel/mm/transparent_h

11、ugepage/defragalways madvise never# cat /sys/kernel/mm/transparent_hugepage/enabledalways madvise never以上狀態(tài)就說明是啟用的。臨時關閉（重啟機器會變回默認開啟狀態(tài)）：# echo never > /sys/kernel/mm/transparent_hugepage/defrag# echo never > /sys/kernel/mm/transparent_hugepage/enabled內(nèi)久關閉：/ 編輯/etc/rc.d/rc.local# vi /etc/rc.d/rc

12、.local/在文件后添加下面內(nèi)容：if test -f/sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled fiif test -f/sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi保存退出，然后賦予rc.local文件執(zhí)行權(quán)限：#chmod +x /etc/rc

13、.d/rc.local重啟系統(tǒng)，以后再檢查THP狀態(tài)，顯示狀態(tài)被禁用了。3）修改文件句柄數(shù)：修改系統(tǒng)文件句柄數(shù)限制：查看文件句柄數(shù)，顯示1024,顯然太小# ulimit -n1024/修改限制#vi /etc/security/limits.conf/在文件后加入下面內(nèi)容：* soft nofile 100000* hard nofile 100000修改后需要重啟機器。其他安裝與配置（所有節(jié)點）為避免安裝過程中出現(xiàn)異常問題，安裝相關依賴包：# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client

14、cups-libs cyrus-sasl-gssapi cyrus-sasl-plain edfuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devellibverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-coreredhat-lsb-submod-securit

15、y x86_64 spax time zlib-devel#yum install -y python-lxml#yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# ec

16、ho "systemctl start rpcbind" >> /etc/rc.d/rc.local配置NTP服務集群中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。具體建設過程如下：所有節(jié)點安裝相關組件：# yum?install?ntp?ntpdate?-yNTP服務端（主節(jié)點）：1）查找時間同步服務器：打開網(wǎng)址，內(nèi)容如下：2）編輯 /etc/ntp.conf :# vi /etc/ntp.conf/在文件中輸入上面網(wǎng)頁內(nèi)容：3）啟動ntp服務：# systemctl start ?ntpd4）配置開機啟動:# systemctl?enable?

17、ntpd.service ?注意：如果ntpd開機啟動失效，有可能是因為安裝了 chronyd?并且是開機自啟狀態(tài)，所以導致 ntpd開機自啟失敗。#查看？ chronyd 設置狀態(tài)# systemctl status chronyd顯示如下：以面表明，chronyd顯本為開機啟動狀態(tài)。將chronyd設為禁用狀態(tài)：# systemctl disable chronyd.service此時，NTP的服務開機自啟動完成！5）檢查是否設置成功：# ntpq?-p/更新時間#timedatectl?NTP客戶端（所有從節(jié)點）：6）遠程客戶端時間同步測試# date# ntpdate是NTP服務端IP

18、,顯示如下信息，測試成功：7）客戶端設置計劃任務，每30分鐘同步時間#crontab -e加入內(nèi)容：8）設置定時任務開機啟動/設置開機啟動# systemctl enable crond.service/查看狀態(tài)# systemctl status crond安裝oracle JDK1.8 （所有節(jié)點）下載 rpm 安裝包 jdk-8u151-linux-x64.rpmCentOS系統(tǒng)一般自帶 OpenJdk,需要卸載掉自帶的 OpenJdk,使用# rpm -qa | grep java查詢java相關的包，使用# rpm -e - nodeps + 包名強制卸載掉，下面安裝oralce J

19、DK# rpm -ivh jdk-8u151-linux-x64.rpm配置JAVA_HOM可境變量：修改/etc/pro巾le文件配置環(huán)境變量，執(zhí)行命令：# vi /etc/profile在profile文件最后，輸入下面內(nèi)容，保存并退出。export PATH=$PATH:$JAVA_HOME/bin執(zhí)行下面命令，讓配置生效# source /etc/profile/使修改立即生效# echo $PATH / 查看 PATH 值# echo $JAVA_HOME / 查看 JAVA_HOME 值在Centos7中修改/etc/pro刊e文件配置環(huán)境變量，機器啟動后有時不生效，可以修改 /e

20、tc/ bashrc文件配置環(huán)境變量：# vi /etc / bashrc/在文件最后加入：export PATH=$PATH:$JAVA_HOME/bin/使修改立即生效# source /etc/bashrc/ 查看 JAVA_HOME 值# echo $JAVA_HOMEMysql安裝（主節(jié)點）到官網(wǎng)選擇對應安裝包：1） 下載安裝包2）解壓安裝包#/解壓后文件列表：3）按次序安裝按 common >libs- >client - >server 的順序安裝：#/安裝下面包，否則 Hue安裝報連接錯誤# rpm -ivh4）啟動數(shù)據(jù)庫# systemctl start m

21、ysqld查看狀態(tài)：# systemctl status mysqld5）修改MySQL初始密碼1 /etc/f - MySQLmysqldskip-grant-tables2、重啟 MySQL#service mysqld restart3、免密碼登錄 MySQL#mysql4、mysql客戶端執(zhí)行如下命令，修改 root密碼mysql> use mysql;mysql> UPDATE user SET authentication_string = password（'your-password'） WHERE host = 'localhost'

22、; AND user='root'mysql> select host,user, authentication_string, password_expired from user;mysql> update user set password_expired='N' where password_expired='Y' /密碼不過期mysql> update user set host='%' where user='root' and host='localhost' /遠程

23、可訪問mysql> flush privileges; / 刷新mysql> exit;/ 退出5、修改配置文件/etc/f刪除此前新增那一行 skip-grant-tables ,并重啟MySQL這一步非常重要，不執(zhí)行可能導致嚴重的安全問題)#service mysqld restart / 重啟 Mysql安裝CM 傳包，解包在主節(jié)點上下載相關軟件包，這里將軟件包下載到/data/ cdh/目錄下#cd /data/cdh下載 Mysql JDBCfe:#wget下載CM:#wget下載CDH:#wget# wget .sha1#wget將CM解壓到/opt/目錄:# tar

24、-zxvf -C /opt/# ls /opt/cloudera cm-5.13.1創(chuàng)建數(shù)據(jù)庫在主節(jié)點上：# mysql -uroot -p /加參數(shù)-指定本機方式，否則可能不允許執(zhí)行grantEnter password:輸入數(shù)據(jù)庫密碼/在MariaDB (none)> 命令狀態(tài)輸入下面腳本：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database h

25、ue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root

26、"%" Identified by "root"flush privileges;exit;/ 復制 Mysql JDBC 包到/opt/cm-5.13.1/share/cmf/lib/目錄#cp /opt/cm-5.13.1/share/cmf/lib/初始化CM執(zhí)行下面腳本/如果出現(xiàn)下面錯誤：/解決辦法：在/etc/hosts文件中，加上1主節(jié)點/etc/hosts內(nèi)容：腳本/scm_prepare_database.sh 執(zhí)行成功界面：創(chuàng)建用戶在所有節(jié)點上執(zhí)行：# useradd -system -home=/opt/cm-5.13.1/run/c

27、loudera-scm-server -shell=/bin/false -comment "Cloudera SCM User' cloudera-scm制作本地YUM源 在主節(jié)點上：進入軟件包目錄#cd /data/cdh/ 拷貝三個文件至1J /opt/cloudera/parcel-repo/ 目錄#/ 進A/opt/cloudera/parcel-repo/目 錄#cd /opt/cloudera/parcel-repo/修改文件名#止匕時 /opt/cloudera/parcel-repo/ 目 錄下文件：拷貝jar包在所有節(jié)點上：/如果沒有/usr/share/

28、java/ 目錄，則創(chuàng)建# cp /usr/share/java/mysql-connector-java.jar在主節(jié)點上：/ 將 mysql JDBC jar 包拷貝到 /opt/cm-5.13.1/share/cmf/lib/目錄#cp /opt/cm-5.13.1/share/cmf/lib/修改 cloudera-scm-agent 酉己置在主節(jié)點上，修改 /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini 文件:/ 將 config.ini server_host=localhost內(nèi)容改為 s# 5.13.1/etc/cloudera

29、-scm-agent/config.ini在主節(jié)點上：/將cm-5.13.1打包，并復制到其他節(jié)點#cd /opt#tar czf cm-5.13.1.tar.gz cm-5.13.1/復制到其他節(jié)點#scp cm-5.13.1.tar.gz node169:/opt/#scp cm-5.13.1.tar.gz node170:/opt/#scp cm-5.13.1.tar.gz node171:/opt/#scp cm-5.13.1.tar.gz node172:/opt/在所有從節(jié)點上解壓：/將cm-5.13.1 包解壓#cd opt#tar -xzvf cm-5.13.1.tar.gz/

30、解壓后刪除# rm -rf cm-5.13.1.tar.gz啟動 CM Server和 Agent在主節(jié)點上，啟動 cloudera-scm-server：# /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start啟動過程較慢，可通過/opt/cm-5.13.1/log/cloudera-scm-server日志，查看啟動過程。在所有節(jié)點上，啟動 cloudera-scm-agent：# /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start訪問CM用戶名、密碼：admin安裝CDH登錄后界面接受協(xié)議

31、：選才? CM版本本文檔選擇Cloudera Express費版。指定主機在搜索主機名和IP地址框輸入node169-172,這里輸入的內(nèi)容支持正則表達式。輸入 后點【搜索】按鈕，出現(xiàn)機器列表：選擇“當前管理的主機”選擇項卡，點【繼續(xù)】。選才? CDH版本這里需要選擇制作本地源時的版本，如果選擇別的版本的就會去官網(wǎng)下載，那樣安裝速 度會很慢。點【繼續(xù)】按鈕，進入安裝界面。出現(xiàn)“主機運行狀態(tài)不良”錯誤遇到節(jié)點”主機運行狀態(tài)不良”的提示，解決辦法是刪除故障節(jié)點Agent服務cm_guid文件：#rcloudera-scm-agent/cm_guid重新啟動故障節(jié)點 Agent服務：重啟故障節(jié)點Ag

32、ent服務后，故障消失：注：出現(xiàn)故障原因是，因為我之前在故障節(jié)點啟動過cloudera-scm-agent服務檢查主機正確性確保全部驗證通過。選擇安裝的服務本文選擇的是安裝所有服務。角色分配這里應該根據(jù)實際需求和服務器的硬件參數(shù)自己選擇數(shù)據(jù)庫設置指定的數(shù)據(jù)庫名稱，要與2.2節(jié)創(chuàng)建的數(shù)據(jù)庫(hive,monitor,oozie,hue)保持一致，并 輸入對應的數(shù)據(jù)庫用戶名和密碼，為了簡便這里用的是root賬號名和密碼。全部輸入完，之后【測試連接】：測試連接報錯：測試連接, Hue 測試報錯： Unable to verify database connection：原因是缺少 Mysql mysql-community-libs-co