Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建(CDH5.13.1)傻瓜式說明書

1.安裝完成Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建CDH5.13.1版）版本vl.O作者郭維忠發(fā)布日期2018-03-10目錄基礎(chǔ)環(huán)境軟件環(huán)境配置規(guī)劃』所需要的軟件資源修改機(jī)器名（所有節(jié)點(diǎn)）設(shè)置防火墻（所有節(jié)點(diǎn)）配置免密碼登錄SSH17關(guān)閉SELTNUX（所有節(jié)點(diǎn)）1.8.修改Linux內(nèi)核參數(shù)（所有節(jié)點(diǎn)）亠其他安裝與配置（所有節(jié)點(diǎn)）110.配置NTP月服務(wù)安裝oracleJDK1.8（所有節(jié)點(diǎn)）Mysql安裝（主節(jié)點(diǎn)）安裝CM傳包，解包2^創(chuàng)建數(shù)據(jù)庫(kù)創(chuàng)建用戶制作本地YUM源拷貝jar包修改cloudera—scm—agent配置啟動(dòng)CMServer和Agent訪問CM安裝CDH登錄后界面選擇CM版‘本指定主機(jī)選擇CDH版本出現(xiàn)“主機(jī)運(yùn)行狀態(tài)不良”錯(cuò)誤檢查主機(jī)正確性選擇安裝的服務(wù)角色分配數(shù)據(jù)庫(kù)設(shè)置測(cè)試連接報(bào)錯(cuò)：群集設(shè)置開始安裝警告信息：常見錯(cuò)誤—初始化數(shù)據(jù)庫(kù)錯(cuò)誤：4.2一未能連接到HostMonitor基礎(chǔ)環(huán)境軟件環(huán)境本文將介紹Centos7.4離線安裝CDH和ClouderaManager過程，軟件版本如下：NO.軟件名稱版本1.操作系統(tǒng)Centos7.464位2.JDKjdk-8ul51-linux-x643.ClouderManager5.13.14.CDH5.13.15.數(shù)據(jù)庫(kù)Mysql5.76.JDBCmysql—connector—java—.jar配置規(guī)劃本次安裝共5臺(tái)服務(wù)器，服務(wù)器配置及用途如下NO.機(jī)器名稱內(nèi)網(wǎng)IP配置用途1.node1688C/32Gb/1TB主，CM，MysqlDB2.node16998C/32Gb/1TB從3.node170708C/32Gb/1TB從4.node171718C/32Gb/1TB從5.node172728C/32Gb/1TB從所需要的軟件資源JDK環(huán)境：JDK版本：51jdk-8u151-linux-x64.rpm下載地址：CM包：CM版本：5.13.1下載地址：CDH包CDH版本：5.13.1，.sha1；manifest.json下載地址：JDBC連接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下載地址：修改機(jī)器名(所有節(jié)點(diǎn))修改機(jī)器名稱#hostnamectlset-hostnamexxx//設(shè)置機(jī)器名#hostname//查看本機(jī)名這種方式，在Centos7中可以永久性改變主機(jī)名稱。每個(gè)節(jié)點(diǎn)機(jī)器，都要配置hosts#vi/etc/hosts內(nèi)容都改為：llocalhost//建議保留此行nodel68node169nodel70nodel71nodel72設(shè)置防火墻（所有節(jié)點(diǎn)）注：為了簡(jiǎn)便，可以先關(guān)閉防所有節(jié)點(diǎn)火墻，安裝完成后，再按照下面步驟設(shè)置。防火墻常用命令：#firewall-cmd--state（查詢防火墻狀態(tài)）#systemctlstopfirewalld.service（關(guān)閉防火墻）#systemctlstartfirewalld.service（開啟防火墻）#systemctldisablefirewalld.service（禁止firewall開機(jī)啟動(dòng)）設(shè)置防火墻策略，在所有節(jié)點(diǎn)執(zhí)行下面腳本（執(zhí)行前要啟動(dòng)防火墻）://集群機(jī)器間可以相互訪問firewall-cmd一permanent一add-rich-rule="rulefamily='ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"http://設(shè)置可以訪問的端口firewall-cmd--permanent--add-port=0-65535/tcpfirewall-cmd—reload注意：需要在所有的節(jié)點(diǎn)上執(zhí)行，因?yàn)樯婕暗降亩丝谔嗔?，臨時(shí)開放所有端口是為了安裝起來方便，安裝完畢后可以根據(jù)需要設(shè)置防火墻策略，保證集群安全。配置免密碼登錄SSH將子節(jié)點(diǎn)設(shè)置為從主節(jié)點(diǎn)ssh無密碼登陸（主節(jié)點(diǎn)訪問從節(jié)點(diǎn)需要無密碼互通，否則后面會(huì)出現(xiàn)問題）在主節(jié)點(diǎn)上執(zhí)行：#cd~//進(jìn)入到根目錄#ssh—keygen-trsa一路回車，生成無密碼的密鑰對(duì)。把公鑰拷貝至node169服務(wù)器上？:〔輸入node169〔輸入node169機(jī)器上root用戶密碼拷備成功登錄到node169服務(wù)器上:然后在node169服務(wù)器上，把公鑰的內(nèi)容追加到authorized_keys文件末尾（這個(gè)文件也在隱藏文件夾.ssh下，如果沒有可以新建）：#catid_rsa.pub〉〉~/.ssh/authorized_keys如果提示下面信息，則需要?jiǎng)?chuàng)建./ssh目錄：—bash:/root/.ssh/authorized_keys:Nosuchfileordirectory//創(chuàng)建/.ssh目錄，再追加公鑰內(nèi)容#mkdir~/.ssh#catid_rsa.pub〉〉~/.ssh/authorized_keys并設(shè)置authorized_keys的訪問權(quán)限：#chmod600~/.ssh/authorized_keys測(cè)試：在node168點(diǎn)上執(zhí)行sshnode169，正常情況下，不需要密碼就能直接登陸進(jìn)去了。在node168節(jié)點(diǎn)出現(xiàn)下面表示成功登錄node169節(jié)點(diǎn)：以同樣的方式將公鑰拷貝至其他節(jié)點(diǎn)服務(wù)器上。關(guān)閉SELINUX（所有節(jié)點(diǎn)）關(guān)閉linuxSELINUX安全內(nèi)核#setenforceO（臨時(shí)生效）修改/etc/selinux/config下的SELINUX=disabled（重啟后永久生效）#vi/etc/selinux/config內(nèi)容增加：|SELINUX二disabled重啟后生效：#reboot查看SELINUX是否關(guān)閉：#sestatus（在Centos7中遇到SELINUX無法關(guān)閉的問題，重新啟動(dòng)機(jī)器恢復(fù)正常）修改Linux內(nèi)核參數(shù)（所有節(jié)點(diǎn)）為避免安裝過程中出現(xiàn)的異常問題，首先調(diào)整Linux內(nèi)核參數(shù)。1）設(shè)置swappiness，控制換出運(yùn)行時(shí)內(nèi)存的相對(duì)權(quán)重,Cloudera建議將swappiness設(shè)置為10：//查看swappiness#cat/proc/sys/vm/swappiness//永久性修改，執(zhí)行下面兩條命令#sysctl—wvm.swappiness=10#echovm.swappiness=10〉〉/etc/sysctl.conf關(guān)閉透明大頁面：自CentOS6版本開始引入了TransparentHugePages(THP)，從CentOS7版本開始，該特性默認(rèn)就會(huì)啟用。盡管THP的本意是為提升內(nèi)存的性能，不過某些數(shù)據(jù)庫(kù)廠商還是建議直接關(guān)閉THP，否則可能會(huì)導(dǎo)致性能出現(xiàn)下降。首先查看透明大頁是否啟用，[always]never表示已啟用，always[never]表示已禁用：#cat/sys/kernel/mm/transparent_hugepage/defrag[always]madvisenever#cat/sys/kernel/mm/transparent_hugepage/enabled[always]madvisenever以上狀態(tài)就說明是啟用的。臨時(shí)關(guān)閉(重啟機(jī)器會(huì)變回默認(rèn)開啟狀態(tài))：#echonever>/sys/kernel/mm/transparent_hugepage/defrag#echonever>/sys/kernel/mm/transparent_hugepage/enabled永久關(guān)閉：//編輯/etc/rc.d/rc.local#vi/etc/rc.d/rc.local//在文件后添加下面內(nèi)容：iftest-f/sys/kernel/mm/transparent_hugepage/enabled;thenechonever>/sys/kernel/mm/transparent_hugepage/enabledfiiftest-f/sys/kernel/mm/transparent_hugepage/defrag;thenechonever〉/sys/kernel/mm/transparent_hugepage/defragfi保存退出，然后賦予rc.local文件執(zhí)行權(quán)限：#chmod+x/etc/rc.d/rc.local重啟系統(tǒng)，以后再檢查THP狀態(tài)，顯示狀態(tài)被禁用了。3）修改文件句柄數(shù)：修改系統(tǒng)文件句柄數(shù)限制：//查看文件句柄數(shù)，顯示1024，顯然太小#ulimit-n1024//修改限制#vi/etc/security/limits.conf//在文件后加入下面內(nèi)容：*softnofile100000*hardnofile100000修改后需要重啟機(jī)器。其他安裝與配置（所有節(jié)點(diǎn)）為避免安裝過程中出現(xiàn)異常問題，安裝相關(guān)依賴包：#yum-yinstallpsmiscMySQL-pythonatbcbindTibsbind-utilscups-clientcupsTibscyrus-sasl-gssapicyrus-sasl-plainedfusefuseTibshttpdhttpd-#yuminstall-ypython-lxml#yuminstallkrb5—develcyrus—sasl—gssapicyrus—sasl—develibxml2—devellibxslt—develmysqlmysql—developenldap—develpython-develpython-simpl#chmod+x/etc/rc.d/rc.local#yum—yinstallrpcbind#systemctlstartrpcbind#echo"systemctlstartrpcbind"〉〉/etc/rc.d/rc.local配置NTP服務(wù)集群中所有主機(jī)必須保持時(shí)間同步，如果時(shí)間相差較大會(huì)引起各種問題。具體建設(shè)過程如下：所有節(jié)點(diǎn)安裝相關(guān)組件：#yum?install??ntp??ntpdate??-yNTP服務(wù)端（主節(jié)點(diǎn)）：1）查找時(shí)間同步服務(wù)器：打開網(wǎng)址，內(nèi)容如下：2）編輯/etc/ntp.conf#vi/etc/ntp.conf〃在文件中輸入上面網(wǎng)頁內(nèi)容：serverserverserverserver3）啟動(dòng)ntp服務(wù)：#systemctlstart?ntpd4）配置開機(jī)啟動(dòng)：#systemctl?enable??ntpd.service?chronyd?并且是開機(jī)自注意：如果ntpd開機(jī)啟動(dòng)失效，有可能是因?yàn)榘惭b了啟狀態(tài)，所以導(dǎo)致ntpdchronyd?并且是開機(jī)自#查看?chronyd設(shè)置狀態(tài)#systemctlstatuschronyd顯示如下：以面表明，hd顯示為開機(jī)啟動(dòng)狀態(tài)。chronyd將hd設(shè)為禁用狀態(tài)：chronyd|#systemctldisablechronyd.service此時(shí)，NTP的服務(wù)開機(jī)自啟動(dòng)完成！5）檢查是否設(shè)置成功：#ntpq??-p〃更新時(shí)間#timedatectl?NTP客戶端（所有從節(jié)點(diǎn)）：6）遠(yuǎn)程客戶端時(shí)間同步測(cè)試#date#ntpdate是NTP服務(wù)端IP，顯示如下信息，測(cè)試成功：7）客戶端設(shè)置計(jì)劃任務(wù)，每30分鐘同步時(shí)間#crontab-e〃加入內(nèi)容：0-59/30****/usr/sbin/ntpdate&&/sbin/hwclock-w8）設(shè)置定時(shí)任務(wù)開機(jī)啟動(dòng)//設(shè)置開機(jī)啟動(dòng)#systemctlenablecrond.service//查看狀態(tài)#systemctlstatuscrond1?11?安裝oracleJDK1.8（所有節(jié)點(diǎn)）下載rpm安裝包jdk-8u151-linux-x64.rpmCentOS系統(tǒng)一般自帶Openjdk,需要卸載掉自帶的Openjdk,使用#rpm-qa|grepjava查詢java相關(guān)的包，使用#rpm-e-nodeps+包名強(qiáng)制卸載掉，下面安裝oralceJDKrpm—ivhjdk—8ul51—linux—x64.rpm配置JAVA_HOME環(huán)境變量：修改/etc/profile文件配置環(huán)境變量，執(zhí)行命令:#vi/etc/profile在profile文件最后，輸入下面內(nèi)容，保存并退出。exportJAVA_HOME=/usrexportPATH=$PATH:$JAVA_HOME/bin執(zhí)行下面命令，讓配置生效source/etc/profile//使修改立即生效#echo$PATH〃查看PATH值echo$JAVA_HOME〃查看JAVA_HOME值在Centos7中修改/etc/profile文件配置環(huán)境變量，機(jī)器啟動(dòng)后有時(shí)不生效，可以修改/et。人?口文件配置環(huán)境變量:vi#/vi#//etcbashrc〃在文件最后加入：exportJAVA_HOME=/usrexportPATH=$PATH:$JAVA_HOME/bin〃使修改立即生效#source/etc/bashrc〃查看JAVA_HOME值#echo$JAVAHOME1.12.Mysql安裝（主節(jié)點(diǎn)）到官網(wǎng)選擇對(duì)應(yīng)安裝包1）下載安裝包按common->libs->client-〉server的順序安裝:#rpm-ivh#rpm-ivh#rpm-ivh#rpm-ivh#rpm-ivh〃安裝下面包，否則Hue安裝報(bào)連接錯(cuò)誤#rpm-ivh4）啟動(dòng)數(shù)據(jù)庫(kù)#systemctlstartmysqld查看狀態(tài)：#systemctlstatusmysqld5）修改MySQL初始密碼1、先修改配置文件/etc/f令MySQL跳過登錄時(shí)的權(quán)限檢驗(yàn)，在［mysqld］下加入一行：skip-grant—tables2、重啟MySQL#servicemysqldrestart3、免密碼登錄MySQL。#mysql4、mysql客戶端執(zhí)行如下命令，修改root密碼mysql>usemysql;mysql>UPDATEuserSETauthentication_string二password（'your-password'）WHEREhost二'localhost'ANDuser二'root';mysql>selecthost,user,authentication_string,password_expiredfromuser;mysql>updateusersetpassword_expired二'N'wherepassword_expired二'Y'/密碼不過期mysql>updateusersethost二'％'whereuser二'root'andhost二'localhost';/遠(yuǎn)程可訪問mysql>flushprivileges;〃刷新mysql>exit;〃退出5、修改配置文件/etc/f刪除此前新增那一行skip-grant-tables，并重啟MySQL（這一步非常重要，不執(zhí)行可能導(dǎo)致嚴(yán)重的安全問題）#servicemysqldrestart//重啟Mysql安裝CM傳包，解包在主節(jié)點(diǎn)上下載相關(guān)軟件包，這里將軟件包下載到/data/cdh/目錄下。#cd/data/cdh下載MysqlJDBC包:#wget#wget.shal#wget將CM解壓到/opt/目錄:#tar-zxvf-C/opt/#ls/opt/clouderacm—5.13.1創(chuàng)建數(shù)據(jù)庫(kù)在主節(jié)點(diǎn)上：#mysql-uroot-p//加參數(shù)-指定本機(jī)方式，否則可能不允許執(zhí)行g(shù)rantEnterpassword:\\輸入數(shù)據(jù)庫(kù)密碼//在MariaDB[(none)]〉命令狀態(tài)輸入下面腳本：createdatabasehiveDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabaseamonDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabasehueDEFAULTCHARSETutf8C0LLATEutf8_general_ci;createdatabasemonitorDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabaseoozieDEFAULTCHARSETutf8COLLATEutf8_general_ci;grantallprivilegeson*.*toroot@localhostidentifiedby'root'withgrantoption;grantallon*.*toroot@"%"Identifiedby"root";flushprivileges;exit;//復(fù)制MysqlJDBC包到/opt/cm-5.13.1/share/cmf/lib/目錄#cp/opt/cm-5.13.1/share/cmf/lib///初始化CM,執(zhí)行下面腳本#mysqlcm-hnode168-uroot-proot--scm-hostnodel68scmscmscm//如果出現(xiàn)下面錯(cuò)誤：:Accessdeniedforuser'root'@'localhost'(usingpassword:YES)//解決辦法：在/etc/hosts文件中，加上Ilocalhost.nodel68主節(jié)點(diǎn)/etc/hosts內(nèi)容:腳本/scm_prepare_database.sh執(zhí)行成功界面：創(chuàng)建用戶在所有節(jié)點(diǎn)上執(zhí)行：#useradd--system--home=/opt/cm-5.13.1/run/cloudera-scm-server--shell二/bin/false--comment"ClouderaSCMUser"cloudera-scm制作本地YUM源在主節(jié)點(diǎn)上：//進(jìn)入軟件包目錄#cd/data/cdh//拷貝三個(gè)文件到/opt/cloudera/parcel-repo/目錄#cpCDHmanifest.json/opt/cloudera/parcel-repo///進(jìn)入/opt/cloudera/parcel-repo/目錄#cd/opt/cloudera/parcel-repo///修改文件名#mv1.cdh此時(shí)/opt/cloudera/parcel-repo/目錄下文件：拷貝jar包在所有節(jié)點(diǎn)上：//如果沒有/usr/share/java/目錄，則創(chuàng)建#cp/usr/share/java/mysql-connector-java.jar在主節(jié)點(diǎn)上：//將mysqlJDBCjar包拷貝到/opt/cm-5.13.1/share/cmf/lib/目錄#cp/opt/cm-5.13.1/share/cmf/lib/修改cloudera-scm-agent配置在主節(jié)點(diǎn)上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：//將config.iniserver_host二localhost內(nèi)容改為server_host#sed-i"s/server_host二localhost/server_host/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini在主節(jié)點(diǎn)上：//將cm-5.13.1打包，并復(fù)制到其他節(jié)點(diǎn)#cd/opt#tarczfcm-5.13.l.tar.gzcm-5.13.1///復(fù)制到其他節(jié)點(diǎn)#scpcm-5.13.l.tar.gznodel69:/opt/#scpcm-5.13.l.tar.gznodel70:/opt/#scpcm-5.13.l.tar.gznode171:/opt/#scpcm-5.13.l.tar.gznode172:/opt/在所有從節(jié)點(diǎn)上解壓：//將cm-5.13.1包解壓#cdopt#tar-xzvfcm-5.13.l.tar.gz//解壓后刪除#rm-rfcm-5.13.l.tar.gz啟動(dòng)CMServer和Agent在主節(jié)點(diǎn)上，啟動(dòng)cloudera-scm-server：#/opt/cm-5.l3.l/etc/init.d/cloudera-scm-serverstart啟動(dòng)過程較慢，可通過/opt/cm-5.13.1/log/cloudera-scm-server日志，查看啟動(dòng)過程。在所有節(jié)點(diǎn)上，啟動(dòng)cloudera-scm-agent：#/opt/cm-5.13.1/etc/init.d/cloudera-scm-agentstart訪問CM地址：主節(jié)點(diǎn)IP:7l80用戶名、密碼：admin安裝CDH登錄后界面接受協(xié)議：選擇CM版本本文檔選擇ClouderaExpress免費(fèi)版。指定主機(jī)在搜索主機(jī)名和IP地址框輸入node[169-172],這里輸入的內(nèi)容支持正則表達(dá)式。輸入后點(diǎn)【搜索】按鈕，出現(xiàn)機(jī)器列表：選擇“當(dāng)前管理的主機(jī)“選擇項(xiàng)卡,點(diǎn)【繼續(xù)】。選擇CDH版本這里需要選擇制作本地源時(shí)的版本,如果選擇別的版本的就會(huì)去官網(wǎng)下載,那樣安裝速度會(huì)很慢。點(diǎn)【繼續(xù)】按鈕,進(jìn)入安裝界面。3.4.1.出現(xiàn)“主機(jī)運(yùn)行狀態(tài)不良”錯(cuò)誤遇到節(jié)點(diǎn)“主機(jī)運(yùn)行狀態(tài)不良”的提示,解決辦法是刪除故障節(jié)點(diǎn)Agent服務(wù)cm_guid文件：|#rm-rfcloudera-scm-agent/cmguid重新啟動(dòng)故障節(jié)點(diǎn)Agent服務(wù)：etc/init.d/cloudera-scm-agentrestart重啟故障節(jié)點(diǎn)Agent服務(wù)后，故障消失：注：出現(xiàn)故障原因是，因?yàn)槲抑霸诠收瞎?jié)點(diǎn)啟動(dòng)過cloudera-scm-agent服務(wù)。檢查主機(jī)正確性確保全部驗(yàn)證通過。選擇安裝的服務(wù)本文選擇的是安裝所有服務(wù)。角色分配這里應(yīng)該根據(jù)實(shí)際需求和服務(wù)器的硬件參數(shù)自己選擇數(shù)據(jù)庫(kù)設(shè)置指定的數(shù)據(jù)庫(kù)名稱，要與2.2節(jié)創(chuàng)建的數(shù)據(jù)庫(kù)(hive,monitor,oozie,hue)保持一致，并輸入對(duì)應(yīng)的數(shù)據(jù)庫(kù)用戶名和密碼，為了簡(jiǎn)便這里用的是root賬號(hào)名和密碼。全部輸入完，之后【測(cè)試連接】：3.8.1.測(cè)試連接報(bào)錯(cuò)：測(cè)試連接，Hue測(cè)試報(bào)錯(cuò)：Unabletoverifydatabaseconnection：原因是缺少M(fèi)ysq