大數(shù)據(jù)平臺(tái)環(huán)境搭建傻瓜式說明書

1、Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建(CDH5.13.1 版)版本v1.0作者郭維忠發(fā)布日期2018-03-10目錄Cloudera大數(shù)據(jù)平臺(tái)環(huán)境搭建 1（CDH5.13.1 版） 11 . 基礎(chǔ)環(huán)境 41.1. 軟件環(huán)境 41.2. 配置規(guī)劃 41.3. 所需要的軟件資源 41.4. 修改機(jī)器名（所有節(jié)點(diǎn)） 51.5. 設(shè)置防火墻（所有節(jié)點(diǎn)） 51.6. 配置免密碼登錄 SSH 61.7. 關(guān)閉SELINUX（所有節(jié)點(diǎn)） 61.8. 修改 Linux 內(nèi)核參數(shù)（所有節(jié)點(diǎn)） 71.9. 其他安裝與配置（所有節(jié)點(diǎn)） 81.10. 配置NTP服務(wù) 81.11. 安裝 oracle JDK1.8（所有

2、節(jié)點(diǎn)） 101.12. Mysql安裝（主節(jié)點(diǎn)） 112 .安裝 CM 122.1. 傳包，解包 122.2. 創(chuàng)建數(shù)據(jù)庫 122.3. 創(chuàng)建用戶 132.4. 制作本地YUMM 132.5. 拷貝 jar 包 142.6. 修改 cloudera-scm-agent 配置 142.7. 啟動(dòng) CM Server 和 Agent 142.8. 訪問 CM 153 .安裝 CDH 153.1. 登錄后界面 153.2. 選擇CM版本 163.3. 指定主機(jī) 173.4. 選擇 CDHS本 183.4.1. 出現(xiàn) “主機(jī)運(yùn)行狀態(tài)不良”錯(cuò)誤 193.5. 檢查主機(jī)正確性 193.6. 選擇安裝的服務(wù)

3、 203.7. 角色分配 203.8. 數(shù)據(jù)庫設(shè)置 213.8.1. 測試連接報(bào)錯(cuò)： 223.9. 群集設(shè)置 233.10. 開始安裝 243.11. 安裝完成 253.11.1. 警告信息： 254 .常見錯(cuò)誤 274.1. 初始化數(shù)據(jù)庫錯(cuò)誤： 274.2. 未能連接到 Host Monitor 281,基礎(chǔ)環(huán)境1.1, 軟件環(huán)境本文將介紹 Centos7.4 離線安裝 CD即口 Cloudera Manager過程，軟件版本如下:NO.軟件名稱版本1.操作系統(tǒng)Centos7,4 64 位2.JDKjdk-8u151-linux-x643.Clouder Manager5.13.14.CDH

4、5.13.15.數(shù)據(jù)庫Mysql 5.76.JDBCmysql-connector-java-5.1.43.jar1.2, 配置規(guī)劃本次安裝共5臺(tái)服務(wù)器，服務(wù)器配置及用途如下:NO.機(jī)器名稱內(nèi)網(wǎng)IP配置用途1.node168688C/32Gb/1TB主，CM MysqlDB2.node169698C/32Gb/1TB從3.node170708C/32Gb/1TB從4.node171718C/32Gb/1TB從5.node172728C/32Gb/1TB從1.3, 所需要的軟件資源1) JDK環(huán)境

5、：JDK 版本：1,8,0_151 jdk-8u151-linux-x64.rpm 下載地址：2) CMKCM 本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下載地址：3) CDH&CDK 本：5.13.1 ,CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel;CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel,sha1 ；manifest.json下載地址：4) JDBC連接 jar 包:jar 包版本：5.1.43 , mysql-connector-java-5.1

6、.43.jar 下載地址：1.4, 修改機(jī)器名（所有節(jié)點(diǎn)）1）修改機(jī)器名稱# hostnamectl set-hostname xxx /設(shè)置機(jī)器名#hostname /查看本機(jī)名這種方式，在 Centos7中可以永久性改變主機(jī)名稱。2） 每個(gè)節(jié)點(diǎn)機(jī)器，都要配置hosts# vi /etc/hosts內(nèi)容都改為： .1 localhost / 建議保留此行68 168 node1669 169 node1670 170 node17071 171 node1772 172 node1721.5. 設(shè)置防火

7、墻（所有節(jié)點(diǎn)）注：為了簡便，可以先關(guān)閉防所有節(jié)點(diǎn)火墻，安裝完成后，再按照下面步驟設(shè)置。防火墻常用命令：# firewall-cmd -state（查詢防火墻狀態(tài)）#systemctl stop firewalld.service（關(guān)閉防火墻）#systemctl start firewalld.service（開啟防火墻）#systemctl disable firewalld.service（禁止 firewall開機(jī)啟動(dòng)）設(shè)置防火墻策略，在所有節(jié)點(diǎn)執(zhí)行下面腳本（執(zhí)行前要啟動(dòng)防火墻）：/集群機(jī)器間可以相互訪問firewall-cmd -permanent -add-rich-rule=&qu

8、ot;rule family='ipv4' source address='68' port protocol='tcp'port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='69' port protocol='tcp'port='0-65535' accept&quo

9、t;firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='70' port protocol='tcp'port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='71' port protocol=&#

10、39;tcp'port='0-65535' accept"firewall-cmd -permanent -add-rich-rule="rule family='ipv4' source address='72' port protocol='tcp'port='0-65535' accept"/設(shè)置可以訪問的端口firewall-cmd -permanent -add-port=0-65535/tcpfirewall-cmd -reload注意：需要在所

11、有的節(jié)點(diǎn)上執(zhí)行，因?yàn)樯婕暗降亩丝谔嗔耍R時(shí)開放所有端口是為了安裝起來 方便，安裝完畢后可以根據(jù)需要設(shè)置防火墻策略，保證集群安全。1.6. 配置免密碼登錄SSH將子節(jié)點(diǎn)設(shè)置為從主節(jié)點(diǎn)ssh無密碼登陸(主節(jié)點(diǎn)訪問從節(jié)點(diǎn)需要無密碼互通，否則后面會(huì)出現(xiàn)問題)在主節(jié)點(diǎn)上執(zhí)行：# cd/進(jìn)入到根目錄# ssh-keygen -t rsa一路回車，生成無密碼的密鑰對(duì)。LrooTynomcnodc home# ssh keygen -t r"與小Gorier dting publlc/pr iVdtt*3日 key pdir ,Enter file in which to the key (/ro

12、ot/.ssh/id rsa)： /root/.5sh/id_rsa already exists.Overwrite ly/n? yEnter passphrase (tmpty for no passphrnse)：Enter 與amu pa5sphra5e again;Ynur idenTiTicaticn has been saved i n / roar/ . s*ih/iri rsa PYour public key has been saved in /root/.ssh/id rsa.pub«The key fingerprint is：96 : b4 : 4日:31

13、: &a : Sa： 13: HZ: cs: pH : 69: 79:3(1:72: 25: 3 rnotijdnainpnodeThe key' s randomart linage is : + - - RSA 204UJ+n f * S g,0* *,q o .把公鑰拷貝至node169服務(wù)器上：# scp /root/.ssh/id_rsa.pub rootnode169:/ 輸入 node169 機(jī)器上 root 用戶密碼拷備成功登錄到node169服務(wù)器上：然后在node169服務(wù)器上，把公鑰的內(nèi)容追加到authorized_keys文件末尾（這個(gè)文件也在隱藏文件夾

14、.ssh下，如果沒有可以新建）：# cat id_rsa.pub >> /.ssh/authorized_keys如果提示下面信息，則需要?jiǎng)?chuàng)建./ssh目錄：-bash: /root/.ssh/authorized_keys: No such directory創(chuàng)建/.ssh目錄，再追加公鑰內(nèi)容# mkdir -/.ssh# cat id_rsa.pub >> /.ssh/authorized_keys并設(shè)置authorized_keys的訪問權(quán)限：# chmod 600 /.ssh/authorized_keys測試：在node168點(diǎn)上執(zhí)行ssh node169 ,

15、正常情況下，不需要密碼就能直接登陸進(jìn)去了。在node168節(jié)點(diǎn)出現(xiàn)下面表示成功登錄 node169節(jié)點(diǎn)：root©nodel68ssh nodel69Last login: Thu Mar 22 09:39:52 2018 from 172.16.3-168Erootnodel69以同樣的方式將 公鑰拷貝至其他節(jié)點(diǎn)服務(wù)器上 。1.7. 關(guān)閉SELINUX（所有節(jié)點(diǎn)）關(guān)閉linux SELINUX安全內(nèi)核# setenforce 0（臨時(shí)生效）修改 /etc/selinux/config 下的 SELINUX=disabled（重啟后永久生效）# vi /etc/selinux/con

16、fig內(nèi)容增加：SELINUX=disabled-重啟后生效： # reboot查看SELINUX是否關(guān)閉：#sestatus（在Centos7中遇到SELINUX無法關(guān)閉的問題，重新啟動(dòng)機(jī)器恢復(fù)正常）1.8. 修改Linux內(nèi)核參數(shù)（所有節(jié)點(diǎn)）為避免安裝過程中出現(xiàn)的異常問題，首先調(diào)整Linux內(nèi)核參數(shù)。1） 設(shè)置s,控制換出運(yùn)行時(shí)內(nèi)存的相對(duì)權(quán)重，Cloudera建議將s設(shè)置為10 :/查看s# cat /proc/sys/vm/s/永久性修改，執(zhí)行下面兩條命令# sysctl -w vm.s# echo vm.s = 10 >> /etc/sysctl.conf2） 關(guān)閉透明大頁

17、面：自CentOS6版本開始引入了 Transparent Huge Pages(THP),從CentOS7版本開始，該特性默認(rèn)就 會(huì)啟用。盡管THP的本意是為提升內(nèi)存的性能，不過某些數(shù)據(jù)庫廠商還是建議直接關(guān)閉THP,否則可能會(huì)導(dǎo)致性能出現(xiàn)下降。首先查看透明大頁是否啟用，always never表示已啟用，always never 表示已禁用：# cat /sys/kernel/mm/transparent_hugepage/defragalways madvise never# cat /sys/kernel/mm/transparent_hugepage/enabledalways mad

18、vise never以上狀態(tài)就說明是啟用的。臨時(shí)關(guān)閉(重啟機(jī)器會(huì)變回默認(rèn)開啟狀態(tài))：# echo never > /sys/kernel/mm/transparent_hugepage/defrag# echo never > /sys/kernel/mm/transparent_hugepage/enabled永久關(guān)閉：/ 編輯/etc/rc.d/rc.local# vi /etc/rc.d/rc.local/在文件后添加下面內(nèi)容：if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never >

19、 /sys/kernel/mm/transparent_hugepage/enabled fiif test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag fi保存退出，然后賦予rc.local文件執(zhí)行權(quán)限:#chmod +x /etc/rc.d/rc.local重啟系統(tǒng)，以后再檢查 THP狀態(tài)，顯示狀態(tài)被禁用了。root(nodel68 -JL-caX>/sys/k&rnel/mm trans par en

20、t_hugepage/defrag madvi (TnaverJ?rootnodel6E J35ys/kernel/mm/transparent_hugepage /enabl ed always madvise(Tnev«r_JTrootnode168 -JS .3）修改文件句柄數(shù)：修改系統(tǒng)文件句柄數(shù)限制：查看文件句柄數(shù)，顯示1024,顯然太小# ulimit -n1024/修改限制#vi /etc/security/limits.conf/在文件后加入下面內(nèi)容：* soft no* hard no修改后需要重啟機(jī)器。1.9. 其他安裝與配置(所有節(jié)點(diǎn))為避免安裝過程中出現(xiàn)異常問題

21、，安裝相關(guān)依賴包：# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-de

22、vel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel# yum install -y python-lxml# yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqli

23、te-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local1.10. 配置NTP服務(wù)具體建設(shè)過程如下:集群中所有主機(jī)必須保持時(shí)間同步，如果時(shí)間相差較大會(huì)引起各種問題。所有節(jié)點(diǎn)安裝相關(guān)組件：# yum install ntp ntpdate -yNTP服務(wù)端（主節(jié)點(diǎn)）：1）查找時(shí)間同步服務(wù)器:打開網(wǎng)址，內(nèi)容如下:Asia asia.pooLntp

24、torgTo use this sperofie pool 7口口已 add the following to vonr ntp.conf file:servsr CL as ia. po*>l_ ntjp. oreB0TV0T 1- /GJiih 口g,+ITtCh W£server 2 qx口中加七口和 wa sisrysr 3L as ia> po-?l- rrt-p. ers2)編輯 /etc/ntp.conf :# vi /etc/ntp.conf/在文件中輸入上面網(wǎng)頁內(nèi)容：server 0.server l.asia.pool

25、.server 2.server 3.3) 啟動(dòng)ntp服務(wù)：# systemctl start ntpd4) 配置開機(jī)啟動(dòng):# systemctl enable ntpd.servicechronyd并且是開機(jī)自啟狀態(tài)，所以導(dǎo)致 ntpd開注意：如果ntpd開機(jī)啟動(dòng)失效，有可能是因?yàn)榘惭b了 機(jī)自啟失敗。#查看 chronyd設(shè)置狀態(tài)# systemctl status chronyd顯示如下:Irootnndfl64- -r 5月1：*1時(shí)儀 式觸，"clrgriydi 0krsnydfclTH &am

26、p;11 anfc|ir£gvwI Ldided: Icuefed £.>sr dciryd. arvke;vf rid*jr pr-frc snBjbhtf)或匚兀三二 二工 TVT RlHilUllO %、K£ Mb iinJikQrmvL« L&l； FTftWTmnRF'docs： iwn：chror»ycKfl)Z，：chr 審w，£sf (5)ProcFSi ： 了" CjcecStartPoBt*/irar/ I ibesec/tbrony-helper update-daewn ： 口用

27、圮r ri ted. st at usO/SUCC ESS process： 72Q D 也氫 art -uisr/sblnclron/cli JOTLONS (codt eiii*d. st atu 5-0 'SUCCESS)Hair fid: 727 (MrwtOCGroup:一r.、111 ie/ctir 口口網(wǎng),5 frvi c tL727 usr/sbi rV chr onydMar ?2 19:42:W nodel«9 Mir 22 11241:27 nodfelM m材 72 11：43：» nodelM BUT 22nodelMMIT 22 U：43

28、：29 Md", war，2 11二44:打 mdel的 «ar 22 11 ：44 s M nodWHN war 22 11 = 1152 37 n-DdeL69 war 22 11川5門9 rwdelfl ar 22 11 乂朝* rodeld9 Lrootflrtodeiey .k .chronyd chrorryd chratiyd cbronyd cnrcrrydl cHr cfrv CtT chrunyd chrnnyd-，aF ! F 7777777m 2 2 -J* 2 22 2 22 z 7777 777 777 .« r B .I K , B

29、B r;與/f clork wmq by -2<7W-W%7S jsNmds. adiustKTif:Sy5t«B clock wfts »fipped try -上/i上seconds:sf-leicred source 再3.fib 116,t?fi;Srmirce fed. 1L6,12b replaced with 翻3LH5.1M,123：&tlt<T9d Klirci營丸的料工管二 cin'I synchrDrilM no seleciable sources;Selecti-d 5«uirc0a.翻z Can,t sMih

30、ranise: no selecrable sources? SelBClfid Sum1U.223:fleeted Murce J05.Ua 184,121以面表明，chronyd顯本為開機(jī)啟動(dòng)狀態(tài)。 將chronyd設(shè)為禁用狀態(tài)：# systemctl disable chronyd.service此時(shí)，NTP的服務(wù)開機(jī)自啟動(dòng)完成!5) 檢查是否設(shè)置成功：# ntpq -p/更新時(shí)間#timedatectlNTP客戶端(所有從節(jié)點(diǎn))6) 遠(yuǎn)程客戶端時(shí)間同步測試# date# ntpdate 6868是NTP服務(wù)端IP,顯示如下信息，測試成功:raDt

31、®nodcl72 _# cltc -Thu Mar 12 16 ； 44 ; 00 C5T 后Lrooc四MjdE72 J* ntpdate 172. lfcT i, 16822 Mar 1:25 ntpdatc1152 : adjust time server 172+16. B. 16S offset n*。068 seeroot&nodel72 -# ，7) 客戶端設(shè)置計(jì)劃任務(wù)，每 30分鐘同步時(shí)間#crontab -e/加入內(nèi)容：0-59/30 * * * * /usr/sbin/ntpdate 68 && /sbin/hwcloc

32、k -w8）設(shè)置定時(shí)任務(wù)開機(jī)啟動(dòng)設(shè)置開機(jī)啟動(dòng)# systemctl enable crond.service/查看狀態(tài)# systemctl status crond1.11. 安裝 oracle JDK1.8 （所有節(jié)點(diǎn)）下載 rpm 安裝包 jdk-8u151-linux-x64.rpmCentOS系統(tǒng)一般自帶 OpenJdk,需要卸載掉自帶的OpenJdk,使用# rpm -qa | grep java查詢java相關(guān)的包，使用# rpm -e - nodeps + 包名強(qiáng)制卸載掉，下面安裝oralce JDK# rpm -ivh jdk-8u151-linux-x64.rpm配置JAV

33、A_HOME境變量：修改/etc/profile文件配置環(huán)境變量，執(zhí)行命令：# vi /etc/profile在profile 文件最后，輸入下面內(nèi)容，保存并退出。export JAVA_HOME=/usr/java/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin執(zhí)行下面命令，讓配置生效# source /etc/profile /使修改立即生效# echo $PATH / 查看 PATH®# echo $JAVA_HOME / 查看 JAVA_HOME在Centos7中修改/etc/pro巾le文件配置環(huán)境變量，機(jī)器啟動(dòng)后有時(shí)不生效，可以修

34、改/etc/ bashrc文件配置環(huán)境變量：# vi /etc / bashrc/在文件最后加入：export JAVA_HOME=/usr/java/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin/使修改立即生效# source /etc/bashrc# / 查看 JAVA_HOME# echo $JAVA_HOME1.12. Mysql安裝(主節(jié)點(diǎn))到官網(wǎng)選擇對(duì)應(yīng)安裝包：1) 下載安裝包#wget2) 解壓安裝包# tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar/解壓后文件列表：mysql-com

35、munity-embedded-devel-5.7.18-1.el7.x86_64.rpmmysql-community-devel-5.7.18-1.el7.x86_64.rpmmysql-community-client-5.7.18-1.el7.x86_64.rpmmysql-community-common-5.7.18-1.el7.x86_64.rpmmysql-community-embedded-5.7.18-1.el7.x86_64.rpmmysql-community-embedded-compat-5.7.18-1.el7.x86_64.rpmmysql-community

36、-libs-5.7.18-1.el7.x86_64.rpmmysql-community-server-minimal-5.7.18-1.el7.x86_64.rpmmysql-community-test-5.7.18-1.el7.x86_64.rpmmysql-community-minimal-debuginfo-5.7.18-1.el7.x86_64.rpmmysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm3) 按次序安裝按 commorr >libs - >client - >server 的順序安裝：# rpm

37、-ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm# rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm# rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm/安裝下面包，否則Hue安裝報(bào)連接錯(cuò)誤# rpm

38、 -ivh mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm4) 啟動(dòng)數(shù)據(jù)庫# systemctl start mysqld查看狀態(tài)：# systemctl status mysqld5) 修改MySQLU始密碼1、先修改配置文件/etc/f 令MySQlM過登錄時(shí)的權(quán)限檢驗(yàn)，在mysqld下加入一行:skip-grant-tables2、重啟 MySQL#service mysqld restart3、免密碼登錄 MySQL#mysql4、mysql客戶端執(zhí)行如下命令，修改root密碼mysql> use mysql;mysql&g

39、t; UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user='root'mysql> select host,user, authentication_string, password_expired from user;mysql> update user set password_expired='N' where password_expired='Y'

40、 /密碼不過期mysql> update user set host='%' where user='root' and host='localhost' /遠(yuǎn)程可訪問mysql> flush privileges; / 刷新mysql> exit;/ 退出5、修改配置文件/etc/f刪除此前新增那一行 skip-grant-tables ,并重啟MySQL這一步非常重要，不執(zhí)行可能導(dǎo)致嚴(yán)重的安全問題)#service mysqld restart / 重啟 Mysql2.安裝CM2.1. 傳包，解包在主節(jié)點(diǎn)上下載相關(guān)軟件包，這

41、里將軟件包下載到/data/ cdh/ 目錄下。# cd /data/cdh下載 Mysql JDBC 包：#wget下載CM#wget 5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下載CDH#wget# wget .sha1#wget將CMS壓到/opt/目錄：# tar -zxvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz -C /opt/# ls /opt/cloudera cm-. 創(chuàng)建數(shù)據(jù)庫在主節(jié)點(diǎn)上：# mysql -h -uroot -p

42、 /加參數(shù)-h指定本機(jī)方式，否則可能不允許執(zhí)行g(shù)rantEnter password:輸入數(shù)據(jù)庫密碼/在MariaDB (none)> 命令狀態(tài)輸入下面腳本：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create datab

43、ase monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root"%H Identified by "root"flush privileges;exit

44、;/ 復(fù)制 Mysql JDBC 包到/opt/cm-5.13.1/share/cmf/lib/目錄#cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/初始化CM執(zhí)行下面腳本# /opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode168 -uroot -proot -scm-host node168 scm scm scm/如果出現(xiàn)下面錯(cuò)誤：java.sql.SQLException: Access denied for

45、 user 'root''localhost' (using password: YES)/解決辦法：在/etc/hosts 文件中，加上 localhost.node168主節(jié)點(diǎn)/etc/hosts 內(nèi)容：g27. ft. O, 1Tocalhost.nodelBSnodeL68 nodeL63 nodelTO nodel71172.16.168172.1b, J. 169172.16.孑,170172.16. 3. 171 ±72. £6. 1. 172執(zhí)行成功界面:腳本 /scm_prepare_database.sh

46、 i'Pirtfki#rlt* £*#-511pr "" I 14 。內(nèi)(Fq rSh /：電 1 口 -T 簞 »itZ"中Wv4I56j,占jvj中w'Xk <. p_lSl,nr -九 Tf. Ehwr hi ch- nr isb a -n - =>!. 24.4 «£< ElciuiaBrx->zv- sariivrLHftlBQdMiDHivtr 1. Wit 14 Oi*FKjKfeL. TVtt Mi dMrtf' £« wMl j.iTMi

47、*-1,w fi M>o«<r41iN.wdEN VI hmAI lOM4M *h*t1 "mj" 2J JL-Q。端 err ml a。t-s-t-abish T3L oriwct1<pi wl9mit sw-*tr'i Ujp r>Hf'Hiri50rl*wt 即*cwnMLto vyn 5.S.I.Ml $F«f5M«nt$ 5HL con«M.<1clan'T me> rgr iiwl由飛:廣上 矛廠"il£me n-lng tsl <be

48、w«rif)B«niiHrccrEIf 1(jee iFVier< is mt： 'fiilM-i md elitfw eo eivliclcly dlMlkle 9aL by mtmIeEWliriCdl4i*n.LruLjii4 MJ* nWftigHLlw "I* 口 外 詞”.3-3一31工 嘴也小Mtwr 1加4 Wf!-J*-1,t.a I i a ,l«r Am MW M. C*TC .工 ImBI-lll-ME-ThUVr,11 4 . pr0E £= E IfUdMF«. Rd1 . AlLfH a X

49、&PPCGKL E4 I觸* ih S4W, . 4. < AG.i w 1, ThpI >Vlfi cKfliof 工日J(rèn)J VifiUiiT1 -W miLit-ill ishiRi fs.弋fHm 哂 EM灼it Eto «¥»M 3>. rqqwArvMnfs sn bhhh.tnIsn'T -sec喇4門忖<1口寸 iTK ifl-lng m Th 妙 f r - f >Se«-FHrC«- C Ifl-CMe trawixp i!J. Ml I*隼I，I either cgi eipHc

50、rtl 4131L 岫 mmlE5,»*»«»* rw rwi ir m jii1* yir +<!, m i«i*>ZOli -Q3-J 3 17 -02ma in:MGli»d«r iL-.HiitH-|r Iih. ibut b 1. HtCu«ieE Jicurtar- 5u1匚二/(口111丫二adE.a dit ia>u3«.411 AFN 中W T*誕 fit口婚 AC -r"E"】4l (1dh|卬 ClMAfk-lOIE HA.利中 UR2.3. 創(chuàng)

51、建用戶在所有節(jié)點(diǎn)上執(zhí)行：# useradd -system -home=/opt/cm-5.13.1/run/cloudera-scm-server -shell=/bin/false -comment "Cloudera SCM User' cloudera-scm2.4. 制作本地YUM®在主節(jié)點(diǎn)上：/進(jìn)入軟件包目錄#cd /data/cdh/ 拷貝三個(gè)文件至1J /opt/cloudera/parcel-repo/ 目錄#cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-

52、el7.parcel.sha1 manifest.json/opt/cloudera/parcel-repo/ 進(jìn)A/opt/cloudera/parcel-repo/ 目 錄#cd /opt/cloudera/parcel-repo/修改文件名#mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha此時(shí) /opt/cloudera/parcel-repo/rootnodel68 parcel-repo# 11zotal L88898Q- rw-rr1rootroot19

53、342312&1Mar27L7;MCDH-5.13.cdhS.LJ.l.p0<2-el7. parcel- rwrr1rootroot41Mar2717： 34CDH；5.13,1-1, cdh5.LJ.l.pO,parcel,sha- rw-r-r1rootroot73766Mar2717;34manifest.jsonrootnodel68 parcel-rep口#.2.5. 拷貝jar包在所有節(jié)點(diǎn)上：/如果沒有/usr/share/java/ 目錄，則創(chuàng)建# cp mysql-connector-java-5.1.43-bin.jar /usr/share/java/mys

54、ql-connector-java.jar在主節(jié)點(diǎn)上：/ 將 mysql JDBC jar 包拷貝到 /opt/cm-5.13.1/share/cmf/lib/目錄#cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/2.6. 修改 cloudera-scm-agent 酉己置在主節(jié)點(diǎn)上,修改 /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件:/ 將 config.ini server_host=localhost內(nèi)容改為 server_host=172.16

55、.3.168# sed -i "s/server_host=localhost/server_host=68/" /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini在主節(jié)點(diǎn)上：/將cm-5.13.1打包，并復(fù)制到其他節(jié)點(diǎn)#cd /opt#tar czf cm-5.13.1.tar.gz cm-5.13.1/復(fù)制到其他節(jié)點(diǎn)#scp cm-5.13.1.tar.gz node169:/opt/#scp cm-5.13.1.tar.gz node170:/opt/#scp cm-5.13.1.tar.gz node

56、171:/opt/#scp cm-5.13.1.tar.gz node172:/opt/在所有從節(jié)點(diǎn)上解壓:/將cm-5.13.1 包解壓#cd opt#tar -xzvf cm-5.13.1.tar.gz/解壓后刪除#rm -rf cm-5.13.1.tar.gz2.7. 啟動(dòng) CM Server 和 Agent在主節(jié)點(diǎn)上,啟動(dòng) cloudera-scm-server :# /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start日志，查看啟動(dòng)過程。啟動(dòng)過程較慢，可通過 /opt/cm-5.13.1/log/cloudera-scm-server

57、 在所有節(jié)點(diǎn)上，啟動(dòng) cloudera-scm-agent :# /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start2.8. 訪問CM地址：http:/ 主節(jié)點(diǎn)IP:7180用戶名、密碼：adminclouderd mam 即汨?3 .安裝CDH3.1. 登錄后界面接受協(xié)議：bEfir MR. H vfiJM 典.戒T葬M&NAOE京迪使用cloudew m白MgM甄F可*:新聞馳碑EHC USE?LKEkEE liFAS AbD CDNDTC9KThFSf附修5" !4： "rttf； - r*xi. |"n-i= y F ；1m:T"! A=<¥ T«1 rf 2 ,Elr QF p=¥jp. ,H 田 0E7HEP Hr I Aarr£l?(n 7: i FZriN* |"TL "i RR*，KEjIF THFBf TFSlfSMFRJI l¥r BU iELTR"Q1<rMhIi