安裝手冊-2-cdh5集群配置

公司SparkJobserver增加安裝方修改安裝方CDH5用戶權(quán)限 置手冊文檔目 安裝條 網(wǎng)絡(luò)配 硬 CPU和內(nèi) 安裝集 準(zhǔn)備工 主機(jī)名配 關(guān)閉root用戶的ssh無通 關(guān)閉 設(shè)置Linux最大文件打開數(shù)和進(jìn)程 安裝ClouderaManager 3.2.1.安 離線安 安裝 3.3.1.安 離線安 配置集 功能配 配置方 角色組配 配置方 配 環(huán)境變 配置方 服務(wù)參 配置方 基本參 用戶權(quán) 創(chuàng)建本地 升級集 JDK未安 錯誤描 解決方 錯誤描 解決方 安裝ClouderaManagerAgent卡 錯誤描 解決方 服務(wù)器管理經(jīng)驗(yàn)，熟悉基本的LINUX硬盤配置4*2T，根據(jù)需要保存的數(shù)據(jù)實(shí)際情況也可變動。（注意Hadoop的數(shù)據(jù)默認(rèn)都是保存3份，占用3倍硬盤空間）多個硬盤的組合一般配置為Raid0RaidJBOD(JustaBunchOfDisks)形式。CPU使用類似DellR510，R710CPU內(nèi)存一般應(yīng)配置16G或32G。CentOS6.0以上版本。安裝6.5CM5提供了對CDH5進(jìn)行安裝、配置、管理、的功能，使用CM5可以較方便地完成CDH5環(huán)境的部署。本文使用的CM版本為1，安裝的CD本為5.0.0。CDHInstall.tar.gzCDHFile.tar.gzmasterCDHInstallCDHFile文件夾，請確保CDHFileextshCDHHostconfig.shhostlistntpconffiledir<ntphost>6restrictdefaultkodnomodifynotrapnopeernoqueryrestrictrestrictdefaultkodnomodifynotrapnopeernoqueryrestrict-6defaultkodnomodifynotrapnopeernoqueryrestrictHOSTmaskMASKnomodifyrestrictrestrict-6serverfudgestratum10driftfile/var/lib/ntp/driftkeysMasterntp時間同步的子網(wǎng)IP， 集群中各節(jié)點(diǎn)的root運(yùn)行完成后重啟Master節(jié)點(diǎn)。目的：系統(tǒng)安裝完成后默認(rèn)的主機(jī)名一般都為localhost.local #hostname解析配置目的：幫助主機(jī)進(jìn)行DNS對應(yīng)IP都應(yīng)該寫入hosts文件中?；蛘撸趍aster主機(jī)上更改完以后，再將該hostsscpscp/etc/hostsslave1:/etc/##Donotremovethefollowingline,orvarious#thatrequirenetworkfunctionalitywill 6505152關(guān)閉#serviceiptablesstop#chkconfigiptablesoffroot用戶的ssh無通#ssh-keygen-t之后會在/rootssh文件夾，里面包含文件id_rsaid_rsa.pub這里實(shí)際上只有master上該路徑下的公鑰和私鑰文件有用，也可以在其余的主機(jī)上手動創(chuàng)建/root/.ssh700755，在此建議在每個主機(jī)上執(zhí)行上述的ssh-keygen-trsassh并修改權(quán)限等容易出錯的步驟。master/root/.ssh/id_rsa.pub同位置，并且重命名為aaa（任意取，目的是不要覆蓋原來的文件）。master上的id_rsa.pubslave1#scp/root/.ssh/id_rsa.pub將公鑰文件的內(nèi)容添加到/root/.ssh/authorized_keys在master上執(zhí)行：#cat/root/.ssh/id_rsa.pub#cat/root/.ssh/aaaauthorize_keys的權(quán)限，使除了root od600這樣，master上的root用戶就可以以root用戶的無登陸到任意一臺主機(jī)sshyes依次用ssh登陸各個節(jié)點(diǎn)，以驗(yàn)證ssh配置是否成功：$ssh$ssh…authorized_keys600rootmaster上的私鑰文件id_rsa600目的：使集群中的所有主機(jī)的時間保持同步，這里將masterntp有主機(jī)與master保持時間同步。masterntp在master主機(jī)上執(zhí)行：#vimrestrictdefaultkodnomodifynotrapnopeernoqueryrestrictrestrictdefaultkodnomodifynotrapnopeernoqueryrestrict-6defaultkodnomodifynotrapnopeernoqueryrestrictmasknomodifyrestrictrestrictrestrict-6serverfudgestratum10driftfile/var/lib/ntp/driftkeys-54都可以使用此NTP服務(wù)器來同步時間，請根據(jù)集群的具體規(guī)劃mastermaster器同步，可以在文件中添加一行：serverip_of_uper_server。ntpdmaster#servicentpdrestart#chkconfigntpdonntpntp在別的主機(jī)上用ntpdate命令同步的話，會出現(xiàn)同步失敗，稍等一段時間即可。contab#crontab-0****usr/sbin/ntpdatemaster>/dev/nullcrondservicecrondstatus未啟動，手動啟動：#servicecrondstart關(guān)閉文件，將設(shè)置LinuxLinuxLinux#cat/proc/sys/fs/file-echo2048000（修改值，隨情況而定）/proc/sys/fs/file-max#vi/etc/sysctl.conf增加一行：fs.file-max#vi*** nproc nofile“*”#以上各參數(shù)修改的依據(jù)：用戶最大打開文件數(shù)的默認(rèn)值為1024，fs.epoll.max_user_instances12832安裝ClouderaManagerClouderaManager可通過安裝、離線安裝和手動離線安裝三種方式完成，masterroot.cloudera-manager-到https: /cm5/installer/latest/，cloudera-manager-installer.bin的版本到任意下。.依賴由于自動安裝過程中會使用yum自動依賴的，而在網(wǎng)速不好的情況下，往到/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/，下 對應(yīng)CM5版本，其他版本可打開/cm5/后根據(jù)操作系統(tǒng)和對應(yīng)版本找到所需的）。 ，使用yum本地安裝，執(zhí)行命令：#yumlocalinstall--nogpgcheck3.啟動cloudera-manager-cloudera-manager-installer.bin一路點(diǎn)擊NextYes1cloudera-manager-installer面2cloudera-manager-installer面3cloudera-manager-installer面4cloudera-manager-installer面5cloudera-manager-installer面6cloudera-manager-installer面7cloudera-manager-installer面8cloudera-manager-installer面9cloudera-manager-installer面10cloudera-manager-installer面11cloudera-manager-installer面netstattnlp7182,718012ClouderaManager狀CM5行，請參考9.x節(jié)進(jìn)行調(diào)試。3.2.2.離線安3.1.1CDHInstallmasterrootshCDHInstall.shfiledirhostlist3iphostname3.1.1節(jié)中的hostlisteth0ifconfig安裝完成后轉(zhuǎn)到節(jié)，安裝CDH5。masterrootyum#cd./（硬盤）#cpmnt/usb/repo.tar.gz#tar-zxvfrepo.tar.gz#cd.//./parcels#cd（服務(wù)器）#scprroot@50:/opt/parcels（硬盤）#cprmnt/usb/parcels配置yumyumyum#mv/etc/yum.repos.d//etc/yum.repos.d.bak#mkdir/etc/yum.repos.d/ od777/etc/yum.repos.d/#vi/etc/yum.repos.d/cdh.repo運(yùn)行cloudera-manager-#cd一路點(diǎn)擊NextAccept圖netstattnlp7182,718014ClouderaManager安裝CDH5.0.0master，Windows或Linux打開并初始化”，打開admin，admin，登錄。（需配置host文件，或直接輸入master節(jié)點(diǎn)的15ClouderaManager

16版

17IP，可點(diǎn)擊模式查看輸入方式，如“172.16.8.[150-152]”表示50、51、52三臺主機(jī)，之后點(diǎn)擊搜索。18主機(jī)1920版本選擇SSH

21版本22安裝ClouderaManager23CloudraManagerAgent過程24CloudraManagerAgent過程安裝過程中需要在其他節(jié)點(diǎn)上安裝JDK、oracle-j2sdk1.7、cloudera-manager-agentcloudera-manager-daemons，如果網(wǎng)速慢的話，可能要等待很長在master主機(jī)上跳轉(zhuǎn)到存放中存放的包的 #cd#rm–fcloudera-manager-server-*#scp*root@slave1:/opt/cm/#cd#yumlocalinstall--nogpgcheck安裝完成后，回到Web25CloudraManagerAgent成安裝點(diǎn)擊繼續(xù)后，開始選定的Parcel，等待并分配完成，鼠標(biāo)放在進(jìn)度條上可以26Parcel如果速度過慢，同樣可以到/手動在/opt/cloudera/parcel-repo中查看要的文件名，在此為“CDH-5.0.0-在/cdh5/parcels/上根據(jù)CD本找到。最新版本路徑為/cdh5/parcels/latest/，在此為/cdh5/parcels/5.0.0/。 下的manifest.json文件，保存到/opt/cloudera/parcel-repoparcel名，此parcel的hash值到新建的.sha文件中 點(diǎn)擊左側(cè)的Parcel 點(diǎn)擊左側(cè)的Parcel128Parcel置

29Parcel

30界HBase、HDFS、Hive、HUE、Oozie、YARN、31界面

32界面NameNodeSecondaryNameNnode在Master節(jié)點(diǎn)上，同時Master節(jié)點(diǎn)還承擔(dān)客戶端的角色，作為整個集群的。1JobHistoryHBaseThriftHiveMetastore無Server（2Oozie無Hue無Activity無AlertEventHostNavigatorAuditReportsService2JobHistoryHBaseHive無Server（2點(diǎn)無Oozie無無Hue無無Activity無無AlertEventHostNavigatorReportsService33界34界35界

36成安裝Apachehttpdweb服務(wù)器#yuminstallhttpd#servicehttpd發(fā)布源文od-Rugo+rx修改yum#vi配置NFSmasteretc/yum.repos.dNFS在master主機(jī)上執(zhí)行命令：#servicenfsstart#vi/etc/exports#exportfs#mount-tnfs-ointrmaster:/etc/yum.repos.d/nfsnfs#tar–zxvfnfs.tar.gz#cdnfs#yumlocalinstall--nogpgcheck打開并初始化”，打開 37ClouderaManager

38版

39IP，可點(diǎn)擊模式查看輸入方式，如“172.16.8.[150-152]”表示50、51、52三臺主機(jī)，之后點(diǎn)擊搜索。40主機(jī)4142輸入parcels出現(xiàn)圖43選擇CDClouderaManagerAgent特定版本選擇自定義庫，輸44輸入ClouderaManagerAgent選擇SSHroot45安裝ClouderaManager46CloudraManagerAgent過程

47CloudraManagerAgent過程48CloudraManagerAgent成安裝

49Parcel50界HBase、HDFS、Hive、HUE、Oozie、YARN、51界面

52界面NameNodeSecondaryNameNnode在Master節(jié)點(diǎn)上，同時Master節(jié)點(diǎn)還承擔(dān)客戶端的角色，作為整個集群的。3JobHistoryHBaseThriftHiveMetastore無Server（2Oozie無Hue無Activity無AlertEventHostNavigatorAuditReportsService4JobHistoryHBaseHive無Server（2點(diǎn)無Oozie無無Hue無無Activity無無AlertEventHostNavigatorReportsService53界54界55界56成創(chuàng)建Hive為了使用HUE編輯和管理Hive應(yīng)用，需要在HDFS上創(chuàng)建Hive倉 CMHive

57創(chuàng)建Hive$hadoopfs-ls出現(xiàn) 圖58確認(rèn)創(chuàng)建Hive倉 成安裝OozieHUEOozieHDFSOozie更改HDFS的 權(quán)限為$hadoopfs od771CM59安裝Oozie享庫

60安裝Oozie享庫$hadoopfs-ls出現(xiàn) 61確認(rèn)安裝Oozie安裝SparkJobServer（可選HUESparkSparkJobServer，具體安裝方法可參考。以下為實(shí)際安裝過程，要求可以連接HUESpark登錄CM，進(jìn)入HUE服務(wù)，點(diǎn)擊配置->查看和編輯->服務(wù)范圍->高級->hue_safety_valve.iniHue（安全閥），寫入如下配置內(nèi)容：master

61HUESpark輯htt /sbt/rpm/sbt-0.13.5.rpm到master節(jié)點(diǎn)的/opt 使用root用戶執(zhí)行命令：#cd#rpm-ivhsbt-#cd#gitclone #cdspark-server# 的對應(yīng)路徑下，再重新執(zhí)行sbt命令和re-start命4SparkJobSerever動，但當(dāng)退出sbt時會自動關(guān)閉。62spark-jobserver已修正此問題圖63spark-jobserver啟動錯誤classpath#cd/opt/spark-server/lib_managed/jars#mvslf4j-log4j12-1.7.2.jar../##project64spark-jobserver（CDH5.0.2）HUESparkJobServer沒有啟動，查看jobserver8090CMHostMonitor8090端口。在ClouderaManagermgmt服務(wù)頁面下，點(diǎn)擊配置->查看和編輯->HostMonitorDefaultGroup->端口和地址，將HostMonitor調(diào)試端口修改為8091，保存后重啟jobserver、mgmt和HUE服務(wù)，問題解決。可以在HUE界面的Spark編輯器中編輯Spark任務(wù)。65HUEspark修改YARN服務(wù)的JavaHBase和PigJavaAPI，HBaseJarYARNCLASSPATH（根據(jù)版本不同，jar同，此處以5.0.0版本為例）CM修改YARNGateway登錄CM，YARN服務(wù)，點(diǎn)擊配置->查看和編輯->GatewayDefaultGroup->高級->hadoop-env.shGateway（安全閥），寫入如下配CM修改YARNCM，進(jìn)入YARNYARNCMMRCM，進(jìn)入YARNGatewayDefaultGroupMR應(yīng)用程序Classpath，添加/opt/cloudera/parcels/CDH/lib/hbase/lib/*、在客戶端上htrace-core-HBase/opt/cloudera/parcels/CDH/lib/hbase/lib/htrace-core-2.01.jar到/opt/cloudera/parcels/CDH/lib/hbase/下。加入是由于相同jar包的版本，詳見8.5CDH5角色組機(jī)制CDH所有配置相同的DataNode角色就屬于同一個DataNode角色組。當(dāng)首次創(chuàng)建服務(wù)時，ClouderaManager色組，或根據(jù)需要創(chuàng)建新的角色組。自動創(chuàng)建的角色組名為DefaultGroup，如DataNodeDefaultGroup。此外，首次創(chuàng)建服務(wù)時，ClouderaManager點(diǎn)上配置的角色進(jìn)行分組。例如，Slave1和Slave2節(jié)點(diǎn)分配了DataNode、NodeManager和ZookeeperServer三個角色；Slave3和Slave4節(jié)點(diǎn)只分配了DataNode、NodeManager兩個角色；那么Slave3和Slave4的DataNode角色會屬于DataNodeDefaultGroup，而Slave1和Slave2的DataNode角色會屬于DataNodeGroup1。6667方法

68方法

69成

7071方法

72方法4.2.3.配

73成為了方便，在硬件配置差別不大的情況下，將所有角色都移動至對應(yīng)的DefaultGroup中。CDH5環(huán)境變量機(jī)制CDH5自動為各 服務(wù)器進(jìn)行了部分配置，將Hadoop、Hive、Impala、HBase、Spark、Zookeeper服務(wù)的bin 下的內(nèi)容加入到了/usr/bin路徑下，并且使用alternatives對版本進(jìn)行了控制，其他服務(wù)的環(huán)境變量需要手動增加。使用alternatives--configxxx命令，可以查看對應(yīng)的絕對路徑，并進(jìn)行多個版本間的切換。以hadoop為例，執(zhí)行alternatives--confighadoop命令，結(jié)果如下：74alternativesconfigexportexportexportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportexportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HOME/binexportHADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoopexportHIVE_HOME=/opt/cloudera/parcels/CDH/lib/hiveexportexportZOOKEEPER_HOME=/opt/cloudera/parcels/CDH/lib/zookeeper#sourceClouderaManager修改配置文件ClouderaManager的WebCDH5CM

75ClouderaManager

76菜

77YARN78界.修

79菜CDH5Hadoop、Hive、HBase、Zookeeperetc錄下，并且使用了alternatives對版本進(jìn)行了控制。--80alternativesconfighadoop-hadoopetc/hadoop/conf.cloudera.yarn。說明：Hadoop1GB。包括NameNode、JobHistoryServer等Java進(jìn)程的堆棧大小。CM（假設(shè)所有角色都屬于對應(yīng)的默認(rèn)角色組，角色組概念見4.2節(jié)）。5分屬性（參數(shù)值（字節(jié)NameNodeNameNodeJava大?。ㄗ止?jié)DataNodeDataNodeJava?。ㄗ止?jié)DefaultGroupJava（字節(jié)JobtrackerJobTrackerJava大小（字節(jié)TaskTrackerTaskTrackerJava大?。ㄗ止?jié)ResourceManagerJava（字節(jié)NodeManagerNodeManagerJava棧大?。ㄗ止?jié)JobHistoryServerJobHistoryServerJava（字節(jié)MasterDefaultGroup-HBaseMasterJava棧大?。ㄗ止?jié)RegionServerHBaseRegionServerJava（字節(jié)HBaseThriftDefaultGroupHBaseThriftServerJava（字節(jié)HiveMetastoreDefaultGroupHiveMetastoreJava（字節(jié)HiveServer2HiveServer2Java大小（字節(jié)ServerDefaultGroupZooKeeperServerJava（字節(jié)OozieDefaultGroupOozieServerJava棧大?。ㄗ止?jié)tServiceActivityMonitorActivityMonitor堆棧大?。ㄗ止?jié)AlertPublisherAlertPublisher堆棧大?。ㄗ止?jié)EventServerEventServerJava大小（字節(jié)HostMonitorHostMonitorJava棧大?。ㄗ止?jié)HostMonitorJavaNavigatorAuditDefaultGroupAuditingServer堆棧大?。ㄗ止?jié)ReportsManagerReportsManagerJava（字節(jié)ServiceMonitorServiceMonitor堆棧大小（字節(jié)ServiceMonitorJava保證每個節(jié)點(diǎn)上運(yùn)行的守護(hù)進(jìn)程加上分配給YARN上表中的值適用于，Master節(jié)點(diǎn)配置16~32G內(nèi)存，Slave節(jié)點(diǎn)配置32~64G14.5G（YARNMapReduce），Slave內(nèi)存最小值為4~5G（至少有兩個Slave節(jié)點(diǎn)需要啟動ZooKeeperServer）。當(dāng)內(nèi)存資源比較充裕時，應(yīng)適量增加NameNode和RegionServerYARN容器資源分配說明：CDH5使用YARNCM5，按節(jié)所述方法依次更改表6中各選項(xiàng)（假設(shè)所有角色都屬于對應(yīng)的默認(rèn)角色4.2）6YARN分屬性（參數(shù)值NodeManagerDefaultNodeManagerDefault容器虛擬CPUResourceManagerDefaultResourceManagerDefaultCPU1ResourceManagerDefault ResourceManagerDefaultCPU 4GatewayDefaultGroup-MapGatewayDefaultGroup-ReduceGatewayDefaultGroup-MapGatewayDefaultGroup-Reduce上面的值以的Slave服務(wù)器硬件配置為例，即64GB內(nèi)存、16塊磁盤和CPU例如：以節(jié)的守護(hù)進(jìn)程內(nèi)存配置為例，YARN容器的總物理內(nèi)存應(yīng)小于等于64-5=59GB。YARN容器的總虛擬CPU核數(shù)執(zhí)行以下命令獲得CPU邏輯核數(shù)：#cat/prouinfo|grep"processor"|wc-例如：以的Slave服務(wù)器硬件配置為例，YARN容器的虛擬CPU核數(shù)應(yīng)為24Container1-2Container11CPU例如：的Slave服務(wù)器硬件配置為16塊磁盤和24個CPU邏輯核，則并每個Container的內(nèi)存和CPUCPUContainern，等于所有分配給YARNn=min

????????.??????????????????????.????????????????.?????????????????????.?????????????????.????????????????????????????????????

，????????.??????????????????????.????????????????.???????????????????????????.?????????????????.????????????????????????????????????n=24，yarn.nodemanager.resource.memory-mb=48GB，yarn.nodemanager.resource.cpu-vcores=24時，可算出最小物理內(nèi)存（yarn.scheduler.minimum-allocation-mb）=總物理內(nèi)存/最大并發(fā)數(shù)=48/24=2GB，最小虛擬核數(shù)（yarn.scheduler.minimum-allocation-vcores）=總虛擬/最大并發(fā)數(shù)CPUyarn.scheduler.um-allocation-mb<=YARN容器的總物理內(nèi)存yarn.scheduler.um-allocation-vcores<=YARN容器的總虛擬CPU核數(shù)例如：最大物理內(nèi)存可設(shè)為8GB，最大CPU核數(shù)可設(shè)為4。Map和ReduceTask（mapreduce.map|reduce.memory.mb）Container存，并且小于等于每個Container的最大物理內(nèi)存。例如：每個Container的最小物理內(nèi)存為2GB，最大物理內(nèi)存為8G時，可設(shè)置MapTask（mapreduce.map.memory.mb）2GB，ReduceTask最大物理內(nèi)存（mapreduce.reduce.memory.mb）為4GB。Map和ReduceTaskJVMHeapSize（JVMContainerMap或ReduceTaskJVMJVMHeap（mapreduce.map|reduce.java.opts）5Task例如：MapTask的最大物理內(nèi)存為2GB，ReduceTask的最大物理內(nèi)存為4GBMapTaskJVMHeapSize（mapreduce.map.java.opts）1.5GB，ReduceTask的JVMHeapSize（mapreduce.reduce.java.opts）為3GB。Map和ReduceTaskContainer（yarn.nodemanager.vmem-pmem-ratio）決定，使用默認(rèn)值2.1即可。HDFS最大傳輸線程數(shù)DataNode4096，建議加倍增長，為了以防多次修改，首次修改，增長4倍，變?yōu)?096*4=16384。7HDFS程屬性（參數(shù)值DataNodeDefault8屬性（參數(shù)值Gateway啟用UberTask優(yōu)化說明：Hadoop2.xJVMUberTask9啟用UberTask屬性（參數(shù)值GatewayDefaultUbertaskUbertaskUbertask最大Reduce1Ubertask本地源是為離線安裝ClouderaManager和CDH而準(zhǔn)備的，為了保證版本不滯 版本的Cloudera到/cm5/installer/latest/版本的cloudera- 到/cm5/redhat/6/x86_64/cm/5.0.0-beta-2/RPMS/x86_64/CentOS6適用的版本的rpm，保存到/opt/repo 到/cdh5/parcels/latest/版本的CDH，包括適合的parcel文件和manifest.json文件，保存到/opt/parcels yum#vi安裝的rpm，依賴的#cd#yumlocalinstall–nogpgcheck和/var/cache/yum/x86_64/6/updates/packages下的