cdh52離線安裝部署cloudera manager4配置SSH無密鑰訪問

ClouderaManager安裝部署手ClouderaManager安裝部署手 文檔概 Centos的基礎(chǔ)環(huán)境搭 配置ntp時間服務(wù) 安裝配置SSH無密鑰............................................................................................配置ClouderaManager的yum 安裝配置Cloudera MySQL的配置方 安裝整個CDH4組 ClouderaManageClouderaManager安裝部署以及CDH4本文檔基于Centos6.564位操作系統(tǒng)和ClouderaManager4.8以及Hive等組件。其中Hadoop為分布式文件系統(tǒng)和計算的基礎(chǔ)框架系統(tǒng)，其中包含MapReduce程序，HDFS系統(tǒng)等；HBase為列式的分布式數(shù)據(jù)庫系統(tǒng)；HiveSQL查詢功能。Zookeeper為分布式系統(tǒng)的協(xié)調(diào)系統(tǒng)。CentosCentos系統(tǒng)（CentosLinux版本號：CentosPOINEERDVD_RWDVR-XD111.00（安裝盤的名稱進入歡迎界面后選擇“Installorupgradeanexistingsystem當提示“DiskFound”時，選擇“skip”后，按回車鍵（檢查光盤當出現(xiàn)CentOS6的LOGO時，點擊Next進入語言選擇界面后，選擇(Simplified)(中文（簡體）)Next進入選擇鍵盤界面，選擇默認的英語式，點擊下一步按進入設(shè)備選擇界面，選擇基本設(shè)備，點擊下一步按點擊左下角的配置網(wǎng)絡(luò)按鈕，選擇Systemeth0勾選自動連接，對所有用戶可用，點擊IPv41，子網(wǎng)掩碼DNS進入城市選擇界面選擇亞洲/把系統(tǒng)時鐘使用UTC時間的對勾去進入分區(qū)界面，刪除sda選中sda格式化成ext4選中sda102400M，點擊確定按鈕/opt勾選格式化“ext4選中sdaswap，其他大小設(shè)置中，選擇指定空間大小，61440M（2倍，點擊確定按鈕式化選項“swap選中sda鈕選格式化選項“ext4選擇sdb/data1剩下的分區(qū)與sdb如果彈出警告需要/boot/efi分區(qū)，則新增/boot/efisdaGPTctrl+alt+f2#>mklabelGPT#mkfs.ext4-F/dev/sdb#mkdir/data1#mount/dev/sdb#echo"/dev/sdb #>mklabelGPT#mkfs.ext4-F/dev/sdb#mkdir/data1#mount/dev/sdb#echo"/dev/sdb defaults 0"安裝操作系統(tǒng)所需要添加及刪除組件添加組件包WebWebMysqlMysqlPostgresql數(shù)據(jù)庫客戶端Postgresql數(shù)據(jù)庫服務(wù)FTP1332選擇同意證協(xié)議，點擊前進按輸入用戶名 Kdump編輯vi將 設(shè)置每臺機器的切換到root用戶下，執(zhí)行一下命令：開啟網(wǎng)絡(luò)服務(wù)：servicenetworkstart關(guān)閉：serviceiptablesstop設(shè)置網(wǎng)絡(luò)服務(wù)開機啟動：chkconfignetworkon設(shè)置永久關(guān)閉：chkconfigiptablesoff設(shè)置selinux將selinux永久處于關(guān)閉狀態(tài)：編輯/etc/selinux/config(該配置完成后需要重啟服務(wù)器生效ntp配置時間服務(wù)器ntp1virestrictdefaultkodnomodifynotrapnopeer同時添加兩行：serverpreferlocalfudgestratum將iburstiburstiburstiburstntp 啟動ntp服務(wù) 將時間服務(wù)器開機啟動：chkconfigntpd錯誤信息可查看錯誤日志 觀察啟動的端口netstat–tlunp| 顯示ntp服務(wù)器與上層服務(wù)器狀態(tài)ntpq-(該配置完成后需要重啟服務(wù)器生效配置時間ntp客戶端輯vi *ntpdate為用戶指定定時任務(wù)，然后重啟crondservicecrondrestart指明連接的服務(wù)器地址，然后重啟crondservicecrond至此則ntpSSH配置集群的hosts文件ssh1cd/root/.sshod644authorized_keys使用scp命令把authorized_keys，id_rsa，id_rsa.pub分發(fā)到各節(jié)點配置集群的hosts文執(zhí)行vietc/hosts同時利用scp指令將hosts文件拷貝替換/etc/hosts文件。 sshssh2則主成xinhong-hadoop-12。exit退出登錄的xinhong-hadoop-12主機。ClouderaManageryum*0yum配置集群的hosts文0yum源的服務(wù)器端在/opt/下創(chuàng)建 執(zhí)行tarzxvfcreaterepo-0.9.1.tar.gz進入createrepo-0.9.1執(zhí)行make執(zhí)行makeclean執(zhí)行makeinstall ClouderaManager的所有rpm包存在/var/www/html/cloudera-manager將CDH4.4的所有包都存 /var/www/html/CDH下將Centos系統(tǒng)盤里面的 下的所有x86_64的包全部拷貝 在/var/www/html/cloudera-manager下執(zhí)行：執(zhí) 程序會創(chuàng)建 ， 包含一些描述軟件源的xml文件在/var/www/html/Centos-6.5下執(zhí)行： 程序會創(chuàng)建 ， 包含一些描述軟件源的xml文件httpd服務(wù)servicehttpd在瀏覽器中打開該該httpd -apn|more查看哪個程占用，并killpid,并重啟httpd發(fā)布的ClouderaManager發(fā)布的CDH的安裝包數(shù)據(jù)源：將 下的所有repo文件全部刪除，同時 下創(chuàng)建cloudera-manager.repo文件vicloudera-manager.reponame=ClouderaManager,version5.2.0baseurl=gpgcheck=0(CM更新包所需修改 下創(chuàng)建Centos-6.5.repo文件viCentos-6.5.repobaseurl=gpgcheck=0將cloudera-manager-installer.bin放到/opt/cloudera-manager/目 在瀏覽器中打出現(xiàn)一個登陸界面用戶名和均為選擇ClouderaStandrad配置root的后，點擊繼續(xù)等待安裝完成如果安裝失敗，大部分情況都是由于缺少包的原因：其中有可能缺少包：由于系統(tǒng)安裝包已經(jīng)全部創(chuàng)建ym上相應(yīng)的m包，在創(chuàng)建ym源的點上創(chuàng)建ym安裝包。創(chuàng)建方。MySQL啟動sql：servicemysqld添加root用戶：mysqladminurootpassword使用root登錄msqlmysqlh1-u設(shè)置所有主機都可以用root登錄：GRANTALLPRIVILEGESON*.*TOroot'@'%'IDENTIFIEDBY'123456'WITHGRANTOPTION;FLUSH創(chuàng)建數(shù)據(jù)庫createdatabaseamon;createdatabasesmon;createdatabase添加smon，amon，hmon用戶(只允許本機)，并分配權(quán)限GRANTALLPRIVILEGESON*.*TO'smon'@'localhost'IDENTIFIEDBY'123456'WITHGRANTOPTION;GRANTALLPRIVILEGESON*.*TO'amon'@''localhost''IDENTIFIEDBY'123456'WITHGRANTOPTION;GRANTALLPRIVILEGESON*.*TO'hmon'@''localhost''IDENTIFIEDBY'123456'WITHGRANTOPTION;FLUSH執(zhí)行exit退出sql執(zhí)行 on（開機自啟動測試連接新創(chuàng)建的三個數(shù)據(jù)CDH4HDFS服打開clouderamanager系統(tǒng)的首頁，點擊下圖按鈕選擇HDFS勾選使用自定義數(shù)據(jù)庫，數(shù)據(jù)庫的主機名稱是安裝服務(wù)的節(jié)點，端名稱以及如圖所示：打開clouderamanager系統(tǒng)的首頁，點擊下圖按鈕寶貴，所以將zookeeper服務(wù)部署到數(shù)據(jù)節(jié)點，點擊繼續(xù)按鈕：修改數(shù) 及事務(wù)日 后點擊接受按鈕選擇YARN修改YARNMapReduce服選擇MapReduce修改MapReduceHBASE服選擇HBase修改HBase開啟HDFS在首頁點擊HDFS1進入HDFS界面點擊右上角操作按鈕，點擊啟用HA指 standby的節(jié)點創(chuàng)建namenodeHA等待啟動完成后，HA開始MapReduce配 ，點擊繼續(xù)按鈕等待啟動完成，HA集群的各項性能指標8.9設(shè)置服務(wù)開機自啟