單元7 任務(wù)7.2 分布式數(shù)據(jù)庫HBase部署與應(yīng)用

《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》單元7分布式數(shù)據(jù)庫HBase部署與應(yīng)用任務(wù)7.2部署HBase完全分布式集群01理解HBase的原理與體系架構(gòu)02掌握HBase偽分布式和完全分布式安裝步驟學(xué)習(xí)目標(biāo)03能夠使用命令操作HBase04能夠監(jiān)控HBase運(yùn)行狀態(tài)任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.2部署HBase分布式集群[任務(wù)情境]【任務(wù)場(chǎng)景】小張：經(jīng)理，HBase的偽分布式環(huán)境我已經(jīng)搭建好了。經(jīng)理：企業(yè)生產(chǎn)環(huán)境下都是用集群環(huán)境，ZooKeeper作為分布式協(xié)調(diào)組件，在HBase集群中扮演著重要的輔助角色，尤其是在確保HBase集群穩(wěn)定性和高可用性方面有重要作用。咱們公司的高可用Hadoop集群中已經(jīng)部署好了ZooKeeper，可以在這個(gè)基礎(chǔ)上盡快把HBase集群部署好。小張：HBase集群需要依賴Hadoop集群來運(yùn)行。經(jīng)理：是的，盡快搭建起來。小張：好的，沒問題。任務(wù)7.2部署HBase分布式集群【任務(wù)布置】

在真實(shí)的生產(chǎn)場(chǎng)景下，通常會(huì)使用多個(gè)節(jié)點(diǎn)的HBase集群進(jìn)行分布式數(shù)據(jù)的存儲(chǔ)和管理。在前面Hadoop和ZooKeeper環(huán)境部署的基礎(chǔ)上，能夠進(jìn)行HBase集群的規(guī)劃和安裝部署，為后續(xù)的項(xiàng)目提供操作環(huán)境。本任務(wù)完成3個(gè)節(jié)點(diǎn)的HBase集群設(shè)計(jì)和規(guī)劃，根據(jù)規(guī)劃完成HBase分布式集群的安裝部署。任務(wù)7.2部署HBase分布式集群7.2.1HBase集群規(guī)劃在安裝部署HBase之前首先進(jìn)行集群規(guī)劃，HBase的完全分布式集群環(huán)境架構(gòu)和Hadoop相似，都是主從（master/slave）模式。本任務(wù)以3個(gè)節(jié)點(diǎn)的HBase集群為例演示HBase集群部署過程，集群的規(guī)劃如下表所示：表7-11HBase集群規(guī)劃主機(jī)名節(jié)點(diǎn)環(huán)境用途master01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6主節(jié)點(diǎn)worker01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點(diǎn)1worker02CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點(diǎn)2任務(wù)7.2部署HBase分布式集群7.2.2HBase主要配置選項(xiàng)及其含義在安裝部署HBase集群過程中，hbase-site.xml中我們根據(jù)需要進(jìn)行了一些參數(shù)配置，HBase的常見的配置項(xiàng)如下表所示，安裝時(shí)可以根據(jù)需要進(jìn)行配置。表7-12HBase主要配置選項(xiàng)及含義名稱含義hbase.rootdir文件系統(tǒng)路徑hbase.cluster.distributed是否集群模式，默認(rèn)為falsehbase.zookeeper.quorumZooKeeper服務(wù)器地址，多個(gè)用逗號(hào)分隔hbase.master.portHBaseMaster綁定的端口，默認(rèn)16000.portHBaseMasterWebUI的端口，-1為不運(yùn)行UI實(shí)例，默認(rèn)16010.bindAddressHBaseMasterWebUI的綁定地址，默認(rèn)hbase.regionserver.portHBaseRegionServer綁定的端口，默認(rèn)16020.portHBaseRegionServerWebUI的端口，-1表示RegionServerUI不運(yùn)行，默認(rèn)16030.bindAddressHBaseRegionServerWebUI的地址，默認(rèn)zookeeper.session.timeoutzookeeper會(huì)話超時(shí)（毫秒），默認(rèn)90000zookeeper.znode.parentZooKeeper中HBase的RootZNode，默認(rèn)/hbase任務(wù)7.2部署HBase分布式集群7.2.3HBase訪問命令HBase集群采用的是主從模式，啟動(dòng)集群時(shí)，只需要在主節(jié)點(diǎn)上執(zhí)行啟動(dòng)命令start-hbase.sh即可啟動(dòng)HBase集群。執(zhí)行start-hbase.sh命令后，首先會(huì)調(diào)用hbase-daemons.sh逐步啟動(dòng)ZooKeeper、Master、RegionServer、master-backup相關(guān)進(jìn)程。啟動(dòng)每個(gè)進(jìn)程時(shí)會(huì)調(diào)用各進(jìn)程相關(guān)的腳本(如regionserver會(huì)調(diào)用regionservers.sh)來進(jìn)行環(huán)境的配置，并通過ssh遠(yuǎn)程登錄到其他從節(jié)點(diǎn)的機(jī)器上，執(zhí)行hbase-daemon.sh來啟動(dòng)從節(jié)點(diǎn)上的進(jìn)程。任務(wù)7.2部署HBase分布式集群hbase-daemon.sh腳本的職責(zé)就是啟動(dòng)各個(gè)進(jìn)程，在啟動(dòng)過程中會(huì)先做進(jìn)程判斷，日志滾動(dòng)等準(zhǔn)備，最后執(zhí)行啟動(dòng)命名，逐步的啟動(dòng)各個(gè)節(jié)點(diǎn)上的進(jìn)程。表7-13單獨(dú)啟動(dòng)HBase相關(guān)進(jìn)程的命令命令含義hbase-daemon.shstartmaster單獨(dú)啟動(dòng)一個(gè)HMaster進(jìn)程使用命令hbase-daemon.shstopmaster單獨(dú)停止一個(gè)HMaster進(jìn)程hbase-daemon.shstartregionserver單獨(dú)啟動(dòng)一個(gè)HRegionServer進(jìn)程hbase-daemon.shstopregionserver單獨(dú)停止一個(gè)HRegionServer進(jìn)程任務(wù)7.2部署HBase分布式集群7.2.4基于WebUI監(jiān)控HBase的狀態(tài)HBase為主節(jié)點(diǎn)和從節(jié)點(diǎn)都提供了默認(rèn)的Web瀏覽器訪問的HTTP端口號(hào)。HMaster的HTTP端口號(hào)為16010，HRegionServer的端口號(hào)為16030。需要注意的是，HBase1.0之前的版本主從節(jié)點(diǎn)使用的HTTP端口號(hào)分別是60010和60030，需要注意區(qū)分。如果所有設(shè)置都正確，就能夠通過瀏覽器連接到主節(jié)點(diǎn)查看HMaster的狀態(tài)。訪問方式為：http://主節(jié)點(diǎn)主機(jī)名(或ip):16010即可訪問到頁面。任務(wù)7.2部署HBase分布式集群[任務(wù)實(shí)施]【工作流程】

部署3個(gè)節(jié)點(diǎn)的完全分布式HBase集群的基本工作流程包括：1.下載并解壓HBase安裝包；2.配置環(huán)境變量；3.修改hbase-env.sh配置文件；4.修改hbase-site.xml文件；5.修改regionsevers文件；6.將HBase安裝包拷貝拷貝到集群其他節(jié)點(diǎn)；7.啟動(dòng)并檢查HBase搭建結(jié)果；8.通過瀏覽器監(jiān)控HBase運(yùn)行狀態(tài)。任務(wù)7.2部署HBase分布式集群【操作步驟】1.在Apache官網(wǎng)下載HBase安裝包，將安裝包拷貝到Linux系統(tǒng)的/usr/local[root@master01/]#cd/usr/local[root@master01/]#tarzxvfhbase-1.4.0-bin.tar.gz[root@master01/]#mvhbase-1.4.0-binhbase//換為短名，方便環(huán)境變量配置exportHBASE_HOME=/usr/local/hbaseexportPATH=$HBASE_HOME/bin:$PATH2.配置環(huán)境變量：在/etc/profile文件中配置HBase路徑。exportJAVA_HOME=/usr/local/jdk1.8#配置jdk安裝路徑exportHBase_MANAGES_ZK=false#配置不使用HBase自帶的ZK3.修改hbase目錄下conf目錄中的hbase-env.sh配置文件，在文件中添加JDK環(huán)境變量配置，

以及配置不使用自帶的ZooKeeper。任務(wù)7.2部署HBase分布式集群4.修改hbase目錄下conf目錄中的hbase-site.xml配置文件。<!—指定hbase在HDFS上的存儲(chǔ)路徑--><property><name>hbase.rootdir</name><value>hdfs://master01:9000/hbase</value></property><!—指定ZooKeeper的地址，多個(gè)地址用逗號(hào)分隔--><property><name>hbase.zookeeper.quorum</name><value>master01,worker01,worker02</value></property><!—指定hbase采用分布式模式--><property><name>hbase.cluster.distributed</name><value>true</value></property>任務(wù)7.2部署HBase分布式集群5.修改hbase目錄下conf目錄中的regionservers文件，在文件中配置從節(jié)點(diǎn)regionserver的地址為worker01和worker02節(jié)點(diǎn)。worker01worker026.將配置好的hbase目錄拷貝到其他兩個(gè)節(jié)點(diǎn)，在終端上執(zhí)行以下兩條命令即可。scp-r/usr/local/hbaseworker01:/usr/localscp-r/usr/local/hbaseworker02:/usr/local7.HBase集群運(yùn)行：執(zhí)行start-hbase.sh命令啟動(dòng)HBase，啟動(dòng)命令執(zhí)行完畢后，使用jps命令檢查各節(jié)點(diǎn)運(yùn)行的的進(jìn)程：主節(jié)點(diǎn)應(yīng)該啟動(dòng)HMaster進(jìn)程，各從節(jié)點(diǎn)應(yīng)啟動(dòng)HRegionServer進(jìn)程。主節(jié)點(diǎn)和從節(jié)點(diǎn)上的進(jìn)程分別如下圖三個(gè)圖所示：主節(jié)點(diǎn)啟動(dòng)的HMaster進(jìn)程Worker01、worker02節(jié)點(diǎn)啟動(dòng)HRegionSserver進(jìn)程任務(wù)7.2部署HBase分布式集群8.使用WebUI監(jiān)控HBase的狀態(tài)在瀏覽器地址欄輸入master01:16010，即可訪問HBase，如左側(cè)圖所示；還可以通過HDFS的WebUI端口號(hào)50070，來查看