HBase應用最佳實踐詳解

1、技術(shù)創(chuàng)新，變革未來HBase應用最佳實踐詳解內(nèi)容HBase安裝HBase常用命令HBase優(yōu)化 HBase應用場景HBase表設(shè)計HBase安裝本地模式偽分布模式，可以學習HBase的各種特性所有守護進程全部運行在一個物理節(jié)點集群模式所有守護進程分布在不同物理節(jié)點HBase安裝先要安裝HadoopHBase與Zookeeper、Hadoop版本要匹配幾個重要的配置文件hdfs-site.xml：拷貝到HBASE_HOME/confhbase-env.sh：啟動HBase的一些設(shè)置hbase-site.xml：HBase在hdfs上的數(shù)據(jù)目錄， zookeeper的主機和端口regionserv

2、ers：配置RegionServer的主機列表backup-master：配置備用Master的列表HBase安裝hbase-env.sh中的主要配置export JAVA_HOME=/usr/java/jdk1.7.0_79/export HADOOP_HOME=/var/hadoop/hadoop-2.6.0/export HADOOP_CONF_DIR=$HADOOP_HOMEetc/hadoopexport HBASE_HOME=/var/hbase/hbase-1.0.0-cdh5.4.5export HBASE_CONF_DIR=$HBASE_HOME/confexport HBA

3、SE_LIBRARY_PATH=$HBASE_HOME/lib/nativeexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HBASE_HOME/lib/nativeHBase安裝hbase-site.xml中的主要配置namevaluehbase.cluster.distributedtruehbase.rootdirhdfs:/huike:9000/perty.clie ntPort2181HBase常用命令start-hbase.shstop-hbase.shhb

4、ase-daemon.sh start masterhbase-daemon.sh stop masterhbase-daemon.sh start regionserverhbase-daemon.sh stop regionservergraceful_stop.sh restartHBase常用命令建表hbase create test,cf新建記錄hbase put test,1,cf:a,2修改表屬性hbase describe testhbase alter test,NAME = cf,DATA_BLOCK_ENCODING =PREFIX_TREE刪表hbase disable

5、 test hbase drop testHBase常用命令compacthbase(main):006:0 major_compact testBalancehbase(main):006:0 balancerHBase優(yōu)化垃圾回收優(yōu)化使用CMS垃圾回收機制啟用壓縮GZIP、Snappy、LZO，推薦SnappyMemStore緩存配置HBase優(yōu)化Region拆分和合并預建分區(qū)，避免自動split，提高hbase響應速度Region均衡避免出現(xiàn)Region熱點現(xiàn)象，按照table級別進行balance盡量只用1-2個列族定期建表，如每月中旬建立下一個月的表，表名中含有年 月HBase優(yōu)化參

6、數(shù)默認值說明hbase.hregion.majorco mpaction604800000major compaction的執(zhí)行周期，默認 是一天，可以設(shè)置為0禁用，利用后臺 調(diào)度，在業(yè)務不忙的時間點單獨運行hbase.regionserver.han dler.count10處理rpc請求的線程數(shù)，請求較多的情 況下可以適當調(diào)大hfile.block.cache.size0.4RS中block cache占堆內(nèi)存大小的比例， 在讀大于寫的情況下，可以適當調(diào)大， 但是要防止block cache與memstore的 百分比之和大于80%，出現(xiàn)OOMhbase.regionserver.glob

7、 al.memstore.size0.4RS中Memstore占用的內(nèi)存百分比HBase優(yōu)化參數(shù)默認值說明pactio nThreshold3可以調(diào)大，如設(shè)置為6，Store下面有超過這 個數(shù)目的文件個數(shù)，可觸發(fā)minor compacthbase.master.loadbalan ce.bytablefalse改為true，默認按照regionserver去balance 會出現(xiàn)熱點情況hbase.hregion.max.filesi ze10737418240Region大小大于此值，hbase就會split，可 根據(jù)存儲內(nèi)容進行適當調(diào)整，如存儲文件應 該將此值設(shè)置更大hbase.bala

8、ncer.period300000RegionServer負載均衡時間間隔，默認5分 鐘，可稍微調(diào)長至半小時或1小時，HBase優(yōu)化參數(shù)默認值說明paction.max10一次minor compact文件個數(shù)的最大值hbase.hstore.blockin gStoreFiles10一個store下面的文件超過這個值之后，block住 所有的put delete操作，直到compact完成為止hbase.hregion.memstore.flush.size134217728Memstore中的數(shù)據(jù)達到128m，會flush到磁盤上hbase.hregion.mems tore.block.

9、multiplier4當memstore中的數(shù)據(jù)達到此參數(shù)與hbase.hregion.memstore.flush.size相乘的時候，block住更新操作，如果寫入請求較 高的情況下可以適當提高此倍率HBase應用場景大數(shù)據(jù)集上對數(shù)據(jù)進行隨機讀寫操作大數(shù)據(jù)集上高并發(fā)操作，如每秒對PB級數(shù) 據(jù)進行上千次操作讀寫訪問均是非常簡單的操作，不需要跨 行跨表的事務支持以及join操作隨著數(shù)據(jù)量的增加，容易擴展HBase應用場景歷史記錄查詢上百億行數(shù)據(jù)每天新增上千萬行查詢場景簡單，檢索條件少成本低HBase應用場景用戶歷史訂單交易評價記錄電信話費用戶畫像監(jiān)控記錄HBase表設(shè)計RowKey設(shè)計保證唯一

10、性長度越短越好散列：rowkey均勻分布在各個hbase節(jié)點上，用MD5（用戶 ID/手機號/QQ號）取前幾位+ （用戶ID/手機號/QQ號）+發(fā)生時間（毫秒）+隨機數(shù)，把數(shù)據(jù)打散到各Region沒有散列值，如時間字段作為Rowkey的起始，會導致 熱數(shù)據(jù)集中在一個RegionServer上同一次查詢的數(shù)據(jù)存儲在一起HBase表設(shè)計預建分區(qū)提前對表進行分區(qū)，防止Region SplitRegion數(shù)量計算確定按年/季/月建表，如果數(shù)據(jù)量特別大，不能只有1個表確定HFile最大大小，例如10G假設(shè)有1個列族，1個月的數(shù)據(jù)有5T則需要5T/(10G * 1)=512個Region預建分區(qū)可以多估一

11、點，分裂時寫入或查詢數(shù)據(jù)很緩慢HBase表設(shè)計建表屬性BLOOMFILTER = ROW：啟用bloom過濾器，保證根據(jù)Rowkey在 HFile中查找會非常快VERSIONS = 1：保存幾個版本，要保存10個版本，把數(shù)字改成10IN_MEMORY = false：列族數(shù)據(jù)是否常駐內(nèi)存TTL = FOREVER：列族數(shù)據(jù)永遠不刪除，如果只保存多少天，可 以設(shè)置這個值，如果設(shè)置了天數(shù)，HBase會定時掃描整個列族，為刪 除數(shù)據(jù)做準備，耗資源COMPRESSION = NONE：HFile壓縮格式，一般用SNAPPYHBase表設(shè)計建表屬性BLOCKCACHE = true：針對列族，是否啟用BLOCKCACHEBLOCK