HBase應(yīng)用方案電子

HBase應(yīng)用方案目錄HBase實(shí)際應(yīng)用中的性能優(yōu)化方法HBase性能監(jiān)視1在HBase之上構(gòu)建SQL引擎構(gòu)建HBase二級(jí)索引一、HBase實(shí)際應(yīng)用中的性能優(yōu)化方法21.行鍵（RowKey）行鍵是按照字典序存儲(chǔ)，因此，設(shè)計(jì)行鍵時(shí)，要充分利用這個(gè)排序特點(diǎn)，將經(jīng)常一起讀取的數(shù)據(jù)存儲(chǔ)到一塊，將最近可能會(huì)被訪問的數(shù)據(jù)放在一塊。舉個(gè)例子：如果最近寫入HBase表中的數(shù)據(jù)是最可能被訪問的，可以考慮將時(shí)間戳作為行鍵的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE-timestamp作為行鍵，這樣能保證新寫入的數(shù)據(jù)在讀取時(shí)可以被快速命中。創(chuàng)建表的時(shí)候，可以通過HColumnDescriptor.setInMemory(true)將表放到Region服務(wù)器的緩存中，保證在讀取的時(shí)候被cache命中。2.InMemory33.MaxVersion創(chuàng)建表的時(shí)候，可以通過HColumnDescriptor.setMaxVersions(int

maxVersions)設(shè)置表中數(shù)據(jù)的最大版本，如果只需要保存最新版本的數(shù)據(jù)，那么可以設(shè)置setMaxVersions(1)。4.TimeToLive創(chuàng)建表的時(shí)候，可以通過HColumnDescriptor.setTimeToLive(inttimeToLive)設(shè)置表中數(shù)據(jù)的存儲(chǔ)生命期，過期數(shù)據(jù)將自動(dòng)被刪除，例如如果只需要存儲(chǔ)最近兩天的數(shù)據(jù)，那么可以設(shè)置setTimeToLive(2*24*60*60)。4二、HBase性能監(jiān)視Master-status(自帶)GangliaOpenTSDBAmbari51.Master-statusHBaseMaster默認(rèn)基于Web的UI服務(wù)端口為60010，HBaseregion服務(wù)器默認(rèn)基于Web的UI服務(wù)端口為60030.如果master運(yùn)行在名為的主機(jī)中，mater的主頁地址就是:60010，用戶可以通過Web瀏覽器輸入這個(gè)地址查看該頁面可以查看HBase集群的當(dāng)前狀態(tài)62.GangliaGanglia是UCBerkeley發(fā)起的一個(gè)開源集群監(jiān)視項(xiàng)目，用于監(jiān)控系統(tǒng)性能73.OpenTSDBOpenTSDB可以從大規(guī)模的集群（包括集群中的網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序）中獲取相應(yīng)的metrics并進(jìn)行存儲(chǔ)、索引以及服務(wù)，從而使得這些數(shù)據(jù)更容易讓人理解，如web化，圖形化等84.AmbariAmbari的作用就是創(chuàng)建、管理、監(jiān)視Hadoop的集群9三、在HBase之上構(gòu)建SQL引擎NoSQL區(qū)別于關(guān)系型數(shù)據(jù)庫的一點(diǎn)就是NoSQL不使用SQL作為查詢語言，至于為何在NoSQL數(shù)據(jù)存儲(chǔ)HBase上提供SQL接口，有如下原因：

1.易使用。使用諸如SQL這樣易于理解的語言，使人們能夠更加輕松地使用HBase。

2.減少編碼。使用諸如SQL這樣更高層次的語言來編寫，減少了編寫的代碼量。方案：1.Hive整合HBase2.Phoenix101.Hive整合HBase

Hive與HBase的整合功能從Hive0.6.0版本已經(jīng)開始出現(xiàn)，利用兩者對(duì)外的API接口互相通信，通信主要依靠hive_hbase-handler.jar工具包(HiveStorageHandlers)。由于HBase有一次比較大的版本變動(dòng)，所以并不是每個(gè)版本的Hive都能和現(xiàn)有的HBase版本進(jìn)行整合，所以在使用過程中特別注意的就是兩者版本的一致性。2.Phoenix

Phoenix由S開源，是構(gòu)建在ApacheHBase之上的一個(gè)SQL中間層，可以讓開發(fā)者在HBase上執(zhí)行SQL查詢。11四、構(gòu)建HBase二級(jí)索引HBase只有一個(gè)針對(duì)行健的索引訪問HBase表中的行，只有三種方式：通過單個(gè)行健訪問通過一個(gè)行健的區(qū)間來訪問全表掃描使用其他產(chǎn)品為HBase行健提供索引功能：Hindex二級(jí)索引HBase+RedisHBase+solr原理：采用HBase0.92版本之后引入的Coprocessor特性12Coprocessor提供了兩個(gè)實(shí)現(xiàn)：endpoint和observer，endpoint相當(dāng)于關(guān)系型數(shù)據(jù)庫的存儲(chǔ)過程，而observer則相當(dāng)于觸發(fā)器observer允許我們?cè)谟涗沺ut前后做一些處理，因此，而我們可以在插入數(shù)據(jù)時(shí)同步寫入索引表1.Coprocessor構(gòu)建二級(jí)索引缺點(diǎn)：每插入一條數(shù)據(jù)需要向索引表插入數(shù)據(jù)，即耗時(shí)是雙倍的，對(duì)HBase的集群的壓力也是雙倍的優(yōu)點(diǎn)：非侵入性：引擎構(gòu)建在HBase之上，既沒有對(duì)HBase進(jìn)行任何改動(dòng)，也不需要上層應(yīng)用做任何妥協(xié)132.Hindex二級(jí)索引Hindex是華為公司開發(fā)的純Java編寫的HBase二級(jí)索引，兼容ApacheHBase0.94.8。當(dāng)前的特性如下：多個(gè)表索引多個(gè)列索引基于部分列值的索引143.HBase+RedisRedis+HBase方案Coprocessor構(gòu)建二級(jí)索引Redis做客戶端緩存將索引實(shí)時(shí)更新到Redis等KV系統(tǒng)中，定時(shí)從KV更新索引到HBase的索引表中154.Solr+HBaseSolr是一個(gè)高性能，采用Java5開發(fā)，基于Lucene的全文搜索服務(wù)器。同時(shí)