HBase培訓(xùn)PPT課件

1、回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫事務(wù)的保障，事務(wù)的保障，acid豐富的數(shù)據(jù)類型和豐富的數(shù)據(jù)類型和sql操作操作嚴(yán)格的數(shù)據(jù)模型嚴(yán)格的數(shù)據(jù)模型,行式存儲行式存儲互聯(lián)網(wǎng)的需求互聯(lián)網(wǎng)的需求對數(shù)據(jù)高并發(fā)讀寫的要求對數(shù)據(jù)高并發(fā)讀寫的要求對海量數(shù)據(jù)的存儲和訪問對海量數(shù)據(jù)的存儲和訪問伸縮性，可用性，可靠性方面的需求伸縮性，可用性，可靠性方面的需求關(guān)系型數(shù)據(jù)庫的解決方案關(guān)系型數(shù)據(jù)庫的解決方案高并發(fā)高并發(fā) 措施：讀寫分離，分庫分表 帶來數(shù)據(jù)一致性問題海量數(shù)據(jù)海量數(shù)據(jù) 措施：分庫分表 實現(xiàn)復(fù)雜，后期遷移維護(hù)復(fù)雜， 路由規(guī)則（dht，自定義）高可用，可靠，伸縮高可用，可靠，伸縮 措施：主備，主從，多主

2、 本身擴展性差，增加和節(jié)點宕機需要進(jìn)行數(shù)據(jù)的遷移 nosql-capcapbasenosql一致性一致性強一致強一致 2pc w+rn paxos弱一致弱一致 gossip 向量時鐘 時間戳 merkle treehbase在在hadoop體系中位置體系中位置分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫hbase的特點的特點基于列式的高效存儲基于列式的高效存儲強一致的數(shù)據(jù)訪問強一致的數(shù)據(jù)訪問高可靠高可靠高性能高性能可可伸縮伸縮，自動切分，遷移，自動切分，遷移schema free邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型tableregioncolumnfamilyrowcolumnvaluetimestamphbase的體系組成

3、的體系組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成hbase各對象職責(zé)各對象職責(zé)client hbase的訪問接口，維護(hù)cache加快hbase的訪問zookeeper 監(jiān)控master，保證只有一個master 存儲region的入口地址 監(jiān)控regionserver上下線，并告知master 存儲hbase shcema和table 的元數(shù)據(jù)master 分配region到regionserver regionsever的負(fù)載均衡 發(fā)現(xiàn)失效的regionserver并重新分配其上的region 管理用戶對table的增刪改查操作regionserver 維護(hù)region，處理對這些

4、region的io split&compactregion的定位的定位-root-.metaregion的定位的定位lsm-treebtree（索引讀）（索引讀） mysql,oracle hash（key value） redis,mongodb 無法范圍查詢 無法避免表掃描 無法避免數(shù)據(jù)排序 lsm-tree（寫）（寫） hbasebooleamfilter 快速定位數(shù)據(jù)是否位于某集合 少量的錯判率lsm-treebitmapput/get操作操作存儲分布存儲分布hfilehlogregionserver宕機恢復(fù)宕機恢復(fù)(可靠性可靠性)冗余冗余節(jié)點宕機節(jié)點宕機,內(nèi)存中的數(shù)據(jù)還未內(nèi)存

5、中的數(shù)據(jù)還未flush到文件中到文件中 region server1masterzookeeperregion1storeshdfsregion2stores store1 store2wal.logs/rs1/xxxxx1.logs/rs1/xxxxx2region1 .splitlogsregion2 .splitlogsseqnum checkregion server2split logassign regionopen regionrelay logsplit&compact（可用性）（可用性）為什么要分裂為什么要分裂 避免單個region訪問過于頻繁 單機壓力過大，均衡壓力

6、 為什么要為什么要compact 減少hfile文件的個數(shù) 提高性能 清除過期和刪除數(shù)據(jù) 分裂過程分裂過程 觸發(fā)split region zookeeper創(chuàng)建split點 hdfs創(chuàng)建臨時分裂目錄 region下線 分裂兩個子region 更新meta表 打開region 更新meta表關(guān)于子region的位置信息 更新zookeeper分裂狀態(tài)完成 *建議禁止自動split，系統(tǒng)不忙的時候手動進(jìn)行 split&compact（可用性）（可用性）compact minor compact major compact region所有的hfile合并成一個，垃圾清理 建議定時或者手工進(jìn)行 memstorehfilecompact threadflush, snapshotcompact queuehfilehfilehfile應(yīng)用方式應(yīng)用方式rowkey設(shè)計設(shè)計 usernum$2013