大數(shù)據(jù)技術(shù)相關(guān)軟件13.課件第2次課07hbase

1、HBase（一）內(nèi)容HBase介紹HBase在hadoop生態(tài)中的位置HBase優(yōu)缺點(diǎn)HBase體系結(jié)構(gòu)HBase表邏輯結(jié)構(gòu)HBase是什么HBaseHadoop Database建立在HDFS之上的數(shù)據(jù)庫系統(tǒng)分布式存儲松散數(shù)據(jù)HBase是Google Bigtable的開源實(shí)現(xiàn)HBase特點(diǎn)大：單表可以數(shù)十億行，數(shù)百萬列無模式：同一個表的不同行可以有截然不同的列面向列：存儲、檢索均面向列稀疏：空列不占用存儲，表可以設(shè)計的非常稀疏多版本：每個單元中的數(shù)據(jù)可以有多個版本，默認(rèn)情況下版本號是單元格插入時的時間戳數(shù)據(jù)類型單一：數(shù)據(jù)都是字符串，沒有類型HBase在hadoop生態(tài)體系中的位置HBase

2、在hadoop生態(tài)體系中的位置HBase VS HDFS兩者都具有良好的容錯性和擴(kuò)展性，都可以擴(kuò)展到成百上千個節(jié)點(diǎn)HDFS適合批處理場景不支持隨機(jī)查找不支持?jǐn)?shù)據(jù)更新HBase是對HDFS很好的補(bǔ)充HBase VS Hive兩者都有表、數(shù)據(jù)庫等概念兩者都依賴HDFS做存儲支持Hive為統(tǒng)計分析而生HBase要滿足實(shí)時查詢需求Hive面向計算層面HBase面向存儲需求HBase優(yōu)點(diǎn)高可靠面向列（列存儲）高性能可伸縮（自動切分、遷移）可擴(kuò)展，增加計算和存儲能力HBase缺點(diǎn)僅能通過行鍵和行鍵序列來檢索數(shù)據(jù)僅支持單行事務(wù)HBase列存儲列存儲較適用于：海量數(shù)據(jù)中只需要訪問某幾個列的數(shù)據(jù)海量數(shù)據(jù)中某幾列

3、的統(tǒng)計計算需要經(jīng)常對表結(jié)構(gòu)新增字段列中有較多的重復(fù)數(shù)據(jù)，可以提高壓縮率HBase體系結(jié)構(gòu)HBase體系結(jié)構(gòu)遵從主從服務(wù)器架構(gòu)，由RegionServer和Master構(gòu)成Master負(fù)責(zé)管理所有的RegionServer所有服務(wù)器通過Zookeeper協(xié)調(diào)，并處理服務(wù)器運(yùn)行期間可能遇到的錯誤HBase體系結(jié)構(gòu)重要概念HBase ClientMasterRegionServerZookeeperHBase ClientClient使用RPC與Master和RegionServer通信管理類操作，Client與Master通信數(shù)據(jù)讀寫類操作，Client與RegionServer通信Client讀

4、寫HBase上數(shù)據(jù)不需要與Master交互，只需要尋址訪問Zookeeper和RegionServerClient維護(hù)著Region的位置信息加快對HBase的訪問Master為RegionServer分配Region負(fù)責(zé)RegionServer的負(fù)載均衡在Region Split后，負(fù)責(zé)新Region的分配發(fā)現(xiàn)失效的RegionServer，并重新分配其上的Region僅僅維護(hù)Table和Region的元數(shù)據(jù)信息，負(fù)載很低RegionServer管理Master分配給它的Region處理Client的I/O請求，數(shù)據(jù)保存在HDFS中負(fù)責(zé)切分在運(yùn)行過程中變得過大的RegionZookeeper

5、保證任何時候，集群中只有一個Active Master存儲所有Region的尋址入口實(shí)時監(jiān)控RegionServer的狀態(tài)，將RegionServer的上下線信息實(shí)時通知給MasterHBase體系結(jié)構(gòu)問題HBase運(yùn)行環(huán)境中有哪幾類節(jié)點(diǎn)HBase表邏輯結(jié)構(gòu)HBase表邏輯結(jié)構(gòu)每個column family存儲在HDFS上的一個單獨(dú)的文件里Rowkey和version在每個column family里均有一份HBase表邏輯結(jié)構(gòu)重要概念RowkeyColumnFamilyCellVersionHBase表Rowkey主鍵三種訪問HBase表中數(shù)據(jù)方式：通過單個rowkey訪問、通過rowkey

6、序列訪問、全表掃描每一行rowkey必須是唯一的rowkey可以是任意字符串(最大長度是 64KB)，在HBase內(nèi)部， rowkey保存為字節(jié)數(shù)組HBase表Rowkey數(shù)據(jù)按照rowkey的字典序順序存儲設(shè)計rowkey時，充分利用排序存儲特性，將經(jīng)常一起讀取的行存儲到一起不要把業(yè)務(wù)發(fā)生時間直接作為rowkey，導(dǎo)致全部存儲到一個regionserver中可以在時間戳前面加上散列值，設(shè)計成“散列值+時間戳”的形式HBase表ColumnFamilyHBase中的每個列，都?xì)w屬某個列族列族是表元數(shù)據(jù)的一部分(而列不是)，必須在使用表之前定義列是在插入數(shù)據(jù)時動態(tài)增加的列名都以列族作為前綴，即列

7、族：標(biāo)簽，如info：qq ， info：weibo 都屬于info這個列族物理上同列族數(shù)據(jù)存儲在一起最好將具備共同IO特性的列放在一個列族中HBase表Cell通過行鍵和列唯一確定的一個存儲單元Cell中可能包含多個版本的數(shù)據(jù)Cell中數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存儲HBase表Version每行數(shù)據(jù)可以有多個版本Version默認(rèn)是TimeStamp（精確到毫秒的當(dāng)前系統(tǒng)時間），由HBase 在數(shù)據(jù)寫入時自動賦值Version也可以由客戶顯式賦值不同Version的數(shù)據(jù)按Version倒序排序，即最新的數(shù)據(jù)排在最前面獲取數(shù)據(jù)時不指定Version，默認(rèn)取最新的數(shù)據(jù)HBase表Version數(shù)據(jù)存在過多版本造成存儲負(fù)擔(dān)HBase提供兩種數(shù)據(jù)版本回收方式保存數(shù)據(jù)的最后n個版本保存最近一段時間內(nèi)的版本（如最近七天）用戶可以針對每個列族進(jìn)行設(shè)置HBase表表定義時，應(yīng)指定表名、列族表中列族固定，列名可以在插入數(shù)據(jù)時指定行健，列族+列名可以指定一個表中的Cell一個Cell可以存儲多版本數(shù)據(jù)表中所有信息都是二進(jìn)制形式存儲沒有關(guān)系表中那