HBASE技術(shù)架構(gòu)及應(yīng)用介紹

1、HBASE技術(shù)架構(gòu)及應(yīng)用介紹HBase概述HBase物理模型HBase數(shù)據(jù)模型HBase基本架構(gòu)HBase應(yīng)用舉例總結(jié)2HBase是一個構(gòu)建在HDFS上的分布式列存 儲系統(tǒng)；HBase是Apache Hadoop生態(tài)系統(tǒng)中的重要 一員，主要用千海量結(jié)構(gòu)化數(shù)據(jù)存儲；從邏輯上講， HBase將數(shù)據(jù)按照表、行和列 進(jìn)行存儲。3兩者都具有良好的容錯性和擴(kuò)展性， 都可以 擴(kuò)展到成百上千個節(jié)點；HDFS適合批處理場景 不支持?jǐn)?shù)據(jù)隨機(jī)查找 不適合增量數(shù)據(jù)處理 不支持?jǐn)?shù)據(jù)更新5大： 一個表可以有數(shù)十億行， 上百萬列；無模式： 每行都有一個可排序的主鍵和任意多的列， 列可以根據(jù)需要動態(tài)的增加，同一張表中不同的行

2、可以有截然不同的列；的非常稀疏；面向列：面向列（族）的存儲和權(quán)限控制， 列（族）獨立檢索稀疏： 對于空 ( null)的列， 并不占用存儲空間， 表可以設(shè)計數(shù)據(jù)多版本： 每個單元中的數(shù)據(jù)可以有多個版本， 默認(rèn)情況下版本號自動分配，是單元格插入時的時間戳；數(shù)據(jù)類型單一： Hbase中的數(shù)據(jù)都是字符串， 沒有類型6傳統(tǒng)行式數(shù)據(jù)庫數(shù)據(jù)是按行存儲的沒有索引的查詢使用大量1/0建立索引和物化視圖需要花費大量時間和資源面向查詢的需求， 數(shù)據(jù)庫必須被大量膨脹才能滿足性能要求列式數(shù)據(jù)庫數(shù)據(jù)是按列存儲每一列單獨存放數(shù)據(jù)即是索引指訪問查詢涉及的列大量降低系統(tǒng)1/0每一列由一個線索來處理查詢的并發(fā)處理數(shù)據(jù)類型一致，

3、 數(shù)據(jù)特征相似高效壓縮7HBase概述HBase數(shù)據(jù)模型HBase物理模型HBase基本架構(gòu)HBase應(yīng)用舉例總結(jié)8HBase是基千Google BigTable模型開發(fā)的， 典型的key/value系統(tǒng)；11HBase概述HBase數(shù)據(jù)模型HBase物理模型HBase基本架構(gòu)HBase應(yīng)用舉例總結(jié)17每個column fa mily存儲在HDFS上的一個單獨文件中；Key 和 Ver sion number 在每個column fa mily中均由一份；空值不會被保存。1 、 Table中的所有行都按照row key的字典序排列； 2、Table 在行的方向上分割為多個Region;3 、R

4、egion按大小分割的， 每個表開始只有一個region， 隨 著數(shù)據(jù)增多， r egion不斷增大， 當(dāng)增大到一個閥值的時候，r egion就會等分會兩個新的region， 之后會有越來越多的region;4 、Region是HBase中分布式存儲和負(fù)載均衡的最小單元。 不同Region分布到不同RegionSer ver上；TablelTab le 2Region5 、Region雖然是分布式存儲的最小單元， 但并不是存儲 的最小單元。Region由一個或者多個Store組成， 每個store保存一個columns family;每個Strore又由一個memStore和0至多個Store

5、File組成；memStore存儲在內(nèi)存中， StoreFile存儲在HDFS上。HBase概述HBase數(shù)據(jù)模型HBase物理模型HBase基本架構(gòu)HBase應(yīng)用舉例總結(jié)24Client包含訪問HBase的接口， 并維護(hù)cache來加快對 HBase的訪問Zookeeper保證任何時候， 集群中只有一個master存貯所有Region的尋址入口實時監(jiān)控Region server的上線和下線信息。并實時通知給Master存儲HBase的schema和table元數(shù)據(jù)Master為Region server分配region負(fù)責(zé)Region server的負(fù)載均衡發(fā)現(xiàn)失效的Region serve

6、r并重新分配其上的region管理用戶對table的增刪改查操作Region ServerRegion server維護(hù)region,處理對這些region的IO請求Region server負(fù)責(zé)切分在運(yùn)行過程中變得過大的region需對數(shù)據(jù)進(jìn)行隨機(jī)讀操作或者隨機(jī)寫操作；大數(shù)據(jù)上高并發(fā)操作， 比如每秒對PB級數(shù)據(jù)進(jìn)行上于次操作；讀寫訪問均是非常簡單的操作。storing large amounts of data (100s of TBs)need high write throughpuneed efficient random access (key lookups) within lar

7、ge data setsneed to scale gracefully with dataor structured and semi-structured dataII ROMS capabilities (cross row/croction.,5匋寶 指 碩 勹嚇及IhoneIYI市場壘趨勢市場細(xì)分1關(guān)包i,phone薩邊司2扣tii,)3匠清空推薦關(guān)聯(lián)詡： Pho成交指數(shù)搜索與成交指數(shù)2013.05.01 - 2013.10.1035.531趨勢簡報 加散“近七天的搜索指數(shù)環(huán)比合5.7% ， 與去年同 期相比辜39.9 %0. ph. .載近三十天的搜索指執(zhí)環(huán)比含6.0%，與去年 同

8、期相比易51.9%0飛 h廠未來一局內(nèi)的總體趨勢啎測： 保持平穩(wěn)o去阿里指效查看供貨情況相關(guān)知識搜索指數(shù)：指井化的拷罕呈，反映桵罕趨勢，不等同千挫罕欠05-2106-1006-3007-2008-0908-297月 8月 9月10/g11月 2月1月 2月 3月 4月 5月 6月 7月 8月 9月10月 1/g12月1月 2月 3月航圈,0011明明8月719。6月胡成交指執(zhí)：由祒罕帶平的成又里開進(jìn)行指技化處理反映成交 趨勢不等同千成交晝或成交金 .效捐來諫：勻?qū)毦W(wǎng)和干貓的總撲捐o詳細(xì)信息地域細(xì)分從2013-05-01 到2013-10-10 , 162天來搜索 iphone 的消費者士好臣(

9、TGI)人群占比4亙好度 (T GI ) 排行iphone省 1 廣 東份 2 吾 南3 1Ji;I福遼，工西廣西胡北山東江蘇1 0安徵11 上每 12 iij 南 13北寧陜西天皂可北胡南18 山西19 黑龍江20吉林.勹 城1 深圳市市 2 :;: 莞 市佛山市鹽圾市交易歷史記錄查詢系統(tǒng)百億行數(shù)據(jù)表， 于億級二級索引表 每天千萬行更新 旦詢場景簡單， 檢索條件較少 羊系型數(shù)據(jù)庫所帶來的問題基千userld + time + id rowkey設(shè)計成本考慮Facebook創(chuàng)建了Cassand ra， 最后卻棄用Cassand ra， 使用了HBase;消息系統(tǒng)（聊天系統(tǒng)、郵件系統(tǒng)等）需求：一

10、個較小的臨時數(shù)據(jù)集， 是經(jīng)常變化的。 一個不斷增加的數(shù)據(jù)集， 是很少被訪問的。Hbase同時解決了以上兩種需求參照：htt?noteid=454991608919#1. HBase概述HBase數(shù)據(jù)模型HBase物理模型HBase基本架構(gòu)HBASEShell 基本操作40HBASEShell 基本操作41HBASEShell 基本操作42HBASEShell 基本操作43ROWuser1|ts1 user1|ts2 user1|ts3 user2|ts4 user2|ts5 user2|ts6COLUMN+CELLcolumn=sf:c1, timestamp=1409122354868, value=sku1 column=sf:c1, timestamp=1409122354918, value=sku188 column=sf:s1, timestamp=1409122354954, value=sku123 column=sf:c1, timestamp=1409122354998, value=sku2 column=sf