《Hadoop技術(shù)原理》課件-8.HBase概述

Hadoop技術(shù)原理Hbase概述Hbase概述01列式存儲(chǔ)、行式存儲(chǔ)01行式存儲(chǔ)和列式存儲(chǔ)區(qū)別時(shí)間商品名商品描述銷量店鋪名店長2018-01-01連衣裙描述11000愛居兔Franny2018-01-01運(yùn)動(dòng)鞋描述2888360Rick2018-01-02連帽風(fēng)衣描述3777愛居兔Fly2018-01-02球衣描述4666安踏Soul行式存儲(chǔ)：列式存儲(chǔ)：2018-01-01連衣裙描述11000愛居兔Franny2018-01-01運(yùn)動(dòng)鞋描述2888360Rick。。。2018-01-012018-01-01連衣裙運(yùn)動(dòng)鞋描述1描述21000888愛居兔360FrannyRick列式存儲(chǔ)、行式存儲(chǔ)02行式存儲(chǔ)和列式存儲(chǔ)優(yōu)缺點(diǎn)列式存儲(chǔ)、行式存儲(chǔ)03OLTP&OLAPOLTP：On-LineTransactionProcessing（聯(lián)機(jī)事務(wù)處理過程）。也稱為面向交易的處理過程，其基本特征是前臺(tái)接收的用戶數(shù)據(jù)可以立即傳送到計(jì)算中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果，是對用戶操作快速響應(yīng)的方式之一。典型案例：銀行轉(zhuǎn)賬OLAP：On-LineAnalyticProcessing（聯(lián)機(jī)分析處理過程）。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。典型案例：商品推薦列式存儲(chǔ)、行式存儲(chǔ)04OLTP、OLAP的區(qū)別列式存儲(chǔ)、行式存儲(chǔ)05行式存儲(chǔ)、列式存儲(chǔ)應(yīng)用場景識(shí)別列式存儲(chǔ)：（OLAP）（1）對于單列，獲取頻率較高，就使用列式存儲(chǔ)。（2）如果針對多列查詢，使用并行處理查詢效率也是很高，可采用列式存儲(chǔ)。（3）對于大數(shù)據(jù)的環(huán)境，利于數(shù)據(jù)壓縮和線性擴(kuò)展，也可以采用列式存儲(chǔ)。（4）事務(wù)使用率不高，數(shù)據(jù)量非常大。（5）對于更新某些行的頻率不高，也可以選擇列式存儲(chǔ)。行式存儲(chǔ)：（OLTP）（1）關(guān)系之間的解決方案，表與表之關(guān)聯(lián)大，可以采用行式存儲(chǔ)。主鍵--外鍵（2）強(qiáng)事務(wù)特性，如消費(fèi)、資金的業(yè)務(wù)。（3）如數(shù)據(jù)小于千萬級(jí)，可考慮行式存儲(chǔ)。HBase簡介06Hbase是什么HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于Google論文《Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)》。HBase在Hadoop之上提供了類似于Bigtable的能力。HBase簡介07Hbase特性伸縮性：表可以很“高”（數(shù)十億個(gè)數(shù)據(jù)行），可以很“寬”（數(shù)百萬個(gè)列）。自動(dòng)分區(qū)：當(dāng)表增長時(shí)，表會(huì)自動(dòng)分裂成Region，并分布到可用節(jié)點(diǎn)上。線性擴(kuò)展和對于新節(jié)點(diǎn)的自動(dòng)處理：增加節(jié)點(diǎn)，指它指向RegionServer，Region自動(dòng)負(fù)載均衡。普通商用硬件支持容錯(cuò)：HBase在Hadoop的文件系統(tǒng)之上，利用了Hadoop的文件系統(tǒng)（HDFS）提供的容錯(cuò)能力。檢索性能：HBase是一個(gè)數(shù)據(jù)模型，類似于谷歌的大表設(shè)計(jì)，可以提供快速隨機(jī)訪問海量結(jié)構(gòu)化數(shù)據(jù)。HBase簡介08Hbase應(yīng)用場景Hbase模型架構(gòu)02HBase數(shù)據(jù)模型01HbaseTable的組成數(shù)據(jù)存儲(chǔ)的模式：(key-value數(shù)據(jù)庫)Table+RowKey（升序）+ColumnFamily+Column+Timestamp-->ValueHBase數(shù)據(jù)模型02列數(shù)據(jù)屬性Timestamp作為列數(shù)據(jù)版本，默認(rèn)只存一個(gè)版本。如果指定了版本數(shù)，比如3，則不斷更新時(shí)，只會(huì)保留Timestamp最大的最后3個(gè)版本HBase物理模型03數(shù)據(jù)表與region關(guān)系Hbase的Table中的所有行都按照rowkey的字典序排列。Table在行的方向上分割為多個(gè)Region。Region是HBase中分布式存儲(chǔ)和負(fù)載均衡的最小單元。HBase物理模型04Region的分布

不同Region分布到不同RegionServer上。HBase物理模型05Region分裂（split）Region分裂指一個(gè)大的Region分裂為兩個(gè)較小的Region。HBase架構(gòu)06HBase架構(gòu)07HBase組件描述HMaster，負(fù)責(zé)表和Region的管理工作（1）管理用戶對表結(jié)構(gòu)的操作（2）實(shí)現(xiàn)不同RegionServer之間的負(fù)載均衡（3）Region分裂或合并后，負(fù)責(zé)重新調(diào)整Region的分布。（4）監(jiān)控RegionServer的工作狀態(tài)，對發(fā)現(xiàn)故障失效的RegionServer上的Region進(jìn)行遷移。RegionServer：（1）維護(hù)HMaster分配給它的Region（2）響應(yīng)Client對Region的讀寫請求（3）負(fù)責(zé)切分正在運(yùn)行過程中變的過大的Region（Region分裂）Zookeeper：（1）保證集群中至少有一個(gè)HMaster處于運(yùn)行狀態(tài)（2）存儲(chǔ)HBase的schema、表元數(shù)據(jù)、Region的尋址入口HBase架構(gòu)08Region內(nèi)部結(jié)構(gòu)Region由一個(gè)或者多個(gè)Store組成，每個(gè)Store保存一個(gè)ColumnsFamily。每個(gè)Strore又由一個(gè)MemStore和0至多個(gè)StoreFile組成。MemStore存儲(chǔ)在內(nèi)存中，Stor