小象學(xué)院-hbase進(jìn)階課程代碼exportweek

HBaseHBase的

與基本架構(gòu)課程介紹?–

郵箱：

–《HBase進(jìn)階》全面介紹HBase融入經(jīng)驗(yàn)避免與網(wǎng)絡(luò)資料重復(fù)，給出相關(guān)參考學(xué)習(xí)方法兩周一個(gè)階段源碼運(yùn)用、閱讀源碼入門基于API開(kāi)發(fā)、基于原理運(yùn)維、單周入門雙周進(jìn)階小象學(xué)院數(shù)據(jù)教育領(lǐng)航者What——HBaseBigTable的開(kāi)源實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)列式NoSql基于HDFS和Zookeeper小象學(xué)院數(shù)據(jù)教育領(lǐng)航者Why——為什么使用HBase成熟社區(qū)成熟理論經(jīng)過(guò)充分實(shí)踐豐富的工具支持高效將隨機(jī)讀寫(xiě)轉(zhuǎn)化為順序讀寫(xiě)，適應(yīng)高并發(fā)寫(xiě)入均衡效果好讀寫(xiě)性能和機(jī)器數(shù)保持線性相關(guān)行中沒(méi)有保存數(shù)據(jù)的列不占

空間分布式特性、基于HDFS一致性、可用性、分區(qū)

性大數(shù)據(jù)易擴(kuò)展小象學(xué)院數(shù)據(jù)教育領(lǐng)航者How——如何正確使用HBase適用場(chǎng)景列族結(jié)構(gòu)經(jīng)常調(diào)整高并發(fā)寫(xiě)入結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)Key-Value有序固定集合(多版本)定時(shí)刪除記錄(TTL)不適用場(chǎng)景事務(wù)join、union、group

by等關(guān)系查詢與計(jì)算不按rowkey查詢數(shù)據(jù)高并發(fā)隨機(jī)讀小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase基本架構(gòu)zookeeper客戶端Master

Master

…Region

Server Region

Server

…HDFS小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase表基本結(jié)構(gòu)入門時(shí)可以看做Map<row_key+family+column+timestamp,value>=“CNN”anchor:my.look.ca=“

”anchor=“noanchor”小象學(xué)院數(shù)據(jù)教育領(lǐng)航者們：：ChinaHadoop公號(hào)：ChinaHadoop數(shù)據(jù)教育領(lǐng)航者！HBase在哪HBase的獲取關(guān)于開(kāi)源社區(qū)??熱心開(kāi)發(fā)者?與詳細(xì)api?與

/hbase/book.html英文參考指南中文參考指南部分漢化，有0.97和0.90版?問(wèn)題追蹤可以看到patch的前世今生小象學(xué)院數(shù)據(jù)教育領(lǐng)航者從開(kāi)源社區(qū)獲取HBase小象學(xué)院數(shù)據(jù)教育領(lǐng)航者Hortonworks提供基于Hadoop的大數(shù)據(jù)解決方案2011年從雅虎剝離貢獻(xiàn)大量社區(qū)代碼提供穩(wěn)定的hadoop和hbase版本代碼和社區(qū)較接近且經(jīng)過(guò)測(cè)試http://z

/小象學(xué)院數(shù)據(jù)教育領(lǐng)航者從Hortonworks獲取HBase

/HDP

s/HDP2/HDP-2.1-latest/bk_installing_manually_book/content/rpm-

chap1-3.html可以使用指定的yum源http:

/public-repo-

/index.html#/HDP/centos6/2.x/u

pdates//hbase可以

rpm安裝包和源碼包頁(yè)面上沒(méi)有連接，從

區(qū)中得到小象學(xué)院數(shù)據(jù)教育領(lǐng)航者Cloudera與Hortonworks類似，但早3年較Hortonworks更成熟cloudera

manager選擇性的打入社區(qū)Patch發(fā)布版本更加穩(wěn)定代碼與社區(qū)有差異http:

/content/cloudera/en/home.html小象學(xué)院數(shù)據(jù)教育領(lǐng)航者從Cloudera獲取HBase根據(jù)源碼包路徑推測(cè)可找到rpm安裝包

/cdh5/redhat/6/x86_64/cdh/5.1.2/同理可以找到rpm源碼包和yum源小象學(xué)院數(shù)據(jù)教育領(lǐng)航者們：：ChinaHadoop公號(hào)：ChinaHadoop數(shù)據(jù)教育領(lǐng)航者！那些莫名的文件HBase的安裝、結(jié)構(gòu)以及啟動(dòng)版本選擇不兼容大殺器：protobufer協(xié)議變化http:

/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo/public-repo

/HDP/centos6/2.x/2.1-latest/hdp.repoCDH5.1.2CDH4.3.1CDH3HDP2.1.4HDP2.0.6HDP1.3.0Hadoop2.3.02.0.0.02.2.01.2.0HBase0.98.04.6zookeeper...5小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase安裝文件以及安裝社區(qū)安裝文件解壓設(shè)置log和pid小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase安裝文件以及安裝CDH與HDP–

以

rpm安裝包為例直接安裝rpm包rpm

–ivh

hbase-.1.5.0-695.el6.noarch.rpm依賴zookeeper>=3.4.5依賴hadoop-hdfshbase-master與hbase-regionserverservice啟動(dòng)依賴hbase=.1.5.0-695.el6小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase

結(jié)構(gòu)詳解/usr/lib/hbase/小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase結(jié)構(gòu)詳解bin*.rb工具運(yùn)行方式：hbase-jrubyhbase-cleanup.sh刪除zk或hdfs內(nèi)容hbase/usr/bin/hbase最終調(diào)用的hbase-config.sh參數(shù)啟動(dòng)環(huán)境配置

，一般不直接調(diào)用hbase-daemon.sh可以用service

hbase-master或service

hbase-regionserver代替組件啟動(dòng)小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase

結(jié)構(gòu)詳解confhadoop-pertieshadoop-metrics2-pertiesmetric

配置hbase-env.sh環(huán)境變量配置hbase-site.xml運(yùn)行參數(shù)配置hbase-policy.xml安全策略配置應(yīng)用場(chǎng)景比較少pertieslog配置regionservers所有regionserver，用于啟停不常用小象學(xué)院數(shù)據(jù)教育領(lǐng)航者HBase

結(jié)構(gòu)詳解hbase-webappsweb

ui頁(yè)面include保存了thriftlogs日志pids保存運(yùn)行進(jìn)程id保存zookeeper中node路徑lib依賴jar包lib/rubyhbase

s

依賴小象學(xué)院數(shù)據(jù)教育領(lǐng)航者啟動(dòng)最簡(jiǎn)配置<configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.regionserver.hlog.replication</name><value>1</value></property><property><name>hbase.zookeeper.quorum</name><value>test01,</value></property><property><name>hbase.tmp.dir</name><value>/tmp/hbase</value></property><property><name>hbase.rootdir</name><value>hdfs://test01:8020/hbase</value></property><property><name>dfs.support.append</name><value>true</value></property>小象學(xué)院數(shù)據(jù)</configuration>教育領(lǐng)航者啟動(dòng)service

hbase-master

startservice

hbase-regionserver

start常見(jiàn)錯(cuò)誤查看方

og和.out，能排查大多數(shù)問(wèn)題權(quán)限依賴環(huán)境lzo機(jī)器名java版本–

hadoop版本與配置不匹配沒(méi)有正確建立軟鏈指定類不存在于任何jar包zookeeper版本與

不匹配通信無(wú)法成功小象學(xué)院數(shù)據(jù)教育領(lǐng)航者們：：ChinaHadoop公號(hào)：ChinaHadoop數(shù)據(jù)教育領(lǐng)航者！操作數(shù)據(jù)之前基于HBase

s的DDL操作hbase

s基于jruby

/hbase/book.html#s包含常用工具狀態(tài)查詢(general)ddl、dml集群工具(tools)replication快照(snapshot)namespace開(kāi)啟相應(yīng)功能后才能使用的工具權(quán)限控制(security)(visibilitylabels)粒度更小的

控制小象學(xué)院數(shù)據(jù)教育領(lǐng)航者h(yuǎn)base

s神helphelp：列出所有命令help‘分組名’列出分組命令詳細(xì)用法help‘命令名’列出命令詳細(xì)用法ddl缺少細(xì)節(jié)小象學(xué)院數(shù)據(jù)教育領(lǐng)航者常用表屬性RE–MEMDEADONLY表只讀MSTORE_FLUSHSIZEAX_FILESIZEFERRED_LOG_FL

SH小象學(xué)院數(shù)據(jù)教育領(lǐng)航者常用列族屬性每個(gè)屬性都有默認(rèn)值DATA_BLOCK_ENCODINGNONE、DIFF、FAST_DIFF、PREFIX_TREE搜索“hbase

DATA_BLOCK_ENCODING

PREFIX_TREE”COMPRESSIONNONE、LZO、GZ、SNAPPY、LZ4GZ：CPU消耗少LZ4：解壓快，適應(yīng)多線程http

/p/lz4/SNAPPY與LZO：CPU和IO較平衡，最常用?比較兩者組合使用搜索“HBase實(shí)戰(zhàn)系列壓縮與編碼技術(shù)”小象學(xué)院數(shù)據(jù)教育領(lǐng)航者常用列族屬性BLOOMFILTER–

NONE、ROW、ROWCOLREPLICATION_SCOPEVERSIONSTTL與MIN_VERSIONSKEEP_DELETED_CELLSBLOCKSIZEBLOCKCACHE與IN