Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實戰(zhàn)（微課版） 課件 8 HBase實戰(zhàn)

Hadoop大數(shù)據(jù)項目開發(fā)——HBase概述目錄content02MapReduce優(yōu)化方法01MapReduce運(yùn)行效率瓶頸HBase簡介HBase是一個面向列、高性能、高可靠、可伸縮的分布式存儲系統(tǒng)?？稍诹畠r計算機(jī)上搭建起大規(guī)模的結(jié)構(gòu)化存儲集群。HBase是以HDFS為文件存儲系統(tǒng)。以MapReduce為海量數(shù)據(jù)處理框架，以ZooKeeper為協(xié)同服務(wù)工具。HBase簡介HBase是一個非關(guān)系型數(shù)據(jù)庫。非常適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。數(shù)據(jù)以列族形式存儲，HBase基于列的而不是基于行的模式。HBase支持在海量數(shù)據(jù)上隨機(jī)、實時讀寫數(shù)據(jù)。HBase特點(diǎn)它彌補(bǔ)了Hadoop不能進(jìn)行實時數(shù)據(jù)處理的缺陷。它采用了稀疏矩陣的存儲方式。它可以通過增加節(jié)點(diǎn)的方式進(jìn)行線性擴(kuò)展。HBase的特點(diǎn)它彌補(bǔ)了Hadoop不能進(jìn)行實時數(shù)據(jù)處理的缺陷。它采用了稀疏矩陣的存儲方式。它可以通過增加節(jié)點(diǎn)的方式進(jìn)行線性擴(kuò)展。HBase與傳統(tǒng)數(shù)據(jù)庫的區(qū)別HBase的數(shù)據(jù)存儲類型單一。HBase僅具有簡單的操作。HBase的更新操作實際上是插入了新的數(shù)據(jù)且仍保留舊的數(shù)據(jù)。HBase的查詢只能通過行鍵進(jìn)行，表的設(shè)計難度較大。HBase與Hive的區(qū)別Hive支持SQL查詢，而HBase不支持SQL。Hive不支持行級別的更新，而HBase支持?jǐn)?shù)據(jù)的增、刷、改、查。Hive本身不存儲數(shù)據(jù)，而HBase可以聯(lián)機(jī)實時處理數(shù)據(jù)，是一種分布式數(shù)據(jù)庫。HBase邏輯視圖HBase中的表一般由行鍵（rowkey）、時間戳（timestamp）、列族（columnfamily）、列（column）組成。在使用表之前，需要先定義列族，而行、列和時間戳可動態(tài)擴(kuò)展。行鍵：行鍵以字節(jié)數(shù)組來存儲，沒有特定的數(shù)據(jù)類型，可以是任意字符串，但最大長度為64KB。它是用于檢索的主鍵。列族：在定義表結(jié)構(gòu)時，必須預(yù)先定義列族，并且不可以隨意修改。列：列在定義表時不需要定義，因為它不是元數(shù)據(jù)的一部分，只需在插入數(shù)據(jù)時再指定。時間戳：通過行鍵和列可以確定一個存儲單元。每個存儲單元中可能保存著一個數(shù)據(jù)的多個版本，它們通過時間戳索引。HBase邏輯視圖HBase存儲原理HBase由1個或者多個HMaster和多個RegionServer組成的集群。其中HMaster和RegionServer的狀態(tài)存儲在ZooKeeper上，HBase的數(shù)據(jù)存儲在HFile的文件上。HRegion內(nèi)部架構(gòu)圖本章小結(jié)本節(jié)介紹了HBase、HBase邏輯視圖和HBase的實現(xiàn)原理，相信大家掌握了HBase的相關(guān)概念，對非關(guān)系型數(shù)據(jù)庫有了認(rèn)識，為我們后續(xù)學(xué)習(xí)HBase相關(guān)操作打下了理論基礎(chǔ)。Hadoop大數(shù)據(jù)項目開發(fā)——HBase安裝目錄content0201Hadoop集群部署方式Hadoop集群搭建HBase安裝步驟Xshell中的文件傳輸拖到文件傳輸窗口查看Zookeeper安裝包步驟1：HBase安裝步驟解壓Zookeeper安裝包命令Zookeeper系統(tǒng)環(huán)境變量步驟2：步驟3：重命名命令步驟4：編輯profile文件步驟5：使profile文件生效HBase安裝步驟步驟6：修改hbase-env.sh文件HBase安裝步驟步驟7：修改hbase-site.xml文件步驟8：修改regionservers文件HBase安裝步驟拷貝Zookeeper到slave1和slave2兩個節(jié)點(diǎn)拷貝profile文件到slave1和slave2兩個節(jié)點(diǎn)步驟9：步驟10：使profile文件生效HBase安裝步驟啟動HBaseHBase安裝步驟HBase節(jié)點(diǎn)HBase安裝步驟HBase對應(yīng)的Web界面本章小結(jié)本節(jié)介紹了HBase的安裝、配置HBase的配置文件以及HBase的啟動，相信大家掌握了HBase的安裝及啟動，為我們后續(xù)學(xué)習(xí)HBaseShell命令操作和HBaseJavaAPI操作打下了基礎(chǔ)。Hadoop大數(shù)據(jù)項目開發(fā)——HBaseShell命令操作目錄content0201基本Shell命令命名空間操作03表操作基本Shell命令啟動HBaseShell基本Shell命令查看HBase的運(yùn)行狀態(tài)查看表信息查看HBase的版本信息獲取HBaseShell幫助退出HBaseShell表操作創(chuàng)建命名空間查看命名空間查看某個具體的命名空間刪除命名空間命名空間是對表的邏輯分組，類似于關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)庫HBase中有兩個默認(rèn)的命名空間，分別是：default：默認(rèn)情況下，創(chuàng)建表時表都將創(chuàng)建在default名稱空間下hbase：用于存放系統(tǒng)的內(nèi)建表，如namespace、meta等表操作-創(chuàng)建表查看表結(jié)構(gòu)創(chuàng)建表，不指定參數(shù)創(chuàng)建表，指定參數(shù)在命名空間bigdata中創(chuàng)建表表操作-添加列族查看表結(jié)構(gòu)查看表是否存在增加新列族“Scores”表的狀態(tài)設(shè)置為可用使表處于不可用狀態(tài)表操作-刪除列族查看表是否存在使表處于不可用狀態(tài)刪除列族“Scores”表的狀態(tài)設(shè)置為可用查看表結(jié)構(gòu)表操作-插入數(shù)據(jù)插入數(shù)據(jù)掃描全表獲取表中行鍵為‘0001’的數(shù)據(jù)查看表中的數(shù)據(jù)行數(shù)表操作-刪除數(shù)據(jù)刪除行鍵為’