2021銀河麒麟服務(wù)器操作系統(tǒng)hbase適配手冊

V4HBase軟件適配手冊銀河麒麟服務(wù)器操作系統(tǒng)V4銀河麒麟服務(wù)器操作系統(tǒng)V4HBase軟件適配手冊目錄目 概述 系統(tǒng)概 環(huán)境概 HBASE軟件簡介 HBASE體系架 HLOG(WAL MEMSTORE與 HBASE軟件適配 下載 配置文件修 配置環(huán)境變 修改HBASE- 配置HBASE- 啟動 HBASE常用操 進入HBASE 創(chuàng)建表 查看表詳 顯示所有的 插入數(shù) 查詢數(shù) 刪除表 退出 銀河麒麟服務(wù)器操作系統(tǒng)V4銀河麒麟服務(wù)器操作系統(tǒng)V4HBase軟件適配手冊概述系統(tǒng)概述銀河麒麟服務(wù)器操作系統(tǒng)主要面向軍隊綜合電子信息系統(tǒng)、金融系統(tǒng)以及電力系統(tǒng)等國家關(guān)鍵行業(yè)的服務(wù)器應(yīng)用領(lǐng)域，突出高安全性、高可用性、高效數(shù)據(jù)處理、虛擬化等關(guān)鍵技術(shù)優(yōu)勢，針對關(guān)鍵業(yè)務(wù)構(gòu)建的豐富高效、安全可靠的功能特性，兼容適配長城、聯(lián)想、浪潮、華為、曙光等國內(nèi)主流廠商的服務(wù)器整機產(chǎn)品，以及達夢、金倉、神通、南大通用等主要國產(chǎn)數(shù)據(jù)庫和中創(chuàng)、金蝶、東方通等國產(chǎn)中間件，滿足虛擬化、云計算和大數(shù)據(jù)時代，服務(wù)器業(yè)務(wù)對操作系統(tǒng)在性能、安全性及可擴展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服務(wù)器操作系統(tǒng)。環(huán)境概述服務(wù)器型號長城信安擎天DF720服務(wù)器CPU類型飛騰2000+處理器操作系統(tǒng)版本Kylin-4.0.2-server-sp2-2000-內(nèi)核版本HBase版本HBase軟件簡介HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于BigtableHBaseApacheHadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。HBase具有如下特別：高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式數(shù)據(jù)庫利用HadoopHDFS作為其文件存儲系統(tǒng)，利用HadoopMapReduce來處理HBase中的海量數(shù)據(jù)，利用Zookeeper作為其分布式協(xié)同服務(wù)主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)（NoSQL數(shù)據(jù)庫HBase體系架構(gòu)HBase體系架構(gòu)如下圖所示：包含訪問HBase的接口并維護cache來加快對HBase的訪問保證任何時候，集群中只有一個存貯所有Region的尋址入口。實時監(jiān)控Regionserver的上線和下線信息。并實時通知HBaseschematable元數(shù)據(jù)RegionserverRegionserver的負載均衡發(fā)現(xiàn)失效的Regionserver并重新分配其上的管理用戶對table的增刪改操作Regionserver維護region，處理對這些regionIO請求Regionserver負責(zé)切分在運行過程中變得過大的HLog(WALHLog文件就是一個普通的HadoopSequenceFile，SequenceFileKey是HLogKey對象，HLogKey中記錄了寫入數(shù)據(jù)的歸屬信息，除了table和region名字外，同時還包括sequencenumbertimestamp，timestamp是”寫入時間”，sequencenumber的起始值為0，或者是最近一次存入文件系統(tǒng)中sequencenumberHLogSequeceFileValueHBaseKeyValue對象，即對應(yīng)HFile中的KeyValueHBase自動把表水平劃分成多個區(qū)域(region)，每個region會保存一個表里面某段連續(xù)的數(shù)據(jù)；每個表一開始只有一個region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一個閥值的時候，region就會等分會兩個新的region（裂變）；table中的行不斷增多，就會有越來越多的region。這樣一張完整的表被保存在多個Regionserver上。Memstore與region由多個store組成，一個store對應(yīng)一個CF（列族）store包括位于內(nèi)存中的memstore和位于磁盤的storefile寫操作先寫入memstore，當(dāng)memstore中的數(shù)據(jù)達到某個閾值，hregionserver會啟動flashcache進程寫入storefile，每次寫入形成單獨的一個storefile。當(dāng)storefile（minor、majorcompaction），在合并過程中會進行版本合并和刪除工作（majar），形成更大的storefile。當(dāng)一個regionstorefile的大小和超過一定閾值后，會把當(dāng)前的region分割為兩個，并由hmaster分配到相應(yīng)的regionserver服務(wù)器，實現(xiàn)負載均衡?？蛻舳藱z索數(shù)據(jù)，先在memstore找，找不到再找storefileHRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表示不同的HRegion可以分布在不同的HRegionserver上。HRegion由一個或者多個Storestore保存一個columnsfamilyStrore又由一個memStore0至多個StoreFile組成。HBase軟件適配$$wget/apache/hbase/1.4.9/hbase-1.4.9-$tarxvfhbase-1.4.9-bin.tar.gz-C配置文件修改配置環(huán)境變量$$vimexportexportHBASE_HOME=/usr/local/hbase-export加載變量：$$source$cd/usr/local/hbase-$cd/usr/local/hbase-$vimconf/hbase-添加：exportexportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-exportvimconf/hbase-配置hbase-vimconf/hbase-內(nèi)容如下：$./bin/start-$./bin/start-HBase常用操作hbase$$hbase創(chuàng)建表hbase(main):001:0>hbase(main):001:0>createhbase(main):002:0>create查看表詳情$$hbase(main):003:0>describe顯示所有的表hbase(main):004:0>hbase(main):004:0>插入數(shù)據(jù)hbase(main):005:0>hbase(main):005:0>put'student','95001','Sname','LiYing'hbase(main):006:0>put'student','95001','Ssex','Male'hbase(main):007:0>put查詢數(shù)據(jù)hbase(main):008:0>get'student','95001'hbase(main):008:0>get'student','95001'hbase(main):009:0>get'student','95001','course'hbase(main):0